🤖 machine learning

Soft-MSM: Differentiable Context-Aware Elastic Alignment for Time Series

यह शोध पत्र Soft-MSM को प्रस्तुत करता है, जो एक डिफरेंशिएबल (differentiable), संदर्भ-जागरूक (context-aware) इलास्टिक अलाइनमेंट लॉस है जो ग्रेडिएंट-आधारित अनुकूलन को सक्षम करने के लिए मूव-स्प्लिट-मर्ज (Move-Split-Merge) दूरी को सुचारू बनाता है, और Soft-DTW जैसे मौजूदा तरीकों की तुलना में टाइम सीरीज़ क्लस्टरिंग और वर्गीकरण में बेहतर प्रदर्शन प्रदर्शित करता है।

मूल लेखक: Christopher Holder, Anthony Bagnall

प्रकाशित 2026-05-04

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Christopher Holder, Anthony Bagnall

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप दो गानों की तुलना करने की कोशिश कर रहे हैं। एक थोड़ा तेज़ बजाया जा रहा है, और दूसरा थोड़ा धीमा। यदि आप उन्हें शुरू से अंत तक नोट-दर-नोट मिलाने की कोशिश करते हैं (एक सख्त रूलर की तरह), तो वे पूरी तरह से अलग दिखेंगे क्योंकि उनके बीट्स मेल नहीं खाते।

डायनेमिक टाइम वार्पिंग (DTW) एक स्मार्ट सुनने वाले की तरह है जो गानों के समय को खींचता और सिकोड़ता है ताकि बीट्स पूरी तरह से मिल सकें, जिससे आप देख सकें कि वे वास्तव में एक ही गाना हैं। यह समय-आधारित डेटा, जैसे दिल की धड़कन, शेयर की कीमतें, या मोशन सेंसर की तुलना करने के लिए बहुत अच्छा है।

हालाँकि, एक समस्या है: यह "स्मार्ट सुनने वाला" थोड़ा कठोर है। यह समय को खींचने के बारे में अचानक, एक तीखा निर्णय लेता है। आधुनिक AI की दुनिया में, जो सूक्ष्म, सुचारू समायोजन (जैसे एक मूर्तिकार धीरे-धीरे पत्थर को छीलकर आकार देता है) करके सीखता है, यह एक बाधा है। AI भ्रमित हो जाता है क्योंकि वह सुधार के लिए आवश्यक "ढलान" (slope) की गणना नहीं कर पाता है।

यहाँ Soft-MSM आता है, जो इस पेपर में पेश किया गया एक नया तरीका है।

पुराने तरीके के साथ समस्या

यह पेपर समय की तुलना करने के एक विशिष्ट, बहुत स्मार्ट तरीके पर केंद्रित है जिसे MSM (Move-Split-Merge) कहा जाता है। MSM को एक सुपर-एडवांस्ड सुनने वाले के रूप में सोचें जो केवल समय को खींचता ही नहीं है; यह संगीत के संदर्भ (context) को भी समझता है।

Move (हिलाना): बस एक नोट को थोड़ा सा खिसकाना।
Split (विभाजित करना): यदि कोई नोट बहुत लंबा है, तो उसे दो भागों में विभाजित किया जा सकता है।
Merge (विलय करना): यदि दो नोट बहुत करीब हैं, तो उन्हें मिलाया जा सकता है।

MSM इसमें उत्कृष्ट है, और अक्सर समान डेटा को एक साथ समूहित करने जैसे कार्यों में मानक "स्मार्ट सुनने वाले" (DTW) को मात देता है। लेकिन, मूल DTW की तरह, यह "कठोर" निर्णय लेता है। यह कहता है, "यह निश्चित रूप से एक स्प्लिट है," या "यह निश्चित रूप से एक मर्ज है।" क्योंकि ये निर्णय तीखे और अचानक होते हैं, आप इनका उपयोग आधुनिक AI मॉडल को प्रशिक्षित करने के लिए नहीं कर सकते जिन्हें सीखने के लिए सुचारू, निरंतर फीडबैक की आवश्यकता होती है।

समाधान: Soft-MSM

लेखकों ने Soft-MSM बनाया है। कल्पना कीजिए कि आपने उस सुपर-स्मार्ट सुनने वाले (MSM) को "धुंधली" (fuzzy) दृष्टि दे दी है। यह तय करने के बजाय कि किसी नोट को विभाजित करना है या मिलाना है, Soft-MSM कहता है, "इस बात की 60% संभावना है कि यह एक स्प्लिट है और 40% संभावना है कि यह एक मर्ज है।"

यह "धुंधलापन" गणितीय रूप से सुचारू है। यह AI को पहाड़ी की ढलान देखने और यह जानने की अनुमति देता है कि डेटा को बेहतर बनाने के लिए किस दिशा में थोड़ा सा धकेलना है। यह एक ऊबड़-खाबड़, दुर्गम पहाड़ को एक चिकनी, चलने योग्य पहाड़ी में बदल देता है।

उन्होंने इसे कैसे किया

इसे काम करने के योग्य बनाने के लिए, लेखकों को एक नया "द्वारपाल" (gatekeeper) तंत्र बनाना पड़ा।

पुराना द्वार: मूल MSM में एक द्वार था जो सख्त नियमों के आधार पर या तो पूरी तरह खुला था या पूरी तरह बंद।
नया द्वार: उन्होंने इसे एक "स्मूथ गेट" से बदल दिया जो धीरे-धीरे खुलता है। यह गणित को सिस्टम के माध्यम से बिना टूटे बहने की अनुमति देता है, जिससे AI जटिल "स्प्लिट और मर्ज" तर्क के माध्यम से ग्रेडिएंट्स (सुधार की दिशा) की गणना कर पाता है।

उन्होंने क्या पाया

शोधकर्ताओं ने इस नई विधि का परीक्षण 112 विभिन्न डेटासेट्स (समय-आधारित डेटा की एक विशाल विविधता) पर किया। यहाँ उनकी खोजें हैं:

बेहतर औसत (Better Averaging): जब समान टाइम सीरीज़ के एक समूह का "औसत" आकार खोजने की कोशिश की गई (जैसे क्रिकेट अंपायर सिग्नल का औसत निकालना), तो Soft-MSM ने पिछले तरीकों की तुलना में बहुत अधिक साफ और सटीक औसत बनाया। यह शोर (noise) से भ्रमित नहीं हुआ।
बेहतर समूहीकरण (Better Grouping/Clustering): जब उन्होंने समान वस्तुओं को एक साथ समूहबद्ध करने के लिए Soft-MSM का उपयोग किया, तो इसने पिछले सर्वोत्तम तरीकों (जैसे Soft-DTW) की तुलना में काफी बेहतर काम किया। यह कपड़ों के ढेर को छाँटने के लिए एक बेहतर सॉर्टिंग एल्गोरिदम होने जैसा था।
बेहतर वर्गीकरण (Better Classification): जब उन्होंने इन औसतों का उपयोग यह अनुमान लगाने के लिए किया कि कोई नया डेटा किस श्रेणी से संबंधित है, तो Soft-MSM अधिक सटीक था।

ट्रेड-ऑफ (समझौता)

पेपर इस सहजता के लिए एक छोटी कीमत चुकाने की बात भी बताता है। मूल MSM एक आदर्श "मेट्रिक" (यह दूरी के बारे में सख्त गणितीय नियमों का पालन करता है) था। Soft-MSM अपनी इस पूर्ण गणितीय कठोरता का त्याग करता है ताकि सुचारू, ग्रेडिएंट-आधारित लर्निंग की क्षमता प्राप्त की जा सके। हालाँकि, लेखक तर्क देते हैं कि अधिकांश व्यावहारिक AI कार्यों के लिए, सुचारू रूप से सीखने की क्षमता एक पूर्ण मेट्रिक होने की तुलना में कहीं अधिक मूल्यवान है।

संक्षेप में

यह पेपर Soft-MSM पेश करता है, जो एक नया टूल है जो एक शक्तिशाली टाइम-सीरीज तुलना पद्धति (MSM) को आधुनिक, स्मूथ-लर्निंग AI के अनुकूल बनाता है। तीखे, अचानक निर्णयों को सुचारू, संभावabilistic (संभाव्यता आधारित) निर्णयों से बदलकर, यह कंप्यूटरों को समय-आधारित डेटा में बेहतर पैटर्न सीखने की अनुमति देता है, जिसके परिणामस्वरूप बेहतर औसत, बेहतर समूहीकरण और अधिक सटीक भविष्यवाणियाँ होती हैं। इसका कोड पहले से ही aeon नामक एक ओपन-सोर्स टूलकिट में अन्य लोगों के उपयोग के लिए उपलब्ध है।

यहाँ क्रिस्टोफर होल्डर और एंथनी बग्नल के शोध पत्र "Soft-MSM: Differentiable Context-Aware Elastic Alignment for Time Series" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

टाइम सीरीज़ मशीन लर्निंग (TSML) अनुक्रमों (sequences) के बीच टेम्पोरल मिसअलाइनमेंट (temporal misalignments) को संभालने के लिए दूरी के मापों (distance measures) पर बहुत अधिक निर्भर करता है। इलास्टिक दूरियाँ (Elastic distances), जैसे कि डायनेमिक टाइम वार्पिंग (DTW) और मूव-स्प्लिट-मर्ज (MSM), समय अक्षों (time axes) को खींचने या संकुचित करने वाले इष्टतम अलाइनमेंट पथों को खोजने के माध्यम से इसे संबोधित करती हैं।

इलास्टिक दूरियों की सीमा: क्लस्टरिंग और वर्गीकरण जैसे कार्यों के लिए प्रभावी होने के बावजूद, पारंपरिक इलास्टिक दूरियाँ नॉन-डिफरेंशिएबल (non-differentiable) होती हैं। यह उन्हें ग्रेडिएंट-आधारित अनुकूलन (जैसे न्यूरल नेटवर्क, इटरेटिव एवरेजिंग) में लॉस फंक्शन के रूप में सीधे उपयोग करने से रोकता है।
मौजूदा समाधानों की सीमा: Soft-DTW को DTW को डिफरेंशिएबल बनाने के लिए पेश किया गया था, जिसमें इसके रिकर्सन में 'हार्ड मिनिमम' को एक स्मूथ 'सॉफ्ट-मिनिमम' ऑपरेटर से बदल दिया गया था। हालाँकि, Soft-DTW को MSM जैसे अन्य इलास्टिक दूरियों तक सीधे विस्तारित नहीं किया जा सकता है। MSM अक्सर DTW की तुलना में प्रदर्शन में बेहतर होता है क्योंकि यह कॉन्टेक्स्ट-अवेयर ट्रांजिशन कॉस्ट्स (context-aware transition costs) (स्प्लिट/मर्ज पेनल्टी) का उपयोग करता है जो तीन मानों के स्थानीय क्रम (local ordering) पर निर्भर करते हैं। MSM के कॉस्ट फंक्शन की पीसवाइज प्रकृति उन नॉन-स्मूथ क्षेत्रों को बनाती है जिन्हें मानक सॉफ्ट-मिनिमम दृष्टिकोण आसानी से डिफरेंशिएट नहीं कर सकते।

2. कार्यप्रणाली: Soft-MSM (Methodology: Soft-MSM)

लेखक Soft-MSM का प्रस्ताव करते हैं, जो मूव-स्प्लिट-मर्ज दूरी का एक स्मूथ, डिफरेंशिएबल रिलैक्सेशन है। मुख्य चुनौती MSM के कॉन्टेक्स्ट-अवेयर स्ट्रक्चर को सुरक्षित रखते हुए इसके ट्रांजिशन कॉस्ट को डिफरेंशिएबल बनाना था।

मुख्य तकनीकी नवाचार (Key Technical Innovations):

ट्रांजिशन कॉस्ट्स के लिए स्मूथ गेटेड सरोगेट (Smooth Gated Surrogate for Transition Costs):
- मूल MSM कॉस्ट फंक्शन एक निश्चित दंड (penalty) $c$ लागू करता है यदि एक बिंदु $x$ , पड़ोसियों $y$ और $z$ के बीच स्थित है, और अन्यथा एक अतिरिक्त दंड देता है। यह एक पीसवाइस फंक्शन है जिसमें नॉन-डिफरेंशिएबल सीमाएँ हैं।
- समाधान: लेखक एक हाइपरबोलिक टेंगेंट-जैसे सन्निकटन (approximation) का उपयोग करके एक स्मूथ बिटवीन-गेट (smooth between-gate) फंक्शन $g(x, y, z)$ पेश करते हैं:
  $g(x, y, z) = \frac{1}{2} \left( 1 - \frac{u}{\sqrt{u^2 + \epsilon}} \right), \quad \text{जहाँ } u = (x-y)(x-z)$
- यह गेट स्मूथली 1 (जब $x, y$ और $z$ के बीच होता है) और 0 (अन्यथा) के बीच ट्रांज़िशन करता है, जिससे निर्णय सीमा (decision boundary) के माध्यम से ग्रेडिएंट प्रवाहित हो सके।
- ट्रांजिशन कॉस्ट को इस प्रकार पुनर्व्याख्यायित किया गया है:
  $\text{trans}_\gamma(x, y, z; c) = c + (1 - g(x, y, z)) \cdot \text{softmin}_\gamma((x-y)^2, (x-z)^2)$
- उन्होंने स्थानीय अंतर में अब स्क्वेर्ड डिफरेंस (squared difference) का भी उपयोग किया है ताकि $x=y$ पर डिफरेंशिएबिलिटी सुनिश्चित हो सके।
फॉरवर्ड और बैकवर्ड रिकर्सन (Forward and Backward Recursions):
- फॉरवर्ड पास: नए स्मूथ ट्रांजिशन कॉस्ट को एकीकृत करते हुए, हार्ड मिनिमम के बजाय एक सॉफ्ट-मिनिमम ऑपरेटर ( $\text{softmin}_\gamma$ ) का उपयोग करके संचित कॉस्ट मैट्रिक्स $C$ की गणना करता है।
- बैकवर्ड पास: सॉफ्ट अलाइनमेंट मैट्रिक्स $A$ और इनपुट टाइम सीरीज़ के सापेक्ष जैकबियन (Jacobian) (ग्रेडिएंट) को व्युत्पन्न करता है। ग्रेडिएंट को अलाइनमेंट प्रोबेबिलिटीज द्वारा भारित (weighted) डायगोनल (मैच), वर्टिकल (स्प्लिट) और हॉरिजॉन्टल (मर्ज) किनारों के योगदान में विभाजित किया जाता है।
सैद्धांतिक गुण (Theoretical Properties):
- डिफरेंशिएबिलिटी: $\gamma > 0$ और $\epsilon > 0$ के लिए निरंतर रूप से डिफरेंशिएबल होने के रूप में सिद्ध।
- लिमिटिंग बिहेवियर: जैसे-जैसे $\gamma \to 0$ और $\epsilon \to 0$ , Soft-MSM मानक MSM रिकर्सन (स्क्वेर्ड डेविएशन के साथ) में पॉइंटवाइज कन्वर्ज होता है।
- मेट्रिसिटी (Metricity): Soft-MSM एक मेट्रिक नहीं है (यह आइडेंटिटी ऑफ इंडिस्कर्निबल्स का उल्लंघन करता है और ऋणात्मक हो सकता है)। इसे संबोधित करने के लिए, लेखक एक डाइवर्जेंस-करेक्टेड फॉर्मूलेशन (Soft-DTW डाइवर्जेंस के समान) का प्रस्ताव करते हैं ताकि गैर-ऋणात्मकता और शून्य स्व-दूरी सुनिश्चित हो सके।
- जटिलता (Complexity): यह मानक MSM की तरह ही $O(m^2)$ समय और स्थान जटिलता बनाए रखता है।

3. मुख्य योगदान (Key Contributions)

पहला डिफरेंशिएबल MSM: मूव-स्प्लिट-मर्ज दूरी के पहले डिफरेंशिएबल संस्करण का निर्माण, जो इसे ग्रेडिएंट-आधारित लर्निंग में उपयोग करने में सक्षम बनाता है।
नया स्मूथ गेट: एक स्मूथ गेटिंग फंक्शन का गणितीय व्युत्पन्न जो मूल दूरी के संरचनात्मक लाभों को खोए बिना MSM के कॉन्टेक्स्ट-डिपेंडेंट स्प्लिट/मर्ज पेनल्टी को संभालता है।
क्लोज्ड-फॉर्म ग्रेडिएंट्स: जैकबियन ट्रांसफॉर्मेशन का व्युत्पन्न जो Soft-MSM का उपयोग करके टाइम सीरीज़ अनुक्रमों के प्रत्यक्ष अनुकूलन की अनुमति देता है।
कार्यान्वयन: यह विधि पुनरुत्पादकता (reproducibility) के समर्थन के साथ ओपन-सोर्स aeon टूलकिट में कार्यान्वित है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन मुख्य परिदृश्यों में 112 UCR टाइम सीरीज़ डेटासेट पर Soft-MSM का मूल्यांकन किया:

A. टाइम सीरीज़ एवरेजिंग (बैरिसेंटर - Barycentre)

लक्ष्य: एक प्रतिनिधि टाइम सीरीज़ (बैरिसेंटर) खोजना जो इनपुट सीरीज़ के सेट से दूरियों के योग को कम करती है।
तुलना: Soft-MSM बैरिसेंटर (Soft-MBA) बनाम मानक MSM बैरिसेंटर (MBA) और स्टोकेस्टिक सबग्रेडिएंट MBA (SSG-MBA)।
परिणाम: Soft-MBA ने 97.2% से 100% डेटासेट पर (स्मूथिंग पैरामीटर $\gamma$ के आधार पर) MBA और SSG-MBA दोनों की तुलना में कम MSM फ्रैचेट लॉस (Fréchet loss) प्राप्त किया। इसने हार्ड समकक्षों की तुलना में काफी बेहतर प्रदर्शन किया, जो दर्शाता है कि डिफरेंशिएबल रिलैक्सेशन बेहतर अभिसरण (convergence) और कम लॉस की ओर ले जाता है।

B. टाइम सीरीज़ क्लस्टरिंग (Time Series Clustering)

लक्ष्य: इलास्टिक सेंट्रॉइड्स के साथ k-मीन्स का उपयोग करना।
तुलना: Soft-MBA बनाम Soft-DTW बैरिसेंटर (Soft-DBA), k-Shape, और यूक्लिडियन k-मीन्स।
परिणाम:
- Soft-MBA ने क्लस्टरिंग सटीकता (Clustering Accuracy) और एडजस्टेड रैंड इंडेक्स (ARI) दोनों में Soft-DBA की तुलना में काफी बेहतर प्रदर्शन किया।
- Soft-MBA, एक मौलिक रूप से भिन्न समानता माप का उपयोग करने के बावजूद, k-Shape (एक मजबूत बेसलाइन) के साथ प्रतिस्पर्धी रहा।
- Soft-MBA ने Soft-DBA की तुलना में स्मूथिंग पैरामीटर $\gamma$ के प्रति अधिक मजबूती (robustness) दिखाई।

C. नियरएस्ट-सेंट्रॉइड क्लासिफिकेशन (Nearest-Centroid Classification)

लक्ष्य: क्लास प्रोटोटाइप्स (बैरिसेंटर्स) से दूरी के आधार पर टाइम सीरीज़ को वर्गीकृत करना।
परिणाम: Soft-MBA प्रोटोटाइप्स का उपयोग करने वाले क्लासिफायर ने Soft-DBA प्रोटोटाइप्स का उपयोग करने वालों की तुलना में काफी उच्च सटीकता और बैलेंस्ड एक्यूरेसी प्राप्त की।
गुणात्मक विश्लेषण (Qualitative Analysis): CRICKETX डेटासेट पर, Soft-MBA ने अन्य विधियों द्वारा उत्पन्न शोर वाले प्रोटोटाइप की तुलना में अधिक स्मूथ और व्याख्या योग्य क्लास प्रोटोटाइप (स्पष्ट रूप से "सिक्स रन" सिग्नल कैप्चर करते हुए) बनाए।

5. महत्व और प्रभाव (Significance and Impact)

अंतराल को पाटना: Soft-MSM उच्च-प्रदर्शन वाली इलास्टिक दूरियों (जैसे MSM) और आधुनिक ग्रेडिएंट-आधारित डीप लर्निंग फ्रेमवर्क के बीच के अंतर को सफलतापूर्वक पाटता है।
Soft-DTW पर श्रेष्ठता: परिणाम बताते हैं कि कई टाइम सीरीज़ कार्यों के लिए, MSM, DTW की तुलना में एक बेहतर दूरी माप है, और इसे डिफरेंशिएबल बनाना केवल Soft-DTW का उपयोग करने की तुलना में बेहतर परिणाम देता है।
व्यापक प्रयोज्यता: यह विधि निम्नलिखित के लिए द्वार खोलती है:
- डीप टाइम सीरीज़ फोरकास्टिंग।
- डेटा ऑग्मेंटेशन के लिए जेनेरेटिव मॉडल।
- वीकली सुपरवाइज्ड अलाइनमेंट और सेगमेंटेशन।
- रिप्रेजेंटेशन लर्निंग (जैसे Series2Vec)।
इंडक्टिव बायस (Inductive Bias): यह "मूव, स्प्लिट और मर्ज" ऑपरेशन्स पर आधारित एक नया इंडक्टिव बायस प्रदान करता है, जो विशेष रूप से पीसवाइज-कांस्टेंट या इवेंट-ड्रिवन टाइम सीरीज़ डेटा के लिए उपयोगी है।

निष्कर्षतः, Soft-MSM टाइम सीरीज़ मशीन लर्निंग में एक महत्वपूर्ण प्रगति है, जो एक डिफरेंशिएबल, कॉन्टेक्स्ट-अवेयर इलास्टिक डिस्टेंस प्रदान करता है जो एवरेजिंग, क्लस्टरिंग और क्लासिफिकेशन कार्यों में मौजूदा Soft-DTW-आधारित दृष्टिकोणों से बेहतर प्रदर्शन करता है।