🤖 machine learning

Oscillators Are All You Need: Irregular Time Series Modelling via Damped Harmonic Oscillators with Closed-Form Solutions

यह शोधपत्र एक नवीन टाइम सीरीज़ मॉडलिंग दृष्टिकोण प्रस्तुत करता है जो ट्रांसफॉर्मर्स में गणनात्मक रूप से महंगे न्यूरल ओडीई (Neural ODEs) को एक क्लोज्ड-फॉर्म डैम्प्ड हार्मोनिक ऑसिलेटर फ्रेमवर्क से प्रतिस्थापित करता है, जिससे अटेंशन को एक रेजोनेंस घटना के रूप में मानकर अनियमित टाइम सीरीज़ का कुशल, स्केलेबल और सैद्धांतिक रूप से सुदृढ़ प्रबंधन सक्षम होता है।

मूल लेखक: Yashas Shende, Aritra Das, Reva Laxmi Chauhan, Arghya Pathak, Debayan Gupta

प्रकाशित 2026-05-13

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yashas Shende, Aritra Das, Reva Laxmi Chauhan, Arghya Pathak, Debayan Gupta

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

OSCILLATORS ARE ALL YOU NEED का स्पष्टीकरण

बड़ी समस्या: समय अव्यवस्थित है

कल्पना कीजिए कि आप एक कंप्यूटर को एक कहानी समझना सिखाने की कोशिश कर रहे हैं, लेकिन कहानी एक व्यवस्थित, नियमित लय में नहीं सुनाई जा रही है। कभी कथावाचक हर सेकंड बोलता है; कभी वह पाँच मिनट के लिए रुक जाता है; कभी वह एक लंबी चुप्पी के बाद अचानक चिल्लाकर एक शब्द बोल देता है।

अधिकांश आधुनिक AI मॉडल (जैसे ट्रांसफॉर्मर) सख्त कंडक्टरों की तरह हैं। वे उम्मीद करते हैं कि संगीत बिल्कुल समान बीट्स (1, 2, 3, 4) पर हो। जब डेटा अनियमित होता है—जैसे दिल की धड़कन, शेयर बाजार के व्यापार, या खगोल विज्ञान का डेटा—तो ये मॉडल भ्रमित हो जाते हैं। वे अनियमित डेटा को एक ग्रिड में जबरदस्ती फिट करने की कोशिश करते हैं, जिससे जानकारी का प्राकृतिक प्रवाह और निरंतरता बिगड़ जाती है।

पुराना समाधान: भारी कैलकुलेटर

इसे ठीक करने के लिए, पिछले शोधकर्ताओं ने "न्यूरल ऑर्डिनरी डिफरेंशियल इक्वेशंस" (NODEs) नामक विधि का उपयोग किया। इसे एक बहुत ही स्मार्ट, बहुत ही भारी कैलकुलेटर के रूप में सोचें। अगला बीट क्या होगा, इसका अनुमान लगाने के बजाय, यह गणितीय रूप से उस सटीक पथ की गणना करने की कोशिश करता है जो डेटा हर एक अनियमित क्षण के बीच लेता है।

हालांकि यह काम करता है, लेकिन यह अविश्वसनीय रूप से धीमा और गणनात्मक रूप से महंगा है। यह एक फेरारी को शहर के बीच से चलाने जैसा है, जहाँ सड़क के हर एक उभार की भौतिकी (physics) की वास्तविक समय में गणना करनी पड़ती है। इंजन (कंप्यूटर) गर्म हो जाता है, और प्रक्रिया बहुत लंबी खिंच जाती है।

नया विचार: झूला (OsciFormer)

इस शोध के लेखकों ने पूछा: "क्या होगा अगर हम चरण-दर-चरण पथ की गणना करने के बजाय एक ऐसे भौतिक सिस्टम का उपयोग करें जो स्वाभाविक रूप से समय को संभाल सके?"

उन्होंने भारी कैलकुलेटर को एक डैम्प्ड हार्मोनिक ऑसिलेटर (Damped Harmonic Oscillator) से बदल दिया।

उपमा (Analogy):
एक बच्चे के झूले की कल्पना करें।

झूला: यह डेटा की छिपी हुई अवस्था (hidden state) का प्रतिनिधित्व करता है।
धक्का (The Push): यह अनियमित समय पर आने वाली नई जानकारी है।
घर्षण (Friction/Damping): यह झूले की स्वाभाविक प्रवृत्ति है कि यदि आप उसे धक्का नहीं देंगे, तो वह धीमा होकर रुक जाएगा।
अनुनाद (Resonance): यदि आप सही क्षण पर झूला झुलाते हैं (उसकी प्राकृतिक लय से मेल खाते हुए), तो वह बहुत ऊँचा जाता है। यदि आप गलत समय पर धक्का देते हैं, तो वह मुश्किल से हिलता है।

लेखकों ने OsciFormer नामक एक मॉडल बनाया जो हर डेटा के साथ एक झूले की तरह व्यवहार करता है।

कीज़ और वैल्यूज़ (झूले): जब डेटा आता है, तो वह एक विशिष्ट झूले को "धक्का" देता है। झूला केवल रुकता नहीं है; वह स्वाभाविक रूप से हिलता रहता है, धीमा होता है और अगली सूचना के आने तक झूमता रहता है। यह भारी कैलकुलेटर की आवश्यकता के बिना समय की निरंतरता को बनाए रखता है।
क्वेरी (सुनने वाला): मॉडल एक प्रश्न पूछता है ("Query")। यह सभी झूलों को सुनता है।
अटेंशन एक अनुनाद के रूप में (Attention as Resonance): एक सामान्य AI में, "अटेंशन" केवल एक गणितीय स्कोर है। OsciFormer में, अटेंशन अनुनाद (Resonance) है। यदि "क्वेरी" एक "की" (झूले) की आवृत्ति (frequency) के साथ कंपन करती है, तो वह झूला गूँज उठता है और उच्च अटेंशन स्कोर प्राप्त करता है। यदि वे तालमेल में नहीं हैं, तो झूला शांत रहता है।

यह गेम चेंजर क्यों है

इस दृष्टिकोण का जादू यह है कि झूलों का एक ज्ञात, सरल सूत्र (formula) होता है।

पुराना तरीका: झूले की किसी भी क्षण की स्थिति जानने के लिए, आपको हजारों छोटे चरणों का अनुकरण (simulate) करना पड़ता था (numerical solvers)।
नया तरीका: क्योंकि हम झूले की भौतिकी को जानते हैं, हम एक एकल, क्लोज्ड-फॉर्म समीकरण लिख सकते हैं जो हमें तुरंत बता देता है कि किसी भी समय झूला कहाँ है।

परिणाम:

गति: यह मॉडल कई गुना तेज़ है। पेपर का दावा है कि कुछ परिदृश्यों में यह 640 गुना तक तेज़ हो सकता है क्योंकि यह भारी चरण-दर-चरण गणनाओं को छोड़ देता है।
मेमोरी: यह बहुत कम कंप्यूटर मेमोरी का उपयोग करता है, जिससे यह क्रैश हुए बिना लंबे अनुक्रमों (sequences) को संभालने में सक्षम होता है (जो पुराने मॉडल के लिए कुछ डेटासेट पर संभव नहीं था)।
सटीकता: तेज़ होने के बावजूद, यह धीमे, भारी मॉडलों की तरह ही भविष्य की भविष्यवाणी करने में सक्षम है। यह कुछ मेडिकल और फाइनेंशियल बेंचमार्क पर उन्हें मात भी देता है।

उन्होंने क्या सिद्ध किया

लेखकों ने केवल यह अनुमान नहीं लगाया कि यह काम करेगा; उन्होंने गणितीय रूप से इसे सिद्ध किया।

यूनिवर्सल एप्रोक्सिमेशन (Universal Approximation): उन्होंने दिखाया कि इन झूलों का एक समूह किसी भी जटिल पैटर्न की नकल कर सकता है जिसे एक पारंपरिक मॉडल बना सकता है। यदि पुराना मॉडल यह कर सकता था, तो झूला मॉडल भी इसे कर सकता है—और वह भी अधिक तेज़ी से।
भौतिक समरूपता (Physical Symmetry): क्योंकि ये भौतिकी पर आधारित हैं, ये मॉडल स्वाभाविक रूप से स्थान और समय के नियमों का सम्मान करते हैं (जैसे कि मौसम का पैटर्न मानचित्र को घुमाने पर भी वैसा ही दिखता है)। यह इन्हें मौसम मॉडलिंग जैसी चीज़ों के लिए बेहतरीन बनाता है।

सारांश

पेपर कहता है: अनियमित समय वाले डेटा को एक कठोर ग्रिड में डालने की कोशिश करना बंद करें, और समय का अनुकरण करने के लिए भारी कैलकुलेटर का उपयोग करना बंद करें।

इसके बजाय, डेटा को खेल के मैदान के झूलों की तरह मानें। उन्हें टिप्पणियों (observations) के बीच स्वाभाविक रूप से झूलने दें। यह तय करने के लिए कि कौन सी जानकारी महत्वपूर्ण है, अनुनाद (resonance) की भौतिकी का उपयोग करें। यह आपको एक ऐसा मॉडल देता है जो अविश्वसनीय रूप से तेज़ है, कम मेमोरी का उपयोग करता है, और समय के प्राकृतिक प्रवाह को अतीत के धीमे, भारी दिग्गजों की तरह ही अच्छी तरह समझता है।

तकनीकी सारांश: ऑसिलेटर्स ही सब कुछ हैं (Oscillators Are All You Need)

समस्या विवरण

ट्रांसफॉर्मर्स ने अटेंशन मैकेनिज्म के माध्यम से दीर्घकालिक टेम्पोरल पैटर्न को कैप्चर करके टाइम सीरीज़ मॉडलिंग में उत्कृष्ट प्रदर्शन प्रदर्शित किया है। हालाँकि, मानक ट्रांसफॉर्मर्स समान समय अंतराल (uniform time intervals) मानकर चलते हैं, जो उन्हें अनियमित समय श्रृंखलाओं (irregular time series) के लिए अनुपयुक्त बनाता है, जो वित्त, स्वास्थ्य सेवा और खगोल विज्ञान जैसे डोमेन में आम हैं। जबकि न्यूरल ऑर्डिनरी डिफरेंशियल इक्वेशन्स (NODEs) छिपी हुई अवस्थाओं (hidden states) को निरंतर विकसित होने वाले प्रक्षेप पथों (trajectories) के रूप में मानकर अनियमित डेटा को प्रभावी ढंग से मॉडल करते हैं, वे एक महत्वपूर्ण कम्प्यूटेशनल बाधा से ग्रस्त हैं: इंटीग्रल्स को अनुमानित करने के लिए भारी न्यूमेरिकल सॉल्वर्स (जैसे RK4) पर निर्भरता। इसके परिणामस्वरूप उच्च कम्प्यूटेशनल लागत और मेमोरी ओवरहेड होता है, विशेष रूप से लंबी अनुक्रमों (sequences) के स्केल पर। हालांकि निरंतर RNNs के लिए क्लोज्ड-फॉर्म समाधान मौजूद हैं, वे दीर्घकालिक निर्भरताओं को कैप्चर करने के लिए अटेंशन मैकेनिज्म की दक्षता और अभिव्यंजकता (expressivity) के स्तर तक अभी तक नहीं पहुँच पाए हैं।

कार्यप्रणाली: ऑसिफॉर्मर (OsciFormer)

लेखक OsciFormer का प्रस्ताव करते हैं, जो एक नवीन आर्किटेक्चर है जो NODEs के संख्यात्मक एकीकरण (numerical integration) को एक भौतिक सादृश्य (physical analogy) से प्राप्त क्लोज्ड-फॉर्म समाधान से बदल देता है: रैखिक डैम्प्ड, ड्रिवन हार्मोनिक ऑसिलेटर (linear damped, driven harmonic oscillator)।

मुख्य तंत्र

कीज़ (Keys) और वैल्यूज़ (Values) के लिए ऑसिलेटर सादृश्य:
NODEs के माध्यम से मनमाने वेक्टर फील्ड्स सीखने के बजाय, मॉडल डैम्प्ड हार्मोनिक ऑसिलेटर्स का प्रतिनिधित्व करने वाले सेकंड-ऑर्डर साधारण अंतर समीकरणों (ODEs) का उपयोग करके कीज़ ( $k$ ) और वैल्यूज़ ( $v$ ) के विकास को नियंत्रित करता है:
$\ddot{x}(t) + 2\gamma \dot{x}(t) + \omega^2 x(t) = F(t)$
यहाँ, $\gamma$ (डैम्पिंग) और $\omega$ (प्राकृतिक आवृत्ति) सीखने योग्य पैरामीटर हैं, और $F(t)$ एक ड्राइविंग फोर्स है। यह सिस्टम किसी भी समय $t$ के लिए एक विश्लेषणात्मक, क्लोज्ड-फॉर्म समाधान प्रदान करता है, जिससे पुनरावृत्ति वाले न्यूमेरिकल सॉल्वर्स की आवश्यकता समाप्त हो जाती है।
अटेंशन एक रेजोनेंस (Resonance) के रूप में:
अटेंशन मैकेनिज्म को एक अनुनाद घटना (resonance phenomenon) के रूप में पुनर्व्याख्यायित किया गया है। क्वेरी $q(t)$ को एक साइनुसोइडल बेसिस (मोड्स का एक योग) में विस्तारित किया जाता है, जबकि कीज़ ड्रिवन ऑसिलेटर्स के रूप में विकसित होती हैं। अटेंशन स्कोर, जिसे क्वेरी और की के बीच समय-औसत आंतरिक उत्पाद (inner product) के रूप में परिभाषित किया गया है, स्पेक्ट्रल ओवरलैप का एक माप बन जाता है। जब क्वेरी की आवृत्ति की (frequency) की के प्राकृतिक आवृत्ति के साथ संरेखित होती है, तो रेजोनेंस होता है, जिससे उच्च अटेंशन वेट प्राप्त होते हैं।
क्लोज्ड-फॉर्म इंटीग्रेशन:
लेखक अटेंशन इंटीग्रल $\alpha_i(t) = \frac{1}{t-t_i} \int_{t_i}^t \langle q(\tau), k_i(\tau) \rangle d\tau$ के सटीक विश्लेषणात्मक व्यंजक निकालते हैं। समाधान निम्नानुसार विभाजित होता है:

होमोजेनियस योगदान (Homogeneous contributions): प्रारंभिक स्थितियों और डैम्पिंग व्यवस्था (अंडरडैम्प्ड, क्रिटिकली डैम्प्ड, ओवरडैम्प्ड) पर आधारित।
पार्टिकुलर (ड्रिवन) योगदान (Particular/driven contributions): ड्राइविंग फोर्स के लिए स्टेडी-स्टेट और ट्रांजिएंट समाधानों के माध्यम से प्राप्त।
इन इंटीग्रल्स को पूर्व-व्युत्पन्न कर्नेल फंक्शनों (जैसे, $I_{cc}, I_{cs}, I_{sc}, I_{ss}$ ) का उपयोग करके कंप्यूट किया जाता है, जिससे मॉडल इंटीग्रेशन अंतराल के सापेक्ष निरंतर समय में अटेंशन स्कोर का मूल्यांकन कर सकता है।

यूनिवर्सल एप्रोक्सिमेशन (Universal Approximation):
पेपर यह सिद्ध करता है कि ऐसे ऑसिलेटर्स का एक बैंक किसी भी डिस्क्रीट अटेंशन मैट्रिक्स को यूनिवर्सल रूप से अनुमानित (universally approximate) कर सकता है जो ContiFormer के कंटीन्यूअस कीज़ द्वारा संभव है। ट्रिगोनोमेट्रिक पॉलिनोमिअल्स (Fejér means के माध्यम से) में निरंतर की फंक्शन्स का विस्तार करके और इन पॉलिनोमिअल्स को ऑसिलेटर प्रारंभिक स्थितियों के साथ साकार करके, मॉडल मूल निरंतर-समय आर्किटेक्चर की अभिव्यंजकता को बनाए रखता है।

मुख्य योगदान

नवीन आर्किटेक्चर (OsciFormer): एक ट्रांसफॉर्मर वेरिएंट जो NODEs को रैखिक डैम्प्ड, ड्रिवन हार्मोनिक ऑसिलेटर्स से बदल देता है, जो निरंतर-समय अटेंशन के लिए एक क्लोज्ड-फॉर्म समाधान प्रदान करता है।
सैद्धांतिक गारंटी:

यूनिवर्सल एप्रोक्सिमेशन का प्रमाण: ऑसिलेटर-आधारित पैरामीट्राइजेशन किसी भी निरंतर अटेंशन मैट्रिक्स को कितनी भी सटीकता से अनुमानित कर सकता है।
यह प्रदर्शन कि कम डैम्पिंग सार्वभौमिकता (universality) से समझौता नहीं करती है।
E(3)-इक्विवैरिएंस (E(3)-equivariance) पर चर्चा, जो यह सुझाव देती है कि मॉडल भौतिक समरूपताओं (symmetries) को सुरक्षित रखता है जो स्पैटियो-टेम्पोरल कार्यों के लिए उपयोगी हैं।

कम्प्यूटेशनल दक्षता:

समय जटिलता (Time Complexity): न्यूमेरिकल सॉल्वर्स के प्रभावी $O(N^2 S d^2)$ लागत को $O(N^2 J d)$ में कम करता है (जहाँ $S$ सॉल्वर स्टेप्स हैं और $J$ ऑसिलेटर मोड्स की संख्या है)।
मेमोरी: न्यूमेरिकल इंटीग्रेशन के लिए मध्यवर्ती अवस्थाओं (intermediate states) को स्टोर करने की आवश्यकता को समाप्त करता है, जिससे एक्टिवेशन मेमोरी $S$ के कारक से कम हो जाती है।
गति: ContiFormer की तुलना में काफी तेज़ ट्रेनिंग समय प्राप्त करता है।

प्रयोगात्मक परिणाम

लेखकों ने इवेंट प्रेडिक्शन, लॉन्ग-कॉन्टेक्स्ट क्लासिफिकेशन और क्लिनिकल फोरकास्टिंग सहित अनियमित टाइम सीरीज़ बेंचमार्क के एक व्यापक सेट पर OsciFormer का मूल्यांकन किया।

इवेंट प्रेडिक्शन: छह डेटासेट्स (Synthetic, Neonate, Traffic, MIMIC, StackOverflow, BookOrder) पर, OsciFormer ने सटीकता और लॉग-लाइक्लीहुड में ContiFormer की बराबरी की और काफी तेज़ रहा।
लॉन्ग-कॉन्टेक्स्ट क्लासिफिकेशन (UCR Archive): OsciFormer ने 64.5% की शीर्ष औसत सटीकता प्राप्त की, जिसने LRU, S5 और Mamba जैसे स्टेट-ऑफ-द-आर्ट मॉडल्स को पीछे छोड़ा या उनके बराबर प्रदर्शन किया। विशेष रूप से, MI डेटासेट पर, इसने 91.8% सटीकता प्राप्त की, जो प्रतिस्पर्धियों की तुलना में एक बड़ा अंतर है।
क्लिनिकल फोरकास्टिंग (HR बेंचमार्क): OsciFormer ने हार्ट रेट प्रेडिक्शन पर सबसे कम RMSE (2.56 ± 0.18) प्राप्त किया। इसके विपरीत, ContiFormer इस कार्य पर मेमोरी की कमी (OOM) के कारण विफल रहा, जो क्लोज्ड-फॉर्म दृष्टिकोण के स्केलेबिलिटी लाभ को उजागर करता है।
सिंथेटिक इर्रेगुलर सीक्वेंस: OsciFormer ने 99.83% सटीकता के साथ सबसे तेज़ प्रति-एपोक ट्रेनिंग समय (0.56 मिनट) प्राप्त किया।
एब्लेशन स्टडीज (Ablation Studies): प्रदर्शन कम संख्या में ऑसिलेटर मोड्स ( $J=8$ ) के साथ संतृप्त (saturated) हो गया, जो पुष्टि करता है कि उच्च अभिव्यंजकता के लिए अत्यधिक कम्प्यूटेशनल ओवरहेड की आवश्यकता नहीं है।

महत्व और दावे

पेपर का दावा है कि OsciFormer सफलतापूर्वक निरंतर-समय अटेंशन की अभिव्यंजकता और क्लोज्ड-फॉर्म समाधानों की दक्षता के बीच के अंतर को पाटता है। भौतिक सिद्धांतों (डैम्प्ड हार्मोनिक ऑसिलेटर्स) का लाभ उठाकर, लेखक प्रदर्शित करते हैं कि:

निरंतर ODE सॉल्वर्स की कम्प्यूटेशनल बाधा को मॉडलिंग शक्ति से समझौता किए बिना पूरी तरह से हटाया जा सकता है।
अटेंशन मैकेनिज्म को मौलिक रूप से एक भौतिक प्रणाली में रेजोनेंस डिटेक्टर के रूप में समझा और लागू किया जा सकता है।
यह दृष्टिकोण अनियमित टाइम सीरीज़ मॉडलिंग के लिए एक स्केलेबल, सैद्धांतिक रूप से ठोस विकल्प प्रदान करता है, जो उन कार्यों को संभालने में सक्षम है जहाँ पिछले निरंतर-समय ट्रांसफॉर्मर मेमोरी बाधाओं के कारण विफल रहे थे।

लेखक निष्कर्ष निकालते हैं कि यह ऑसिलेटर-आधारित दृष्टिकोण न केवल टाइम सीरीज़ मॉडलिंग को आगे बढ़ाता है, बल्कि LLMs में भौतिक सिद्धांतों को शामिल करने के लिए एक संभावित मार्ग भी प्रदान करता है ताकि यह मॉडल किया जा सके कि "अर्थ (meaning) कैसे विभिन्न सिमेंटिक आयामों में कंपन करता है", हालांकि यह वर्तमान प्रयोगात्मक परिणाम के बजाय भविष्य के अन्वेषण के लिए एक दिशा है।