🤖 machine learning

Graph Mamba Operator: A Latent Simulator for Interacting Particle Systems

यह शोध पत्र ग्राफ माम्बा ऑपरेटर (GraMO) को प्रस्तुत करता है, जो एक लेटेंट-स्पेस सिम्युलेटर है जो मौजूदा विधियों की त्रुटि संचय और सीमित संदर्भ की समस्याओं को दूर करने के लिए एक एकल रैखिक पुनरावृत्ति (linear recurrence) में ग्राफ-आधारित स्थानिक अंतःक्रियाओं को स्टेट-स्पेस टेम्पोरल डायनेमिक्स के साथ अनूठे रूप से जोड़ता है, जिससे विविध इंटरैक्टिंग पार्टिकल सिस्टम्स में बेहतर लॉन्ग-होरिजन प्रेडिक्शन प्रदर्शन प्राप्त होता है।

मूल लेखक: Karn Tiwari, Niladri Dutta, N M Anoop Krishnan, Prathosh A P

प्रकाशित 2026-06-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Karn Tiwari, Niladri Dutta, N M Anoop Krishnan, Prathosh A P

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप पक्षियों के एक झुंड, नर्तकों के एक समूह, या उछलती हुई गेंदों के एक समूह की भविष्य की गति का अनुमान लगाने की कोशिश कर रहे हैं। यह एक कठिन काम है क्योंकि हर वस्तु एक साथ दो चीजों से प्रभावित होती है: अभी उनके पास कौन है (स्थानिक अंतःक्रिया/spatial interaction) और वे लंबे समय से कैसे चल रहे हैं (कालिक स्मृति/temporal memory)।

यह शोध पत्र एक नया AI टूल पेश करता है जिसे GraMO (ग्राफ मंबा ऑपरेटर) कहा जाता है, जो इन चलती हुई वस्तुओं के लिए एक "सुपर-सिम्युलेटर" के रूप में कार्य करता है। यह कैसे काम करता है, यहाँ सरल भाषा में समझाया गया है:

समस्या: गलतियों का "डोमिनो प्रभाव" (Domino Effect)

पिछले AI मॉडल भविष्य का अनुमान लगाने के लिए एक समय में एक कदम उठाने की कोशिश करते थे, जैसे कोई व्यक्ति शतरंज के खेल में अगली चाल का अनुमान लगा रहा हो।

दोष: यदि AI अगले एक सेकंड की भविष्यवाणी करने में एक छोटी सी गलती करता है, तो वह गलती अगले सेकंड में, और फिर उसके बाद वाले सेकंड में भी चली जाती है। जब तक यह 20 सेकंड आगे की भविष्यवाणी करने की कोशिश करता है, तब तक संचित त्रुटियों (accumulated errors) के कारण भविष्यवाणी पूरी तरह बिगड़ जाती है।
सीमा: पुराने मॉडल "स्थान" (कौन किससे टकरा रहा है) और "समय" (चीजें सेकंडों में कैसे चलती हैं) को दो अलग-अलग समस्याओं के रूप में देखते थे, जिन्हें एक के बाद एक हल किया जाता था। यह कार चलाने सीखने जैसा है जहाँ पहले आप एक घंटे तक स्टीयरिंग व्हील का अध्ययन करते हैं, फिर एक घंटे तक पेडल का, और कभी भी उन्हें एक साथ अभ्यास नहीं करते।

समाधान: GraMO (एक "जीवंत ब्लूप्रिंट")

GraMO इसे एक एकल, एकीकृत "जीवंत ब्लूप्रिंट" (जिसे लेटेंट स्टेट कहा जाता है) बनाकर हल करता है, जो सिस्टम के पूरे इतिहास को अपनी स्मृति में रखता है।

GraMO को एक-एक कदम करके अनुमान लगाने वाले व्यक्ति के रूप में नहीं, बल्कि एक कुशल कंडक्टर के रूप में देखें जो एक ऑर्केस्ट्रा का नेतृत्व कर रहा है:

ग्राफ (शीट म्यूजिक): नाम का "ग्राफ" हिस्सा बताता है कि AI कणों के बीच के संबंधों को जानता है (जैसे यह जानना कि कौन सा वायलिन वादक सेलिस्ट के बगल में है)। वह समझता है कि यदि एक हिलता है, तो पड़ोसी भी प्रतिक्रिया दे सकता है।
मंबा (स्मृति): "मंबा" भाग एक ऐसे AI प्रकार से आता है जो लंबी और सटीक स्मृति रखने के लिए जाना जाता है। यह शुरुआत को भूले बिना गति के पूरे इतिहास को याद रखता है।
जादुई ट्रिक (कपलिंग): शीट म्यूजिक को देखने के बाद मेमोरी को चेक करने के बजाय, GraMO इन दोनों को बिल्कुल एक ही समय में करता है। यह एक ही सुचारू गति में सिस्टम के "ब्लूपिंट" को अपडेट करता है।

यह कैसे काम करता है: "स्मार्ट स्पंज" की उपमा

कल्पना कीजिए कि सिस्टम की स्थिति एक स्मार्ट स्पंज है।

पुराने मॉडल: वे स्पंज को दबाते, उसके आकार का अनुमान लगाते, फिर से दबाते, फिर से अनुमान लगाते, और इसी तरह। हर बार जब वे स्पंज को दबाते, तो वे मूल आकार का थोड़ा हिस्सा खो देते थे (त्रुटि संचय/error accumulation)।
GraMO: यह स्पंज को एक एकल वस्तु के रूप में मानता है जो दो चीजों के आधार पर एक साथ आकार बदलती है:
1. पड़ोसियों का दबाव: यदि कोई पड़ोसी स्पंज को धक्का देता है, तो वह विकृत हो जाता है (ग्राफ अंतःक्रिया)।
2. समय का प्रवाह: स्पंज की एक आंतरिक लय होती है जो याद रखती है कि 10 सेकंड पहले इसे कैसे खींचा गया था (कालिक स्मृति)।

महत्वपूर्ण बात यह है कि स्पंज के विकृत होने के "नियम" इस बात पर निर्भर करते हैं कि अभी क्या हो रहा है। यदि कण धीरे चल रहे हैं, तो स्पंज धीरे से खिंचता है। यदि वे आपस में टकराते हैं (एक "रीजीम चेंज"), तो GraMO अराजकता को संभालने के लिए तुरंत अपने नियमों को कड़ा कर देता है। इसे इनपुट-डिपेंडेंट डायनेमिक्स कहा जाता है।

इन्होंने किस पर परीक्षण किया?

लेखकों ने इस "स्मार्ट स्पंज" का परीक्षण तीन बहुत अलग प्रकार के चलते हुए सिस्टमों पर किया:

N-बॉडी सिस्टम: आवेशित कणों, स्प्रिंग्स और गुरुत्वाकर्षण का अनुकरण करना (जैसे ग्रह या चुंबक)।
रोबोटिक्स: एक लचीली रस्सी और एक नरम, स्पंजी रोबोट को नियंत्रित करना जो पानी में चलता है।
मोशन कैप्चर: मानव चलने और दौड़ने की गतिविधियों की भविष्यवाणी करना।

परिणाम

प्रत्येक परीक्षण में, GraMO सबसे सटीक रहा।

दीर्घकालिक सटीकता: यह विशेष रूप से अन्य मॉडलों की तुलना में, जिनमें "भ्रमित करने वाली त्रुटियां" आती थीं, भविष्य की सटीक भविष्यवाणी करने में बहुत अच्छा था।
सामान्यीकरण (Generalization): यह 9 गांठों वाली रस्सी की गति की भविष्यवाणी कर सका, भले ही इसे केवल 5, 7, या 8 गांठों वाली रस्सियों पर प्रशिक्षित किया गया हो। इसने रस्सी के नियमों को सीखा, न कि केवल उस विशिष्ट रस्सी को जो उसने देखी थी।
दक्षता: यह कई जटिल मॉडलों की तुलना में प्रशिक्षित होने में तेज़ था जबकि अधिक सटीक भी था।

मुख्य निष्कर्ष

GraMO चलती हुई चीजों का अनुकरण करने के लिए कंप्यूटर को सिखाने का एक नया तरीका है। भविष्य का एक-एक कदम करके अनुमान लगाने और गलतियों से थक जाने के बजाय, यह एक एकल, विकसित होती स्मृति बनाता है जो यह समझती है कि कौन किससे टकरा रहा है और समय कैसे बीत रहा है। यह इसे जटिल गतिविधियों—जैसे नृत्य, उछलती गेंदें, या तैरते रोबोट—की बहुत उच्च सटीकता और स्थिरता के साथ भविष्यवाणी करने में सक्षम बनाता है।

तकनीकी सारांश: ग्राफ मंबा ऑपरेटर (GraMO)

समस्या विवरण

परस्पर क्रिया करने वाली गतिशील प्रणालियों (dynamical systems)—जैसे कि N-body सिस्टम, आर्टिकुलेटेड बॉडीज और विरूपणीय संरचनाओं (deformable structures)—को मॉडल करने के लिए स्थानिक अंतःक्रियाओं (spatial interactions) और दीर्घकालिक अस्थायी निर्भरताओं (long-range temporal dependencies) दोनों को कैप्चर करना आवश्यक है। मौजूदा दृष्टिकोण दो प्राथमिक सीमाओं का सामना करते हैं:

ऑटोरेग्रेसिव त्रुटि संचय (Autoregressive Error Accumulation): ग्राफ न्यूरल नेटवर्क (GNNs) आमतौर पर ऑटोरेग्रेसिव रोलआउट्स पर निर्भर करते हैं जहाँ स्थानिक और अस्थायी गतिकी को अलग-अलग माना जाता है। इससे लंबे समय के अनुमानों (horizons) में संचयी त्रुटियाँ (compounding errors) उत्पन्न होती हैं।
सीमित दायरा (Limited Scope): वर्तमान विधियाँ अक्सर स्थानीय अंतःक्रियाओं और लघु अस्थायी संदर्भों पर ध्यान केंद्रित करती हैं, जिससे मल्टी-हॉप निर्भरताओं और वैश्विक संरचनात्मक गतिकी को प्रभावी ढंग से कैप्चर करने में विफलता होती है।

जबकि स्टेट-स्पेस मॉडल (SSMs) रैखिक लागत के साथ दीर्घकालिक अस्थायी स्मृति के लिए एक तंत्र प्रदान करते हैं, उन्हें ग्राफ पर लागू करने के लिए अक्सर कृत्रिम अनुक्रमिक क्रमों (जैसे नोड सॉर्टिंग या रैंडम वॉक) को थोपना पड़ता है, जो कण अंतःक्रियाओं को नियंत्रित करने वाली अंतर्निहित टोपोलॉजी को बाधित करता है। इसके विपरीत, मानक SSMs इनपुट को एक असंरचित अनुक्रम के रूप में देखते हैं, जिससे भौतिक प्रणालियों के लिए आवश्यक ग्राफ संरचना की अनदेखी होती है।

कार्यप्रणाली: ग्राफ मंबा ऑपरेटर (GraMO)

लेखक GraMO का प्रस्ताव करते हैं, जो एक लेटेंट-स्पेस सिम्युलेटर है जो एकल पुनरावृत्ति (recurrence) के भीतर स्टेट-स्पेस मॉडल को ग्राफ-आधारित इंटरेक्शन लर्निंग के साथ एकीकृत करता है। पिछले कार्यों के विपरीत, जो नोड्स को अनुक्रमित करते हैं या स्थानिक और अस्थायी अपडेट को अलग-अलग चरणों में लागू करते हैं, GraMO ग्राफ प्रसार (graph propagation) और अस्थायी अवस्था विकास (temporal state evolution) को एक साथ जोड़ता है।

मुख्य सूत्र (Core Formulation)

GraMO एक लेटेंट स्टेट $H(t) \in \mathbb{R}^{V \times D \times N}$ पर कार्य करता है, जहाँ $V$ नोड्स की संख्या है, $D$ फीचर डायमेंशन है, और $N$ मेमोरी डायमेंशन है। निरंतर-समय गतिकी (continuous-time dynamics) को इस प्रकार परिभाषित किया गया है:
$\frac{dH(t)}{dt} = A \odot (\tilde{L} H(t) W_s) + B(t) \odot X(t)$
जहाँ:

$\tilde{L}$ सेल्फ-लूप्स के साथ सामान्यीकृत एडजेसेंसी मैट्रिक्स (normalized adjacency matrix) है, जो स्थानिक जानकारी प्रसारित करने के लिए नोड डायमेंशन पर कार्य करता है।
$W_s$ स्टेट डायमेंशन पर कार्य करने वाला एक सीख योग्य (learnable) स्थानिक मिक्सिंग मैट्रिक्स है।
$A$ स्थिर अस्थायी अवस्था क्षय (stable temporal state decay) को नियंत्रित करता है (HiPPO के माध्यम से इनिशियलाइज़ किया गया)।
$B(t)$ एक इनपुट-डिपेंडेंट प्रोजेक्शन है जो वर्तमान अवलोकनों $X(t)$ को लेटेंट स्टेट में इंजेक्ट करता है।
आउटपुट एक कॉन्ट्रैक्शन $Y(t) = H(t) \cdot C(t)$ के माध्यम से प्राप्त किया जाता है।

प्रमुख आर्किटेक्चरल विशेषताएं

संयुक्त पुनरावृत्ति (Joint Recurrence): प्रत्येक चरण में अपडेट लेटेंट स्टेट $H(t)$ के लिए रैखिक है, लेकिन ऑपरेटर गुणांक ( $A, B, C, \Delta t$ ) इनपुट-डिपेंडेंट हैं। यह सिस्टम को विभिन्न व्यवस्थाओं (जैसे संपर्क, धीमा बहाव, तेज़ संक्रमण) के अनुकूल होने की अनुमति देता है बिना लेटेंट स्टेट को रीसेट किए, जिससे उन त्रुटियों से बचा जा सकता है जो ऑटोरेग्रेसिव प्रेडिक्टर्स में विशिष्ट होती हैं।
विविक्तकरण (Discretization): मॉडल एक सीख योग्य टाइमस्टेप $\Delta t$ के साथ ज़ीरो-ऑर्डर होल्ड (ZOH) विविक्तकरण का उपयोग करता है। अपडेट नियम बनता है:
$H_{t+1} = \bar{A}_t \odot (\tilde{L} H_t W_s) + \bar{B}_t \odot X_t$
यह संरचना स्टेट-स्पेस मॉडल को ग्राफ लैपलेसियन ऑपरेटर्स के साथ एकीकृत करती है, जिससे एक निरंतर-समय लेटेंट डायनामिकल सिस्टम के भीतर सिद्धांतपूर्ण संदेश पासिंग (message passing) सक्षम होती है।
सेलेक्टिविटी मैकेनिज्म (Selectivity Mechanism): पैरामीटर्स $B_t, C_t,$ और $\Delta t$ को एक ग्राफ न्यूरल नेटवर्क के माध्यम से इनपुट $X_t$ से गतिशील रूप से उत्पन्न किया जाता है। यह कंटेंट-अवेयर गेटिंग (यह चुनने के लिए कि कौन सी इनपुट जानकारी स्टेट में प्रवेश करती है) और नॉन-स्टेशनरी अडैप्टेशन (वर्तमान ग्राफ स्टेट के आधार पर अस्थायी गतिकी को मॉड्युलेट करने) को सक्षम बनाता है।
द्विदिश प्रसंस्करण (Bidirectional Processing): आर्किटेक्चर एक द्विदिश SSM फॉर्मूलेशन का उपयोग करता है, जो समृद्ध प्रक्षेपवक्र संदर्भ (trajectory context) को कैप्चर करने के लिए फॉरवर्ड और बैकवर्ड दोनों दिशाओं में ग्राफ-कपल्ड अपडेट लागू करता है।

सैद्धांतिक गुण

पेपर स्थापित करता है कि GraMO इनपुट-डिपेंडेंट गुणांकों के साथ एक ग्राफ ऑटोरेग्रेसिव मूविंग-एवरेज (ARMA) प्रतिनिधित्व को स्वीकार करता है। सैद्धांतिक विश्लेषण पुष्टि करता है:

स्थिरता (Stability): पुनरावृत्ति सामान्यीकृत लैपलेसियन के बाउंडेड स्पेक्ट्रम और HiPPO-इनिशियलाइज़्ड टेम्पोरल ऑपरेटर के कारण स्थिर दीर्घकालिक सूचना प्रवाह सुनिश्चित करती है।
लेटेंट स्पेस में रैखिकता (Linearity in Latent Space): अपडेट लिफ्टेड लेटेंट स्टेट में रैखिक रहता है, जो इस पद्धति को समय-परिवर्तित कोपमान (Koopman) गतिकी से जोड़ता है जहाँ ऑपरेटर वर्तमान ग्राफ स्टेट के अनुकूल होता है।

प्रयोगात्मक परिणाम

GraMO का मूल्यांकन तीन विशिष्ट डोमेन पर किया गया: N-body सिमुलेशन, रोबोटिक्स, और मोशन कैप्चर।

बेंचमार्क

N-Body सिस्टम: चार्ज्ड पार्टिकल्स, स्प्रिंग डायनेमिक्स, और ग्रेविटेशनल सिस्टम।
रोबोटिक्स: रोप कंट्रोल, सॉफ्ट रोबोट मैनिपुलेशन, और स्विमिंग सॉफ्ट रोबोट।
मोशन कैप्चर: CMU डेटासेट (Walk और Run सीक्वेंस)।

प्रदर्शन

GraMO ने सभी बेंचमार्क और मेट्रिक्स (औसत मीन स्क्वेर्ड एरर - AMSE, और फाइनल मीन स्क्वेर्ड एरर - FMSE) में सबसे कम त्रुटि प्राप्त की, और ST-GNN, SE(3)-Transformers, Koopman-आधारित विधियों, और GraphMamba सहित मजबूत बेसलाइन्स को पीछे छोड़ दिया।

N-Body: ग्रेविटी सिस्टम पर, GraMO ने FMSE को 6.020 (GeoTDM) से घटाकर 3.720 कर दिया। स्प्रिंग डायनेमिक्स पर, इसने FMSE को 0.063 (ESTAG) से घटाकर 0.024 कर दिया।
रोबोटिक्स: रोप डेटासेट पर, GraMO ने FMSE को 0.5380 (GeoTDM) से सुधार कर 0.4120 कर दिया।
मोशन कैप्चर: GraMO ने रन सीक्वेंस पर औसत FMSE को 0.508 (NS-EGNN) से घटाकर 0.161 कर दिया, जो 67.3% सापेक्ष त्रुटि कमी का प्रतिनिधित्व करता है।

एब्लेशन अध्ययन (Ablation Studies)

एब्लेशन प्रयोगों ने प्रत्येक घटक की आवश्यकता की पुष्टि की:

टेम्पोरल मॉडलिंग को हटाने से सबसे बड़ी प्रदर्शन गिरावट हुई।
द्विदिश SSM को हटाने से प्रदर्शन प्रभावित हुआ, विशेष रूप से मोशन फोरकास्टिंग में।
इनपुट-डिपेंडेंट सेलेक्टिविटी (पैरामीटर्स को फिक्स्ड बनाना) को हटाने से त्रुटि काफी बढ़ गई, जो अनुकूलन योग्य गतिकी की आवश्यकता को उजागर करती है।
HiPPO इनिशियलाइजेशन को बदलने से दीर्घकालिक स्मृति क्षमताओं में गिरावट आई।

सामान्यीकरण और दक्षता

ज़ीरो-शॉट जनरलाइजेशन: GraMO ने अनदेखे सिस्टम साइज तक सामान्य करने की क्षमता प्रदर्शित की (उदाहरण के लिए, $N \in \{5, 7, 8\}$ पार्टिकल्स पर प्रशिक्षण और $N=9$ पर परीक्षण), जो कंपोजिशनल कोपमान ऑपरेटर्स से बेहतर है।
दक्षता: जबकि सरल इक्विवेरिएंट मॉडल तेजी से प्रशिक्षित होते हैं, वे कम प्रेडिक्टिव प्रदर्शन दिखाते हैं। GraMO एक अनुकूल व्यापार-बंद (favorable trade-off) प्रदान करता है, जो प्रतिस्पर्धी प्रशिक्षण समय के साथ जटिल बेसलाइन्स जैसे EqMotion और SE(3)-Transformer की तुलना में कम FMSE प्राप्त करता है।

महत्व और दावे

लेखक दावा करते हैं कि GraMO ग्राफ-आधारित इंटरेक्शन लर्निंग को स्टेट-स्पेस इवोल्यूशन के साथ एकीकृत करके जटिल स्पैटियो-टेम्पोरल गतिकी को सीखने के लिए एक सिद्धांतपूर्ण ढांचा (principled framework) प्रदान करता है। मुख्य दावे शामिल हैं:

कपलिंग मैकेनिज्म: यह एकल पुनरावृति के भीतर ग्राफ प्रसार और टेम्पोरल स्टेट अपडेट को जोड़ने वाला पहला लेटेंट सिम्युलेटर है, जो स्थानिक अंतःक्रियाओं और अस्थायी स्मृति को संयुक्त रूप से विकसित होने की अनुमति देता है।
त्रुटि शमन (Error Mitigation): ऑब्जर्वेशन स्पेस में पुनरावर्ती रूप से भविष्यवाणी करने के बजाय एक निरंतर लेटेंट स्टेट को विकसित करके, GraMO ऑटोरेग्रेसिव रोलआउट की विशेषता वाली त्रुटि संचय से बचता है, जिससे बेहतर दीर्घकालिक भविष्यवाणी संभव होती है।
टोपोलॉजी संरक्षण: नोड्स को क्रमबद्ध करने वाले दृष्टिकोणों (जैसे GraphMamba) के विपरीत, GraMO लैपलेसियन-आधारित प्रसार के माध्यम से अंतर्निहित इंटरेक्शन टोपोलॉजी को संरक्षित करता है, जो परस्पर क्रिया करने वाले कणों की गतिकी को मॉडल करने के लिए महत्वपूर्ण है।
अनुकूलन क्षमता: इनपुट-डिपेंडेंट गुणांक मॉडल को शासन-परिवर्तन (regime-switching) प्रणालियों (जैसे संपर्क बनाम मुक्त उड़ान) को प्रभावी ढंग से संभालने की अनुमति देते हैं।

पेपर निष्कर्ष निकालता है कि हालांकि GraMO बार-बार होने वाले ग्राफ-स्टेट इंटरेक्शन के कारण ग्राफ आकार के साथ स्केल करता है, फिर भी यह परस्पर क्रिया करने वाले कण प्रणालियों को मॉडल करने में एक महत्वपूर्ण कदम है, जिसमें भविष्य के कार्य स्केलेबिलिटी में सुधार के लिए ग्राफ स्पारसिफिकेशन (graph sparsification) की खोज कर सकते हैं।