🤖 AI

Motif-Mamba: network motif improved mamba for long-range sequence modeling

Motif-Mamba एक संरचित स्टेट स्पेस मॉडल है जो रैखिक-समय दक्षता बनाए रखते हुए स्पष्ट क्रॉस-डायमेंशनल इंटरैक्शन को सुगम बनाने के लिए एक मोटिफ-प्रतिबंधित लो-रैंक रिकरेंट पाथवे को एकीकृत करके Mamba की दीर्घ-रेंज सीक्वेंस मॉडलिंग क्षमताओं को बढ़ाता है।

मूल लेखक: Chonghe Hao, Yue Sun, Jian Zhang, Yansong Wang, Wangzi Yao, Yunjie Yao, Tielin Zhang

प्रकाशित 2026-08-04

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chonghe Hao, Yue Sun, Jian Zhang, Yansong Wang, Wangzi Yao, Yunjie Yao, Tielin Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक-एक करके एक विशाल पुस्तकालय को पढ़ना सिखाने की कोशिश कर रहे हैं, या एक ऐसे सिम्फनी को सुनने की कोशिश कर रहे हैं जो कभी समाप्त नहीं होती। चुनौती केवल शब्दों या सुरों को याद रखने की नहीं है; बल्कि यह याद रखने की है कि कहानी की शुरुआत का अंत से कैसे संबंध है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे "लॉन्ग-रेंज सीक्वेंस मॉडलिंग" (long-range sequence modeling) कहा जाता है। लंबे समय तक, सबसे अच्छे रोबोट्स ने "सेल्फ-अटेंशन" (self-attention) नामक एक विधि का उपयोग किया, जो एक ऐसे लाइब्रेरियन की तरह काम करता है जो कनेक्शन खोजने के लिए एक साथ किताब के हर पन्ने को पढ़ता है। लेकिन जैसे-जैसे किताबें लंबी होती जाती हैं, यह लाइब्रेरियन अभिभूत हो जाता है, और काम करने में लगने वाला समय बहुत तेजी से बढ़ जाता है।

यहाँ एक नए, तेज़ प्रकार के रोबोटिक मस्तिष्क का प्रवेश होता है जिसे "मैम्बा" (Mamba) कहा जाता है। सब कुछ एक साथ पढ़ने के बजाय, मैम्बा एक पाइप के माध्यम से बहते पानी की धारा की तरह है। यह अतीत को याद रखता है और चरण-दर-चरण अपने ज्ञान को अपडेट करता है, जो अविश्वसनीय रूप से तेज़ और कुशल है। हालाँकि, इसमें एक पेच है: मैम्बा के आंतरिक पाइप ज्यादातर अलग-अलग होते हैं। सूचना का प्रत्येक हिस्सा अपने स्वयं के लेन में बहता है, और शायद ही कभी अपने पड़ोसियों से बात करता है। यह इसे गति के मामले में बेहतरीन बनाता है, लेकिन कभी-कभी यह थोड़ा अकेला महसूस करता है और जटिल पहेलियों को हल करने के लिए विभिन्न विचारों को प्रभावी ढंग से संयोजित करने में असमर्थ होता है। वैज्ञानिक सोच रहे थे: क्या हम मैम्बा को उसके आंतरिक हिस्सों को आपस में बात करने देकर, उसे धीमा किए बिना, तेज़ और स्मार्ट बना सकते हैं?

यहीं पर नया शोध पत्र, "मोटिफ-मैम्बा" (Motif-Mamba), एक चतुर समाधान के साथ आता है जो प्रकृति से प्रेरित है। शोधकर्ताओं ने "नेटवर्क मोटिफ्स" (network motifs) का अध्ययन किया, जो वास्तविक पशु मस्तिष्क के वायरिंग में पाए जाने वाले छोटे, बार-बार दोहराए जाने वाले "LEGO" पैटर्न की तरह हैं। ये छोटे पैटर्न बुनियादी निर्माण खंडों के रूप में कार्य करते हैं जो मस्तिष्क को स्थिर और लचीला बनाए रखने में मदद करते हैं। टीम ने महसूस किया कि मैम्बा में इन विशिष्ट पैटर्न की कमी थी। इसलिए, उन्होंने एक नया मैम्बा संस्करण बनाया जो उसके आंतरिक सूचना प्रवाह को इन विशिष्ट, प्रकृति-प्रेरित LEGO संरचनाओं के माध्यम से गुजरने के लिए मजबूर करता है।

इसका परिणाम एक मॉडल है जिसे "मोटिफ-मैम्बा" कहा जाता है। इसे मैम्बा के तेज़ संस्करण में एक विशेष "शॉर्टकट टनल" जोड़ने के रूप में समझें जो इसके विभिन्न आंतरिक लेन को जोड़ती है। यह टनल केवल एक यादृच्छिक छेद नहीं है; यह जैविक नेटवर्क में पाए जाने वाले एक विशिष्ट, स्थिर पैटर्न के आकार की है। यह सूचना को एक संरचित तरीके से मिश्रित और परस्पर क्रिया करने की अनुमति देता है, जैसे कि एक सुव्यवस्थित टीम द्वारा गेंद पास करना, न कि एक अराजक भीड़ की तरह। शोध पत्र दिखाता है कि यह छोटा सा बदलाव मॉडल को लंबी दूरी तक चीजों को बहुत बेहतर तरीके से याद रखने में मदद करता है, चाहे वह एक लंबी कहानी पढ़ रहा हो, एक तर्क पहेली सुलझा रहा हो, या यहाँ तक कि एक रोबोटिक हाथ को चलाने के लिए बंदर के मस्तिष्क से संकेतों को डिकोड कर रहा हो।

शोधकर्ताओं ने इस विचार का कई तरीकों से परीक्षण किया। सबसे पहले, उन्होंने मॉडल को एक "मेमोरी टेस्ट" दिया जहाँ उन्हें एक लंबी अनुक्रम (sequence) में बहुत पीछे से मिले संकेत को याद रखना था और उसका उपयोग वाक्य पूरा करने के लिए करना था। मानक मैम्बा की तुलना में मोटिफ-मैम्बा इसमें बहुत बेहतर था, विशेष रूप से जब अनुक्रम बहुत लंबे हो जाते थे। उन्होंने भाषा के मानक कार्यों पर भी परीक्षण किया, जैसे वाक्य पूरा करना या प्रश्न पूछना, और पाया कि यह विभिन्न आकारों में मूल मैम्बा से लगातार बेहतर प्रदर्शन करता है। अंत में, उन्होंने वास्तविक दुनिया के मस्तिष्क डेटा पर इसे आजमाया, और यह तंत्रिका संकेतों (neural signals) से गति की भविष्यवाणी करने में बेहतर काम कर गया।

महत्वपूर्ण रूप से, शोध पत्र सुझाव देता है कि जादू केवल कोई भी अतिरिक्त कनेक्शन जोड़ने में नहीं है; बल्कि यह सही प्रकार का कनेक्शन जोड़ने में है। जब उन्होंने एक यादृच्छिक, असंरचित टनल जोड़ने की कोशिश की, तो मॉडल में बहुत सुधार नहीं हुआ। लेकिन जब उन्होंने विशिष्ट "मोटिफ-2" पैटर्न (एक आकार जहाँ दो पथ एक में विलीन हो जाते हैं) का उपयोग किया, तो प्रदर्शन में उछाल आया। यह सुझाव देता है कि कनेक्शन का विशिष्ट आकार बहुत मायने रखता है, जो एक गाइड रेल की तरह कार्य करता है जो सूचना को उपयोगी दिशा में बहने में मदद करता है। लेखकों ने पाया कि यह दृष्टिकोण मॉडल को अधिक स्थिर बनाता है और बिना धीमा हुए या अधिक कंप्यूटर शक्ति का उपयोग किए दीर्घकालिक यादों को संभालने में बेहतर बनाता है। यह कुछ ऐसा है जैसे यह महसूस करना कि राजमार्ग प्रणाली को तेज़ बनाने के लिए आपको केवल अधिक लेन जोड़ने की आवश्यकता नहीं है; बल्कि आपको सही प्रकार के इंटरचेंज जोड़ने की आवश्यकता है जो यातायात को सुचारू रूप से विलय करने देते हैं।

तकनीकी सारांश: Motif-Mamba

समस्या विवरण

कुशल दीर्घ-अनुक्रम मॉडलिंग (long-sequence modeling) बड़े भाषा मॉडलों (LLMs) के लिए एक महत्वपूर्ण बाधा बनी हुई है। जबकि ट्रांसफॉर्मर आर्किटेक्चर ने प्राकृतिक भाषा प्रसंस्करण में प्रगति को प्रेरित किया है, इसकी सेल्फ-अटेंशन प्रक्रिया अनुक्रम लंबाई के सापेक्ष द्विघाती (quadratic) गणना और मेमोरी लागत उत्पन्न करती है, जो दस्तावेज़ समझ, कोड विश्लेषण और वैज्ञानिक टाइम-सीरीज़ मॉडलिंग जैसे दीर्घ-संदर्भ (long-context) कार्यों के लिए इसकी स्केलेबिलिटी को सीमित करती है।

स्टेट स्पेस मॉडल्स (SSMs), विशेष रूप से Mamba, चयनात्मक स्टेट स्पेस पुनरावृत्ति (selective state space recurrence) का उपयोग करके एक रैखिक-समय (linear-time) विकल्प प्रदान करते हैं। हालाँकि, Mamba का व्यावहारिक कार्यान्वयन कम्प्यूटेशनल दक्षता बनाए रखने के लिए विकर्ण (diagonal) या लगभग विकर्ण स्टेट ट्रांज़िशन मैट्रिसेस पर निर्भर करता है। यह डिज़ाइन स्टेट आयामों के बीच स्पष्ट अंतःक्रियाओं को प्रतिबंधित करता है, जिससे मॉडल की जटिल, उच्च-आयामी क्रॉस-डायमेंशनल डायनेमिक्स और दीर्घकालिक निर्भरताओं (long-range dependencies) को प्रदर्शित करने की क्षमता सीमित हो जाती है।

कार्यप्रणाली (Methodology)

यह शोध पत्र Motif-Mamba प्रस्तावित करता है, जो एक स्ट्रक्चर्ड स्टेट स्पेस मॉडल है जो Mamba को एक मोटिफ-प्रतिबंधित लो-रैंक रिकरेंट पाथवे (motif-constrained low-rank recurrent pathway) के साथ संवर्धित करता है। मुख्य कार्यप्रणाली में तीन प्रमुख घटक शामिल हैं:

1. लो-रैंक रिकरेंट कपलिंग (Low-Rank Recurrent Coupling)

मानक Mamba में क्रॉस-डायमेंशनल अंतःक्रिया की कमी को दूर करने के लिए, लेखक निरंतर-समय स्टेट स्पेस समीकरण में एक लो-रैंक रिकरेंट टर्म पेश करते हैं:
$\frac{dh(t)}{dt} = -Ah(t) + M_I M_J h(t) + B(t)x(t)$
यहाँ, $M_I \in \mathbb{R}^{n \times r}$ और $M_J \in \mathbb{R}^{r \times n}$ एडेप्टर मैट्रिसेस हैं जहाँ $n$ हिडन स्टेट डाइमेंशन है और $r \ll n$ लो-रैंक डाइमेंशन है। यह टर्म उच्च-आयामी हिडन स्टेट को एक संक्षिप्त लेटेंट स्पेस ( $z(t) = M_J h(t)$ ) में प्रोजेक्ट करता है, इस स्पेस के भीतर अंतःक्रिया करता है, और परिणाम को मूल स्टेट स्पेस में $M_I$ के माध्यम से वापस मैप करता है।

यह डिज़ाइन Mamba की रैखिक-समय जटिलता ($O(Ln) $) को सुरक्षित रखता है और$ O(Ln^2) $लागत वाले डेंस ट्रांज़िशन मैट्रिक्स के बजाय$ O(Lnr)$ जटिलता वाले क्रॉस-स्टेट इंटरेक्शन टर्म को जोड़ता है।

2. मोटिफ-प्रतिबंधित संरचनात्मक पूर्वधारणा (Motif-Constrained Structural Prior)

नेटवर्क मोटिफ्स (network motifs)—जटिल नेटवर्क में आवर्ती स्थानीय कनेक्टिविटी पैटर्न जो स्थिरता और लचीलेपन को नियंत्रित करते हैं—से प्रेरित होकर, लेखक लो-रैंक कपलिंग मैट्रिक्स $M = M_I M_J$ पर संरचनात्मक प्रतिबंध लागू करते हैं।

डिफरेंशिएबल रिलैक्सेशन (Differentiable Relaxation): चूंकि मोटिफ काउंटिंग में आमतौर पर डिस्क्रीट एडजेसेंसी मैट्रिसेस शामिल होते हैं, इसलिए लेखक एक डिफरेंशिएबल प्रॉक्सी $\tilde{M} \approx \sigma(\beta(M \odot M - \theta))$ का उपयोग करके एक निरंतर रिलैक्सेशन पेश करते हैं।
मोटिफ लॉस (Motif Loss): मॉडल एक स्ट्रक्चरल लॉस ( $L_{motif}$ ) को ऑप्टिमाइज़ करता है जो सीखे गए मोटिफ फ्रीक्वेंसी वेक्टर ( $m_M$ ) और एक लक्षित मोटिफ फ्रीक्वेंसी वेक्टर ( $m_{target}$ ) के बीच विचलन को कम करता है। इसे कोएफिशिएंट ऑफ डिटरमिनेशन ( $R^2$ ) का उपयोग करके मापा जाता है।
संयुक्त अनुकूलन (Joint Optimization): अंतिम प्रशिक्षण उद्देश्य टास्क लॉस ( $L_{task}$ ) को मोटिफ रेगुलराइजेशन के साथ जोड़ता है: $L = L_{task} + \lambda L_{motif}$ ।

3. सैद्धांतिक विश्लेषण (Theoretical Analysis)

शोध पत्र सिस्टम की गतिशीलता (dynamics) के संबंध में सैद्धांतिक गारंटी प्रदान करता है:

पुनर्निर्माण (Reconstruction): लेम्मा 2 यह प्रदर्शित करता है कि लेटेंट स्टेट्स $z_t$ का अनुक्रम, इनपुट हिस्ट्री और ट्रांज़िशन पैरामीटर्स के साथ मिलकर, उच्च-आयामी हिडन स्टेट प्रक्षेपवक्र (trajectory) को पूरी तरह से निर्धारित करता है।
फ्लो फील्ड्स (Flow Fields): लेखक लेटेंट स्पेस में एक प्रोजेक्टेड फ्लो फील्ड $v(z)$ को परिभाषित करते हैं ताकि यह विज़ुअलाइज़ किया जा सके कि मोटिफ प्रतिबंध सामूहिक स्टेट इवोल्यूशन को कैसे आकार देते हैं, जिससे हिडन स्टेट इवोल्यूशन एक अधिक संरचित "ग्रे-बॉक्स" डायनेमिकल प्रक्रिया में बदल जाता है।

मुख्य योगदान

Motif-Mamba आर्किटेक्चर: एक नवीन विस्तार जो दीर्घ-अनुक्रम मॉडलिंग दक्षता को बढ़ाने के लिए मोटिफ-प्रतिबंधित स्टेट डायनेमिक्स को एकीकृत करता है।
लो-रैंक रिकरेंट पाथवे: एक तंत्र जो Mamba में निर्देशित स्टेट इंटरैक्शन को शामिल करता है, जबकि रैखिक-समय जटिलता को बनाए रखता है, जिससे डेंस मैट्रिसेस के बिना संरचित क्रॉस-डायमेंशनल संचार संभव होता है।
नेटवर्क मोटिफ्स से स्ट्रक्चरल प्रायर्स: हिडन स्टेट इंटरैक्शन को निर्देशित करने के लिए नेटवर्क मोटिफ्स का उपयोग करना, जो अनकन्स्ट्रेंड लो-रैंक अडैप्टेशन से आगे जाता है।
व्यापक मूल्यांकन: सिंथेटिक एक्सट्रपलेशन, लैंग्वेज मॉडलिंग और ब्रेन-कंप्यूटर इंटरफेस (BCI) डिकोडिंग कार्यों में Mamba बैकबोन पर निरंतर सुधार प्रदर्शित करने वाले विस्तृत प्रयोग।

प्रयोगात्मक परिणाम

शोध पत्र तीन प्राथमिक डोमेन में Motif-Mamba का मूल्यांकन करता है:

लॉन्ग-सीक्वेंस एक्सट्रपलेशन: इंडक्शन हेड्स टास्क (सिंथेटिक एसोसिएटिव रिकॉल) पर, Motif-Mamba (विशेष रूप से Motif-2 कंस्ट्रेंड वेरिएंट) मानक Mamba, LSTM, Transformers और RWKV की तुलना में टेस्ट सीक्वेंस लेंथ बढ़ने (16,384 टोकन तक) के साथ मजबूत प्रदर्शन बनाए रखता है। यह दीर्घ संदर्भों में बेहतर मेमोरी प्रिजर्वेशन और रिट्रीवल का सुझाव देता है।
लैंग्वेज मॉडलिंग: lm-evaluation-harness का उपयोग करके मानक बेंचमार्क (LAMBADA, HellaSwag, PIQA, ARC, WinoGrande) पर मूल्यांकन। Motif-Mamba वेरिएंट (130M से 1.4B पैरामीटर्स) अपने संबंधित Mamba बेसलाइन की तुलना में पर्सप्लेक्सिटी और सटीकता दोनों में लगातार बेहतर प्रदर्शन करते हैं। उदाहरण के लिए, Motif-Mamba-1.4B 4.82 की पर्सप्लेक्सिटी और 60.8% की औसत सटीकता प्राप्त करता है, जो मानक Mamba-1.4B से बेहतर है।
BCI डिकोडिंग: JangoBCI डेटासेट (गैर-मानव प्राइमेट्स से न्यूरल सिग्नल) पर, Motif-Mamba Mamba, LSTM और Transformer बेसलाइन की तुलना में श्रेष्ठ डिकोडिंग प्रदर्शन प्राप्त करता है, जो गैर-टेक्स्ट अनुक्रमिक डेटा में दीर्घकालिक अस्थायी निर्भरताओं (temporal dependencies) को पकड़ने की इसकी क्षमता को दर्शाता है।
एब्लेशन स्टडीज (Ablation Studies):
- अनकन्स्ट्रेंड बनाम कंस्ट्रेंड: केवल एक अनकन्स्ट्रेंड लो-रैंक पाथवे जोड़ने (Motifblank-Mamba) से मानक Mamba की तुलना में नगण्य सुधार मिलता है। प्रदर्शन में लाभ विशेष रूप से मोटिफ-आधारित संरचनात्मक प्रतिबंधों के कारण है।
- मोटिफ प्रकार: परीक्षण किए गए प्रतिबंधों में से, Motif-2 (एक कन्वर्जेंट स्ट्रक्चर जिसमें रेसिप्रोकल एडजेस नहीं हैं) सबसे अच्छा प्रदर्शन करता है। Motif-12 (रेसिप्रोकल कनेक्शन और साइकल को शामिल करना) अधिक मजबूत रिकरेंट इंटरैक्शन प्रेरित करता है लेकिन थोड़ा कम प्रदर्शन करता है, जो यह सुझाव देता है कि सरल, अधिक स्थिर मोटिफ संरचनाएं इन कार्यों के लिए बेहतर हो सकती हैं।

महत्व और दावे

शोध पत्र का दावा है कि Motif-Mamba स्टेट स्पेस मॉडल्स की डायनेमिकल एक्सप्रेसिवनेस को बढ़ाने के लिए एक कुशल और संरचित दृष्टिकोण प्रदान करता है। मोटिफ-निर्देशित लो-रैंक डायनेमिक्स को एकीकृत करके, मॉडल रिकरेंट अपडेट को एक "ब्लैक-बॉक्स" प्रक्रिया से एक "ग्रे-बॉक्स" डायनेकल स्ट्रक्चर में बदल देता है जो अधिक व्याख्या योग्य और विश्लेषण योग्य है।

लेखक इस बात पर जोर देते हैं कि सुधार केवल बढ़े हुए पैरामीटर काउंट (जो कुल का <0.0012% है) या अतिरिक्त ट्रेनिंग टोकन के कारण नहीं हैं, बल्कि उस स्ट्रक्चरल प्रायर के कारण हैं जो नेटवर्क मोटिफ्स द्वारा लगाया गया है। यह दृष्टिकोण बताता है कि जैविक कनेक्टिविटी सिद्धांत (लोकल सर्किट ऑर्गनाइजेशन) अधिक प्रभावी आर्टिफिशियल सीक्वेंस मॉडल्स को प्रेरित कर सकते हैं, जो चयनात्मक स्टेट स्पेस मॉडल्स की कम्प्यूटेशनल दक्षता से समझौता किए बिना बेहतर हिडन रिप्रेजेंटेशन को व्यवस्थित करने और दीर्घकालिक निर्भरताओं को प्रबंधित करने का मार्ग प्रदान करते हैं।