🤖 machine learning

The Expressive Limits of Diagonal SSMs for State-Tracking

यह शोध पत्र यह स्थापित करता है कि स्टेट-ट्रैकिंग के लिए $k$ -लेयर डायगोनल कॉम्प्लेक्स-वैल्यूड स्टेट-स्पेस मॉडल्स (SSMs) की अभिव्यंजना शक्ति (expressivity) सटीक रूप से $k$ लंबाई वाली सबनॉर्मल सीरीज़ वाले सॉल्वेबल समूहों (solvable groups) तक सीमित है, जो गैर-एबेलियन समूहों के लिए एक मौलिक सैद्धांतिक बाधा और अभिव्यंजना शक्ति एवं सीखने की क्षमता (learnability) के बीच एक अनुभवजन्य अंतराल को प्रकट करता है।

मूल लेखक: Mehran Shakerinava, Behnoush Khavari, Siamak Ravanbakhsh, Sarath Chandar

प्रकाशित 2026-08-17

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mehran Shakerinava, Behnoush Khavari, Siamak Ravanbakhsh, Sarath Chandar

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को निर्देशों के एक सेट का पालन करना सिखाने की कोशिश कर रहे हैं जो उसके आंतरिक मूड या स्थिति को बदलते हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे "सीक्वेंस मॉडलिंग" (sequence modeling) कहा जाता है। रोबोट एक कहानी को एक बार में एक शब्द के रूप में पढ़ता है, और हर नए शब्द के साथ, वह अपनी समझ को अपडेट करता है कि कहानी किस दिशा में जा रही है। लंबे समय तक, सबसे प्रसिद्ध रोबोट (जिन्हें ट्रांसफॉर्मर कहा जाता है) इसमें माहिर थे, लेकिन वे कंप्यूटर पावर के बहुत भूखे भी थे। इसलिए, वैज्ञानिकों ने एक नया, अधिक कुशल प्रकार का रोबोट बनाया जिसे स्टेट-स्पेस मॉडल (State-Space Model) या SSM कहा जाता है। एक SSM को एक ऐसे रोबोट के रूप में सोचें जिसके पास एक छोटा, कुशल मेमोरी बैंक है जो कहानी पढ़ने के साथ ही खुद को तुरंत अपडेट कर लेता है, बजाय इसके कि वह हर बार पूरी कहानी को दोबारा पढ़े।

लेकिन पेच यह है: सिर्फ इसलिए कि एक रोबक कुशल है, इसका मतलब यह नहीं है कि वह सब कुछ करने के लिए पर्याप्त स्मार्ट है। कुछ कार्य सरल गणित (संख्याओं को जोड़ना) जैसे होते हैं, जबकि अन्य जटिल पहेलियों जैसे होते हैं जिनमें वस्तुओं को एक विशिष्ट क्रम में इधर-उधर बदलना शामिल होता है। गणित में, इन पहेलियों को अक्सर "ग्रुप्स" (groups) का उपयोग करके वर्णित किया जाता है, जो केवल चीजों के संयोजन या बदलने के लिए फैंसी नियम हैं। यदि नियम सरल और अनुमानित हैं (जैसे संख्याओं को जोड़ना), तो रोबोट उन्हें आसानी से संभाल सकता है। लेकिन यदि नियम अव्यवsted और क्रम-निर्भर हैं (जैसे तीन अलग-अलग रंगों की गेंदों को आपस में बदलना जहाँ लाल के बाद नीला बदलना, नीले के बाद लाल बदलने से अलग होता है), तो रोबोट भ्रमित हो सकता है। वैज्ञानिक जानना चाहते हैं कि इन कुशल रोबोटों की वास्तव में समझने की परम सीमा क्या है। क्या वे इन जटिल पहेलियों को हल करना सीख सकते हैं, या वे केवल सरल पहेलियों तक ही सीमित हैं?

यह शोध पत्र इसी प्रश्न की गहराई में जाता है और एक बहुत ही कुशल प्रकार के रोबोट का परीक्षण करता है जिसे "डायगोनल SSM" (Diagonal SSM) कहा जाता है। शोधकर्ता यह देखना चाहते थे कि क्या ये रोबोट जटिल अवस्था परिवर्तनों (state changes) को ट्रैक कर सकते हैं, विशेष रूप से वे जिनमें नॉन-अबेलियन ग्रुप्स (non-Abelian groups - यानी जटिल, क्रम-निर्भर पहेलियाँ) शामिल हैं। उन्होंने पाया कि एक कठिन गणितीय दीवार है: एक एकल-परत वाला डायगोनल रोबोट इन जटिल पहेलियों को हल करने में मौलिक रूप से असमर्थ है, चाहे आप कितनी भी कोशिश क्यों न करें। हालांकि, यदि आप इन रोबोटों की एक के ऊपर एक कई परतें (layers) रखते हैं, तो वे सैद्धांतिक रूप से उन्हें हल करने की शक्ति प्राप्त कर लेते हैं, लेकिन केवल तभी जब पहेली में एक विशिष्ट, स्तरित संरचना (जिसे "सोल्वेबल ग्रुप" कहा जाता है) हो।

यहाँ एक मोड़ है जो इस कहानी को दिलचस्प बनाता है: भले ही ये स्टैक्ड (एक के ऊपर एक रखे गए) रोबोट सिद्धांत रूप में इन पहेलियों को हल करने में सक्षम होने चाहिए, शोधकर्ताओं ने पाया कि व्यवहार में, वे अक्सर इसमें विफल रहते हैं। यह एक ऐसी कार के समान है जिसका इंजन पहाड़ पर चढ़ने के लिए पर्याप्त शक्तिशाली है, लेकिन ड्राइवर (ट्रेनिंग एल्गोरिदम) बार-बार गड्ढे में फंस जाता है और रास्ता नहीं ढूंढ पाता। यह शोध पत्र सिद्ध करता है कि शक्ति आर्किटेक्चर के भीतर मौजूद है, लेकिन मानक प्रशिक्षण विधियां इसे अनलॉक करने में संघर्ष करती हैं, विशेष रूप से अधिक जटिल, नॉन-अबेलियन कार्यों के लिए।

रोबोट का मेमोरी बैंक

इन "डायगोनल SSMs" के काम करने के तरीके को समझने के लिए, हमें पहले इन रोबोटों को देखना होगा। कल्पना कीजिए कि एक रोबोट के पास लाइट स्विच की एक पंक्ति है। जब वह एक नया शब्द पढ़ता है, तो वह एक सरल नियम के आधार पर इन स्विचों को बदल देता है। एक "डायगोनल" SSM में, एक स्विच को बदलने का नियम दूसरे स्विचों पर निर्भर नहीं करता है; प्रत्येक स्विच स्वतंत्र रूप से कार्य करता है। यह रोबोट को अविश्वसनीय रूप से तेज़ और प्रशिक्षित करने में आसान बनाता है, जैसे कि श्रमिकों की एक टीम जो एक-दूसरे से बात करने की आवश्यकता के बिना अपना काम स्वयं करती है।

शोधकर्ताओं ने इन रोबोटों का परीक्षण "स्टेट-ट्रैकिंग" नामक एक खेल पर किया। इस खेल में, रोबोट को कमांड का एक क्रम दिया जाता है (जैसे "लाल गेंद को घुमाएं," "नीली गेंद को घुमाएं") और उसे गेंदों की अंतिम व्यवस्था को याद रखना होता है। यदि कमांड सरल और कम्यूट (commute) करते हैं (यानी क्रम मायने नहीं रखता, जैसे 2 + 3 का 3 + 2 के समान होना), तो रोबोट इसमें माहिर है। लेकिन यदि कमांड कम्यूट नहीं करते हैं (जैसे जूते पहनने से पहले मोजे पहनना बनाम मोजे पहनने के बाद जूते पहनना), तो रोबोट के सामने एक कठिन चुनौती होती है।

सैद्धांतिक दीवार: एक परत बनाम कई परतें

शोध पत्र एक एकल-परत वाले रोबोट की क्षमता के बारे में एक मजबूत गणितीय प्रमाण के साथ शुरू होता है। लेखकों ने दिखाया कि एक एकल-परत वाला डायगोनल SSM मौलिक रूप से केवल "अबेलियन" (Abelian) पहेलियों को हल करने तक सीमित है—वे पहेलियाँ जहाँ संचालन का क्रम मायने नहीं रखता। चाहे आप रोबोट को कितना भी ट्यून करें, यदि इसमें केवल इन स्वतंत्र स्विचों की एक परत है, तो यह एक जटिल, नॉन-अबेलियन ग्रुप (जैसे तीन वस्तुओं का क्रम, जिसे $S_3$ कहा जाता है) की स्थिति को ट्रैक नहीं कर सकता है।

हालाँकि, जब परतों को एक के ऊपर एक रखा जाता है, तो कहानी और रोमांचक हो जाती है। लेखकों ने सिद्ध किया कि यदि आप इन डायगोनल रोबोटों की $k$ परतें लगाते हैं, तो टीम एक पहेली को तब हल कर सकती है जब पहेली को $k$ सरल, अबेलियन चरणों की एक श्रृंखला में तोड़ा जा सके। इसे एक रिले रेस की तरह समझें। यदि पहेली एक धावक के लिए बहुत जटिल है, तो आप बैटन दूसरे धावक को दे सकते हैं, जो इसे तीसरे को दे सकता है। जब तक पहेली को जटिलता के एक विशिष्ट संख्या में चरणों में विभाजित किया जा सकता है, उतने ही रोबोटों की टीम सैद्धांतिक रूप से इसे हल कर सकती है। इसका अर्थ है कि गहराई (अधिक परतें जोड़ना) जटिल बुद्धिमत्ता को अनलॉक करने की कुंजी है, लेकिन इसके साथ एक सख्त नियम आता है: आपको पहेली के "स्लाइस" (स्तरों) के बराबर ही परतें चाहिए।

सीखने का अंतर: सिद्धांत बनाम वास्तविकता

यहीं पर कहानी में मोड़ आता है। लेखकों ने केवल गणित तक ही सीमित नहीं रहे; उन्होंने इन रोबोटों को बनाया और उन्हें प्रशिक्षित करने का प्रयास किया। उन्होंने साधारण जोड़ (Abelian) और जटिल $S_3$ परम्यूटेशन पहेली (non-Abelian) सहित विभिन्न कार्यों पर सिंगल-लेयर और टू-लेयर मॉडल का परीक्षण किया।

परिणाम सफलता और निराशा का मिश्रण थे। सरल कार्यों के लिए, रोबोटों ने तेजी से सीखा और वे बहुत लंबे अनुक्रमों को संभाल सके। लेकिन जटिल $S_3$ कार्य के लिए, भले ही दो-परत वाला रोबोट इसे हल करने के लिए पर्याप्त शक्तिशाली होना चाहिए था (उनके गणित के अनुसार), वह ज्यादातर विफल रहा। रोबोट सही पैटर्न को नहीं सीख सका, हजारों प्रयासों के बाद भी।

शोधकर्ताओं ने पाया कि समस्या यह नहीं थी कि रोबोट यह कर नहीं सकता था; समाधान वास्तव में रोबोट के डिज़ाइन के भीतर मौजूद था। यह ऐसा था जैसे रोबोट घास के ढेर में सुई ढूंढ रहा हो, और मानक प्रशिक्षण विधि (ग्रेडिएंट डिसेंट) बार-बार सुई को मिस कर रही थी। एक प्रयोग में, उन्होंने रोबोट की "मदद" करने की कोशिश की और उसे सही उत्तर के बहुत करीब से शुरू किया। जब उन्होंने ऐसा किया, तो रोबोट ने अचानक कार्य को सीख लिया और उन अनुक्रमों को भी संभाल सका जो उसने पहले कभी नहीं देखे थे। यह सुझाव देता है कि समाधान वहां मौजूद है, रोबोट के "वेट स्पेस" (weight space) में छिपा हुआ है, लेकिन उस तक पहुँचने का रास्ता अत्यंत संकीकर और कठिन है जिसे मानक प्रशिक्षण के साथ नेविगेट करना मुश्किल है।

निष्कर्ष

शोध पत्र इस निष्कर्ष पर पहुँचता है कि हालांकि डायगोनल SSMs कुशल हैं और यदि आप पर्याप्त परतें जोड़ते हैं तो जटिल स्टेट-ट्रैकिंग समस्याओं को हल करने में सैद्धांतिक रूप से सक्षम हैं, फिर भी उनके द्वारा क्या किया जा सकता है और वे वास्तव में क्या सीखते हैं, इसके बीच एक बड़ा अंतर है। गणित कहता है कि एक दो-परत वाला रोबोट $S_3$ पहेली को हल कर सकता है, लेकिन व्यवहार में, यह अक्सर विफल हो जाता है। यह एआई अनुसंधान के लिए एक महत्वपूर्ण सबक है: सिर्फ इसलिए कि किसी मॉडल में स्मार्ट होने की क्षमता है, इसका मतलब यह नहीं है कि वह आसानी से स्मार्ट बन जाएगा। लेखक सुझाव देते हैं कि इस अंतर को पाटने के लिए, हमें शायद इन मॉडलों को प्रशिक्षित करने के तरीके को बदलने या शायद उनके आर्किटेक्चर में थोड़ा बदलाव करने (जैसे स्विचों के बीच थोड़ा अधिक संपर्क की अनुमति देना) की आवश्यकता है ताकि समाधान का मार्ग कम फिसलन भरा हो सके।

संक्षेप में, ये कुशल रोबोट उन प्रतिभाशाली छात्रों की तरह हैं जिनके पास कठिन समस्या को हल करने के लिए पाठ्यपुस्तक का ज्ञान तो है, लेकिन वे परीक्षा में विफल हो जाते हैं क्योंकि वे उस ज्ञान को लागू करना नहीं जानते। शोध पत्र स्पष्ट रूप से बताता है कि वे क्या करने में सक्षम हैं, लेकिन साथ ही यह चेतावनी भी देता है कि उन्हें वास्तव में प्रदर्शन करने के लिए तैयार करना गणित की तुलना में कहीं अधिक कठिन चुनौती है।

तकनीकी सारांश: डायगोनल SSMs की अभिव्यंजक सीमाएँ (The Expressive Limits of Diagonal SSMs for State-Tracking)

समस्या विवरण (Problem Statement)

स्टेट-स्पेस मॉडल्स (SSMs) लंबी दूरी के अनुक्रम मॉडलिंग (long-range sequence modeling) के लिए ट्रांसफॉर्मर्स के कुशल और समानांतर विकल्प के रूप में उभरे हैं। हालाँकि, उनकी सैद्धांतिक अभिव्यंजक शक्ति (theoretical expressive power) अभी भी कम समझी जाती है, विशेष रूप से स्टेट-ट्रैकिंग कार्यों (state-tracking tasks) के संबंध में। ये कार्य, जिनमें एक इनपुट अनुक्रम के आधार पर एक छिपी हुई अवस्था (hidden state) को बनाए रखना और अपडेट करना शामिल है (जैसे कि पैरिटी चेक, मॉड्यूलर जोड़, या परम्यूटेशन ट्रैकिंग), रेगुलर भाषाओं से निकटता से संबंधित हैं और कोड निष्पादन एवं प्रोग्राम विश्लेषण जैसे अनुप्रयोगों के लिए महत्वपूर्ण हैं।

जबकि ट्रांसफॉर्मर्स को कुछ स्टेट-ट्रैकिंग कार्यों (विशेष रूप से उन कार्यों में जो गैर-समाधान योग्य समूह संचालन/non-solvable group operations की मांग करते हैं) में संघर्ष करने के लिए जाना जाता है, SSMs को उनके रिकरेंट स्वभाव के कारण इन कार्यों में उत्कृष्ट होने के लिए परिकल्पित किया गया था। हालिया कार्यों ने दिखाया है कि मानक SSMs (समय-अपरिवर्तनीय और डायगोनल वेरिएंट सहित) पैरिटी जैसे सरल समाधान योग्य (solvable) कार्यों पर भी विफल रहते हैं। यह शोध विशेष रूप से इनपुट-डिपेंडेंट कॉम्प्लेक्स-वैल्यूड डायगोनल (DCD) SSMs की अनुक्रमिक स्टेट-ट्रैकिंग कार्यों पर अभिव्यंजक सीमाओं की जांच करता है, विशेष रूप से परिमित समूहों (finite groups) को ट्रैक करने की क्षमता पर ध्यान केंद्रित करते हुए। मुख्य प्रश्न यह है: एक k-लेयर DCD SSM सैद्धांतिक रूप से किन समूहों को प्रदर्शित कर सकता है, और क्या मानक शिक्षण एल्गोरिदम इन निरूपणों को विश्वसनीय रूप से खोज सकते हैं?

कार्यप्रणाली (Methodology)

लेखक समूह-सैद्धांतिक विश्लेषण (group-theoretic analysis) और अनुभवजन्य मूल्यांकन (empirical evaluation) के संयोजन का उपयोग करते हैं।

सैद्धांतिक ढांचा (Theoretical Framework)

मॉडल परिभाषा: अध्ययन DCD SSMs पर केंद्रित है, जहाँ ट्रांजिशन मैट्रिक्स $A(x_t)$ डायगोनल और कॉम्प्लेक्स-वैल्यूड है, और इनपुट $x_t$ पर निर्भर करता है। स्टेट अपडेट एक एफ़ाइन रिकरेंस (affine recurrence) का अनुसरण करता है: $h_t = A(x_t)h_{t-1} + b(x_t)$ ।
ग्रुप थ्योरी कनेक्शन: लेखक स्टेट-ट्रैकिंग कार्यों को परिमित समूहों के सिमुलेशन से मैप करते हैं। एक मॉडल एक समूह $G$ को ट्रैक करता है यदि वह समूह तत्वों के एक अनुक्रम के संचयी उत्पाद (cumulative product) की गणना कर सकता है।
सिंगल-लेयर विश्लेषण: लेखक सिद्ध करते हैं कि एक सिंगल-लेयर DCD SSM परिमित परिशुद्धता (finite precision) पर किसी भी गैर-एबेलियन (non-Abelian) समूह को ट्रैक नहीं कर सकता है। वे प्रदर्शित करते हैं कि इनपुट-डिपेंडेंट बायस टर्म $b(x_t)$ और एक डिकोडर के साथ भी, डायगोनल मैट्रिसेस की कम्यूटेटिव प्रकृति मॉडल को केवल एबेलियन समूहों तक ही सीमित रखती है।
मल्टी-लेयर विश्लेषण: पेपर इस विश्लेषण को $k$ $k$ -लेयर DCD SSMs तक विस्तारित करता है। वे एक आवश्यक और पर्याप्त स्थिति स्थापित करते हैं: एक $k$ $k$ -लेयर DCD SSM एक समूह $G$ $G$ को ट्रैक कर सकता है यदि और केवल यदि $G$ $G$ एक एबेलियन फैक्टर्स के साथ $k$ लंबाई की सबनॉर्मल सीरीज़ (subnormal series) को स्वीकार करता है।
- गणितीय रूप से, इसका अर्थ है $G = G_k \trianglerighteq G_{k-1} \trianglerighteq \dots \trianglerighteq G_1 \trianglerighteq \{e\}$ , जहाँ प्रत्येक भागफल (quotient) $G_{i+1}/G_i$ एबेलियन है।
- यह परिणाम $k$ -लेयर DCD SSMs की सटीक अभिव्यंजक सीमा को विशिष्ट संरचनात्मक गहराई वाले समाधान योग्य समूहों (solvable groups) के वर्ग के रूप में पहचानता है।
रचनात्मक प्रमाण (Constructive Proof): लेखक दो एबेलियन ऑटोमेटा ( $C_2$ और $C_3$ ) के कैस्केड में विघटित करके, सिमेट्रिक ग्रुप $S_3$ (सबसे छोटा गैर-एबेलियन समाधान योग्य समूह) को ट्रैक करने वाले 2-लेयर DCD SSM के लिए एक ठोस निर्माण प्रदान करते हैं।

अनुभवजन्य मूल्यांकन (Empirical Evaluation)

लेखक कई SSM आर्किटेक्चर (Mamba, Negative Mamba, AUSSM, और सरलीकृत AUSSM) और RNNs के सिंगल- और टू-लेयर वेरिएंट का मूल्यांकन करते हैं।

कार्य (Tasks): विभिन्न समूहों पर स्टेट-ट्रैकिंग, जिसमें एबेलियन समूह ( $C_2, C_6, C_{24}, C_{60}$ ), चक्रीय समूहों के उत्पाद ( $C_2 \times C_4, C_3 \times C_6$ ), और समाधान योग्य गैर-एबेलियन समूह ( $S_3, A_4$ ) शामिल हैं। गैर-समाधान योग्य समूह $A_5$ को एक कंट्रोल के रूप में शामिल किया गया है।
प्रोटोकॉल: मॉडल को करिकुलम लर्निंग का उपयोग करके 60 की लंबाई तक के अनुक्रमों पर प्रशिक्षित किया जाता है और 1000 तक की लंबाई के अनुक्रमों पर सामान्यीकरण (generalization) के लिए परीक्षण किया जाता है।

प्रमुख योगदान (Key Contributions)

सैद्धांतिक लक्षण वर्णन (Theoretical Characterization): यह पेपर डायगोनल SSMs की अभिव्यंजक शक्ति का पहला सटीक लक्षण वर्णन प्रदान करता है। यह सिद्ध करता है कि:
- सिंगल-लेयर DCD SSMs एबेलियन समूहों तक सीमित हैं।
- $k$ -लेयर DCD SSMs $k$ लंबाई की सबनॉर्मल सीरीज़ वाले समाधान योग्य समूहों तक सीमित हैं।
- यह डायगोनल बाधा के भीतर गैर-एबेलियन गतिकी (dynamics) को मॉडल करने के लिए एक सख्त सैद्धांतिक लाभ स्थापित करता है।
लर्नेबिलिटी गैप की पहचान (Identification of the Learnability Gap): जबकि सिद्धांत यह सिद्ध करता है कि 2-लेयर DCD SSMs $S_3$ जैसे गैर-एबेलियन समूहों को ट्रैक करने में सक्षम हैं, अनुभवजन्य परिणाम दिखाते हैं कि मानक ग्रेडिएंट-आधारित अनुकूलन (optimization) इन समाधानों को सीखने में विफल रहता है। मॉडल $S_3$ और $A_4$ के लिए लंबे अनुक्रमों पर लगातार विफल होते हैं, बावजूद इसके कि उनके पास ऐसा करने की सैद्धांतिक क्षमता है।
इनिशियलाइजेशन अंतर्दृष्टि (Initialization Insight): लेखक प्रदर्शित करते हैं कि यदि मॉडल को विश्लेषणात्मक समाधान (जो उनके सैद्धांतिक निर्माण से प्राप्त हुआ है) के करीब इनिशियलाइज़ किया जाता है, तो यह सीखने और सामान्यीकरण करने में सक्षम होता है। यह सुझाव देता है कि विफलता वेट स्पेस में क्षमता की कमी के कारण नहीं है, बल्कि बिना मार्गदर्शन के इन विशिष्ट एनकोडिंग को खोजने में ऑप्टिमाइजेशन लैंडस्केप की कठिनाई के कारण है।

परिणाम (Results)

एबेलियन समूह (Abelian Groups): सिंगल-लेयर मॉडल (विशेष रूप से Negative Mamba और AUSSM) एबेलियन कार्यों (जैसे पैरिटी, मॉड्यूलर काउंटिंग) पर सफलतापूर्वक सीखते हैं और सामान्यीकरण करते हैं।
गैर-एबेलियन समाधान योग्य समूह (Non-Abelian Solvable Groups): मल्टी-लेयर मॉडल जो सैद्धांतिक रूप से $S_3$ और $A_4$ को ट्रैक करने में सक्षम हैं, व्यवहार में सामान्यीकरण करने में विफल रहते हैं। वे ट्रेनिंग लेंथ पर उच्च सटीकता प्राप्त करते हैं लेकिन लंबे टेस्ट सीक्वेंस पर विफल हो जाते हैं।
गैर-समाधान योग्य समूह (Non-Solvable Groups): जैसा कि अपेक्षित था, कोई भी मॉडल (मल्टी-लेयर DCD SSM सहित) गैर-समाधान योग्य समूह $A_5$ को नहीं सीख पाता है।
RNNs के साथ तुलना: RNNs, जिनके पास इन कार्यों के लिए कोई सैद्धांतिक अभिव्यंजक बाधा नहीं है, आम तौर पर सीखने और सामान्यीकरण करने में सफल होते हैं, जो यह दर्शाता है कि SSMs की विफलता उनके आर्किटेक्चरल प्रतिबंधों और ऑप्टिमाइजेशन डायनेमिक्स के विशिष्ट है, न कि केवल कार्य की कठिनाई के कारण।

महत्व और दावे (Significance and Claims)

यह पेपर डायगोनल SSMs में अभिव्यक्ति (expressivity) और सीखने की क्षमता (learnability) के बीच एक स्पष्ट अंतर स्थापित करने का दावा करता है।

अभिव्यक्ति (Expressivity): गहराई, डायगोनल SSMs की अभिव्यंजक शक्ति को एबेलियन से समाधान योग्य समूहों तक बढ़ाने के लिए एक अनुशासित, सैद्धांतिक रूप से प्रमाणित मार्ग प्रदान करती है। लेखक समूह सिद्धांत का उपयोग करके इस क्षमता की सटीक सीमा को परिभाषित करते हैं।
सीखने की क्षमता (Learnability): लेखक तर्क देते हैं कि हालांकि इन मॉडलों में जटिल स्टेट-ट्रैकिंग कार्यों को हल करने की सैद्धांतिक क्षमता है, फिर भी मानक प्रशिक्षण एल्गोरिदम आवश्यक वेट कॉन्फ़िगरेशन को खोजने में संघर्ष करते हैं। यह सुझाव देता है कि डायगोनलिटी का "इंडक्टिव बायस", हालांकि कुशल है, सक्रिय रूप से गैर-एबेलियन संरचनाओं की खोज में बाधा डाल सकता है।
निहितार्थ (Implications): यह कार्य सुझाव देता है कि केवल डायगोनल लेयर्स को स्टैक करना बेहतर ऑप्टिमाइजेशन रणनीतियों या आर्किटेक्चरल संशोधनों (जैसे ब्लॉक-डायगोनल स्ट्रक्चर) के बिना गैर-एबेलियन कार्यों पर विश्वसनीय प्रदर्शन के लिए पर्याप्त नहीं है। यह नए अनुक्रम आर्किटेक्चर का मूल्यांकन करते समय चिंताओं के पृथक्करण (separation of concerns) का आह्वान करता है: एक मॉडल की सैद्धांतिक क्षमता उसके व्यावहारिक उपयोग की गारंटी नहीं देती है।

लेखक निष्कर्ष निकालते हैं कि भविष्य की प्रगति के लिए न केवल अभिव्यंजक सीमा का विस्तार (जैसे, ब्लॉक-डायगोनल ट्रांजिशन के माध्यम से) करने की आवश्यकता है, बल्कि ऐसे प्रशिक्षण तरीकों को विकसित करने की भी आवश्यकता है जो उन समाधानों को विश्वसनीय रूप से खोजने के लिए सक्षम हों जो सिद्धांत में मौजूद हैं।