🤖 machine learning

On the Expressiveness of State Space Models via Temporal Logics

यह शोध पत्र टेम्पोरल लॉजिक का उपयोग करके स्टेट स्पेस मॉडल्स (SSMs) की अभिव्यंजक शक्ति का विश्लेषण करता है, जो यह प्रकट करता है कि उनकी क्षमताएं गेटिंग मैकेनिज्म और अंकगणितीय सटीकता के आधार पर रेगुलर भाषाओं से लेकर नॉन-रेगुलर भाषाओं तक विस्तृत हैं, जबकि इन निष्कर्षों की ट्रांसफॉर्मर आर्किटेक्चर के साथ व्यवस्थित रूप से तुलना की गई है।

मूल लेखक: Eric Alsmann, Lowejatan Noori, Martin Lange

प्रकाशित 2026-01-28

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Eric Alsmann, Lowejatan Noori, Martin Lange

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कहानी पढ़ना और घटनाओं के क्रम को समझना सिखाने की कोशिश कर रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इस काम के लिए दो मुख्य प्रकार के "पाठक" (आर्किटेक्चर) आपस में प्रतिस्पर्धा कर रहे हैं: प्रसिद्ध ट्रांसफॉर्मर्स (जैसे जो वर्तमान चैटबॉट्स को शक्ति देते हैं) और उभरते हुए सितारे जिन्हें स्टेट स्पेस मॉडल्स (SSMs) कहा जाता है।

यह शोध पत्र SSMs की "बौद्धिक क्षमता" (brainpower) की एक सैद्धांतिक जांच है। लेखक यह नहीं पूछ रहे हैं कि ये मॉडल किसी विशिष्ट परीक्षण पर कितना अच्छा प्रदर्शन करते हैं; इसके बजाय, वे यह पूछ रहे हैं: "इन मॉडल्स के समझने की परम सीमा क्या है, चाहे हम उन्हें कितना भी प्रशिक्षित क्यों न कर लें?"

इसका उत्तर देने के लिए, वे एक विशेष "तर्क भाषा" (टेम्पोरल लॉजिक) का उपयोग मापने के पैमाने के रूप में करते हैं। यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है।

1. SSMs के दो मुख्य प्रकार

यह शोध पत्र SSMs को सूचना को संभालने के तरीके के आधार पर दो मुख्य स्वादों में विभाजित करता है:

डायगोनल-गेटेड SSMs (सख्त लेखाकार - The "Strict Accountants"): इन मॉडल्स में एक नियम होता है जहाँ उनके आंतरिक "गेट्स" (सूचना प्रवाह को नियंत्रित करने वाले स्विच) वर्तमान शब्द के आधार पर बदल सकते हैं, लेकिन उन्हें "डायगोनल" रहना चाहिए। इसे एक कैलकुलेटर की तरह समझें जहाँ आप जोड़ने वाले नंबर तो बदल सकते हैं, लेकिन आप कॉलम को आपस में मिला नहीं सकते।
टाइम-इनवेरिएंट SSMs (स्थिर घड़ियाँ - The "Steady Clocks"): इन मॉडल्स के गेट्स कभी नहीं बदलते, चाहे वे कौन सा शब्द पढ़ रहे हों। वे एक मेट्रोनोम या घड़ी की तरह हैं; वे कहानी के बावजूद एक ही दर से टिक-टिक करते हैं।

2. सटीकता की समस्या: रूलर बनाम टेप मेजर

लेखकों ने यह भी देखा कि इन मॉडल्स के भीतर की गणित कितनी "सटीक" है।

फिक्स्ड-प्रिसिजन (Fixed-Precision): कल्पना करें कि आप केवल 10 निशान वाले रूलर का उपयोग कर रहे हैं। कहानी कितनी भी लंबी क्यों न हो, आप उन निशानों से छोटा कुछ भी नहीं माप सकते। यह मानक कंप्यूटर गणित (फ्लोटिंग-पॉइंट) की तरह है।
लॉग-प्रिसिजन (Log-Precision): कल्पना करें कि आपके पास एक टेप मेजर है जो कहानी लंबी होने के साथ अपने आप लंबा और अधिक विस्तृत होता जाता है। यदि कहानी 100 शब्दों की है, तो आपके रूलर में 100 निशान होंगे; यदि यह 1,000 शब्दों की है, तो इसमें 1,000 निशान होंगे। यह बहुत सूक्ष्म गणना करने की अनुमति देता है।

3. वे वास्तव में क्या समझ सकते हैं?

"सख्त लेखाकार" (Diagonal SSMs)

एक साधारण रूलर के साथ (Fixed-Precision): वे घटनाओं के क्रम को समझने में अच्छे हैं। वे बता सकते हैं कि "A घटना B से पहले हुई" या "A हुआ, फिर B हुआ, फिर C हुआ।" हालाँकि, उनकी एक बड़ी कमजोरी है: वे चक्रों (cycles) में गिनती नहीं कर सकते।
- उपमा: यदि आप उनसे "a" की एक सम संख्या (जैसे aa, aaaa, aaaaaa) जैसे पैटर्न को पहचानने के लिए कहते हैं, तो वे विफल हो जाते हैं। क्योंकि उनका गणित मोनोटोनिक (यह केवल ऊपर जाता है या स्थिर रहता है) है, वे अंततः "फँस" जाते हैं और 2 'a' और 4 'a' के बीच अंतर नहीं कर पाते।
एक बढ़ते हुए टेप मेजर के साथ (Log-Precision): यदि आप उन्हें सटीक रूप से गिनने की क्षमता देते हैं, तो वे बहुत स्मार्ट हो जाते हैं। वे अब अतीत में कोई चीज़ कितनी बार हुई, इसकी सटीक गिनती कर सकते हैं। वे जटिल पैटर्न समझ सकते हैं जैसे "a की संख्या, b की संख्या और c की संख्या बराबर है।"

"स्थिर घड़ियाँ" (Time-Invariant SSMs)

एक साधारण रूलर के साथ: ये मॉडल्स जटिल "चूंकि" (since) संबंधों को ट्रैक करने में खराब हैं (जैसे, "पिछली बार जब हमने 'b' देखा था, तब से क्या हमने एक 'a' देखा है?")। हालाँकि, उनके पास एक सुपरपावर है: वे चक्रों में गिन सकते हैं।
- उपमा: क्योंकि उनका आंतरिक तंत्र एक निरंतर चक्र है, वे यह जानने में उत्कृष्ट हैं कि "क्या यह दूसरा, चौथा या छठा शब्द है?" वे आसानी से "a की सम संख्या" वाले पैटर्न को पहचान सकते हैं जिसमें सख्त लेखाकार विफल रहे थे।
एक बढ़ते हुए टेप मेजर के साथ: वे दोनों कर सकते हैं: चक्रों में गिनना और कुल संख्या गिनना।

"हाइब्रिड" (Mixed SSMs)

यदि आप दोनों प्रकार के लेयर्स (कुछ सख्त लेखाकार, कुछ स्थिर घड़ियाँ) को मिलाते हैं, तो आपको दोनों दुनियाओं का सर्वश्रेष्ठ मिलता है। वे क्रम, चक्र और गिनती को समझ सकते हैं। शोध पत्र दिखाता है कि ये हाइब्रिड मॉडल लगभग किसी भी "रेगुलर" पैटर्न को पहचान सकते हैं जिसे आप सोच सकते हैं, एक निश्चित जटिलता सीमा तक।

4. वे ट्रांसफॉर्मर्स की तुलना में कैसे हैं?

लेखकों ने अपने निष्कर्षों की तुलना ट्रांसफॉर्मर्स के बारे में जो हम पहले से जानते हैं उससे की:

डायगोनल SSMs (Fixed-Precision) मोटे तौर पर पोजीशनल क्यूज़ के बिना ट्रांसफॉर्मर्स (वे शब्दों का क्रम जानते हैं लेकिन उनकी सटीक स्थिति नहीं) के समान हैं।
Time-Invariant SSMs पोजीशनल एनकोडिंग के साथ ट्रांसफॉर्मर्स (वे जानते हैं कि वे वाक्य में कहाँ हैं) के समान हैं।
बड़ा अंतर: "ग्लोबल अटेंशन" वाले ट्रांसफॉर्मर्स (जैसे एवरेज हार्ड-अटेंशन प्रकार) चीज़ों को आगे और पीछे गिनने के लिए पूरी कहानी को एक साथ देख सकते हैं। SSMs, अपनी प्रकृति के कारण, केवल अतीत (जो उन्होंने पहले ही पढ़ लिया है) को देखते हैं। इसलिए, चीज़ों को बाद में होने वाली घटनाओं के संदर्भ में गिनने के मामले में SSMs उन्नत ट्रांसफॉर्मर्स की तुलना में स्पष्ट रूप से कम शक्तिशाली हैं।

5. "असंभव" कार्य

सबसे महत्वपूर्ण बात उन चीज़ों की सूची है जो ये मॉडल्स नहीं कर सकते, चाहे आप उन्हें कितना भी प्रशिक्षित क्यों न करें:

एक Fixed-Precision Diagonal SSM कभी भी दोहराई गई वस्तुओं की सम और विषम संख्या (जैसे aa बनाम aaa) के बीच अंतर करना नहीं सीख सकता। यह एक हार्ड आर्किटेक्चरल सीमा है, प्रशिक्षण की विफलता नहीं।
इस सीमा को तोड़ने के लिए, आपको या तो आर्किटेक्चर बदलना होगा (time-invariant लेयर्स जोड़ना) या गणित की सटीकता बढ़ानी होगी (बढ़ता हुआ टेप मेजर उपयोग करना)।

सारांश

इन मॉडल्स को अलग-अलग प्रकार के पुस्तकालयाध्यक्षों (librarians) के रूप में सोचें:

डायगोनल (फिक्स्ड): क्रम में किताब पढ़ने में अच्छे हैं, लेकिन विशिष्ट पैटर्न गिनने के लिए कहा जाने पर भ्रमित हो जाते हैं।
टाइम-इनवेरिएंट: पन्ने गिनने (सम/विषम) में अच्छे हैं, लेकिन जटिल "तब से" वाली कहानियों के साथ संघर्ष करते हैं।
हाइब्रिड: वह परम पुस्तकालयाध्यक्ष जो दोनों कर सकता है, लेकिन फिर भी वह अगले अध्याय को देखने और चीज़ों को गिनने में असमर्थ है।

यह शोध पत्र सिद्ध करता है कि ये सीमाएँ इनके आर्किटेक्चर के डीएनए में बनी हुई हैं। आप एक "Fixed-Precision Diagonal" पुस्तकालयाध्यक्ष को "गिनने वाला" पुस्तकालयाध्यक्ष बनने के लिए प्रशिक्षित नहीं कर सकते; आपको यह हासिल करने के लिए उन्हें बेहतर उपकरण (log-precision) या एक अलग मस्तिष्क संरचना (mixed layers) देना होगा।

तकनीकी सारांश: टेम्पोरल लॉजिक्स के माध्यम से स्टेट स्पेस मॉडल्स की अभिव्यंजक क्षमता पर

समस्या विवरण

स्टेट स्पेस मॉडल्स (SSMs) अनुक्रम मॉडलिंग (sequence modeling) के लिए ट्रांसफॉर्मर आर्किटेक्चर के एक प्रतिस्पर्धी विकल्प के रूप में उभरे हैं, विशेष रूप से लार्ज लैंग्वेज मॉडल्स में। हालाँकि, जबकि अनुभवजन्य प्रगति (empirical progress) तीव्र है, SSMs की अभिव्यंजक शक्ति (expressive power) के संबंध में सैद्धांतिक आधार ट्रांसफॉर्मर्स की तुलना में कम खोजा गया है। संबोधित मुख्य समस्या यह निर्धारित करना है कि विभिन्न SSM वेरिएंट्स किस प्रकार के भाषाओं और पैटर्न को सैद्धांतिक रूप से निरूपित कर सकते हैं, जो प्रशिक्षण गतिकी (training dynamics) से स्वतंत्र हो। विशेष रूप से, यह शोध पत्र जांचता है कि दो प्रमुख वास्तुशिल्प आयाम (architectural dimensions) अभिव्यक्तकता को कैसे प्रभावित करते हैं:

गेटिंग मैकेनिज्म (Gating Mechanisms): टाइम-इनवेरिएंट गेट्स (स्थिर मैट्रिसेस, जैसे S4), डायगोनल-गेटेड मैकेनिज्म (इनपुट-डिपेंडेंट डायगोनल मैट्रिसेस, जैसे S6), और आर्बिट्रेरी गेट्स के बीच का अंतर।
अरिथमेटिक प्रिसिजन (Arithmetic Precision): फिक्स्ड-विड्थ अरिथमेटिक (स्थिर बिट्स, जैसे मानक फ्लोटिंग-पॉइंट) और लॉग-प्रिसिजन अरिथमेटिक (इनपुट लंबाई के साथ लॉगरिदमिक रूप से स्केल होने वाली प्रिसिजन) के बीच का अंतर।

लेखक इन वेरिएंट्स को औपचारिक तर्क खंडों (formal logic fragments) और कॉम्प्लेक्सिटी क्लासेस के साथ मैप करने का लक्ष्य रखते हैं ताकि कठोर लोअर बाउंड्स स्थापित किए जा सकें और मौलिक वास्तुशिल्प बाधाओं की पहचान की जा सके।

कार्यप्रणाली

लेखक SSM अभिव्यक्तकता का विश्लेषण करने के लिए एक तार्किक और कॉम्प्लेक्सिटी-थ्योरेटिक फ्रेमवर्क का उपयोग करते हैं, जो हाल के ट्रांसफॉर्मर कार्यों (जैसे, स्ट्रोबल एट अल., 2024; यांग एट अल., 2024a) के अनुरूप है।

औपचारिक मॉडल: SSMs को उन परतों के रूप में औपचारिक रूप दिया गया है जो इनपुट अनुक्रमों को लीनियर रिकरेंस ( $h_t = \text{gate}(x_t) \cdot h_{t-1} + \text{inc}(x_t)$ ) के माध्यम से रूपांतरित करती हैं, जिसके बाद नॉन-लीनियर आउटपुट फंक्शन्स (ReLU-एक्टिवेटेड फीडफॉरवर्ड न्यूरल नेटवर्क के रूप में मॉडल किया गया) आते हैं।
लॉजिकल फ्रेमवर्क: विश्लेषण फाइनाइट ट्रेसेस पर लीनियर टेम्पोरल लॉजिक (LTLf), विशेष रूप से प्योर-पास्ट फ्रैगमेंट (PLTLf) का उपयोग करता है। यह लॉजिक काउंटिंग के बिना इवेंट ऑर्डरिंग पर आधारित गुणों को कैप्चर करता है।
- विस्तार: इस लॉजिक को मॉड्यूलर प्रेडिकेट्स (चक्रीय स्थितियों को ट्रैक करने के लिए) और बैकवर्ड-लुकिंग काउंटिंग ऑपरेटर्स ( $\overleftarrow{\#}$ ) के साथ विस्तारित किया गया है ताकि घटनाओं की उपस्थिति को गिनने की क्षमता का विश्लेषण किया जा सके।
कंस्ट्रक्टिव प्रूफ्स: लेखक विशिष्ट टेम्पोरल ऑपरेटर्स (जैसे, यस्टरडे, प्रिवियसली, सिंस) और काउंटिंग मैकेनिज्म को विशिष्ट गेट स्ट्रक्चर और अरिथमेटिक सेटिंग्स के माध्यम से कैसे लागू किया जा सकता है, यह प्रदर्शित करने के लिए कंस्ट्रक्टिव प्रूफ प्रदान करते हैं।
इम्पॉसिबिलिटी प्रूफ्स: इसके विपरीत, पेपर फिक्स्ड-प्रिसिजन डायगोनल SSMs में मोनोटोनिसिटी (monotonicity) जैसे गुणों का उपयोग करके गैर-एक्सप्रेसिबिलिटी परिणाम स्थापित करता है, जिससे यह सिद्ध होता है कि कुछ नॉन-स्टार-फ्री भाषाएँ (जैसे, $(aa)^*$ ) पहचानी नहीं जा सकतीं।

मुख्य योगदान

1. SSM वेरिएंट्स का अभिव्यंजक पदानुक्रम (Expressiveness Hierarchy)

यह पेपर गेटिंग और प्रिसिजन के आधार पर SSM क्षमताओं का एक विस्तृत पदानुक्रम स्थापित करता है:

डायगोनल-गेटेड SSM (फिक्स्ड प्रिसिजन):
- क्षमता: उन सभी भाषाओं को पहचानना जो PLTLf में परिभाषित हैं (जो स्टार-फ्री भाषाओं और ऑर्डर के साथ फर्स्ट-ऑर्डर लॉजिक, $FO[<]$ के समकक्ष है)।
- सीमा: $(aa)^*$ जैसी नॉन-स्टार-फ्री भाषाओं को नहीं पहचान सकता, क्योंकि इसमें एक मोनोटोनिसिटी गुण है जहाँ बार-बार समान इनपुट आने से स्टेट स्थिर हो जाती है।
डायगोनल-गेटेड SSM (लॉग-प्रिसिजन):
- क्षमता: PLTLf[ $\overleftarrow{\#}$ ] में शामिल भाषाओं को पहचानना, जो बैकवर्ड-लुकिंग काउंटिंग के माध्यम से नॉन-रेगुलर और यहाँ तक कि नॉन-कॉन्टेक्स्ट-फ्री भाषाओं (जैसे, $\{a^n b^n c^n\}$ ) तक अभिव्यक्तकता को बढ़ाता है।
टाइम-इनवेरिएंट SSM (फिक्स्ड प्रिसिजन):
- क्षमता: UN-PLTLf[MOD] (मॉड्यूलर प्रेडिकेट्स के साथ यूनरी PLTLf) में शामिल भाषाओं को पहचानना। वे चक्रीय परम्यूटेशन मैट्रिसेस का उपयोग करके आवधिक स्थितियों (जैसे, सम/विषम इंडेक्स के बीच अंतर करना) को ट्रैक कर सकते हैं, जिससे वे $(aa)^*$ को पहचान पाते हैं।
- सीमा: यह उन भाषाओं को पहचानने में असमर्थ होने का अनुमान है जिनमें सिंस (Since) ऑपरेटर की आवश्यकता होती है (जैसे, $L(a \mathcal{S} b)$ ), क्योंकि उनमें वर्तमान और पिछले डेटा को गतिशील रूप से संयोजित करने के लिए इनपुट-डिपेंडेंट गेट्स की कमी होती है।
मिक्सड SSM (डायगोनल + टाइम-इनवेरिएंट):
- क्षमता: PLTLf[MOD] को पहचानना, जो प्रभावी रूप से डायगोनल और टाइम-इनवेरिएंट क्षमताओं के मिलन को कैप्चर करता है। यह $AC^0$ में रेगुलर भाषाओं के वर्ग के अनुरूप है।
- लॉग-प्रिसिजन विस्तार: लॉग-प्रिसिजन के साथ, वे PLTLf[ $\overleftarrow{\#}$ , MOD] को पहचानते हैं।

2. अरिथमेटिक प्रिसिजन एक महत्वपूर्ण निर्धारक के रूप में

यह पेपर कठोरता से प्रदर्शित करता है कि नॉन-रेगुलर काउंटिंग भाषाओं को पहचानने के लिए लॉग-प्रिसिजन अनिवार्य रूप से आवश्यक है। फिक्स्ड-विड्थ अरिथमेटिक SSMs को रेगुलर (या स्टार-फ्री) भाषाओं तक सीमित कर देता है, जबकि लॉग-प्रिसिजन $a^n b^n c^n$ जैसी भाषाओं के लिए आवश्यक काउंट को संचित करने में सक्षम बनाता है।

3. ट्रांसफॉर्मर्स के साथ व्यवस्थित तुलना

लेखक SSM वेरिएंट्स को ज्ञात ट्रांसफॉर्मर अभिव्यक्तकता परिणामों के साथ सीधे मैप करते हैं:

डायगोनल SSM (फिक्स्ड प्रिसिजन) $\approx$ पोजीशनल एनकोडिंग के बिना यूनिक हार्ड-अटेंशन ट्रांसफॉर्मर (UHAT) (दोनों $FO[<]$ को कैप्चर करते हैं)।
टाइम-इनवेरिएंट SSM $\approx$ पोजीशनल एनकोडिंग के साथ UHAT (UHAT+PE) (दोनों $FO[<, MOD]$ को कैप्चर करते हैं)।
मिक्सड SSM (लॉग-प्रिसिजन) $\approx$ एवरेज हार्ड-अटेंशन ट्रांसफॉर्मर (AHAT) (दोनों काउंटिंग क्षमताओं को कैप्चर करते हैं, हालांकि SSMs बैकवर्ड-लुकिंग काउंटिंग तक सीमित हैं)।
आर्बिट्रेरी गेट्स: आर्बिट्रेरी गेट्स वाले SSMs सभी रेगुलर भाषाओं को पहचान सकते हैं, जो अधिक जटिल ट्रांसफॉर्मर वेरिएंट्स की ऊपरी सीमाओं से मेल खाता है।

मुख्य परिणाम

थ्योरम 1: फिक्स्ड-प्रिसिजन वाले डायगोनल SSMs PLTLf की सभी भाषाओं को पहचानते हैं।
थ्योरम 3: फिक्स्ड-प्रिसिजन वाले डायगोनल SSMs $(aa)^*$ को नहीं पहचान सकते, जो टाइम-इनवेरिएंट SSMs से एक सख्त अलगाव सिद्ध करता है।
थ्योरम 4: लॉग-प्रिसिजन वाले डायगोनल SSMs PLTLf[ $\overleftarrow{\#}$ ] की सभी भाषाओं को पहचानते हैं।
थ्योरम 7: फिक्स्ड-प्रिसिजन वाले टाइम-इनवेरिएंट SSMs UN-PLTLf[MOD] की सभी भाषाओं को पहचानते हैं।
कोरोलरी 8: फिक्स्ड-प्रिसिजन वाले मिक्सड SSMs $AC^0$ में सभी रेगुलर भाषाओं को पहचानते हैं।
इम्पॉसिबिलिटी: पेपर इम्पॉसिबिलिटी प्रूफ प्रदान करता है जो दिखाता है कि विशिष्ट वास्तुशिल्प विकल्प (जैसे, डायगोनल फिक्स्ड-प्रिसिजन) मौलिक बाधाएं पैदा करते हैं जिन्हें प्रशिक्षण डेटा या अनुकूलन द्वारा भी दूर नहीं किया जा सकता।

महत्व और दावे

पेपर यह दावा करता है कि यह SSM की अभिव्यंजक शक्ति और औपचारिक तर्क के बीच पहला संबंध प्रदान करता है, जो इस बात पर संरचनात्मक गारंटी देता है कि विशिष्ट SSM वेरिएंट्स के लिए कौन से पैटर्न सैद्धांतिक रूप से सीखने योग्य हैं या प्रमाणित रूप से असंभव हैं।

मौलिक अंतर्दृष्टि: "असंभव" कार्यों (जैसे, फिक्स्ड-प्रिसिजन डायगोनल SSMs के लिए नॉन-मोनोटोनिक पैटर्न) को रेखांकित करके, यह कार्य अनुभवजन्य बेंचमार्क के पूरक के रूप में कार्य करता है और प्रशिक्षण गतिकी से स्वतंत्र वास्तुशिल्प सीमाओं की पहचान करता है।
वास्तुशिल्प स्पष्टता: परिणाम SSMs और ट्रांसफॉर्मर्स के बीच के संबंध को स्पष्ट करते हैं, यह दिखाते हुए कि SSMs स्वाभाविक रूप से रिकरेंस (ट्रांसफॉर्मर्स में पोजीशनल एनकोडिंग के समान) के माध्यम से पोजीशनल जानकारी को एनकोड करते हैं, लेकिन उनके काउंटिंग मैकेनिज्म (ग्लोबल अटेंशन के बजाय बैकवर्ड-लुकिंग) में भिन्न होते हैं।
कॉम्प्लेक्सिटी अलाइनमेंट: निष्कर्ष बताते हैं कि प्रतिबंधित SSMs (डायगोनल/टाइम-इनवेरिएंट विद फिक्स्ड प्रिसिजन) संभवतः $AC^0$ के भीतर कार्य करते हैं, जो मेरिल एट अल. (2024) द्वारा स्थापित $TC^0$ अपर बाउंड का एक उचित उपसमुच्चय है। इसका तात्पर्य यह है कि ये आर्किटेक्चर विशिष्ट संशोधनों के बिना पैरिटी या अन्य भाषाओं को पहचानने में सक्षम नहीं हो सकते हैं जो $AC^0$ से बाहर हैं।

लेखक निष्कर्ष निकालते हैं कि उनका कार्य एक कठोर सैद्धांतिक आधार स्थापित करता है, जो यह प्रकट करता है कि गेटिंग मैकेनिज्म और अरिथमेटिक प्रिसिजन का चयन मौलिक रूप से उस श्रेणी को निर्धारित करता है जिसे एक SSM मॉडल कर सकता है, चाहे विशिष्ट प्रशिक्षण प्रक्रिया का उपयोग किया जाए।