🤖 machine learning

Regularity and Stability Properties of Selective SSMs with Discontinuous Gating

यह शोध पत्र पैसिविटी (passivity) और इनपुट-टू-स्टेट स्टेबिलिटी (Input-to-State Stability) जैसे नियंत्रण-सैद्धांतिक उपकरणों का उपयोग करके मम्बा (Mamba) जैसे चयनात्मक स्टेट-स्पेस मॉडल्स (SSMs) के लिए कठोर स्थिरता और नियमितता गारंटी स्थापित करता है, और इन निष्कर्षों को एक डिफरेंशिएबल ट्रेनिंग-टाइम रेगुलराइज़र में अनुवादित करता है जो भविष्यवाणी की सटीकता पर नगण्य प्रभाव के साथ स्थिरता उल्लंघनों को महत्वपूर्ण रूप से कम करता है।

मूल लेखक: Nikola Zubić, Davide Scaramuzza

प्रकाशित 2026-07-08

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Nikola Zubić, Davide Scaramuzza

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

बड़ी तस्वीर: "स्मार्ट मेमोरी" की समस्या

कल्पना कीजिए कि एक रोबोट एक कथावाचक को सुनते हुए एक लंबी कहानी याद रखने की कोशिश कर रहा है। आधुनिक AI मॉडल जैसे Mamba ऐसे ही रोबोट हैं। उनके पास एक "मेमोरी" (एक हिडन स्टेट) होती है जो हर नए शब्द को सुनते समय अपडेट होती रहती है।

कठिन हिस्सा यह है कि ये मॉडल चयनात्मक (selective) होते हैं। वे सब कुछ समान रूप से स्टोर नहीं करते। उनके पास एक "द्वारपाल" (gatekeeper) होता है जो शब्द दर शब्द तय करता है कि क्या याद रखना है और क्या भूलना है। यदि द्वारपाल बहुत अधिक अराजक है, तो रोबोट भ्रमित हो सकता है, कहानी की शुरुआत भूल सकता है, या जब कथावाचक ज़ोर से बोलता है तो पागल हो सकता है।

यह शोध पत्र पूछता है: हम यह कैसे सुनिश्चित करें कि यह द्वारपाल स्थिर रहे? हम यह कैसे सुनिश्चित करें कि रोबोट की मेमोरी न तो अचानक बढ़ जाए (explode) और न ही गायब (vanish) हो जाए, भले ही याद रखने के नियम तुरंत बदल रहे हों?

मुख्य विचार: ऊर्जा और स्थिरता

लेखक इन AI मॉडलों का विश्लेषण करने के लिए कंट्रोल थ्योरी (वह गणित जिसका उपयोग हवाई जहाजों को स्थिर रखने और रोब-बैलेंस बनाए रखने के लिए किया जाता है) के उपकरणों का उपयोग करते हैं।

वे AI की मेमोरी को एक बैटरी या पानी की टंकी की तरह मानते हैं:

इनपुट (Input): आने वाले नए शब्द।
आउटपुट (Output): रोबोट की समझ।
स्टोरेज (Storage): रोबोट के अंदर की मेमोरी।

शोध पत्र का तर्क है कि सिस्टम के स्थिर होने के लिए, "बैटरी" को कहीं से भी ऊर्जा पैदा नहीं करनी चाहिए। इसे केवल वही स्टोर करना चाहिए जो इसे इनपुट से मिलता है, और इसे समय के साथ स्वाभाविक रूप से थोड़ी ऊर्जा खो देनी चाहिए (जैसे बैटरी धीरे-धीरे डिस्चार्ज होती है) ताकि पुरानी, अप्रासंगिक यादें धुंधली हो जाएं। इस अवधारणा को पैसेविटी (Passivity) और डिसिपेटिविटी (Dissipativity) कहा जाता है।

दो संकेत: "स्विच" बनाम "ड्राइवर"

इस शोध पत्र की एक प्रमुख अंतर्दृष्टि दो चीजों को अलग करना है जो आमतौर पर आपस में मिल जाती हैं:

ड्राइवर (इनपुट): वास्तविक डेटा (शब्द) जो सिस्टम को आगे बढ़ाता है।
स्विच (चयन): आंतरिक निर्णय लेने की प्रक्रिया जो यह बदलती है कि सिस्टम डेटा के प्रति कैसे प्रतिक्रिया देता है।

उपमा (Analogy): एक कार की कल्पना करें।

ड्राइवर आप हैं जो एक्सीलरेटर (gas pedal) दबा रहे हैं (इनपुट)।
स्विच गियर बदलने वाला ट्रांसमिशन है (चयन)।
शोध पत्र कहता है: "आइए कार की स्थिरता का विश्लेषण यह देखकर करें कि ट्रांसमिशन कैसे बदलता है, यह इस बात से स्वतंत्र है कि आप एक्सीलरेटर कितनी ज़ोर से दबा रहे हैं।" यह गणित को बहुत सरल बनाता है और उन छिपे हुए नियमों को प्रकट करता है कि कार को दुर्घटनाग्रस्त होने से बचाने के लिए ट्रांसमिशन को कैसा व्यवहार करना चाहिए।

मुख्य निष्कर्ष

1. "भूलने" का नियम

यदि सिस्टम को सही ढंग से डिज़ाइन किया गया है (विशेष रूप से, यदि इसमें "स्ट्रिक्ट डिसिपेटिविटी" गुण है), तो यह बिना किसी नए इनपुट के पुरानी जानकारी को तेजी से (exponentially) भूल जाएगा।

उपमा: एक लीक होने वाली बाल्टी के बारे में सोचें। यदि आप पानी डालना बंद कर देते हैं, तो बाल्टी हमेशा भरी नहीं रहती; वह खाली हो जाती है। यह अच्छा है! इसका मतलब है कि AI आखिरी शब्द को प्रोसेस करने की कोशिश करते समय वाक्य के पहले शब्द को हमेशा के लिए याद रखने में अटका नहीं रहेगा। शोध पत्र गणितीय रूप से सिद्ध करता है कि यदि सिस्टम सही ढंग से बनाया गया है, तो यह "लीक" अपने आप होता है।

2. "फ्रीज़" टेस्ट

लेखकों ने देखा कि क्या होता है यदि वे चयन स्विच (नियमों को बदलना रोकना) को "फ्रीज़" कर देते हैं और बस इनपुट को बहने देते हैं। उन्होंने पाया कि इस फ्रीज़ सेटिंग के साथ भी, सिस्टम में एक स्वाभाविक, अंतर्निहित "ऊर्जा संरचना" (एक गणितीय आकार जिसे क्वाड्रेटिक स्टोरेज फंक्शन कहा जाता है) होती है।

उपमा: भले ही आप कार से गियर निकाल दें और उन्हें एक जगह लॉक कर दें, फिर भी इंजन और पहियों के बीच एक विशिष्ट भौतिक संबंध होता है। शोध पत्र दिखाता है कि Mamba की मेमोरी का भी एक समान "स्वाभाविक आकार" है, जो यह समझाता है कि मॉडल को इनिशियलाइज़ करने के कुछ तरीके (जैसे HiPPO) इतने अच्छे क्यों काम करते हैं—क्योंकि वे इस स्वाभाविक आकार का सम्मान करते हैं।

3. "अपरिवर्तनीय भूलने" का नियम

यह एक दिलचस्प संरचनात्मक खोज है। शोध पत्र सुझाव देता है कि एक बार जब सिस्टम यह तय कर लेता है कि जानकारी का एक टुकड़ा "बेकार" है (यह एक "कर्नेल" या शून्य-ऊर्जा क्षेत्र में गिर जाता है), तो गेट्स को कितना भी बदलने से उसे वापस नहीं लाया जा सकता।

उपमा: एक श्रेडर (कागज़ काटने वाली मशीन) की कल्पना करें। एक बार जब कोई दस्तावेज़ श्रेडर में चला जाता है और कट जाता है, तो आप केवल एक स्विच बदलकर कागज़ को फिर से पूरा नहीं कर सकते। सिस्टम में कुछ प्रकार की जानकारी के लिए "वापसी का कोई रास्ता नहीं" (point of no return) होता है। यह AI को पुरानी, अप्रासंगिक यादों को पुनर्जीवित करने की कोशिश करके भ्रमित होने से रोकता है।

सिद्धांत से अभ्यास तक: "रेगुलराइज़र" (Regularizer)

लेखकों ने केवल गणित तक ही सीमित नहीं रहे। उन्होंने एक व्यावहारिक उपकरण बनाया जिसे रेगुलराइज़र कहा जाता है।

समस्या: वास्तविक जीवन में, हम निरंतर दुनिया (continuous world) के अनंत गणित की जांच नहीं कर सकते। हमें उन असतत चरणों (discrete steps) की जांच करनी होती है जो कंप्यूटर वास्तव में लेता है।
समाधान: उन्होंने प्रशिक्षण प्रक्रिया के लिए एक "स्पीड बंप" बनाया। प्रशिक्षण के दौरान, मॉडल एक विशिष्ट संख्या (eigenvalue) की गणना करता है जो इसे बताता है कि क्या यह स्थिरता नियमों का उल्लंघन कर रहा है। यदि ऐसा है, तो प्रशिक्षण प्रक्रिया इसे स्थिरता की ओर वापस धकेलने के लिए एक छोटा सा दंड (penalty) जोड़ती है।
परिणाम: उन्होंने इसका परीक्षण सात अलग-अलग वास्तविक दुनिया के डेटासेट (जैसे मौसम, यातायात और बिजली का उपयोग) पर किया।
- सफलता: इस टूल ने "स्थिरता उल्लंघन" की संख्या को 92% कम कर दिया।
- लागत: भविष्यवाणियों की सटीकता में बहुत कम बदलाव आया (0.02% से भी कम का अंतर)।
- मजबूती (Robustness): जब उन्होंने डेटा में शोर (noise) या "स्पाइक्स" (जैसे अचानक आई खराबी) जोड़ा, तो टूल के साथ वाला मॉडल आंतरिक रूप से शांत रहा, हालांकि यह अराजकता के तहत भविष्य की भविष्यवाणी करने में जादुई रूप से बेहतर नहीं हुआ।

यह शोध पत्र क्या दावा नहीं करता है

लेखक अपने काम की सीमाओं के बारे में बहुत ईमानदार हैं:

यह सभी त्रुटियों के लिए जादुई समाधान नहीं है: यह टूल Mamba के आंतरिक मेमोरी को अधिक स्थिर बनाता है, लेकिन यह पूरे AI नेटवर्क को ठीक नहीं करता है (जिसमें नॉर्मलाइजेशन और रूटिंग जैसे अन्य भाग भी शामिल हैं)।
यह अराजकता के तहत सटीक भविष्यवाणी की गारंटी नहीं देता: हालांकि डेटा शोर वाला होने पर आंतरिक मेमोरी अधिक स्थिर हो गई, लेकिन अंतिम भविष्यवाणी सटीकता में उल्लेखनीय सुधार नहीं हुआ। यह टूल इंजन को सुचारू रूप से चलाने में मदद करता है, लेकिन यह जरूरी नहीं कि तूफान में कार को तेज़ चलाने में मदद करे।
यह एक "सॉफ्ट" नियम है: यह टूल स्थिरता को प्रोत्साहित करता है, लेकिन यह मॉडल को गणितीय प्रमाण के रूप में पूरी तरह से स्थिर होने के लिए मजबूर नहीं करता है। यह बस इसे टूटने से बचाने के लिए बहुत अधिक सक्षम बनाता है।

सारांश

यह शोध पत्र एक जटिल, आधुनिक AI आर्किटेक्चर (Mamba) को ऊर्जा और स्थिरता के भौतिकी का उपयोग करके विश्लेषित करता है। उन्होंने सिद्ध किया कि इन मॉडल्स में एक स्वाभाविक "लीक" है जो उन्हें भूलने में मदद करता है, और एक "श्रेडर" है जो उन्हें बेकार यादों को पुनर्जीवित करने से रोकता है। इसके बाद उन्होंने एक सरल, कम लागत वाला टूल बनाया जो इन मॉडलों को इन नियमों का पालन करने के लिए प्रशिक्षित करने में मदद करता है, जिससे वे भविष्य की भविष्यवाणी करने की अपनी क्षमता को नुकसान पहुँचाए बिना अधिक स्थिर और विश्वसनीय बन जाते हैं।

तकनीकी सारांश: विच्छिन्न गेटिंग (Discontinuous Gating) वाले चयनात्मक SSMs के नियमितता और स्थिरता गुण

समस्या विवरण

चयनात्मक स्टेट-स्पेस मॉडल (SSMs), जैसे कि मंबा (Mamba), लंबी-अनुक्रम मॉडलिंग (long-sequence modeling) के लिए केंद्रीय बन गए हैं। हालांकि, उनके स्थिरता गुणों को अभी भी ठीक से समझा जाना बाकी है। शास्त्रीय लीनियर टाइम-इनवेरिएंट (LTI) या सुचारू गैररेखीय प्रणालियों के विपरीत, चयनात्मक SSMs में स्टेट-स्पेस गुणांक ( $A, B, C$ ) एक टोकन-निर्भर गेटिंग सिग्नल द्वारा ऑनलाइन मॉड्युलेट किए जाते हैं। यह एक ऐसी प्रणाली बनाता है जो न तो LTI है और न ही शास्त्रीय रूप से गैररेखीय, बल्कि एक हाइब्रिड सिस्टम है जिसमें विच्छिन्न (discontinuous), डेटा-निर्भर पैरामीटर होते हैं। मौजूदा विश्लेषण अक्सर अभिव्यंजना (expressivity) पर ध्यान केंद्रित करते हैं या पुनरावृत्ति (recurrence) को प्रत्येक इनपुट के लिए एक निश्चित गतिक प्रणाली के रूप में मानते हैं, जिसमें इस बात का एकीकृत ऊर्जा-आधारित विवरण नहीं होता कि ये मॉडल प्रारंभिक स्थितियों को कैसे भूलते हैं, ऊर्जा कैसे संचित करते हैं, या विक्षोभों (perturbations) के तहत स्थिरता कैसे बनाए रखते हैं।

कार्यप्रणाली

लेखक इस समस्या को शास्त्रीय नियंत्रण सिद्धांत (classical control theory), विशेष रूप से पैसिविटी (passivity), डिसिपेटिविटी (dissipativity), और इनपुट-टू-स्टेट स्टेबिलिटी (ISS) के दृष्टिकोण से देखते हैं। एक प्रमुख वैचारिक नवाचार दो संकेतों का स्पष्ट पृथक्करण है:

चयन सिग्नल ( $x(\cdot)$ ): यह गतिकी को शेड्यूल करता है और समय-परिवर्ती मैट्रिसेस $A, B, C$ को निर्धारित करता है।
ड्राइविंग इनपुट ( $u(\cdot)$ ): वह पोर्ट इनपुट जो गतिकी को संचालित करता है और सप्लाई रेट (supply rate) में दिखाई देता है।

जबकि टोकन-चयनात्मक आर्किटेक्चर में अक्सर $x \equiv u$ सेट किया जाता है, लेखक पैसिविटी और ISS विश्लेषणों में क्वांटिफायर (quantifiers) को स्पष्ट करने के लिए इस पृथक्करण को बनाए रखते हैं।

सैद्धांतिक ढांचा

यह पेपर निरंतर-समय चयनात्मक SSMs का विश्लेषण करता है जो निम्नलिखित द्वारा परिभाषित हैं:
$\dot{h}(t) = A(\Delta(t), x(t))h(t) + B(\Delta(t), x(t))u(t)$
$y(t) = C(\Delta(t), x(t))h(t)$
जहाँ $\Delta(t)$ एक सहायक गेटिंग सिग्नल है (आमतौर पर पीसवाइज़-कांस्टेंट)। विश्लेषण एक सौम्य $L^p_{loc}$ रेगुलरिटी (regularity) को मानता है, जो गेटिंग द्वारा पेश की गई विच्छिन्नता (discontinuities) को समाहित करता है।

मुख्य सैद्धांतिक चरण शामिल हैं:

स्ट्रिक्ट डिसिपेटिविटी (Strict Dissipativity): उन शर्तों को स्थापित करना जिनके तहत प्रणाली प्रारंभिक स्थितियों का घातीय विस्मरण (exponential forgetting) प्रदर्शित करती है।
फ्रोजन-सिलेक्शन विश्लेषण (Frozen-Selection Analysis): चयन सिग्नल को फ्रीज करके ( $x(t) \equiv 0$ ) एक निष्क्रिय LTV सबसिस्टम को प्रकट करना। मोरैंडिन और हिंसन (2024) के हालिया परिणामों का लाभ उठाते हुए, लेखक सिद्ध करते हैं कि यह सबसिस्टम एक न्यूनतम क्वाड्रेटिक स्टोरेज फंक्शन को स्वीकार करता है जिसकी लोकलली एब्सोल्यूटली अपर सेमीकॉन्टिन्यूअस (AUC $_{loc}$ ) रेगुलरिटी है, भले ही गेटिंग विच्छिन्न हो।
यूनिवर्सल क्वाड्रेटिक स्टोरेज: यदि एक एकल क्वाड्रेटिक स्टोरेज फंक्शन को सभी स्वीकार्य चयन शेड्यूल्स में पैसिविटी को प्रमाणित करना है, तो यह किन संरचनात्मक बाधाओं को लागू करता है? यह एक पैरामीट्रिक लीनियर मैट्रिक्स इनइक्वेलिटी (LMI) और "अपूरणीय विस्मरण" (irreversible forgetting) की अवधारणा की ओर ले जाता है (एक बार जब कोई स्टेट दिशा स्टोरेज मैट्रिक्स के कर्नेल में प्रवेश कर जाती है, तो उसे फिर से ऑब्जर्वेबल नहीं बनाया जा सकता है)।
ग्लोबल ISS: ड्राइविंग इनपुट $u(\cdot)$ के संबंध में ग्लोबल इनपुट-टू-स्टेट स्टेबिलिटी के लिए पर्याप्त स्थितियाँ प्राप्त करना, जो चयन शेड्यूल्स पर समान (uniform) है।

डिस्क्रीट ब्रिज और रेगुलराइजेशन

आधुनिक आर्किटेक्चर के लिए सिद्धांत को क्रियान्वित करने के लिए, लेखक निरंतर-समय पैरामीट्रिक LMI को मंबा (Mamba) सेलेक्टिव-स्कैन पुनरावृत्ति के लिए एक सैंपलड ब्लॉक LMI में अनुवादित करते हैं।

वे एक वन-स्टेप डिस्क्रीट डिसिपेटिविटी इनइक्वेलिटी व्युत्पन्न करते हैं।
वे एक डिफरेंशिएबल रेगुलराइज़र, $R_{LMI}$ , को परिभाषित करते हैं, जो प्रत्येक टोकन स्टेप पर सैंपलड ब्लॉक मैट्रिक्स $L_k(P, \beta)$ के सबसे बड़े धनात्मक आइजनवैल्यू को दंडित करता है।
इस रेगुलराइज़र को एक वास्तविक मंबा-आधारित आर्किटेक्चर (SST) के प्रशिक्षण लूप में एक सॉफ्ट कंस्ट्रेंट के रूप में एकीकृत किया जाता है।

मुख्य योगदान

दो-सिग्नल मॉडल: चयनात्मक SSMs का एक स्वच्छ सूत्रीकरण जो चयन सिग्नल को पोर्ट इनपुट से अलग करता है, जिससे कठोर पैसिविटी और ISS विश्लेषण संभव होता है।
एक्सपोनेंशियल फॉरगेटिंग: यह सिद्ध करना कि स्ट्रिक्ट डिसिपेटिविटी ( $\beta > 0$ ) और क्वाड्रेटिक बाउंड्स का संयोजन, स्वीकार्य चयन शेड्यूल्स पर समान रूप से, होमोजेनियस ट्रैजेक्टरीज के घातीय क्षय (exponential decay) को सुनिश्चित करता है।
कैनोनिकल एनर्जी स्ट्रक्चर: यह प्रदर्शन करना कि फ्रोजन-सिलेक्शन सबसिस्टम में AUC $_{loc}$ रेगुलरिटी के साथ एक न्यूनतम क्वाड्रेटिक स्टोरेज फंक्शन होता है। यह HiPPO जैसे सिद्धांतों के लिए एक ऊर्जा-आधारित औचित्य प्रदान करता है।
संरचनात्मक बाधाएं और अपूरणीय विस्मरण: यूनिवर्सल क्वाड्रेटिक स्टोरेज की परिकल्पना के तहत, लेखक एक पैरामीट्रिक LMI व्युत्पन्न करते हैं और सिद्ध करते हैं कि स्टोरेज मैट्रिक्स की रैंक गैर-बढ़ती (non-increasing) है। यह "अपूरणीय विस्मरण" को औपचारिक रूप देता है: ऊर्जा संरचना द्वारा त्याग दी गई स्टेट दिशाओं को गेटिंग मैकेनिज्म द्वारा पुनः प्राप्त नहीं किया जा सकता है।
ग्लोबल ISS स्थितियाँ: चयन शेड्यूल्स पर समान रूप से, ड्राइविंग इनपुट्स के संबंध में ग्लोबल स्टेबिलिटी के लिए पर्याप्त स्थितियाँ।
डिस्क्रीट LMI रेगुलराइज़र: निरंतर सिद्धांत से व्युत्पन्न एक व्यावहारिक, डिफरेंशिएबल ट्रेनिंग-टाइम रेगुलराइज़र, जो मंबा सेलेक्टिव-स्कैन कोर पर लागू किया जा सकता है।
अनुभवजन्य सत्यापन (Empirical Validation): सात टाइम-सीरीज डेटासेट्स और चार प्रेडिक्शन होराइजन्स पर व्यापक मूल्यांकन, जो बिना शुद्ध सटीकता (clean accuracy) को कम किए LMI उल्लंघन को कम करने की रेगुलराइज़र की क्षमता को प्रदर्शित करता है।

परिणाम

अनुभवजन्य मूल्यांकन SST आर्किटेक्चर (जो मंबा और शॉर्ट-रेंज अटेंशन का एक रूटेड मिश्रण है) पर 28 डेटासेट-होराइजन पेयर्स (ETTh1/2, ETTm1/2, वेदर, इलेक्ट्रिसिटी, ट्रैफिक) पर किया गया।

LMI उल्लंघन में कमी: डिस्क्रीट LMI रेगुलराइज़र ने सभी 28 पेयर्स में औसत सैंपलड मंबा-कोर LMI उल्लंघन को लगभग 92% (0.0358 से 0.0029 तक) कम कर दिया।
क्लीन एक्यूरेसी: LMI उल्लंघनों में कमी बिना किसी उल्लेखनीय लागत के आई, जिसमें अनरेगुलराइज्ड बेसलाइन की तुलना में क्लीन मीन स्क्वेर्ड एरर (MSE) में 0.018% से भी कम का अंतर था।
कंजर्वेटिवनेस एब्लेशन: फिक्स्ड आइडेंटिटी स्टोरेज मैट्रिक्स ( $P=I$ ) को एक लर्न करने योग्य डायगोनल मैट्रिक्स ( $P=\text{diag}(q)$ ) से बदलने पर एक सख्त पारेटो सुधार (कम उल्लंघन, समान सटीकता) प्राप्त हुआ, जो इस ढांचे की लचीलेपन की पुष्टि करता है।
विक्षोभों के प्रति मजबूती: इंजेक्टेड परटर्बेशन्स (गौसियन नॉइज़, स्पाइक्स, मास्क आदि) के तहत, रेगुलराइज़र ने आंतरिक मंबा-कोर डायग्नोस्टिक्स में सुधार किया (LMI उल्लंघनों को ~60% कम किया और स्टेट नॉर्म्स को ~3.4% कम किया)। हालांकि, इसने रोबस्ट फोरकास्टिंग MSE में कोई मापने योग्य सुधार नहीं किया। लेखक इसे एक "ईमानदार नकारात्मक" (honest negative) के रूप में स्पष्ट रूप रूप से नोट करते हैं, जिसका कारण यह है कि रेगुलराइज़र केवल मंबा कोर को सीमित करता है, जबकि आसपास का नेटवर्क (नॉर्मलाइजेशन, रेसिडुअल्स, रूटिंग) अंतिम आउटपुट पर विक्षोभ के प्रभावों को अवशोषित करता है।
रूटर स्टेबिलिटी: एक ऊर्जा-जागरूक रूटिंग शेड्यूल सीखने का प्रयास (उच्च स्थानीय LMI उल्लंघन होने पर मंबा उपयोग को दंडित करना) एक न्यूट्रल परिणाम में रहा। हालांकि मंबा वेट्स को थोड़ा नीचे धकेला गया, लेकिन मंबा वेट और LMI उल्लंघन के बीच सहसंबंध शून्य था, जो बताता है कि क्लीन डेटा पर प्रशिक्षण ऊर्जा-जागरूक रूटिंग को प्रेरित नहीं करता है।

महत्व और दावे

यह पेपर शास्त्रीय नियंत्रण सिद्धांत और आधुनिक डीप लर्निंग आर्किटेक्चर के बीच एक सेतु के रूप में खुद को स्थापित करता है। इसका महत्व निम्नलिखित में निहित है:

सैद्धांतिक स्पष्टता: लाइपुनोव एक्सपोनेंट डायग्नोस्टिक्स से आगे बढ़कर पैसिविटी और ISS जैसी संरचनात्मक विशेषताओं के लिए एक एकीकृत ऊर्जा-आधारित विवरण प्रदान करना।
इनिशियलाइजेशन का औचित्य: यह समझाना कि HiPPO जैसे इनिशियलाइजेशन प्रभावी क्यों हैं (वे एक अच्छी तरह से अनुकूलित क्वाड्रेटिक ऊर्जा परिदृश्य प्रदान करते हैं)।
व्यावहारिक उपकरण: एक कम लागत वाला, डिफरेंशिएबल रेगुलराइज़र पेश करना जिसे SSM कोर पर संरचनात्मक स्थिरता लागू करने के लिए मौजूदा प्रशिक्षण पाइपलाइनों में डाला जा सकता है।
ईमानदार स्कोपिंग: लेखक अपने दावों की सीमाओं के प्रति स्पष्ट हैं। वे यह दावा नहीं करते कि रेगुलराइज़र पूरे डीप नेटवर्क की पैसिविटी को प्रमाणित करता है, न ही वे दावा करते हैं कि यह अपने आप में मजबूत MSE सुधारों की गारंटी देता है। वे परिणामों को "महत्वपूर्ण कमी" के रूप में फ्रेम करते हैं न कि "प्रमाणित पैसिविटी" के रूप में, और स्वीकार करते हैं कि कोर स्टेबिलिटी और एंड-टू-एंड रोबस्टनेस के बीच का अंतर एक खुला शोध क्षेत्र बना हुआ है।

संक्षेप में, यह पेपर सफलतापूर्वक निरंतर-समय नियंत्रण-सैद्धांतिक गारंटियों को चयनात्मक SSMs के लिए एक सत्यापन योग्य, डिफरेंशिएबल ट्रेनिंग मानदंड में अनुवादित करता है, यह प्रदर्शित करते हुए कि ऐसे संरचनात्मक प्रतिबंधों को न्यूनतम सटीकता लागत के साथ लागू किया जा सकता है और आंतरिक स्थिरता डायग्नोस्टिक्स में काफी सुधार किया जा सकता है।