On the Generalization Properties of Selective State-Space Models for Filtering Tasks for Unknown Systems

तकनीकी सारांश: अज्ञात प्रणालियों के लिए फ़िल्टरिंग कार्यों हेतु चयनात्मक स्टेट-स्पेस मॉडल्स (Selective State-Space Models) के सामान्यीकरण गुणों पर

1. समस्या विवरण

यह शोध पत्र अज्ञात गतिक प्रणालियों (dynamical systems) के लिए ऑनलाइन फ़िल्टरिंग और प्रक्षेपवक्र भविष्यवाणी (trajectory prediction) की चुनौती को संबोधित करता है। कई नियंत्रण अनुप्रयोगों में, अंतर्निहित प्रणाली की गतिशीलता (dynamics) अज्ञात होती है या उसे स्पष्ट रूप से मॉडल करना कठिन होता है। जबकि कलमन फ़िल्टर (Kalman Filter - KF) या पार्टिकल फ़िल्टर्स जैसे शास्त्रीय तरीके तब इष्टतम होते हैं जब मॉडल ज्ञात हो, वे मॉडल की अनुपलब्धता में विफल हो जाते हैं।

हालिया प्रगति में "इन-कॉन्टेक्स्ट लर्निंग" के लिए ट्रांसफार्मर-आधारित आर्किटेक्चर का उपयोग किया गया है, जहाँ मॉडल देखे गए इनपुट अनुक्रमों से सिस्टम संरचना का अनुमान लगाता है। हालाँकि, नियंत्रण सेटिंग्स में ट्रांसफार्मर को सीमाओं का सामना करना पड़ता है, जैसे कि निश्चित संदर्भ विंडो (जो स्लाइडिंग विंडो का उपयोग करने पर सुरक्षा/सटीकता जोखिमों का कारण बन सकती है) और द्विघाती (quadratic) कम्प्यूटेशनल जटिलता। लेखक यह जांचते हैं कि क्या चयनात्मक स्टेट-स्पेस मॉडल (Selective SSMs), विशेष रूप से माम्बा (Mamba) आर्किटेक्चर, इन फ़िल्टरिंग कार्यों के लिए एक अधिक सुदृढ़ और कुशल विकल्प के रूप में कार्य कर सकते हैं।

2. कार्यप्रणाली

लेखक इस समस्या को एक एम्पिरिकल रिस्क मिनिमाइजेशन (ERM) कार्य के रूप में फ्रेम करते हैं।

• आर्किटेक्चर: वे चयनात्मक SSM का उपयोग करते हैं, जो एक रैखिक समय-परिवर्तनीय (LTV) स्टेट-स्पेस मॉडल का उपयोग करता है। ट्रांसफार्मर के विपरीत, SSM एक रिकरेंट मैप के माध्यम से संचालित होते हैं, जिसका अर्थ है कि उनके पास कोई निश्चित संदर्भ विंडो नहीं है और वे सैद्धांतिक रूप से मनमाने ढंग से लंबे अनुक्रमों को संभाल सकते हैं।
• प्रशिक्षण (एल्गोरिदम 1): SSM को प्रणालियों के वितरण $\mathcal{D}_{sys}$ से लिए गए $M$ प्रक्षेपवक्र नमूनों के विविध सेट पर प्रशिक्षित किया जाता है। लक्ष्य अनुमानित अगले-चरण आउटपुट $\hat{y}_t$ और वास्तविक आउटपुट $y_t$ के बीच के लॉस (loss) को कम करना है।
• सिस्टम धारणाएं: सैद्धांतिक विश्लेषण को सुगम बनाने के लिए, लेखक मानते हैं कि अज्ञात प्रणालियाँ:
  1. शून्य प्रारंभिक स्थिति (zero initial condition) से शुरू होती हैं।
  2. आउटपुट-लिप्सचिट्ज़ निरंतर (Output-Lipschitz continuous) हैं।
  3. इन्क्रीमेंटली एक्सपोनेंशियल इनपुट-टू-स्टेट स्टेबल (ISS) हैं, जो यह सुनिश्चित करता है कि शोर या प्रारंभिक अवस्थाओं में विचलन अनबाउंडेड डाइवर्जेंस का कारण नहीं बनते हैं।

3. मुख्य योगदान

यह शोध पत्र SSMs की प्रभावकारिता के लिए सैद्धांतिक और अनुभवजन्य (empirical) दोनों साक्ष्य प्रदान करता है:

• सैद्धांतिक सामान्यीकरण सीमाएं (Theoretical Generalization Bounds): यह शोध पत्र का प्राथमिक योगदान है। लेखक फ़िल्टरिंग अनुप्रयोगों में SSMs के लिए पहले सामान्यीकरण गारंटी (generalization guarantees) प्राप्त करते हैं।
  • SSM सुदृढ़ता (थ्योरम 1): वे सिद्ध करते हैं कि SSMs इनपुट विक्षोभ (perturbations) के प्रति सुदृढ़ हैं, यह दिखाते हुए कि त्रुटि क्षय (error decay) स्टेट मैट्रिक्स $A$ की स्थिरता और मॉडल के संकुचन गुणों द्वारा नियंत्रित होता है।
  • अतिरिक्त जोखिम सीमा (Excess Risk Bound - थ्योरम 2): वे अतिरिक्त जोखिम (प्रशिक्षित SSM और इष्टतम SSM के बीच का अंतर) पर एक सीमा स्थापित करते हैं। महत्वपूर्ण रूप से, वे दिखाते हैं कि SSMs के लिए अतिरिक्त जोखिम घातांकीय दर (exponential rate) $\mathcal{O}(\rho^T \sqrt{T})$ पर घटता है, जो ट्रांसफार्मर्स में पाए जाने वाले उप-घातांकीय (sub-exponential) क्षय की तुलना में काफी मजबूत/तेज है।
• अनुभवजन्य सत्यापन: वे चार अलग-अलग परिदृश्यों में एक क्लासिकल कलमन फ़िल्टर और एक ट्रांसफार्मर (GPT-2) के विरुद्ध चयनात्मक SSM की तुलना करते हैं।

4. परिणाम

अनुभवजन्य मूल्यांकन कई सेटिंग्स में रूट-मीन-स्क्वायर (RMS) प्रेडिक्शन एरर का उपयोग करता है:

• लीनियर-गौसियन सेटिंग: कलमन फ़िल्टर इष्टतम है (जैसा कि अपेक्षित है), लेकिन SSM और ट्रांसफार्मर दोनों स्थिर प्रदर्शन की ओर अभिसरण (converge) करते हैं। उल्लेखनीय रूप से, SSM यह उपलब्धि बहुत कम मापदंडों (662k बनाम GPT-2 के लिए 3.3M) के साथ प्राप्त करता है।
• डायनेमिक्स स्विच (सुदृढ़ता): जब सिस्टम की गतिशीलता $T/2$ पर अचानक बदल जाती है, तो कलमन फ़िल्टर (एक गलत मॉडल का उपयोग करते हुए) विफल हो जाता है। दोनों सीखे गए मॉडल अनुकूलित होते हैं, लेकिन SSM ट्रांसफार्मर की तुलना में अधिक तेज़ी से रिकवर करता है और कम त्रुटि प्राप्त करता है।
• कलर्ड नॉइज़ (नॉन-व्हाइट नॉइज़): जब शोर अस्थायी रूप से सहसंबंधित (temporally correlated) होता है (जो मानक KF धारणाओं का उल्लंघन करता है), तो SSM और ट्रांसफार्मर शोर की संरचना को कैप्चर करके गलत मेल खाने वाले KF से बेहतर प्रदर्शन करते हैं।
• लंबाई सामान्यीकरण (एक्सट्रपलेशन): जब प्रशिक्षण क्षितिज (training horizon) से लंबे अनुक्रमों पर परीक्षण किया जाता है, तो ट्रांसफार्मर की त्रुटि काफी बढ़ जाती है, जबकि SSM स्थिर रहता है, जो प्रशिक्षण विंडो से परे एक्सट्रपलेशन करने की बेहतर क्षमता प्रदर्शित करता है।

5. महत्व

यह कार्य महत्वपूर्ण है क्योंकि यह डीप लर्निंग सीक्वेंस मॉडल्स और क्लासिकल कंट्रोल थ्योरी के बीच के अंतर को पाटता है। यह प्रदान करके कि क्यों SSMs डायनेमिकल कॉन्टेक्स्ट में अच्छी तरह से सामान्यीकृत होते हैं, लेखक इन कार्यों में उनके उपयोग को उचित ठहराते हैं जहाँ ट्रांसफार्मर संघर्ष कर सकते हैं। निष्कर्ष बताते हैं कि SSMs केवल ट्रांसफार्मरों के कुशल विकल्प ही नहीं हैं, बल्कि वे गतिशील प्रणाली फ़िल्टरिंग की अंतर्निहित स्थिरता और निरंतरता आवश्यकताओं के लिए सैद्धांतिक रूप से बेहतर भी हैं।