Learning a Contracting KKL-observer with Local Optimal Guarantees

तकनीकी सारांश: स्थानीय इष्टतम गारंटी के साथ एक संकुचनशील (Contracting) KKL-ऑब्जर्वर को सीखना

समस्या विवरण
काज़ान्त्ज़िस-क्रावरिस-ल्युनेगर (KKL) ढांचा गैर-रेखीय अवस्था अनुमान (nonlinear state estimation) के लिए एक सामान्य दृष्टिकोण प्रदान करता है, जो सिस्टम डायनेमिक्स को एक स्थिर लेटेंट स्पेस (latent space) में इमर्स (immerse) करता है। जबकि हालिया प्रगति ने KKL ट्रांसफॉर्मेशन (संबंधित गैर-रेखीय PDE को हल करने के लिए) को अनुमानित करने हेतु मशीन लर्निंग का उपयोग किया है, एक मौलिक चुनौती बनी हुई है: लेटेंट डायनेमिक्स $\phi$ का चयन। व्यवहार में, ये डायनेमिक्स अक्सर ह्यूरिस्टिक रूप से (जैसे, लीनियर डायगोनल सिस्टम) चुने जाते हैं, जो वैश्विक स्थिरता (global stability) तो सुनिश्चित कर सकते हैं, लेकिन अक्सर माप शोर (measurement noise) और अनमॉडल किए गए विक्षोभों (unmodeled disturbances) के प्रति स्थिर-अवस्था संवेदनशीलता (steady-state sensitivity) के संबंध में उप-इष्टतम (sub-optimal) प्रदर्शन का परिणाम देते हैं। मुख्य समस्या यह है कि KKL सिद्धांत में निहित वैश्विक संकुचन गारंटी (global contraction guarantees) से समझौता किए बिना स्थानीय इष्टतमता (local optimality) प्राप्त करने के लिए लेट적인 डायनेमिक्स को व्यवस्थित रूप से कैसे डिज़ाइन किया जाए।

कार्यप्रणाली (Methodology)
लेखक एक लर्निंग-आधारित रणनीति का प्रस्ताव करते हैं जो KKL ऑब्जर्वर की वैश्विक मजबूती (global robustness) को मिनिमम एनर्जी एस्टिमेटर (MEE), जिसे मॉर्टेंसन ऑब्जर्वर भी कहा जाता है, की स्थानीय इष्टतमता के साथ जोड़ती है। कार्यप्रणाली तीन मुख्य चरणों में आगे बढ़ती है:

1. स्थानीय व्यवहार का सैद्धांतिक लक्षण वर्णन (Theoretical Characterization of Local Behavior):
   कागज़ एक सामान्य KKL ऑब्जर्वर के लिए पुनर्निर्मित अवस्था डायनेमिक्स $\dot{\hat{x}}$ के प्रथम-क्रम सन्निकटन (first-order approximation) को व्युत्पन्न करता है। यह विश्लेषण प्रकट करता है कि स्थानीय व्यवहार एक प्रभावी गेन मैट्रिक्स $\Psi(\hat{x})$ द्वारा नियंत्रित होता है। लेखक प्रदर्शित करते हैं कि ऑब्जर्वर को मॉर्टेंसन फ़िल्टर के इष्टतम स्थानीय व्यवहार की नकल करने के लिए, इस गेन को एक विशिष्ट इष्टतम पद $\Psi_{opt}(\hat{x})$ से मेल खाना चाहिए। यह इष्टतम पद इन्फॉर्मेशन मैट्रिक्स $P(x)$ से जुड़े एक पार्शियल डिफरेंशियल रिकाटी इक्वेशन (PDRE) के समाधान से व्युत्पन्न होता है।

2. संरचनात्मक बाधाओं के साथ लर्निंग रणनीति (Learning Strategy with Structural Constraints):
   इस सैद्धांतिक रूप से इष्टतम व्यवहार को साकार करने के लिए, लेखक इमर्शन मैप $\hat{T}$, रिकंस्ट्रक्शन मैप $\hat{\tau}$, और लेटेंट डायनेमिक्स $\hat{\phi}$ को अनुमानित करने के लिए डीप लर्निंग का उपयोग करते हैं।

• संकुचन गारंटी (Contraction Guarantee): वैश्विक स्थिरता (आवश्यकता R2) सुनिश्चित करने के लिए, लेटेंट डायनेमिक्स $\hat{\phi}$ को NodeRENs (विशिष्ट संरचनात्मक बाधाओं के साथ न्यूरल ऑर्डिनरी डिफरेंशियल इक्वेशंस) का उपयोग करके पैरामीटराइज़ किया गया है, जो डिज़ाइन द्वारा संकुचन गुण को गणितीय रूप से लागू करते हैं।
• इष्टतमता सन्निकटन (Optimality Approximation): चूंकि सामान्य गैर-रेखीय प्रणालियों के लिए $P(x)$ के लिए PDRE को हल करना कठिन है, इसलिए एक मल्टी-लेयर पर्सेप्ट्रॉन (MLP) को पहले ट्रांसफ़ॉर्मड PDRE के रेसिड्यूल को कम करके इन्वर्स इन्फॉर्मेशन मैट्रिक्स $\hat{P}^{-1}$ को अनुमानित करने के लिए प्रशिक्षित किया जाता है।
• संयुक्त अनुकूलन (Joint Optimization): इमर्शन मैप, रिकंस्ट्रक्शन मैप और लेटेंट डायनेमिक्स को एक संयुक्त लॉस फंक्शन को कम करने के लिए संयुक्त रूप से प्रशिक्षित किया जाता है। इसमें शामिल हैं:
  • $\ell_{pde}$: KKL PDE से विचलन को दंडित करना।
  • $\ell_{inv}$: यह सुनिश्चित करना कि रिकंस्ट्रक्शन मैप, इमर्शन मैप का एक लेफ्ट-इनवर्स है।
  • $\ell_{opt}$: यह मजबूर करना कि सीखा गया ऑब्जर्वर का प्रभावी गेन, $\hat{P}^{-1}$ से प्राप्त इष्टतम गेन से मेल खाए।

मुख्य योगदान

• स्थानीय इष्टतमता स्थिति (Local Optimality Condition): शोध पत्र लेटेंट डायनेमिक्स पर एक विशिष्ट स्थिति व्युत्पन्न करता है जिससे एक KKL ऑब्जर्वर स्थानीय रूप से मिनिमम एनर्जी एस्टिमेटर (मॉर्टेंसन ऑब्जर्वर) के व्यवहार की नकल कर सकता है जब अनुमान त्रुटि (estimation error) कम होती है।
• संकुचन-आधारित लर्निंग फ्रेमवर्क (Contraction-Based Learning Framework): यह एक ऐसी कार्यप्रणाली पेश करता है जो संकुचन को संरचनात्मक रूप से लागू करने वाले न्यूरल नेटवर्क (NodeRENs के माध्यम से) का उपयोग करके KKL ऑब्जवर्स को सीखने का तरीका बताती है, जिससे वैश्विक मजबूती सुनिश्चित होती है और स्थानीय प्रदर्शन अनुकूलित होता है।
• इष्टतम फ़िल्टरिंग का सन्निकटन (Approximation of Optimal Filtering): यह कार्य इष्टतम फ़िल्टरिंग सिद्धांत (जिसके लिए आमतौर पर अनंत-आयामी HJB समीकरणों को हल करने की आवश्यकता होती है) और व्यावहारिक ऑब्जर्वर डिज़ाइन के बीच के अंतर को डेटा-संचालित इन्फॉर्मेशन मैट्रिक्स और संबंधित इष्टतम गेन संरचना के सन्निकटन का उपयोग करके पाटता है।

परिणाम
प्रस्तावित कार्य को दो गैर-रेखीय बेंचमार्क: वैन डेर पोल ऑसिलेटर (Van der Pol oscillator) और रिवर्स डफिंग ऑसिलेटर (reverse Duffing oscillator) पर संख्यात्मक सिमुलेशन के माध्यम से मान्य किया गया।

• वैश्विक स्थिरता (Global Stability): सीखे गए ऑब्जर्वर्स ने मनमाने प्रारंभिक स्थितियों (arbitrary initial conditions) से मजबूत अभिसरण (robust convergence) प्रदर्शित किया, जिसका श्रेय लेटेंट डायनेमिक्स द्वारा लागू संकुचन गुण को दिया जाता है।
• शोर हैंडलिंग (Noise Handling): एस्टिमेटर्स ने महत्वपूर्ण माप शोर की उपस्थिति में सिस्टम अवस्थाओं को सटीक रूप से ट्रैक किया।
• ट्यूनेबिलिटी (Tunability): सिमुलेशन ने दिखाया कि ट्रेनिंग लॉस में वेटिंग मैट्रिसेस ($R$) को समायोजित करके, ऑब्जर्वर के व्यवहार को ट्यून किया जा सकता है। एक छोटा $R$ ऑब्जर्वर को शोर वाले डायनेमिक्स को अधिक बारीकी से ट्रैक करने की ओर ले जाता है, जबकि एक बड़ा $R$ इसे सिस्टम मॉडल पर अधिक निर्भर होने के लिए प्रेरित करता है, जो मॉडल फिडेलिटी और शोर रिजेक्शन के बीच ट्रेड-ऑफ करने की क्षमता को प्रदर्शित करता है।

महत्व और दावे
लेखक दावा करते हैं कि यह कार्य ह्यूरिस्टिक चयन से आगे बढ़ते हुए, KKL ऑब्जर्वर्स के लिए लेटेंट डायनेमिक्स का एक "सिद्धांतिक लक्षण वर्णन" प्रदान करता है। वैश्विक संकुचन गारंटी को स्थानीय इष्टतमता को लक्षित करने वाले लर्निंग ऑब्जेक्टिव के साथ जोड़कर, प्रस्तावित रणनीति एक ऐसा तरीका प्रदान करती है जो प्रारंभिक स्थिति के प्रति भी मजबूत (robust to initialization) है और नियंत्रित तरीके से शोर के प्रति संवेदनशील (sensitive to noise) है। यह शोध पत्र इन परिणामों को अकादमिक बेंचमार्क पर प्रदर्शन के रूप में प्रस्तुत करता है, यह नोट करते हुए कि भविष्य का कार्य सीखे गए मॉडलों के लिए सन्निकटन सीमाओं (approximation bounds) को स्थापित करने और सिद्धांत को डिस्क्रीट-टाइम डायनेमिक्स तक विस्तारित करने पर केंद्रित होगा। यह दृष्टिकोण उन प्रणालियों के लिए एक समाधान के रूप में प्रस्तुत किया गया है जहाँ KKL PDE के विश्लेषणात्मक समाधान पहुंच से बाहर हैं और मानक ऑब्जर्वर्स शोर प्रदर्शन के मामले में संघर्ष कर सकते हैं।