Deep Koopman Learning using Noisy Data

यहाँ शोध पत्र "Deep Koopman Learning using Noisy Data" (DKND) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र शोर वाले प्रेक्षण डेटा (noisy observational data) से गैर-रेखीय (nonlinear), समय-अपरिवर्तनीय प्रणालियों (time-invariant systems) की गतिशीलता (dynamics) सीखने की चुनौती को संबोधित करता है।

• सिस्टम मॉडल: सिस्टम को $x(t+1) = f(x(t), u(t))$ के रूप में परिभाषित किया गया है, जहाँ $x$ अवस्था (state) है और $u$ नियंत्रण इनपुट (control input) है।
• प्रेक्षण मॉडल (Observation Model): वास्तविक अवस्था $x(t)$ अवलोकनीय नहीं है। इसके बजाय, केवल शोर युक्त माप $y(t) = x(t) + w(t)$ उपलब्ध हैं, जहाँ $w(t)$ एक अज्ञात लेकिन सीमित (bounded) मापन शोर है ($\|w(t)\| \leq w_{max}$)।
• मुख्य चुनौती: मानक डीप कूप्मन ऑपरेटर (DKO) विधियाँ प्रेक्षित अवस्थाओं और अनुमानित अवस्थाओं के बीच त्रुटि को कम करती हैं। हालाँकि, जब प्रेक्षणों में शोर होता है, तो डीप न्यूरल नेटवर्क (DNNs) द्वारा लागू किए गए गैर-रेखीय रूपांतरण (lifting functions) शोर की विशेषताओं को विकृत कर देते हैं। इससे रैखिक ऑपरेटर मैट्रिसेस ($A, B, C$) के पक्षपाती अनुमान (biased estimates) प्राप्त होते हैं और सीखे गए डायनेमिक्स की सटीकता कम हो जाती है, जिससे वे मजबूत नियंत्रण डिजाइन (robust control design) के लिए अनुपयुक्त हो जाते हैं। TLS या रोबस्ट कूप्मन (min-max) जैसी मौजूदा विधियाँ अक्सर DNN-आधारित लिफ्टिंग द्वारा उत्पन्न विशिष्ट शोर सहसंबंधों (noise correlations) के साथ संघर्ष करती हैं।

2. कार्यप्रणाली (Methodology)

लेखक एक डेटा-संचालित ढांचा प्रस्तावित करते हैं जिसे Deep Koopman Learning with Noisy Data (DKND) कहा जाता है। यह विधि सीमित मापन शोर के प्रभावों को स्पष्ट रूप से ध्यान में रखने और उन्हें कम करने के लिए मानक DKO फॉर्मूलेशन को संशोधित करती है।

मुख्य सैद्धांतिक विकास (Key Theoretical Development)

शोर-मुक्त डेटा (सैद्धांतिक आदर्श) और शोर युक्त डेटा (व्यावहारिक कार्यान्वयन) के बीच अंतर को समझने के लिए लेखक निम्नलिखित चरणों का उपयोग करते हैं:

1. त्रुटि अपघटन (Error Decomposition): वे दो मॉडल परिभाषित करते हैं:
   • $\tilde{f}$: शोर-मुक्त डेटा से सीखी गई गतिशीलता (सैद्धांतिक आदर्श)।
   • $\bar{f}$: शोर युक्त डेटा से सीखी गई गतिशीलता (व्यावहारिक कार्यान्वयन)।
2. लॉस फंक्शन फॉर्मूलेशन: कुल त्रुटि निम्नलिखित के योग द्वारा सीमित है:
   • शोर युक्त डेटा पर मानक भविष्यवाणी त्रुटि ($\|y_{t+1} - \hat{f}(y_t, u_t, \theta)\|^2$)।
   • शोर-मुक्त मॉडल और शोर युक्त मॉडल के बीच विसंगति ($\|\tilde{f} - \bar{f}\|^2$)।
3. शोर लक्षण वर्णन (Noise Characterization): लेखक सिद्ध करते हैं कि विसंगति पद को शोर सीमा $w_{max}$ और DNN लिफ्टिंग फंक्शन $g(\cdot, \theta)$ के लिप्सचिट्ज़ स्थिरांक (Lipschitz constant) के फलन द्वारा ऊपरी सीमा (upper bound) द्वारा सीमित किया जा सकता है।
4. अनुकूलन उद्देश्य (Optimization Objective): अंतिम लॉस फंक्शन $\hat{L}_f$ जिसे कम किया जाना है, वह है:
   $$\hat{L}_f = \underbrace{\frac{1}{2T} \sum (\| \bar{G} - [A, B] \begin{bmatrix} G \\ U \end{bmatrix} \|^2_F + \| Y - CG \|^2_F)}_{\text{Standard DKO Error}} + \underbrace{\hat{L}_{f,2}(\theta)}_{\text{Noise Discrepancy Penalty}}$$
   जहाँ $\hat{L}_{f,2}(\theta)$ एक पद है जो थ्योरम 1 में व्युत्पन्न किया गया है और यह सीमित शोर के प्रति DNN मापदंडों की संवेदनशीलता को दंडित (penalize) करता है।

एल्गोरिदम (DKND)

इसका समाधान एक पुनरावृत्ति एल्गोरिदम (एल्गोरिदम 1) है:

1. आरंभीकरण (Initialization): DNN मापदंडों $\theta_0$ को आरंभीकृत करें।
2. मैट्रिक्स अपडेट: वर्तमान $\theta_k$ को देखते हुए, मूर-पेनरोज़ स्यूडोइनवर्स (Moore-Penrose pseudoinverse) का उपयोग करके इष्टतम रैखिक मैट्रिसेस $A^*_k, B^*_k, C^*_k$ की गणना करें (क्लोज्ड-फॉर्म समाधान)।
3. मापदंड अपडेट: $\theta_k$ के सापेक्ष कुल लॉस $\hat{L}_f$ के ग्रेडिएंट की गणना करें (इनवर्स टर्म्स के लिए चेन रूल और मैट्रिक्स डेरिवेटिव आइडेंटिटी का उपयोग करके) और ग्रेडिएंट डिसेंट के माध्यम से $\theta$ को अपडेट करें।
4. अभिसरण (Convergence): जब तक लॉस $\epsilon$ थ्रेसहोल्ड से नीचे न आ जाए, तब तक दोहराएं।

3. मुख्य योगदान (Key Contributions)

1. शोर-रोधी ढांचा (Noise-Robust Framework): यह शोध पत्र विशेष रूप से अज्ञात लेकिन सीमित मापन शोर को संभालने के लिए डिज़ाइन किया गया पहला डीप कूप्मन ढांचा पेश करता है, जो DNN लिफ्टिंग फंक्शन के माध्यम से शोर के प्रसार को लक्षणबद्ध करता है।
2. सैद्धांतिक गारंटी (Theoretical Guarantee): यह अनुमान त्रुटि को शोर सीमा और DNN मापदंडों से जोड़ने वाला एक सैद्धांतिक ऊपरी स्तर (थ्योरम 1) प्रदान करता है, जिससे अनुकूलन (optimization) $\theta$ को ट्यून करके शोर के प्रभावों को कम करने में सक्षम होता है।
3. व्यावहारिक कार्यान्वयन: इस विधि के लिए केवल यह आवश्यक है कि शोर सीमित हो (जो नियंत्रण में एक सामान्य धारणा है), जिससे जटिल शोर वितरण मॉडलिंग या शोर-मुक्त अवस्थाओं के प्रत्यक्ष मापन की आवश्यकता समाप्त हो जाती है।
4. कुशल अनुकूलन (Efficient Optimization): यह एल्गोरिदम रैखिक मैट्रिक्स अनुमान (क्लोज्ड-फॉर्म) को गैर-रेखीय DNN मापदंड ट्यूनिंग से अलग करता है, जिससे यह कम्प्यूटेशनल रूप से व्यवहार्य बन जाता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने चार बेंचमार्क पर DKND का मूल्यांकन किया: एक 2D लीनियर सिस्टम, कार्टपोल (Cartpole), लूनर लैंडर (Lunar Lander), और एक अनमैन्ड सरफेस व्हीकल (USV)। उन्होंने तीन बेसलाइन के विरुद्ध परीक्षण किया:

• DK: मानक डीप कूप्मन (सीधे समीकरण 12 को कम करना)।
• DMDTLS: टोटल लीस्ट स्क्वायर्स के साथ डायनेमिक मोड डिकम्पोजिशन।
• MLP: मल्टी-लेयर पर्सेप्ट्रॉन (ब्लैक-बॉक्स डायनेमिक्स लर्निंग)।

परीक्षण किए गए शोर के प्रकार: गॉसियन (Gaussian), पॉइसन (Poisson), और यूनिफॉर्म (Uniform) वितरण (सीमाबद्धता सुनिश्चित करने के लिए क्लिपिंग के साथ)।

मुख्य निष्कर्ष:

• बेहतर सटीकता: DKND ने सभी शोर प्रकारों और सिस्टम जटिलताओं में टेस्ट डेटा पर लगातार सबसे कम रूट मीन स्क्वायर डेविएशन (RMSD) प्राप्त किया।
• शोर की तीव्रता के प्रति मजबूती: जैसे-जैसे शोर की तीव्रता बढ़ी (उदाहरण के लिए, $w_{max}$ तक 8.2 के साथ यूनिफॉर्म शोर), DKND और बेसलाइनों के बीच प्रदर्शन का अंतर काफी बढ़ गया।
  • उदाहरण: लूनर लैंडर कार्य में यूनिफॉर्म शोर के साथ, DKND का RMSD 2.33 था, जबकि MLP का 6.29 था और DMDTLS बुरी तरह विफल (288.29) रहा।
• सामान्यीकरण (Generalization): DMDTLS के विपरीत, जो उच्च-आयामी गैर-रेखीय प्रणालियों (कार्टपोल, लूनर लैंडर) के साथ संघर्ष करता है, DKND ने स्थिरता और सटीकता बनाए रखी।
• प्रशिक्षण बनाम परीक्षण: हालांकि ग्रेडिएंट-आधारित विधियों में प्रशिक्षण त्रुटियां समान थीं (अर्ली स्टॉपिंग मानदंडों के कारण), DKND ने टेस्ट सेट पर काफी बेहतर सामान्यीकरण दिखाया, जो इंगित करता है कि इसने शोर के प्रति ओवरफिट होने के बजाय वास्तविक अंतर्निहित डायनेमिक्स को सीखा।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह शोध पत्र नियंत्रण और मशीन लर्निंग समुदायों के लिए महत्वपूर्ण है क्योंकि यह सैद्धांतिक कूप्मन ऑपरेटर थ्योरी और व्यावहारिक, शोर युक्त वास्तविक दुनिया के डेटा के बीच के अंतर को पाटता है।

• नियंत्रण अनुप्रयोग (Control Applications): शोर युक्त गैर-रेखीय डायनेमिक्स के लिए अधिक सटीक और मजबूत रैखिक प्रतिनिधित्व प्रदान करके, DKND जटिल गैर-रेखीय प्रणालियों (जहाँ सेंसर शोर अपरिहार्य है) पर शक्तिशाली रैखिक नियंत्रण तकनीकों (जैसे LQR या MPC) के अनुप्रयोग को सक्षम बनाता है।
• सीमाएँ (Limitations): लेखक नोट करते हैं कि यह विधि मानती है कि शोर सीमित है; प्रदर्शन पर बाउंड के आकार का औपचारिक प्रभाव एक खुला प्रश्न है। इसके अतिरिक्त, सभी DNN-आधारित विधियों की तरह, यह नॉन-कॉन्वेक्स ऑप्टिमाइज़ेशन के कारण लोकल मिनिमा तक सीमित है।
• भावी कार्य (Future Work): लेखक सीखे गए शोर युक्त डायनेमिक्स के आधार पर सीधे इष्टतम नियंत्रण रणनीतियों (optimal control strategies) को खोजने का सुझाव देते हैं।

संक्षेप में, DKND शोर वाले डेटा की उपस्थिति में सिस्टम डायनेमिक्स सीखने के लिए एक गणितीय रूप से सुदृढ़, कम्प्यूटेशनल रूप से कुशल और अनुभवजन्य रूप से श्रेष्ठ दृष्टिकोण प्रदान करता है, जो रैखिक और अत्यधिक गैर-रेखीय दोनों बेंचमार्क में मौजूदा अत्याधुनिक विधियों से बेहतर प्रदर्शन करता है।