Learning dynamically inspired bases for Koopman and transfer operator approximation

यहाँ गैरी फ्रॉयलैंड और केविन कूल के शोध पत्र "Learning Dynamically Inspired Bases for Koopman and Transfer Operator Approximation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

गैर-रेखीय गतिशील प्रणालियों (Nonlinear dynamical systems) का विश्लेषण अक्सर कूपमैन (Koopman) और ट्रांसफर (पेरॉन-फ़्रोबेनियस) ऑपरेटर्स का उपयोग करके किया जाता है, जो अवस्थाओं के गैर-रेखीय विकास को अवलोकनों (observables/functions) के एक रेखीय (लेकिन अनंत-आयामी) विकास में बदल देते हैं। हालाँकि यह ढांचा गैर-रेखीय समस्याओं के लिए रेखीय तकनीकों के उपयोग को सक्षम बनाता है, लेकिन व्यावहारिक अनुप्रयोग के लिए परिमित-आयामी सन्निकटन (finite-dimensional approximations) की आवश्यकता होती है।

मुख्य चुनौतियाँ:

• आधार चयन (Basis Selection): पारंपरिक विधियाँ (जैसे, एक्सटेंडेड डायनेमिक मोड डीकंपोजिशन, EDMD) पूर्व-निर्धारित आधार फलनों (जैसे, मोनोमियल, फूरियर मोड) पर निर्भर करती हैं। ये अक्सर जटिल, एनिसोट्रोपिक (anisotropic), या अराजक (chaotic) गतिकी के लिए अनुपयुक्त होते हैं, जिससे खराब स्पेक्ट्रल रिकवरी और उच्च सन्निकटन त्रुटियाँ होती हैं।
• अपरिवर्तनीयता (Invariance): एक ऐसा परिमित-आयामी उप-स्थान (subspace) खोजना जो ऑपरेटर के तहत अपरिवर्तनीय (या लगभग अपरिवर्तनीय) हो, कठिन है। यदि चुना गया उप-स्थान सिस्टम की अंतर्निहित ज्यामिति (जैसे, स्थिर/अस्थिर मैनिफोल्ड्स) के साथ संरेखित नहीं है, तो सन्निकटन उभरते व्यवहारों जैसे कि इनवेरिएंट मेजर्स (SRB measures) को पकड़ने में विफल रहता है।
• सीखने का पृथक्करण (Separation of Learning): मौजूदा न्यूरल दृष्टिकोण अक्सर ऑपरेटर और एम्बेडिंग को अलग-अलग सीखते हैं, या स्पेक्ट्रल सटीकता के बजाय स्टेट रिकंस्ट्रक्शन के लिए अनुकूलित होते हैं, जिससे वे ऑपरेटर की विशिष्ट गतिकी के अनुसार आधार (basis) को अनुकूलित करने में विफल रहते हैं।

2. कार्यप्रणाली: सिंगल ऑटोएन्कोडर बेसिस ऑपरेटर नेटवर्क (SABON)

लेखक SABON का प्रस्ताव करते हैं, जो एक न्यूरल आर्किटेक्चर है जो एक डेटा-संचालित ऑर्थोगोनल आधार और उस आधार के भीतर रेखीय ऑपरेटर प्रतिनिधित्व को संयुक्त रूप से सीखता है।

आर्किटेक्चर घटक (Architecture Components)

SABON चार चरणों से बना है:

1. एनकोडर ($E$): वेक्टर-वैल्यूड न्यूरल नेटवर्क का एक स्टैक जो आधार फलनों $\{\phi_j\}_{j=1}^N$ को सीखता है। इन फलनों का मूल्यांकन डिस्क्रीटाइज्ड स्टेट स्पेस ग्रिड पर पॉइंटवाइज किया जाता है।
2. प्रोजेक्शन ($P$): एक ऑब्जर्वेबल $g$ को आंतरिक उत्पाद (inner products) का उपयोग करके सीखे गए आधार पर प्रोजेक्ट करता है: $P(g) = (\langle g, \phi_1\rangle, \dots, \langle g, \phi_N\rangle)^\top$।
3. लेटेंट मैप ($G$): एक सीखने योग्य रेखीय मानचित्र (मैट्रिक्स) जो कोएफिशिएंट स्पेस में ट्रांसफर/कूपमैन ऑपरेटर की क्रिया का सन्निकटन करता है।
4. रिकंस्ट्रक्टर ($R$): रूपांतरित कोएफिशिएंट्स को रेखीय संयोजन के माध्यम से फंक्शन स्पेस में वापस लाता है: $R(a) = \sum a_j \phi_j$।

लॉस फंक्शन (Loss Function)

नेटवर्क को एक संयुक्त लॉस फंक्शन $J$ को कम करने के लिए प्रशिक्षित किया जाता है:

• ऑपरेटर सन्निकटन त्रुटि ($E_1$): वास्तविक ऑपरेटर क्रिया $L(g)$ और पुनर्गठित सन्निकटन $R \circ G \circ P(g)$ के बीच सापेक्ष $L^2$ त्रुटि को मापता है।
• स्पर्सिटी पेनल्टी ($E_2$): आधार फलनों पर एक वैकल्पिक $L^1$ नॉर्म पेनल्टी, जो लोकल सपोर्ट (स्थानीय संरचनाओं की पहचान के लिए उपयोगी) को प्रोत्साहित करती है।
• रिकंस्ट्रक्शन पेनल्टी ($E_3$): यह सुनिश्चित करती है कि उप-स्थान $k$-स्टेप इटरेट्स ($L^k g$) का सटीक प्रतिनिधित्व कर सके, जो आधार को समय के साथ गतिकी की एनिसोट्रोपिक ज्यामिति के अनुकूल होने के लिए मजबूर करता है।
• ऑर्थोगोनैलिटी (Orthogonality): प्रोजेक्शन ब्लॉक की इनर-प्रोडक्ट संरचना स्वाभाविक रूप से सीखे गए आधार को ग्रेडिएंट डिसेंट के दौरान ऑर्थोगोनैलिटी की ओर ले जाती है, जिससे लॉस लैंडस्केप की कंडीशनिंग में सुधार होता है।

सैद्धांतिक आधार (Theoretical Foundation)

लेखक इस सेटिंग के लिए एक यूनिवर्सल एप्रोक्सिमेशन थ्योरम सिद्ध करते हैं। पिछले कार्यों (जैसे, BasisONet) के विपरीत, जो इनपुट और आउटपुट स्पेस के लिए अलग-अलग एनकोडर का उपयोग करते हैं, SABON दोनों के लिए एक एकल न्यूरल बेसिस का उपयोग करता है। यह पर्याप्त है क्योंकि ट्रांसफर और कूपमैन ऑपरेटर्स $L^2(X)$ को $L^2(X)$ में मैप करते हैं। यह प्रमेय गारंटी देता है कि किसी भी निरंतर रेखीय ऑपरेटर के लिए, एक न्यूरल बेसिस और एक रेखीय मैप मौजूद है जो कॉम्पैक्ट सेट्स पर ऑपरेटर का अनिश्चित रूप से अच्छा सन्निकटन कर सकता है।

3. मुख्य योगदान (Key Contributions)

1. संयुक्त शिक्षण ढांचा (Joint Learning Framework): SABON आधार फलनों और ऑपरेटर मैट्रिक्स दोनों को एक साथ अनुकूलित करता है, जिससे यह सुनिश्चित होता है कि आधार सिस्टम के प्रति गतिशील रूप से अनुकूलित है न कि पूर्व-निर्धारित।
2. एनिसोट्रॉपी की स्वचालित खोज: यह विधि उन आधार फलनों को स्वतः खोजती है जो अराज प्रणालियों के स्थिर और अस्थिर मैनिफोल्ड्स के साथ संरेखित होते हैं, जिससे आइसोट्रोपिक आधारों (जैसे फूरियर मोड) की सीमाओं को पार किया जा सके।
3. स्पेक्ट्रल रिकवरी: यह ढांचा स्पेक्ट्रल गुणों की सटीक रिकवरी सक्षम करता है, जिसमें आइगेनवैल्यू, आइगेनफंक्शन और इनवेरिएंट मेजर्स (SRB measures) शामिल हैं, यहाँ तक कि उन प्रणालियों के लिए भी जहाँ ये स्मूथ फंक्शन के बजाय डिस्ट्रीब्यूशन होते हैं।
4. दक्षता: एक कॉम्पैक्ट, अनुकूलित आधार सीखकर, SABON पारंपरिक विधियों की तुलना में कम आधार फलनों के साथ उच्च सटीकता प्राप्त करता है।

4. संख्यात्मक परिणाम (Numerical Results)

लेखकों ने बढ़ते जटिलता के तीन उदाहरणों पर SABON को सत्यापित किया:

A. सर्कल रोटेशन (Linear/Integrable)

• सेटअप: सर्कल पर रोटेशन ($T(\theta) = \theta + \alpha$)।
• परिणाम: SABON ने विश्लेतिक आइगेनवैल्यू ($\lambda_k = e^{-ik\alpha}$) और आइगेनफंक्शंस ($e^{ik\theta}$) को सफलतापूर्वक रिकवर किया।
• अवलोकन: सीखे गए आधार फलन सैद्धांतिक फूरियर मोड के साथ पूरी तरह से मेल खाते थे, जो दर्शाता है कि SABON ज्ञात इनवेरिएंट सबस्पेस को रिकवर कर सकता है।

B. वीकली नॉनलीन पर्टर्बड कैट मैप (Anosov)

• सेटअप: 2-टोरस पर अर्नोल्ड के कैट मैप का एक पर्टर्बेशन।
• परिणाम: सीखे गए आधार फलन मैप के संकुचित (contracting) और विस्तारित (expanding) दिशाओं के साथ संरेखित हुए।
• तुलना: SRB मेजर (भौतिक इनवेरिएंट मेजर) का सन्निकटन करते समय, SABON ने समान कार्डिनैलिटी (324 फंक्शन) वाले फूरियर बेसिस की तुलना में काफी बेहतर प्रदर्शन किया।
  • त्रुटि में कमी: SABON ने फूरियर की तुलना में सापेक्ष $L^2$ और $H^{-1}$ सन्निकटन त्रुटियों को ~4 गुना कम कर दिया।
  • कारण: फूरियर मोड आइसोट्रोपिक (अक्षों के साथ संरेखित) होते हैं, जबकि हाइपरबोलिक सिस्टम के लिए SRB मेजर अस्थिर मैनिफोल्ड्स के साथ केंद्रित होता है। SABON ने इन मैनिफोल्ड्स के साथ संरेखित "रिज-लाइक" (ridge-like) फंक्शन सीखे।

C. स्ट्रॉन्गली नॉनलीन कंजुगेटेड कैट मैप

• सेटअप: पर्टर्बड कैट मैप का एक डिफ़ियोमॉर्फिक कंजुगेशन, जो घुमावदार (curved) स्थिर/अस्थिर फोलिएशंस और महत्वपूर्ण गैर-वॉल्यूम संरक्षण पेश करता है।
• परिणाम: सीखे गए आधार फलन गतिकी की घुमावदार ज्यामिति (curved geometry) के अनुकूल थे, जो रेखीय मामले में मौजूद नहीं थी।
• प्रदर्शन: बढ़ी हुई ज्यामितीय जटिलता के बावजूद, SABON ने SRB मेजर के पुनर्निर्माण में फूरियर बेसिस की तुलना में श्रेष्ठ सटीकता बनाए रखी। फूरियर बेसिस सूक्ष्म-स्तरीय घुमावदार संरचनाओं को पकड़ने में विफल रहा, जबकि SABON के सीखे गए आधार ने उच्च-निष्ठा (high-fidelity) सन्निकटन प्रदान किया।

5. महत्व और निष्कर्ष (Significance and Conclusion)

• आइसोट्रॉपी पर विजय: यह पेपर प्रदर्शित करता है कि अराज, एनिसोट्रोपिक प्रणालियों के लिए, निश्चित आइसोट्रोपिक आधार (जैसे फूरियर) मौलिक रूप से अक्षम हैं। डेटा-संचालित आधार जो सिस्टम की अंतर्निहित ज्यामिति (स्थिर/अस्थिर मैनिफोल्ड्स) के साथ संरेखित होते हैं, सटीक स्पेक्ट्रल विश्लेषण के लिए आवश्यक हैं।
• स्पेक्ट्रल गैप और इनवेरिएंट मेजर्स: SABON सफलतापूर्वक स्पेक्ट्रल गैप की पहचान करता है और अग्रणी आइगेनफंक्शन (SRB मेजर) को रिकवर करता है, भले ही वह मेजर एक डिस्ट्रीब्यूशन हो (स्मूथ फंक्शन नहीं), एक ऐसा कार्य जहाँ मानक $L^2$ विधियाँ अक्सर संघर्ष करती हैं।
• भावी दिशाएँ: यह ढांचा उच्च-आयामी और आंशिक रूप से प्रेक्षित (partially observed) प्रणालियों के लिए विस्तार योग्य है। भविष्य के कार्य का लक्ष्य नेटवर्क की गहराई/चौड़ाई और सन्निकटन त्रुटि के बीच मात्रात्मक दरों को निकालना है।

संक्षेप में, SABON ऑपरेटर-थ्योरेटिक मशीन लर्निंग में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है, जो "फिक्स्ड बेसिस" सन्निकटन से गतिशील रूप से प्रेरित, अनुकूलित आधारों की ओर बढ़ता है जो गैर-रेखीय गतिशील प्रणालियों की वास्तविक ज्यामितीय संरचना को पकड़ते हैं।