🤖 machine learning

Dictionary learning for Kernel EDMD

यह शोध पत्र कर्नेल एक्सटेंडेड डायनेमिक मोड डिकंपोजिशन (kEDMD) के लिए एक डिक्शनरी लर्निंग दृष्टिकोण प्रस्तावित करता है जो एक भारित सूची से कर्नेल मापदंडों को स्वचालित रूप से सीखने और छाँटने के लिए ग्रेडिएंट-आधारित अनुकूलन का उपयोग करता है, जिससे गैररेखीय गतिशील प्रणालियों के लिए कूप्मन ऑपरेटर के सन्निकटन को सुव्यवस्थित किया जा सके।

मूल लेखक: Erik Lien Bolager, Boumediene Hamzi, Houman Owhadi, Ioannis G. Kevrekidis, Felix Dietrich

प्रकाशित 2026-04-29

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Erik Lien Bolager, Boumediene Hamzi, Houman Owhadi, Ioannis G. Kevrekidis, Felix Dietrich

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप मौसम की भविष्यवाणी करने की कोशिश कर रहे हैं। वायुमंडल एक अराजक (chaotic), घूमता हुआ गैर-रेखीय (nonlinear) बलों का मिश्रण है। हवा के हर एक अणु को ट्रैक करना असंभव है। हालाँकि, एक गणितीय तरकीब है जिसे कोपमैन ऑपरेटर (Koopman operator) कहा जाता है, जो हमें इस अराजकता को एक अलग नज़रिए से देखने की अनुमति देती है। हवा के अणुओं को देखने के बजाय, हम "अवलोकनीय" (observables) जैसे तापमान या दबाव को एक ऐसे तरीके से विकसित होते देखते हैं जो पूरी तरह से रेखीय (linear) और अनुमानित है। यह एक उलझी हुई ऊन की गेंद को एक सीधी, चिकनी रस्सी में बदलने जैसा है।

समस्या यह है कि इस तरकीब का उपयोग करने के लिए, हमें यह जानना होगा कि किन "अवलोकनीय" (observables) पर नज़र रखनी है। अतीत में, वैज्ञानिकों को इन्हें मैन्युअल रूप से अनुमान लगाना पड़ता था, जैसे कि एक विशाल छल्ले में मौजूद हर चाबी को टेस्ट करके सही चाबी खोजने की कोशिश करना। यह धीमा है और अक्सर विफल हो जाता है।

यह शोध पत्र एक नई विधि पेश करता है जिसे डिक्शनरी लर्निंग फॉर कर्नल EDM (Dictionary Learning for Kernel EDMD) कहा जाता है। इसे ऐसे समझें कि कंप्यूटर को सिस्टम के व्यवहार को अनलॉक करने के लिए अपनी खुद की चाबियाँ बनाना सिखाया जा रहा है, न कि केवल उन चाबियों को आज़माना जो हमारे पास पहले से हैं।

यहाँ यह शोध पत्र इसे सरल उपमाओं (analogies) का उपयोग करके कैसे समझाता है:

1. पुराना तरीका: "फिक्स्ड डिक्शनरी" की समस्या

पारंपरिक रूप से, इन प्रणालियों का अध्ययन करने के लिए वैज्ञानिक EDMD नामक एक विधि का उपयोग करते हैं। वे कार्यों (functions) का एक "डिक्शनरी" (जैसे कि सामग्रियों की एक सूची) बनाते हैं और डेटा को इसमें फीड करते हैं ताकि यह देख सकें कि सिस्टम कैसे विकसित होता है।

समस्या: यदि सिस्टम जटिल है, तो आपको एक विशाल डिक्शनरी की आवश्यकता होगी। यदि डिक्शनरी बहुत बड़ी है, तो गणित कंप्यूटर के लिए बहुत भारी हो जाएगा। यदि यह बहुत छोटी है, तो आप महत्वपूर्ण विवरणों को मिस कर देंगे।
कर्नल ट्रिक (The Kernel Trick): इस "बहुत बड़े" होने वाली समस्या को हल करने के लिए, वैज्ञानिकों ने कर्नल्स (Kernels) का उपयोग करना शुरू किया। सामग्रियों की सूची बनाने के बजाय, वे एक गणितीय "रेसिपी" (कर्नल) का उपयोग करते हैं जो अप्रत्यक्ष रूप से सामग्रियों की एक अनंत सूची बना देता है। यह एक जादुई ब्लेंडर रखने जैसा है जो बिना हर फल को सूचीबद्ध किए आपके लिए कोई भी स्मूदी बना सकता है।
नई समस्या: भले ही आपके पास जादुई ब्लेंडर हो, फिर भी आपको उस रेसिपी (कर्नल) को चुनना होगा और उसके सेटिंग्स (पैरामीटर्स) को ट्यून करना होगा। यदि आप गलत रेसिपी चुनते हैं, तो स्मूदी का स्वाद बहुत खराब होगा। अब तक, सही रेसिपी चुनना बहुत अधिक मानवीय अनुमान और परीक्षण-त्रुटि (trial-and-error) की मांग करता था।

2. नया समाधान: ब्लेंडर को सीखना सिखाना

लेखक कहते हैं, "क्यों न हम कंप्यूटर को खुद सबसे अच्छी रेसिपी सीखना सिखाएं?" वे "डिक्शनरी लर्निंग" (जहाँ कंप्यूटर सीखता है कि किन सामग्रियों को चुनना है) के विचार को "कर्नल लर्निंग" (जहाँ कंप्यूटर सबसे अच्छी रेसिपी सीखता है) तक विस्तारित करते हैं।

वे एक एल्गोरिदम प्रस्तावित करते हैं जो:

एक मिश्रण से शुरू होता है: यह विभिन्न, प्रसिद्ध रेसिपी (कर्नल्स) की एक भारित (weighted) सूची लेता है जिनमें रैंडम सेटिंग्स होती हैं।
स्वाद लेता है और सुधार करता है: यह सिस्टम को चलाता है, देखता है कि यह भविष्य की कितनी अच्छी भविष्यवाणी करता है, और फिर रेसिपी के सेटिंग्स को बदलने के लिए ग्रेडिएंट डिसेंट (gradient descent) (एक गणितीय तरीका जो सबसे निचले बिंदु को खोजने के लिए पहाड़ी से नीचे फिसलने जैसा है) का उपयोग करता है।
सूची को छाँटता है: यदि कोई रेसिपी मदद नहीं कर रही है, तो एल्गोरिदम उसके भार (weight) को शून्य कर देता है। यह प्रभावी रूप से कहता है, "हमें अब इस सामग्री की आवश्यकता नहीं है," और उसे हटा देता है। यह केवल सबसे उपयोगी कर्नल्स की एक लीन (lean) और कुशल सूची छोड़ देता है।

3. "सरलीकरण" की तरकीब

शोध पत्र स्वीकार करता है कि मूल जटिल गणित पर इसे सीधे करना बहुत कठिन है। इसलिए, उन्होंने इस विधि का एक सरलीकृत संस्करण (जिसे skEDMD कहा जाता है) बनाया है।

उपमा: कल्पना कीजिए कि आप एक जटिल मशीन का अध्ययन करना चाहते हैं। मूल विधि पूरे इंजन को खोलकर यह देखने की कोशिश करती है कि वह कैसे काम करता है। लेखकों की नई विधि कहती है, "आइए हम केवल उन विशिष्ट हिस्सों को देखें जो बटन दबाने पर चलते हैं।"
उन्होंने गणितीय रूप से सिद्ध किया कि यह सरलीकृत संस्करण मूल वाले के समान ही परिणाम देता है लेकिन इसके साथ काम करना बहुत आसान है। यह उन्हें कर्नल्स को प्रशिक्षित करने के लिए मानक उपकरणों (जैसे कि न्यूरल नेटवर्क में उपयोग किए जाने वाले उपकरण) का उपयोग करने की अनुमति देता है।

4. प्रयोग: नई विधि का परीक्षण

लेखकों ने अपने "लर्निंग ब्लेंडर" का परीक्षण तीन अलग-अलग चुनौतियों पर किया:

डफिंग ऑसिलेटर (Duffing Oscillator - एक उछलता हुआ स्प्रिंग): उन्होंने एक ऐसे कर्नल से शुरुआत की जो पूरी तरह से गलत था (जैसे घड़ी ठीक करने के लिए हथौड़े का उपयोग करना)। एल्गोरिदम ने जल्दी ही महसूस किया कि यह गलत था, सेटिंग्स को समायोजित किया, और एक ऐसा कर्नल खोज निकाला जो स्प्रिंग की गति की सटीक भविष्यवाणी करता है।
"मोडुलो" (Modulo) सिस्टम (एक कूदता हुआ कोण): कल्पना कीजिए कि एक घड़ी की सुई 12 से वापस 1 पर कूद जाती है। यह भविष्यवाणी करना कठिन है क्योंकि इसमें एक 'जंप' है। एल्गोरिदम को कर्नल्स का एक मिश्रण दिया गया: कुछ जो चिकनी वक्र रेखाओं (smooth curves) को संभालते हैं, और एक जो डेटा को "रैप" (wrap) करता है ताकि जंप को छिपाया जा सके। एल्गोरिदम ने जल्दी ही पहचान लिया कि "रैपिंग" कर्नल ही असली हीरो है और उसने अन्य बेकार कर्नल्स की आवाज़ कम कर दी।
कुरामोटो-सिवाशिंस्की समीकरण (Kuramoto-Sivashinsky Equation - अराज तरल प्रवाह): यह एक बहुत ही अस्त-व्यस्त, अराजक प्रणाली है (जैसे अशांत पानी)। एल्गोरिदम ने 6 अलग-अलग कर्नल प्रकारों के एक बड़े मिश्रण के साथ शुरुआत की। प्रशिक्षण के बाद, इसने दो सबसे प्रभावी कर्नल्स (एक विशिष्ट चिकनी वक्र रेखा और एक "न्यूरल नेटवर्क" शैली का कर्नल) को रखा और बाकी को हटा दिया। इसने अराजक प्रवाह की सफलतापूर्वक भविष्यवाणी की, भले ही शुरुआती अनुमान बहुत खराब था।

5. "शेड्यूलर" सुरक्षा जाल

एक चतुर विशेषता जिसे उन्होंने जोड़ा है, वह है एक रेगुलराइजेशन शेड्यूलर (regularization scheduler)।

उपमा: जब आप पहली बार ड्राइविंग सीखना शुरू करते हैं, तो आपको ट्रेनिंग व्हील्स (भारी रेगुलराइजेशन) की आवश्यकता होती है ताकि आप दुर्घटनाग्रस्त न हों। जैसे-जैसे आप बेहतर होते जाते हैं, आप ट्रेनिंग व्हील्स हटा देते हैं।
एल्गोरिदम एक "सुरक्षा जाल" के साथ शुरू होता है जो गणित को फटने से रोकता है यदि शुरुआती अनुमान खराब हो। जैसे-जैसे एल्गोरिदम सीखता है और बेहतर होता है, यह धीरे-धीरे इस सुरक्षा जाल को हटा देता है, जिससे मॉडल अधिक सटीक बन जाता है।

सारांश

संक्षेप में, यह शोध पत्र एक ऐसी विधि प्रस्तुत करता है जो जटिल, अराजक प्रणालियों का अध्ययन करने के लिए सर्वश्रेष्ठ गणितीय उपकरणों की खोज को स्वचालित करती है। एक मानव विशेषज्ञ द्वारा यह अनुमान लगाने के बजाय कि किन सूत्रों का उपयोग करना है, कंप्यूटर कई रैंडम सूत्रों के बैग से शुरू होता है, परीक्षण और त्रुटि के माध्यम से सीखता है कि कौन से सबसे अच्छा काम करते हैं, और जो काम नहीं करते उन्हें फेंक देता है। यह इसे तरल पदार्थ या ऑसिलेटर्स जैसी जटिल प्रणालियों के भविष्य के व्यवहार की भविष्यवाणी करना आसान बनाता है।

यहाँ शोध पत्र "Dictionary Learning for Kernel EDMD" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

गैररेखीय गतिशील प्रणालियों (nonlinear dynamical systems) का अध्ययन अक्सर कोपमान ऑपरेटर फ्रेमवर्क (Koopman operator framework) पर निर्भर करता है, जो गैररेखीय गतिकी को अवलोकनों (observables) के एक रैखिक, अनंत-आयामी विकास में परिवर्तित करता है। इस ऑपरेटर को परिमित आयामों में अनुमानित करने के लिए, एक्सटेंडेड डायनेमिक मोड डिकम्पोजिशन (EDMD) का व्यापक रूप से उपयोग किया जाता है। हालाँकि, EDMD के लिए अवलोकनों के एक मैन्युअल रूप से चयनित "डिक्शनरी" (dictionary) की आवश्यकता होती है। यदि डिक्शनरी बहुत छोटी है, तो सन्निकटन (approximation) खराब होता है; यदि बहुत बड़ी है, तो यह उच्च कम्प्यूटेशनल लागत और संख्यात्मक अस्थिरता (spectral pollution) का कारण बनती है।

कर्नेल EDMD (kEDMD) एक कर्नेल फंक्शन के माध्यम से डिक्शनरी को अंतर्निहित (implicitly) रूप से परिभाषित करके इस कम्प्यूटेशनल बाधा को दूर करता है, जिससे अनुमान का आकार डिक्शनरी के आकार ( $M$ ) के बजाय स्नैपशॉट की संख्या ( $N$ ) द्वारा सीमित हो जाता है। हालाँकि, kEDMD एक नई चुनौती पेश करता है: उपयुक्त कर्नेल का चयन करना और उसके हाइपरपैरामीटर्स को ट्यून करना। पारंपरिक रूप से, यह अंतर्ज्ञान और मैन्युअल ट्यूनिंग पर निर्भर करता है। जबकि मानक EDMD के लिए "डिक्शनरी लर्निंग" (ग्रेडिएंट्स के माध्यम से डिक्शनरी मापदंडों को अनुकूलित करना) मौजूद है, इसे kEDMD के लिए सीधे लागू नहीं किया जा सकता क्योंकि kEDMD में डिक्शनरी अंतर्निहित है और इसे मानक तरीके से स्पष्ट रूप से मूल्यांकित या विभेदित (differentiate) नहीं किया जा सकता है।

मुख्य समस्या: बिना स्पष्ट डिक्शनरी तक पहुँच के, ग्रेडिएंट-आधारित अनुकूलन (डिक्शनरी लर्निंग) का उपयोग करके kEDMD में कर्नेल के चयन और पैरामीटराइजेशन को कैसे स्वचालित किया जाए, जबकि कम्प्यूटेशनल व्यवहार्यता सुनिश्चित की जाए।

2. कार्यप्रणाली (Methodology)

लेखक एक ढांचा प्रस्तावित करते हैं जिसे kEDMD-DL (Kernel EDMD के लिए डिक्शनरी लर्निंग) कहा जाता है, जो मानक डिक्शनरी लर्निंग और कर्नेल विधियों के बीच के अंतर को पाटता है।

A. सैद्धांतिक सरलीकरण (Simplified kEDMD)

लेखक पहले यह प्रदर्शित करते हैं कि मानक kEDMD (जो आयामीता कम करने के लिए ट्रंकेटेड SVD का उपयोग करता है) गणितीय रूप से एक सरलीकृत kEDMD (skEDMD) के समान है।

मानक kEDMD: एक बड़े अंतर्निहित डिक्शनरी का उपयोग करता है और इसे $N \times N$ मैट्रिक्स ( $\hat{K}$ ) में प्रोजेक्ट करने के लिए SVD का उपयोग करता है।
सरलीकृत kEDMD (skEDMD): डिक्शनरी को स्नैपशॉट बिंदुओं पर केंद्रित कर्नेल फंक्शन के सेट के रूप में स्पष्ट रूप से परिभाषित करता है: $\Psi = \{g(\cdot, x_1), \dots, g(\cdot, x_N)\}$ ।
समानता: वे सिद्ध करते हैं (प्रपोजिशन 2) कि इस विशिष्ट डिक्शनरी से प्राप्त कोपमान सन्निकटन $K_{sk}$ , ट्रंकेटेड SVD सन्निकटन $K_{tr}$ से रैखिक रूप से संबंधित है। यह समानता लेखकों को SVD प्रोजेक्शन के जटिल अंतर्निहित विभेदन (implicit differentiation) की आवश्यकता के बिना, सीधे कर्नेल मापदंडों पर मानक EDMD लॉस फंक्शन्स लागू करने की अनुमति देती है।

B. लॉस फंक्शन्स और अनुकूलन (Loss Functions and Optimization)

चूँकि skEDMD में डिक्शनरी स्पष्ट (डेटा बिंदुओं पर मूल्यांकित) है, लेखक ग्रेडिएंट डिसेंट के लिए विभिन्न लॉस फंक्शन्स को परिभाषित कर सकते हैं:

प्रेडिक्शन लॉस ( $L_{pred}$ ): भविष्य की अवस्थाओं के अनुमान में त्रुटि को कम करता है ( $Y^T \approx C_p K \Psi(X)$ )।
डिक्शनरी लॉस ( $L_{dict}$ ): कोपमान समीकरण के अवशेष (residual) को कम करता ( $\|\Psi(Y) - K\Psi(X)\|^2$ )।
आइजन-प्रेडिक्शन लॉस ( $L_{eig-pred}$ ): कोपमान मोड्स और आइगेनवैल्यू का उपयोग करके त्रुटि को कम करता है।

मुख्य निष्कर्ष: प्रयोगों से पता चलता है कि प्रेडिक्शन लॉस ( $L_{pred}$ ) प्रशिक्षण के लिए सबसे मजबूत और प्रभावी है, जबकि मानक डिक्शनरी लॉस अक्सर मामूली समाधानों (trivial solutions) या अस्थिरता से ग्रस्त होते हैं, विशेष रूप से सिंगल-पैरामीटर कर्नेल के साथ।

C. कर्नेल मिश्रण और स्पर्सिटी (Kernel Mixture and Sparsity)

"सही" कर्नेल प्रकार का अनुमान लगाने की कठिनाई से बचने के लिए, यह विधि कई कर्नेलों के भारित योग (weighted sum) का उपयोग करती है:
$g_\theta(x, y) = \sum_{i=1}^{M_g} \tilde{w}_i^2 g_{\theta_i}(x, y)$

बाहरी पैरामीटर्स ( $w_i$ ): प्रत्येक कर्नेल प्रकार के लिए भार (weights)।
आंतरिक पैरामीटर्स ( $\theta_i$ ): व्यक्तिगत कर्नेलों के हाइपरपैरामीटर्स (जैसे, RBF चौड़ाई $\sigma$ , लीनियर गुणांक)।
प्रूनिंग के माध्यम से स्पर्सिटी (Sparsity via Pruning): लेखक बाहरी भारों ( $w_i$ ) पर $L_1$ रेगुलराइजेशन और आंतरिक मापदंडों पर $L_2$ रेगुलराइजेशन लागू करते हैं। यह अनुकूलन को महत्वहीन कर्नेलों के भार को शून्य करने के लिए प्रोत्साहित करता है। प्रशिक्षण के बाद, नगण्य भार वाले कर्नेलों को हटा (prune) दिया जाता है, जिससे एक स्पार्स, कुशल कर्नेल प्रतिनिधित्व प्राप्त होता है।

D. कम्प्यूटेशनल संवर्द्धन (Computational Enhancements)

बड़े डेटासेट के लिए प्रशिक्षण को व्यवहार्य बनाने के लिए:

स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD): सामान्यीकरण (generalization) में सुधार करने और रग्ड लॉस लैंडस्केप में नेविगेट करने के लिए मिनी-बैचेस का उपयोग करता है।
सबसैंपलिंग (Subsampling): कम्प्यूटेशनल लागत को कम करने के लिए कोपमान मैट्रिक्स को बिंदुओं के एक सबसैंपल किए गए सेट ( $\tilde{N} \ll N$ ) पर गणना किया जाता है।
रेगुलराइजेशन शेड्यूलर (Regularization Scheduler): एक शेड्यूलर कोपमान मैट्रिक्स के व्युत्क्रमण (inversion) के लिए रेगुलराइजेशन स्थिरांक को गतिशील रूप से समायोजित करता है। यह खराब प्रारंभिक कर्नेलों के साथ प्रशिक्षण को स्थिर करने के लिए उच्च स्तर से शुरू होता है और जैसे-जैसे कर्नेल बेहतर होता है, यह घटता जाता है, जिससे लॉस विस्फोट या समयपूर्व ठहराव (plateauing) को रोका जा सकता है।

3. मुख्य योगदान (Key Contributions)

कर्नेलों के लिए डिक्शनरी लर्निंग का विस्तार: यह शोध पत्र सफलतापूर्वक डिक्शनरी लर्निंग (जो पहले न्यूरल नेटवर्क जैसे स्पष्ट डिक्शनरी तक सीमित था) को kEDMD के अंतर्निहित परिवेश में अनुकूलित करता है, यह सिद्ध करके कि मानक kEDMD और सरलीकृत कर्नेल-आधारित EDMD फॉर्मूलेशन के बीच समानता है।
स्वचालित कर्नेल चयन: यह एक साथ कर्नेल के प्रकार (भारित योग के माध्यम से) और उसके हाइपरपैरामीटर्स को सीखने का एक तरीका पेश करता है, जिससे मैन्युअल कर्नेल चयन की आवश्यकता समाप्त हो जाती है।
स्पार्स कर्नेल प्रतिनिधित्व: कर्नेल भारों पर $L_1$ रेगुलराइजेशन का उपयोग करके, यह विधि प्रासंगिक कर्नेलों की पहचान करती है और उन्हें हटा देती है, जिससे संक्षिप्त मॉडल प्राप्त होता है।
आरंभीकरण के प्रति मजबूती (Robustness to Initialization): प्रस्तावित शेड्यूलर और लॉस फंक्शन्स एल्गोरिदम को "बुरे" कर्नेलों (जैसे, जो यूनिट सर्कल के बाहर आइगेनवैल्यू उत्पन्न करते हैं) के साथ भी अभिसरण (converge) करने की अनुमति देते हैं, जो पिछले तरीकों के लिए एक सामान्य विफलता बिंदु है।

4. प्रायोगिक परिणाम (Experimental Results)

इस पद्धति का मूल्यांकन तीन अलग-अलग गतिशील प्रणालियों पर किया गया:

डफिंग ऑसिलेटर (Duffing Oscillator - सिंगल कर्नेल):
- एक एकल RBF कर्नेल को प्रशिक्षित किया गया।
- परिणाम: एल्गोरिदम ने इष्टतम बैंडविड्थ $\sigma$ को सफलतापूर्वक सीखा, जिसने एक खराब प्रारंभिक लीनियर-जैसे कर्नेल को एक ऐसे कर्नेल में बदल दिया जो सिस्टम की गतिकी और आइगेनवैल्यू को सटीक रूप से कैप्चर करता है। दिखाया गया कि अनुकूलन के लिए प्रेडिक्शन लॉस, डिक्शनरी लॉस की तुलना में बेहतर है।
मॉड्यूलो सिस्टम (Modulo System - कर्नेल चयन):
- एक प्रणाली जिसमें विच्छिन्न उछाल (discontinuous jump) है ( $x_{t+1} = (x_t + \omega) \mod 2\pi$ )।
- परिणाम: एल्गोरिदम ने RBF, लीनियर, कोसाइन और एम्बेडिंग-आधारित कर्नेलों के मिश्रण के साथ शुरुआत की। इसने सही ढंग से पहचाना कि एम्बेडिंग-आधारित कर्नेल (जो कोण को वृत्त में मैप करता है) ही एकमात्र उपयोगी कर्नेल था, और अन्य तीनों के भार को शून्य के करीब पहुँचा दिया। प्रून किए गए मॉडल ने यूनिट सर्कल पर सटीक आइगेनवैल्यू प्राप्त किए, जो सैद्धांतिक स्पेक्ट्रम से मेल खाते हैं।
कुरामोटो-सिवाशिंस्की PDE (Kuramoto-Sivashinsky PDE - जटिल प्रणाली):
- एक अराजक (chaotic) आंशिक अंतर समीकरण (PDE)।
- परिणाम: पद्धति ने RBF, कोसाइन, लीनियर और न्यूरल नेटवर्क गॉसियन प्रोसेस (NNGP) कर्नेलों के मिश्रण को सीखा।
- प्रूनिंग: प्रशिक्षण के बाद, RBF (विशिष्ट $\sigma$ के साथ) और NNGP कर्नेलों को बरकरार रखा गया, जबकि अन्य को हटा दिया गया।
- प्रदर्शन: सीखे गए कर्नेल ने आइगेनवैल्यू के अवशेष को काफी कम कर दिया और प्रक्षेपवक्र (trajectories) का सटीक अनुमान लगाया, जो प्रारंभिक रैंडम कर्नेल से बेहतर प्रदर्शन करता है। लेखकों ने उल्लेख किया कि लागत और सटीकता के बीच संतुलन बनाने के लिए दो-चरणीय प्रशिक्षण (प्रारंभिक लर्निंग/प्रूनिंग के लिए छोटा $\tilde{N}$ , उसके बाद बड़े $\tilde{N}$ पर फाइन-ट्यूनिंग) एक प्रभावी रणनीति थी।

5. महत्व (Significance)

यह कार्य गैररेखीय गतिशील प्रणालियों के पूर्णतः स्वचालित, डेटा-संचालित मॉडलिंग की दिशा में एक महत्वपूर्ण कदम है।

सिद्धांत और व्यवहार को जोड़ना: यह कर्नेल विधियों में डिक्शनरी लर्निंग को रोकने वाले सैद्धांतिक अंतर को हल करता है, जिससे kEDMD एक "ब्लैक-बॉक्स" फ्रेंडली टूल बन जाता है जहाँ उपयोगकर्ता को कर्नेल चुनने के लिए गहरे डोमेन ज्ञान की आवश्यकता नहीं होती है।
दक्षता: अनुपयोगी कर्नेलों को हटाने में सक्षम बनाकर, यह भविष्यवाणी और नियंत्रण के लिए कम्प्यूटेशनल रूप से कुशल, संक्षिप्त मॉडल तैयार करता है।
स्केलेबिलिटी: सबसैंपलिंग और SGD का उपयोग इस दृष्टिकोण को उच्च-आयामी प्रणालियों (जैसे PDEs) के लिए भी लागू करने योग्य बनाता है, जहाँ पारंपरिक EDMD अव्यवहार्य होता है।
भविष्य का प्रभाव: यह ढांचा उन्नत कर्नेल फ्लो और नॉन-पैरामीट्रिक विधियों को गतिशील प्रणाली विश्लेषण में एकीकृत करने का मार्ग खोलता है, जो संभावित रूप से मैन्युअल फीचर इंजीनियरिंग को सीखे गए निरूपणों (learned representations) से बदल सकता है।