⚡ electrical engineering

Koopman Subspace Pruning in Reproducing Kernel Hilbert Spaces via Principal Vectors

यह शोध पत्र प्रिमार्कल एंगल्स (principal angles) और वेक्टर्स की गणना करके रिप्रोड्यूसिंग कर्नेल हिल्बर्ट स्पेस (Reproducing Kernel Hilbert Spaces) के भीतर कूपमैन सबस्पेस प्रूनिंग (Koopman subspace pruning) को सक्षम करने के लिए कर्नेल-SPV और एप्रोक्सिमेट कर्नेल-SPV एल्गोरिदम पेश करता है, जिससे इनवेरिएंस-एनहांसिंग प्रूनिंग तकनीकों को यूक्लिडियन सेटिंग्स से परे विस्तारित किया जा सके।

मूल लेखक: Dhruv Shah, Jorge Cortes

प्रकाशित 2026-04-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Dhruv Shah, Jorge Cortes

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: अराजकता (Chaos) के भविष्य की भविष्यवाणी करना

कल्पना कीजिए कि आप मौसम की भविष्यवाणी करने की कोशिश कर रहे हैं। वायुमंडल हवा, गर्मी और दबाव का एक अराजक, घूमता हुआ मिश्रण है। यह एक नॉनलीनियर सिस्टम (nonlinear system) है, जिसका अर्थ है कि छोटे बदलाव भी बड़े, अप्रत्याशित परिणाम दे सकते हैं।

वैज्ञानिकों के पास कोऑपमैन ऑपरेटर (Koopman Operator) नामक एक शक्तिशाली उपकरण है। इस ऑपरेटर को एक "जादुई लेंस" के रूप में सोचें। यदि आप इस लेंस के माध्यम से मौसम को देखते हैं, तो अराजक भंवर अचानक सरल, सीधी रेखाओं की तरह दिखने लगते हैं। यह एक अव्यवस्थित, जटिल समस्या को एक साफ, लीनियर (linear) समस्या में बदल देता है जिसे हल करना बहुत आसान होता है।

हालाँकि, इसमें एक पेंच है। इस जादुई लेंस का उपयोग करने के लिए, आपको एक डिक्शनरी (सामग्री या "ऑब्जर्वेबल्स" की एक सूची) की आवश्यकता होती है जो मौसम का वर्णन कर सके।

समस्या: यदि आपकी डिक्शनरी बहुत छोटी है, तो आप विवरण चूक जाएंगे। यदि यह बहुत बड़ी है, तो गणित को हल करना असंभव हो जाता है (जैसे कि अरबों टुकड़ों वाले पहेली को हल करने की कोशिश करना)।
वर्तमान समाधान: वैज्ञानिक एक विधि का उपयोग करते हैं जिसे Kernel EDMD कहा जाता है, जो डेटा के आधार पर एक समृद्ध डिक्शनरी को स्वचालित रूप से बनाता है। लेकिन यह समृद्ध डिक्शनरी अक्सर "खराब सामग्री" से भरी होती है—ऐसे निर्देश जो वास्तव में भविष्य बताने में मदद नहीं करते हैं। ये खराब दिशाएं मॉडल को गलत बना देती हैं।

समाधान: "सबस्पेस प्रूनिंग" (Subspace Pruning)

इस शोध के लेखक इस डिक्शनरी को साफ करना चाहते हैं। वे अपनी विधि को सबस्पेस प्रूनिंग (Subspace Pruning) कहते हैं।

कल्पना कीजिए कि आप यात्रा के लिए एक सूटकेस पैक कर रहे हैं। आपके पास कपड़ों का एक बड़ा ढेर है (डिक्शनरी)। कुछ कपड़े यात्रा के लिए एकदम सही हैं; अन्य समुद्र तट (beach) पर जाने के लिए भारी सर्दियों के कोट की तरह हैं।

प्रूनिंग (Pruning) उन कपड़ों को व्यवस्थित रूप से बाहर फेंकने की क्रिया है जो यात्रा के अनुकूल नहीं हैं ("ज्यामितीय रूप से गलत संरेखित दिशाएं"), ताकि आपके पास केवल वे आवश्यक वस्तुएं बचें जो आपकी भविष्यवाणी को सटीक बनाती हैं।

नवाचार: इसे "कर्नेल स्पेस" में करना

यहीं पर यह पेपर कठिन हो जाता है।

पुराना तरीका: पिछले तरीके इन डिक्शनरी को केवल तभी काट (prune) सकते थे जब डेटा सरल और सपाट हो (जैसे कागज की एक शीट)। इसे "यूक्लिडियन" (Euclidean) सेटिंग कहा जाता है।
नया तरीका: लेखकों ने महसूस किया कि जटिल प्रणालियों के लिए, डेटा एक अजीब, उच्च-आयामी, घुमावदार स्थान में रहता है जिसे रिप्रोड्यूसिंग कर्नेल हिलबर्ट स्पेस (RKHS) कहा जाता है। आप इस स्थान में कोणों को मापने के लिए साधारण स्केल का उपयोग नहीं कर सकते; यहाँ की ज्यामिति विकृत है।

उपमा (Analogy):
एक सपाट मानचित्र बनाम ग्लोब पर दो शहरों के बीच की दूरी मापने की कोशिश करें। एक सपाट मानचित्र पर, आप एक सीधी रेखा खींचते हैं। ग्लोब पर, आपको वक्र (curve) का अनुसरण करना पड़ता है।

लेखकों ने पता लगाया कि डेटा दिशाओं के बीच के "कोणों" को ग्लोब पर (RKHS में) कैसे मापा जाए, न कि दुनिया को सपाट मानने की गलती की जाए।
उन्होंने प्रिंसिपल वेक्टर्स (Principal Vectors) खोजने का तरीका विकसित किया। इन्हें कम्पास की सुइयों के रूप में सोचें जो आपको ठीक से बताती हैं कि कौन सी दिशाएं भविष्य के साथ संरेखित हैं और कौन सी गलत दिशा में इशारा कर रही हैं।

चुनौती: गणित बहुत भारी है

इस घुमावदार स्थान में इन कोणों की गणना करना अविश्वसनीय रूप से कठिन है। यदि आपके पास 5,000 डेटा बिंदु हैं, तो गणित इतनी तेजी से बढ़ता है कि एक सुपरकंप्यूटर को इसे पूरा करने में वर्षों लग जाएंगे। यह समुद्र तट पर रेत के हर कण को एक-एक करके गिनने की कोशिश करने जैसा है।

सफलता: "निस्ट्रोम" (Nyström) शॉर्टकट

"बहुत अधिक गणित" की समस्या को हल करने के लिए, लेखकों ने निस्ट्रोम सन्निकटन (Nyström approximation) का उपयोग करके एक चतुर शॉर्टकट पेश किया।

उपमा: पोलिंग स्टेशन (मतदान केंद्र)
कल्पना कीजिए कि आप पूरे देश (5,000 लोग) की राय जानना चाहते हैं।

पुराना तरीका (सटीक विधि): आप हर एक व्यक्ति का साक्षात्कार लेते हैं। यह सटीक है, लेकिन इसमें बहुत समय लगता है।
नया तरीका (निस्ट्रोम सन्निकटन): आप एक छोटा, प्रतिनिधि समूह (जिन्हें "लैंडमार्क्स" कहा जाता है) चुनते हैं। आप उनका साक्षात्कार लेते हैं, और आप पूरे देश की राय का अनुमान लगाने के लिए उनके उत्तरों का उपयोग करते हैं।

लेखकों ने दिखाया कि इस "लैंडमार्क" समूह का उपयोग करके, वे घुमावदार स्थान में जटिल कोणों को 99% सटीकता के साथ अनुमानित कर सकते हैं, लेकिन बहुत कम समय में। यह एक ऐसी गणना को जो वर्षों लेती थी, मिनटों में बदल देता है।

उन्होंने क्या किया (एल्गोरिदम)

उन्होंने दो उपकरण बनाए:

Kernel-SPV: "गोल्ड स्टैंडर्ड" टूल। यह सटीक, भारी गणित करता है। यह सटीक है लेकिन धीमा है।
Approximate Kernel-SPV: "तेज़" टूल। यह लैंडमार्क शॉर्टकट का उपयोग करता है। यह तेज़ है और लगभग उतना ही सटीक है।

परिणाम: यह क्यों महत्वपूर्ण है

उन्होंने इसका परीक्षण एक "डफिंग ऑसिलेटर" (Duffing Oscillator) पर किया, जो एक स्प्रिंग का गणितीय मॉडल है जो अजीब व्यवहार करता है (यह एक साधारण स्प्रिंग नहीं है; यह इस बात पर निर्भर करता है कि आप इसे कितनी जोर से खींचते हैं कि यह सख्त हो जाता है या ढीला हो जाता है)।

प्रूनिंग से पहले: मॉडल ने स्प्रिंग की गति की भविष्यवाणी करने की कोशिश की लेकिन डिक्शनरी में मौजूद "खराब दिशाओं" के कारण भ्रमित हो गया। भविष्यवाणी थोड़ी गलत थी।
प्रूनिंग के बाद: उन्होंने अपने नए उपकरणों का उपयोग करके खराब दिशाओं को हटा दिया। परिणाम? मॉडल बहुत अधिक सटीक हो गया। इसने स्प्रिंग की भविष्य की स्थिति की भविष्यवाणी बहुत अधिक सटीकता के साथ की।

एक वाक्य में सारांश

यह पेपर हमें सिखाता है कि कैसे एक जटिल गणितीय डिक्शनरी को साफ किया जाए—यह पता लगाकर कि किन दिशाओं को रखना है और किन बेकार दिशाओं को फेंक देना है, भले ही डेटा एक अजीब, घुमावदार स्थान में हो, और यह सब एक स्मार्ट शॉर्टकट का उपयोग करके किया जाता है जो गणित को एक सामान्य कंप्यूटर पर चलाने के लिए पर्याप्त तेज़ बनाता है।

यहाँ ध्रुव शाह और जॉर्ज कोर्टेस के शोध पत्र "Koopman Subspace Pruning in Reproducing Kernel Hilbert Spaces via Principal Vectors" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र गैररेखीय गतिशील प्रणालियों (nonlinear dynamical systems) के डेटा-संचालित मॉडलिंग में एक महत्वपूर्ण सीमा को संबोधित करता है, जो कोलमैन ऑपरेटर (Koopman operator) का उपयोग करता है।

संदर्भ: कोलमैन ऑपरेटर ढांचा नॉनलीन डायनेमिक्स को ऑब्जर्वेबल्स (observables) के अनंत-आयामी रैखिक स्थान में ऊपर उठाता है। व्यावहारिक कार्यान्वयन, जैसे कि एक्सटेंडेड डायनेमिक मोड डिकंपोजिशन (EDMD) और इसका कर्नेल-आधारित संस्करण (Kernel EDMD), इस ऑपरेटर को फंक्शनों के एक शब्दकोश (dictionary) द्वारा स्पैन किए गए परिमित-आयामी उपसमष्टि (finite-dimensional subspace) पर प्रोजेक्ट करके अनुमानित करते हैं।
चुनौती: इन अनुमानों की सटीकता चुने गए उपसमष्टि की इनवेरिएंस प्रॉक्सिमिटी (invariance proximity) पर अत्यधिक निर्भर करती है। यदि उपसमष्टि कोलमैन ऑपरेटर के तहत इनवेरिएंट नहीं है (अर्थात, ऑपरेटर फंक्शनों को उपसमष्टि से बाहर ले जाता है), तो प्रोजेक्शन त्रुटियां होती हैं, जिससे भविष्य कहनेवाला प्रदर्शन (predictive performance) खराब हो जाता है।
मौजूदा अंतराल: जबकि मानक यूक्लिडियन सेटिंग्स में (जहाँ $L_2$ इनर प्रोडक्ट्स का उपयोग होता है) ज्यामितीय रूप से गलत संरेखित दिशाओं को हटाने और इनवेरिएंस सुधारने के लिए "सबस्पेस प्रूनिंग" तकनीकें मौजूद हैं, उन्हें रिप्रोड्यूसिंग कर्नेल हिलबर्ट स्पेस (RKHS) में विस्तारित नहीं किया गया है।
विशिष्ट बाधाएं:
1. ज्यामिति (Geometry): RKHS में प्रिंसिपल एंगल्स (एक इनवेरिएंस का माप) की गणना करना गैर-तुच्छ है क्योंकि शब्दकोश के तत्व कर्नेल सेक्शन के स्पष्ट रैखिक संयोजन होते हैं, न कि स्पष्ट वेक्टर।
2. स्केलेबिलिटी (Scalability): सटीक Kernel EDMD और संबंधित प्रूनिंग प्रक्रियाएं $N \times N$ कर्नेल मैट्रिसेस (जहाँ $N$ डेटा बिंदुओं की संख्या है) पर संचालन की आवश्यकता रखती हैं, जिसके परिणामस्वरूप $O(N^3)$ कम्प्यूटेशनल कॉम्प्लेक्सिटी होती है, जो बड़े डेटासेट के लिए निषेधात्मक है।

2. कार्यप्रणाली (Methodology)

लेखक RKHS ज्यामिति के भीतर प्रिंसिपल एंगल्स और वेक्टर्स को कंप्यूट करने के लिए एक फ्रेमवर्क प्रस्तावित करते हैं ताकि सबस्पेस प्रूनिंग सक्षम हो सके, जो एक सटीक विधि और एक स्केलेबल सन्निकटन (approximation) दोनों प्रदान करता है।

A. सैद्धांतिक आधार: RKHS प्रिंसिपल एंगल्स (Theoretical Foundation: RKHS Principal Angles)

शोध पत्र इनवेरिएंस प्रॉक्सिमिटी $\delta(S)$ को एक उपसमष्टि $S$ और उसके कोलमैन इमेज $KS$ के बीच सबसे बड़े प्रिंसिपल एंगल के साइन (sine) के रूप में परिभाषित करता है।

सटीक गणना (Exact Computation - Kernel-SPV):
- लेखक बिना स्पष्ट रूप से अनंत-आयामी फंक्शनों का निर्माण किए प्रिंसिपल एंगल्स की गणना करने के लिए एक बीजगणितीय रूटीन व्युत्पन्न करते हैं।
- वे कर्नेल ट्रिक का उपयोग करके इनर प्रोडक्ट्स को कर्नेल मैट्रिसेस ( $K_{X,X}$ और $K_{T(X),X}$ ) के माध्यम से व्यक्त करते हैं।
- मुख्य व्युत्पत्ति: वे स्थापित करते हैं कि कोलमैन इमेज ($KV $) के आधार वेक्टर्स डेटा कर्नेल सेक्शन ($ \Phi_X $) के रैखिक संयोजन के रूप में दर्शाए जा सकते हैं, जिसे एक रैखिक प्रणाली को हल करके प्राप्त किया जाता है:$ K_{X,X} W_{KV} = K_{T(X),X} W_V$।
- ऑर्थोगोनलाइजेशन (Orthogonalization): चूंकि ग्रैम मैट्रिसेस रैंक-डेफिशिएंट हो सकते हैं, इसलिए विधि स्थिर, ऑर्थोनॉर्मल बेस प्राप्त करने के लिए ट्रंकेटेड आइजनडिकंपोजिशन (truncated eigendecompositions) का उपयोग करती है।
- SVD: इन ऑर्थोनॉर्मल बेस से निर्मित "कोसाइन मैट्रिक्स" के सिंगुलर वैल्यू डिकंपोजिशन (SVD) के माध्यम से प्रिंसिपल एंगल्स और वेक्टर्स निकाले जाते हैं।

B. स्केलेबल सन्निकटन: निस्ट्रॉम विधि (Scalable Approximation: Nyström Method - Approximate Kernel-SPV)

$O(N^3)$ बाधा को दूर करने के लिए, लेखक निस्ट्रॉम सन्निकटन (Nyström approximation) का उपयोग करके एक स्केलेबल दृष्टिकोण पेश करते हैं।

लैंडमार्क सैंपलिंग (Landmark Sampling): डेटासेट से लैंडमार्क बिंदुओं का एक छोटा उपसमुच्चय $D \ll N$ चुना जाता है।
फीचर मैप निर्माण (Feature Map Construction): लैंडमार्क कर्नेल मैट्रिक्स के आइजनडिकंपोजिशन का उपयोग करके एक स्पष्ट परिमित-आयामी फीचर मैप $\psi: \mathbb{R}^n \to \mathbb{R}^D$ बनाया जाता है। यह कर्नेल मैट्रिक्स $K_{X,X}$ को $\Psi(X)^\top \Psi(X)$ के रूप में अनुमानित करने की अनुमति देता है।
टारगेट मैट्रिक्स डिज़ाइन (Target Matrix Design):
- कोलमैन इमेज गुणांकों के लिए महंगी $O(N^3)$ रैखिक प्रणाली को हल करने के बजाय, विधि सीधे फीचर स्पेस में टारगेट मैट्रिसेस ( $Z_V$ और $Z_{KV}$ ) का निर्माण करती है।
- कोलमैन इमेज को कंप्यूट करने के लिए एक टिचोनोव-रेगुलराइज्ड (Tikhonov-regularized) समाधान का उपयोग किया जाता है, जो संख्यात्मक स्थिरता सुनिश्चित करता है और पूर्ण कर्नेल मैट्रिक्स के व्युत्क्रमण (inversion) को दरकिनार करता है।
रैंक सेपरेशन (Rank Separation): सन्निकटन और रेगुलराइजेशन के कारण होने वाले रैंक इन्फ्लेशन को संभालने के लिए, लेखक टारगेट मैट्रिसेस पर डेटा-निर्भर थ्रेसहोल्ड के साथ ट्रंकेटेड SVD लागू करते हैं। यह सुनिश्चित करता है कि कंप्यूट किए गए उपसमष्टि मूल समस्या के वास्तविक ज्यामितीय रैंक से मेल खाते हैं।
जटिलता (Complexity): जटिलता $O(N^3)$ से घटकर $O(NDs + D^3)$ हो जाती है, जहाँ $s$ उपसमष्टि का आयाम है और $D$ लैंडमार्क की संख्या है।

C. प्रूनिंग एल्गोरिदम (The Pruning Algorithm - SPV)

कंप्यूट किए गए प्रिंसिपल वेक्टर्स का उपयोग एक पुनरावृत्त (iterative) सिंगल प्रिंसिपल वेक्टर (SPV) प्रूनिंग रणनीति में किया जाता है:

वर्तमान उपसमष्टि और उसके कोलमैन इमेज के बीच प्रिंसिपल एंगल्स की गणना करें।
सबसे बड़े कोण (सबसे कम इनवेरिएंट दिशा) से जुड़े प्रिंसिपल वेक्टर की पहचान करें।
इस दिशा को शब्दकोश (dictionary) से हटा दें।
जब तक इनवेरिएंस प्रॉक्सिमिटी एक निर्दिष्ट टॉलरेंस $\epsilon$ से नीचे न आ जाए, तब तक दोहराएं।

3. मुख्य योगदान (Key Contributions)

RKHS फॉर्मूलेशन: RKHS ज्यामिति के लिए विशेष रूप से प्रिंसिपल एंगल्स और वेक्टर्स का पहला कठोर व्युत्पन्न, जो Kernel EDMD के लिए सबस्पेस प्रूनिंग को सक्षम बनाता है।
सटीक एल्गोरिदम (Exact Algorithm - Kernel-SPV): एक कम्प्यूटेशनल रूटीन जो ग्रैम मैट्रिसेस और स्पेक्ट्रल ट्रंकेशन का उपयोग करके प्रिंसिपल एंगल समस्या को हल करता है, जो एक सैद्धांतिक आधार प्रदान करता है।
स्केलेबल एल्गोरिदम (Scalable Algorithm - Approximate Kernel-SPV): निस्ट्रॉम सन्निकटन और टिचोनोव रेगुलराइजेशन का एक नवीन एकीकरण जो $N$ के सापेक्ष रैखिक जटिलता के साथ विशाल डेटासेट पर सबस्पेस प्रूनिंग की अनुमति देता है।
सैद्धांतिक औचित्य: यह प्रमाण कि निस्ट्रॉम-आधारित सन्निकटन वास्तविक प्रिंसिपल आर्गुमेंट्स की ओर अभिसरित (converge) होता है और रेगुलराइजेशन प्रूनिंग के लिए आवश्यक ज्यामितीय संरचना को बनाए रखता है।

4. सिमुलेशन परिणाम (Simulation Results)

लेखकों ने एक डैम्प्ड डफिंग ऑसिलेटर (damped Duffing oscillator) ( $N=5000$ डेटा बिंदु) का उपयोग करके अपने दृष्टिकोण को मान्य किया।

अभिसरण (Convergence): जैसे-जैसे निस्ट्रॉम लैंडमार्क्स की संख्या ( $D$ ) बढ़ी, अनुमानित बेस के ऑर्थोनॉर्मलिटी अवशेष (residuals) कम होते गए, जो सटीक RKHS ज्यामिति की ओर अभिसरण की पुष्टि करते हैं।
सटीकता (Accuracy): $D=2000$ के साथ, अनुमानित विधि ने सटीक विधि के समान ही इनवेरिएंट उपसमष्टि की सफलतापूर्वक पहचान की, भले ही बेस पूरी तरह से ऑर्थोनॉर्मल नहीं थे। यह दर्शाता है कि विधि कुशलतापूर्वक प्रूनिंग के लिए आवश्यक आवश्यक ज्यामिति को कैप्चर करती है।
प्रदर्शन सुधार (Performance Improvement):
- प्रूनिंग ने उपसमष्टि के आयाम को $s=200$ से घटाकर $s^*=5$ कर दिया।
- भविदन त्रुटि (Prediction Error): अनप्रून्ड (unpruned) Kernel EDM मॉडल की तुलना में, प्रूनिंग के बाद अग्रणी कोलमैन आइजनफंक्शन (leading Koopman eigenfunction) के लिए 5-स्टेप प्रेडिक्शन एरर काफी कम हो गया।

5. महत्व (Significance)

सिद्धांत और व्यवहार के बीच सेतु: यह कार्य RKHS के समृद्ध, डेटा-निर्भर शब्दकोशों को सबस्पेस प्रूनिंग की मॉडल रिडक्शन क्षमताओं के साथ एकीकृत करता है, जिससे वह अंतराल भर जाता है जहाँ पिछले प्रूनिंग तरीके यूक्लिडियन सेटिंग्स तक सीमित थे।
स्केलेबिलिटी: जटिलता को क्यूबिक से लगभग रैखिक में बदलकर, यह शोध पत्र उच्च-सटीकता वाले कोलमैन मॉडलिंग और मॉडल रिडक्शन को बड़े पैमाने की गतिशील प्रणालियों और विशाल डेटासेट के लिए व्यवहार्य बनाता है।
नियंत्रण अनुप्रयोग (Control Applications): प्राप्त कम-क्रम मॉडल (reduced-order models) लिफ्टेड स्टेट डायनेमिक्स पर आधारित नियंत्रक (controllers) विकसित करने के लिए महत्वपूर्ण हैं, जो आधुनिक नियंत्रण सिद्धांत की एक प्रमुख आवश्यकता है।
मजबूती (Robustness): रेगुलराइजेशन और रैंक-सेपरेशन थ्रेसहोल्ड का परिचय यह सुनिश्चित करता है कि विधि शोर वाले डेटा या खराब स्थिति वाले (ill-conditioned) कर्नेल मैट्रिसेस के साथ भी संख्यात्मक रूप से स्थिर रहे।

संक्षेप में, यह शोध पत्र RKHS में कोलमैन मॉडल को परिष्कृत करने के लिए एक पूर्ण गणितीय और एल्गोरिदम ढांचा प्रदान करता है, जो सिद्धांतपूर्ण सबस्पेस प्रूनिंग के माध्यम से उच्च भविष्य कहनेवाला सटीकता और कम्प्यूटेशनल दक्षता सुनिश्चित करता है।