A Dynamic Subspace Approach for Low-rank Approximation of Large-scale Nonlinear Systems

तकनीकी सारांश: बड़े पैमाने की गैर-रेखीय प्रणालियों के लो-रैंक सन्निकटन (Low-rank Approximation) के लिए एक गतिशील उप-स्थान दृष्टिकोण

समस्या विवरण
डेटा संपीड़न, मशीन लर्निंग और मॉडल रिडक्शन के लिए निम्न-आयामी सन्निकटन (low-dimensional approximation) प्रभावी होना अत्यंत महत्वपूर्ण है। हालाँकि, मानक स्थिर विधियाँ, जैसे कि प्रोपर ऑर्थोगोनल डीकंपोज़िशन (POD) और रैखिक ऑटोएनकोडर, निश्चित प्रोजेक्शन स्पेस पर निर्भर करती हैं। ये स्थिर प्रतिनिधित्व उन क्षणिक, परिवहन-प्रधान घटनाओं (transport-dominated phenomena) को पर्याप्त रूप से पकड़ने में विफल रहते हैं जहाँ भौतिक मोड या सुसंगत संरचनाएँ (coherent structures) समय के साथ विस्थापित होती हैं। ऐसे परिदृश्यों में सटीकता बनाए रखने के लिए, स्थिर रैखिक विधियों को अक्सर उच्च रैंक (आयामीता) की आवश्यकता होती है, जिसे "कोलमोगोरोव बैरियर" (Kolmogorov barrier) के रूप में जाना जाता है। जबकि गैर-रेखीय विधियाँ इस अभिव्यक्ति सीमा (expressivity limit) को पार कर सकती हैं, वे अक्सर व्याख्यात्मकता या कम्प्यूटेशनल दक्षता का त्याग करती हैं और निश्चित एम्बेडिंग पर निर्भर रहती हैं जो विकसित होते स्टेट के साथ अनुकूलित नहीं होती हैं।

कार्यप्रणाली
लेखक एक गतिशील उप-स्थान दृष्टिकोण (dynamic subspace approach) प्रस्तावित करते हैं जो ग्रासमैनियन मैनिफोल्ड ($G(r, N)$) पर एक समय-निरंतर प्रक्षेपवक्र (time-continuous trajectory) के रूप में सन्निकटन आधार (approximation basis) के विकास को मॉडल करता है, जो कि $\mathbb{R}^N$ में $r$-आयामी रैखिक उप-स्थानों का स्थान है।

1. ज्यामितीय सूत्रीकरण (Geometric Formulation):
   एक निश्चित आधार $V$ के बजाय, यह विधि एक जियोडेसिक पाथ (उप-स्थानों के बीच का लघुतम पथ) के रूप में पैरामीटराइज किए गए समय-परिवर्ती आधार $V(t)$ का उपयोग करती है:
   $$V(\tau) = V_1 \cos(\tau \Theta) + V_2 \sin(\tau \Theta)$$
   जहाँ $V_1$ और $V_2$ ऑर्थोनॉर्मल मैट्रिसेस हैं, और $\Theta$ मुख्य कोणों (principal angles) को दर्शाने वाला एक डायगोनल मैट्रिक्स है जो रोटेशन दरों का प्रतिनिधित्व करता है। यह सूत्रीकरण उप-स्थान के ज्यामितीय बहाव (geometric drift) को निम्न-आयामी निर्देशांकों के आंतरिक विकास से अलग करता है, जिससे आधार को रैंक $r$ को बढ़ाए बिना तात्कालिक भौतिकी के अनुकूल होने की अनुमति मिलती है।

2. फीचर स्पेस के माध्यम से स्केलेबल ऑप्टिमाइजेशन:
   उच्च-आयामी स्टेट स्पेस (आयाम $N$) पर सीधा अनुकूलन बड़े पैमाने की प्रणालियों के लिए कम्प्यूटेशनल रूप से अव्यवहार्य है। इसे संबोधित करने के लिए, लेखक एक फीचर स्पेस रिडक्शन पेश करते हैं:

• एक निश्चित $n_f$ फीचर मोड्स का सेट (जो स्नैपशॉट डेटा के अग्रणी सिंगुलर वेक्टर्स के माध्यम से प्राप्त किया गया है) का उपयोग एक रिड्यूस्ड बेसिस $\tilde{V} \in \mathbb{R}^{N \times n_f}$ बनाने के लिए किया जाता है।
• गतिशील आधार को इन फीचर्स के स्पैन के भीतर सीमित किया जाता है: $V(\tau) = \tilde{V} T(\tau)$, जहाँ $T(\tau)$ एक निम्न-आयामी रोटेशन मैट्रिक्स है।
• यह अनुकूलन चरों को उच्च-आयामी स्पेस ($N \times 2r$) से फीचर स्पेस ($n_f \times 2r$) में स्थानांतरित कर देता है, जिससे कम्प्यूटेशनल लागत मूल स्टेट आयाम $N$ से स्वतंत्र हो जाती है।

3. रीमानियन ऑप्टिमाइजेशन (Riemannian Optimization):
   लर्निंग समस्या को प्रशिक्षण स्नैपशॉट्स पर औसत वर्ग प्रोजेक्शन त्रुटि को न्यूनतम करने के रूप में तैयार किया गया है। अनुकूलन एक प्रोडक्ट मैनिफोल्ड $\mathcal{M} = \text{St}(n_f, 2r) \times \mathbb{R}^r$ पर किया जाता है, जहाँ $\text{St}$ स्टिफल मैनिफोल्ड (Stiefel manifold) को दर्शाता है। लेखक एक रीमानियन कंजुगेट ग्रेडिएंट सॉल्वर (Pymanopt पैकेज और JAX बैकएंड के माध्यम से) का उपयोग करते हैं ताकि ऑर्थोगोनैलिटी बाधाओं को सख्ती से लागू किया जा सके और मैनिफोल्ड ज्योमेट्री के माध्यम से नेविगेट किया जा सके। कार्यान्वयन सभी समय चरणों के लिए प्रोजेक्शन की गणना करने के लिए वेक्टरकृत संचालन (vectorized operations) का उपयोग करता है, जिससे इटरेटिव टाइम-लूपिंग का ओवरहेड समाप्त हो जाता है।

प्रमुख योगदान

• जियोडेसिक पैरामीट्राइजेशन: आयामीकरण को एक डिफरेंशियल-ज्यामितीय कार्य के रूप में पुनर्गठित करना जहाँ आधार ग्रासमैनियन पर जियोडेसिक्स के साथ विकसित होता है, जो गैर-स्थिर गतिकी (non-stationary dynamics) को ट्रैक करने में सक्षम बनाता है।
• लागत का पृथक्करण (Decoupling of Costs): एक स्केलेबल ढांचा जो पूर्व-गणना किए गए रिड्यूस्ड फीचर स्पेस में लर्निंग करके अनुकूलन लागत को उच्च-आयामी स्टेट स्पेस $N$ से अलग करता है।
• रैंक दक्षता: यह विधि समान रैंक पर स्थिर रैखिक सन्निकटन की तुलना में उच्च सटीकता प्राप्त करती है, जो प्रभावी रूप से परिवहन-प्रधान घटनाओं के लिए रैंक इन्फ्लेशन की आवश्यकता के बिना कोलमोगोरोव बैरियर को तोड़ती है।
• वेक्टरकृत कार्यान्वयन: एक पूर्णतः वेक्टरकृत, लूप-मुक्त अनुकूलन रणनीति जो आधुनिक ऑटोमैटिक डिफरेंशिएशन और पैरेलल प्रोसेसिंग क्षमताओं का लाभ उठाती है।

परिणाम
इस फ्रेमवर्क का मूल्यांकन दो अलग-अलग समस्याओं पर किया गया:

1. 1D ट्रांसपोर्ट इक्वेशन: ट्रैवलिंग वेव्स के लिए एक बेंचमार्क। डायनेमिक सब-स्पेस दृष्टिकोण ने सापेक्ष त्रुटि (relative error) के मामले में स्टैटिक POD की तुलना में काफी तेज़ अभिसरण (convergence) प्रदर्शित किया। $r=20$ के रिड्यूस्ड डायमेंशन पर, डायनेमिक विधि ने $2r$ रैंक वाले स्टैटिक POD बेसिस के बराबर सटीकता प्राप्त की, जो जियोडेसिक परिप्रेक्ष्य की प्रभावकारिता को प्रमाणित करती है।
2. टर्बुलेंट एयरफ़ॉयल वेक (LES): एक बड़े पैमाने का, हाई-फिडेलिटी डेटासेट ($N \approx 6.6 \times 10^5$) जिसमें जटिल, गैर-स्थिर टर्बुलेंस शामिल है।
   • डायनेमिक सब-स्पेस दृष्टिकोण ने सभी परीक्षण किए गए रैंकों पर स्टैटिक POD को लगातार पछाड़ दिया।
   • $r=200$ पर, डायनेमिक विधि ने एक टेस्ट स्नैपशॉट के लिए POD के 4.0% की तुलना में 2.4% की सापेक्ष त्रुटि प्राप्त की।
   • डायनेमिक बेसिस ने सूक्ष्म-स्तरीय टर्बुलेंट संरचनाओं को कैप्चर किया और समय निरंतरता बनाए रखी, जबकि स्टैटिक POD मोड्स अधिक स्मूथ और डिफ्यूज परिणाम देते थे।
   • अनुकूलन एक मानक CPU पर $r=80$ के लिए लगभग 25 सेकंड में अभिसरित हुआ, जो स्केलेबिलिटी को दर्शाता है।

महत्व और दावे
यह पेपर दावा करता है कि यह डायनेमिक सब-स्पेस दृष्टिकोण जटिल, गैर-स्थिर प्रणालियों के लो-रैंक मॉडलिंग के लिए पारंपरिक मैनिफोल्ड लर्निंग का एक मजबूत और स्केलेबल विकल्प प्रदान करता है। आधार को एक जियोडेसिक के रूप में पैरामीटराइज करके, यह विधि सन्निकटन स्थान को उच्च-आयामी स्टेट के साथ विकसित होने की अनुमति देती है, जिससे तात्कालिक भौतिकी के साथ सिंक्रोनाइज़ेशन सुनिश्चित होता है।

लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण:

• कोलमोगोरोव बैरियर को कम करता है क्योंकि यह उन रैंक इन्फ्लेशन को टालता है जो परिवहन-प्रधान प्रवाह के लिए स्टैटिक विधियों द्वारा आवश्यक होती हैं।
• नियत नियमों (governing equations) से स्वतंत्र रहता है, जिसके लिए अंतर्निहित भौतिकी के स्पष्ट पैरामीट्राइजेशन की आवश्यकता नहीं होती है, जो इसे मौजूदा प्रोडक्शन-लेवल सिमुलेशन कोड्स में एकीकरण को सुगम बनाता है।
• एक गणितीय रूप से कठोर ढांचा प्रदान करता है जो कम्प्यूटेशनल फोकस को उच्च-आयामी वेक्टर्स के हेरफेर से बदलकर टेम्पोरल कोएफिशिएंट्स और प्रिंसिपल एंगल्स के अनुकूलन की ओर स्थानांतरित करता है।

यह कार्य इस पद्धति को एक्सास्केल कंप्यूटिंग युग में हाई-फिडेलिटी डिजिटल ट्विन्स के लिए एक व्यवहार्य सक्षमकर्ता (enabler) के रूप में स्थापित करता है, जो पारंपरिक दृष्टिकोणों की तुलना में काफी कम कम्प्यूटेशनल जटिलता के साथ निकट-इष्टतम उप-स्थान संरेखण (subspace alignment) प्रदान करता है। भविष्य के कार्यों को लंबे समय के क्षितिज के लिए पीसवाइज जियोडेसिक्स तक विस्तार करने और अनुकूलित बेसिस को मौजूदा डेटा-ड्रिवन मॉडल रिडक्शन फ्रेमवर्क्स के साथ जोड़ने पर ध्यान केंद्रित करने के रूप में नोट किया गया है।