तकनीकी सारांश: जड़त्व के साथ डिराक-फ्रेनकलل (Dirac–Frenkel) गतिकी (Dynamics) - गैररेखीय रूप से पैरामीटराइज्ड समाधानों के लिए

1. समस्या विवरण

यह शोध पत्र एक हिल्बर्ट स्पेस $\mathcal{H}$ पर विकास समस्या (evolution problem) $\dot{u}(t) = F(u(t))$ के समाधान $u(t)$ को एक गैररेखीय पैरामीट्रेशन $\hat{u}(t) = \Phi(\theta(t))$ का उपयोग करके अनुमानित करने की चुनौती को संबोधित करता है, जहाँ $\theta(t) \in \Theta$ पैरामीटर्स (जैसे न्यूरल नेटवर्क वेट्स) को दर्शाता है। मानक दृष्टिकोण, डिराक-फ्रेनकल (DF) गतिकी, पैरामीटर वेग $\dot{\theta}(t)$ को $\Phi$ द्वारा परिभाषित मैनिफोल्ड (manifold) के स्पर्शज्या स्थान (tangent space) पर वेक्टर फील्ड $F(\hat{u})$ को प्रोजेक्ट करके निर्धारित करता है।

एक केंद्रीय कठिनाई तब उत्पन्न होती है जब पैरामीट्रेशन अतिरेकपूर्ण (redundant) होता है (जैसे न्यूरल नेटवर्क, गौसियन मिश्रण) या जैकोबियन $J(\theta) = D\Phi(\theta)$ खराब स्थिति (ill-conditioned) में होता है। ऐसे मामलों में:

• फलन-स्थान (function-space) के स्पर्शज्या वेक्टर से पैरामीटर वेग का मानचित्रण गैर-अद्वितीय (non-unique) होता है (एक गैर-तुच्छ कर्नेल के कारण)।
• भले ही यह अद्वितीय हो, जैकोबियन के माध्यम से वेक्टर फील्ड को फिट करने की समस्या छोटे सिंगुलर मानों के कारण खराब स्थिति (ill-conditioned) में हो सकती है।
• मानक नियमितीकरण तकनीकें (जैसे टिखोनोव नियमितीकरण या ट्रंकेटेड SVD) इस समस्या को कमजोर रूप से सूचित दिशाओं (weakly informed directions) में वेग घटकों को तात्कालिक रूप से कम करके या समाप्त करके हल करती हैं। यह "तात्कालिक संकुचन" (instantaneous shrinkage) अस्थिरता या उपयोगी प्रक्षेपवक्र (trajectory) सूचना की हानि का कारण बन सकता है, जिसे स्पर्शज्या स्थान पतन (tangent space collapse) के रूप में जाना जाता है।

2. कार्यप्रणाली: जड़त्व के साथ डिराक-फ्रेनकल गतिकी (DFI)

लेखक जड़त्व के साथ डिराक-फ्रेनकल गतिकी (Dirac–Frenkel Dynamics with Inertia - DFI) प्रस्तावित करते हैं, जो वेग के तात्कालिक बीजगणितीय चयन के स्थान पर स्वयं वेग के लिए एक द्वितीय-क्रम विकास समीकरण (second-order evolution equation) पेश करता है।

2.1 निरंतर निरूपण (Continuous Formulation)

$\dot{\theta}$ के लिए सीधे समाधान खोजने के बजाय, DFI एक वेग चर $v(t) = \dot{\theta}(t)$ और एक त्वरण $\ddot{\theta}(t)$ पेश करता है। त्वरण को डिराक-फ्रेनकल दोष (defect) के परिवर्तन की दर और त्वरण पर एक द्विघाती दंड (quadratic penalty) को मिलाने वाले एक फलन (functional) को न्यूनतम करने के लिए ओनसेगर के सिद्धांत (Onsager's principle) के माध्यम से चुना जाता है, जो एक द्रव्यमान पद (mass term $\tau^2$) के रूप में कार्य करता है।

टिखोनोव-नियमित केस के लिए, प्रणाली है:
$$\begin{aligned} \dot{\theta} &= v, \\ \tau^2 \dot{v} + M_\varepsilon(\theta)v &= g(\theta), \end{aligned}$$
जहाँ $M_\varepsilon(\theta) = J(\theta)^*J(\theta) + \varepsilon^2 I$ और $g(\theta) = J(\theta)^*F(\Phi(\theta))$ है।

मुख्य तंत्र:

• सुदृढ़ रूप से सूचित दिशाएँ (Well-informed directions): जहाँ जैकोबियन मजबूत जानकारी प्रदान करता है (बड़े सिंगुलर मान), वहाँ वेग तेजी से मानक नियमितकृत DF समाधान की ओर ढल जाता है।
• कमजोर रूप से सूचित दिशाएँ (Weakly informed directions): जहाँ जैकोबियन विलक्षण (singular) या लगभग विलक्षण है (छोटे सिंगुलर मान), वहाँ वेग को तात्कालिक रूप से शून्य या कम नहीं किया जाता है। इसके बजाय, इसे जड़त्व द्वारा परिवहन (transported by inertia) किया जाता है, जिससे पिछले प्रक्षेपवक्र की जानकारी बनी रहती है।
• नलस्पेस दिशाएँ (Nullspace directions): सटीक कर्नेल दिशाओं में, यदि $\varepsilon=0$ है, तो वेग संरक्षित रहता है; यदि $\varepsilon>0$ है, तो यह तात्कालिक रूप से शून्य होने के बजाय तेजी से (exponentially) घटता है।

2.2 समय विविक्तकरण (Time Discretization)

लेखक एक सेमी-इम्प्लिसिट यूलर (semi-implicit Euler) योजना प्रस्तावित करते हैं:

1. वेग के लिए इमप्लिसिट अपडेट: नया वेग $v_{k+1}$ एक नियमितकृत लीस्ट-स्क्वेयर्स समस्या को हल करके निकाला जाता है जहाँ पिछला वेग एक एंकर (anchor) के रूप में कार्य करता है।
   $$v_{k+1} = \beta_k v_k + z_{k+1}, \quad z_{k+1} = \arg\min_z \|J_k z - (f_k - \beta_k J_k v_k)\|^2 + \eta_k^2 \|z\|^2$$
   यहाँ, $\beta_k$ पिछले वेग के प्रति प्रतिधारण (retention) को नियंत्रित करता है, और $\eta_k^2$ टिखोनोव पैरामीटर और समय-चरण-निर्भर जड़त्वीय पद को जोड़ता है।
2. पैरामीटर्स के लिए एक्सप्लिसिट अपडेट: $\theta_{k+1} = \theta_k + h_k v_{k+1}$।

यह निरूपण केवल एक संशोधित राइट-हैंड साइड के साथ उसी प्रकार की नियमितकृत लीस्ट-स्क्वेयर्स समस्या को हल करने की आवश्यकता रखता है जो जड़त्वीय स्मृति (inertial memory) को शामिल करती है।

3. मुख्य योगदान और सैद्धांतिक परिणाम

3.1 सु-समाधानता (Well-posedness)

लेखक सिद्ध करते हैं कि DFI प्रणाली सु-समाधान (well-posed) है:

• स्थानीय अस्तित्व और विशिष्टता: वेक्टर फील्ड और पैरामीट्रेशन पर मानक लिप्सचिट्ज़ (Lipschitz) धारणाओं के तहत, एक अद्वितीय अधिकतम समाधान मौजूद होता है।
• वैश्विक अस्तित्व: फोर्स मैप $g(\theta)$ पर एक रैखिक वृद्धि (linear growth) की स्थिति के तहत, समाधान सभी समय के लिए मौजूद रहता है।
• गैर-विशिष्टता का निवारण: मानक DF गतिकी के विपरीत, जहाँ अतिरेकपूर्ण बिंदुओं पर वेग गैर-विशिष्ट होता है, DFI एक बार प्रारंभिक चरण बिंदु $(\theta_0, v_0)$ निश्चित होने के बाद एक अद्वितीय प्रक्षेपवक्र प्रदान करता है।

3.2 अपोस्टेरिओरी त्रुटि विश्लेषण (A Posteriori Error Analysis)

लेखक निरंतर और विविक्त दोनों निरूपणों के लिए अपोस्टेरिओरी त्रुटि सीमाएँ (a posteriori error bounds) प्राप्त करते हैं:

• निरंतर (Continuous): वैश्विक त्रुटि दो दोषों के वर्गमूल के योग के अभिन्न (integral) द्वारा सीमित है:
  1. प्रोजेक्शन दोष ($\delta_\varepsilon$): नियमितकृत प्रोजेक्शन का मानक अवशेष (residual)।
  2. रिलैक्सेशन दोष ($\rho_\varepsilon$): वर्तमान वेग और तात्कालिक इष्टतम वेग के बीच के अंतराल (lag) से उत्पन्न त्रुटि।
     यह पृथक्करण स्पष्ट करता है कि जड़त्व एक रिलैक्सेशन लैग (relaxation lag) लाता है लेकिन विधि को उन क्षेत्रों को पार करने की अनुमति देता है जहाँ तात्कालिक समस्या खराब स्थिति में होती है।
• विविक्त (Discrete): वैश्विक त्रुटि गणना किए गए पथ के साथ संचित स्थानीय दोषों द्वारा नियंत्रित होती है। सीमाएँ स्पष्ट रूप से $(1-\beta)^{-1}$ पर निर्भरता दिखाती हैं, जो इंगित करती है कि जबकि स्मृति (memory) मजबूती में सुधार करती है, अत्यधिक स्मृति ($\beta \to 1$) स्थिरता को खराब कर सकती है यदि तात्कालिक सुधार अपर्याप्त हो।

4. संख्यात्मक परिणाम

विधि का सत्यापन न्यूरल नेटवर्क पैरामीट्रेशन का उपयोग करके दो गैररेखीय विकास समस्याओं पर किया गया है:

1. एलन-कैन समीकरण (1D):

   • नियमितीकरण के प्रति मजबूती: DFI सटीकता बनाए रखता है जब नियमितीकरण शक्ति $\eta^2$ बढ़ती है, जबकि मानक टिखोनोव-DF (T-DF) तेजी से खराब हो जाता है क्योंकि T-DF प्रत्येक चरण में शून्य से एक "सिकुड़ा हुआ" वेग पुनर्गणना करता है।
   • स्केचिंग (Sketching): जब जैकोबियन को रैंडम स्केचिंग (सब-सैंपलिंग) के माध्यम से अनुमानित किया जाता है, तो DFI छोटे स्केच आकारों के लिए भी सटीक रहता है जहाँ T-DF विफल हो जाता है, क्योंकि जड़त्वीय स्मृति लुप्त तात्कालिक जानकारी की पूर्ति करती है।
   • ऊर्जा क्षय (Energy Decay): DFI ग्रेडिएंट फ्लो की दीर्घकालिक ऊर्जा क्षय संरचना को बेहतर ढंग से संरक्षित करता है।

2. उच्च-आयामी फॉकर-प्लांक समीकरण (10D):

   • नमूना-आधारित गतिकी: $d=10$ और अवशेष (residual) के स्टोकेस्टिक सैंपलिंग वाले सेटिंग में, DFI T-DF की तुलना में संभाव्यता घनत्व के माध्य और सहप्रसरण (covariance) को ट्रैक करने में बेहतर मजबूती प्रदर्शित करता है।
   • स्केचिंग: एलन-कैन मामले के समान, DFI आक्रामक स्केचिंग (छोटे नमूना आकार) के तहत भी कम त्रुटि बनाए रखता है, क्योंकि मेमोरी पद सहायता करता है।

5. महत्व और दावे

शोध पत्र का दावा है कि DFI, मानक नियमितकृत डिराक-फ्रेनकल गतिकी के लिए एक मजबूत विकल्प प्रदान करता है, विशेष रूप से उन शासन (regimes) में जहाँ:

• पैरामीट्रेशन अतिरेकपूर्ण है (जैसे ओवर-पैरामीटराइज्ड न्यूरल नेटवर्क)।
• जैकोबियन खराब स्थिति (ill-conditioned) में है या लगभग रैंक-डेफिशिएंट है।
• स्थिरता सुनिश्चित करने के लिए लीस्ट-स्क्वेयर्स समस्या को दृढ़ता से नियमित किया गया है।
• जैकोबियन का मूल्यांकन संपीड़ित या रैंडमाइज्ड स्केच के माध्यम से किया जाता है।

मुख्य तर्क: पैरामीटर वेग को जड़त्व के साथ एक अवस्था चर (state variable) के रूप में मानकर, DFI "कमजोर रूप से सूचित" वेग घटकों को तात्कालिक रूप से दबाने के बजाय पिछले प्रक्षेपवक्र से बने रहने की अनुमति देता है। यह तंत्र एक गतिशील नियमितीकरण के रूप में कार्य करता है जो इतिहास-जागरूक (history-aware) है, जो टिखोनोव नियमितीकरण के तात्कालिक संकुचन (instantaneous shrinkage) के विपरीत है। विधि मानक DF गतिकी की कम्प्यूटेशनल संरचना को बनाए रखती है (प्रत्येक चरण में केवल एक नियमितकृत लीस्ट-स्क्वेयर्स समाधान की आवश्यकता होती है) जबकि खराब स्थिति वाले परिदृश्यों में स्थिरता और सटीकता में काफी सुधार करती है।