तकनीकी सारांश: सुदृढ़ डिफ्यूजन नीतियों के लिए कोलमोगोरोव रिग्रेशन (Kolmogorov Regression)

समस्या विवरण (Problem Statement)

परिमित-आयामी (Finite-dimensional - FD) डिफ्यूजन नीतियां, हालांकि रोबोटिक्स और स्वायत्त प्रणालियों में विज़ुओमोटर नीतियों को सीखने के लिए प्रभावी हैं, लेकिन विविक्तीकरण आर्टिफैक्ट्स (discretization artifacts) के कारण होने वाले टेम्पोरल ड्रिफ्ट (temporal drift) से ग्रस्त होती हैं। मानक दृष्टिकोण प्रशिक्षण से पहले एक्शन स्पेस को विविक्तीकृत (discretize) करते हैं (जैसे, निरंतर प्रक्षेप पथों को पिक्सेल या टेक्स्ट टोकन में मैप करना)। यह "डेटा को डिफ्यूजन से पहले विविक्तीकृत करने" वाली योजना नीतियों को अंतर्निहित निरंतर स्वायत्त प्रणाली की गतिशीलता (dynamics) के साथ गलत संरेखित करती है। परिणामी ग्रिड आर्टिफैक्ट्स इंटरपोलेशन त्रुटियों को उत्पन्न करते हैं जो प्रक्षेप पथ रोलआउट के दौरान संचयी (compound) होती हैं, जिससे निम्नलिखित स्थितियाँ उत्पन्न होती हैं:

• वास्तविक दुनिया के सुरक्षा-महत्वपूर्ण परिनियोजन (deployments) में अस्थिरता।
• खराब दीर्घकालिक नियोजन (long-horizon planning) निष्पादन।
• अभिसरण सीमाएं (convergence bounds) जो एक्शन आयाम $d$ के साथ $O(\sqrt{d})$ के रूप में घटती हैं।
• रिवॉर्ड सिग्नल पर निर्भर हुए बिना नीति विफलता के लिए नियत (deterministic) डायग्नोस्टिक्स का अभाव।

यह शोध पत्र तर्क देता है कि एक सिद्धांत-आधारित नियंत्रण-उन्मुख सन्निकटन (approximation) को स्वीकार्य प्रक्षेप पथों के वितरण को सीधे फंक्शन स्पेस (function space) में प्रस्तुत करना चाहिए, और ज्यामितीय संरचना को संरक्षित करने के लिए विविक्तीकरण को यथासंभव विलंबित करना चाहिए।

कार्यप्रणाली (Methodology)

लेखक एक अनंत-आयामी (Infinite-Dimensional - ID) डिफ्यूजन फ्रेमवर्क प्रस्तावित करते हैं जो गॉसियन मेज़र थ्योरी (Gaussian measure theory) और बैकवर्ड कोलमोगोरोव समीकरण (Backward Kolmogorov Equation - BKE) पर आधारित है। यूक्लिडियन स्पेस में मानक स्टोकेस्टिक स्कोर मैचिंग ऑब्जेक्टिव सीखने के बजाय, यह विधि डिफ्यूजन पॉलिसी को एक कैमरन-हैमिल्टन स्पेस (Cameron-Martin space) (एक हिल्बर्ट स्पेस $H = L^2([0, T], \mathbb{R}^{d_a})$ का उपसमुच्चय) में उठाती है।

मुख्य नवाचार एक मानक DDPM पाइपलाइन को तीन न्यूनतम प्रतिस्थापनों (substitutions) के साथ बदलना है, जिनमें न्यूरल नेटवर्क आर्किटेक्चर में किसी भी परिवर्तन की आवश्यकता नहीं है:

1. कलर्ड फॉरवर्ड नॉइज़ (Colored Forward Noise):

   • मानक व्हाइट नॉइज़ $\eta \sim \mathcal{N}(0, I)$ को कलर्ड नॉइज़ $\eta = L_N \xi$ द्वारा प्रतिस्थापित किया जाता है, जहाँ $\xi \sim \mathcal{N}(0, I)$ और $L_N = \text{chol}(G_N)$ एक माटेर्न ग्राम मैट्रिक्स (Matérn Gram matrix) का चोलेस्की फैक्टर है।
   • यह एक्शन डिस्ट्रीब्यूशन के सहप्रसरण (covariance) ढांचे का सम्मान करता है, जिससे सुचारू, भौतिक रूप से प्रशंसनीय प्रक्षेप पथ प्राप्त होते हैं और अचानक वेग विच्छिन्नता (velocity discontinuities) से बचा जा सकता है।

2. प्रिसिजन-वेटेड कैमरन-हैमिल्टन लॉस (Precision-Weighted Cameron-Martin Loss):

   • मानक मीन स्क्वेर्ड एरर (MSE) लॉस को कैमरन-हैमिल्टन लॉस द्वारा प्रतिस्थापित किया जाता है:
     $$\mathcal{L}_{CM} = \mathbb{E} \left[ \| C_\mu^{-1/2} (\eta_\theta - \eta) \|_H^2 \right]$$
   • यहाँ, $C_\mu$ कोवेरिएंस ऑपरेटर है। यह इनवर्स कोवेरिएंस वेटिंग सुनिश्चित करती है कि डिनोइजिंग लॉस अंतर्निहित शोर वितरण के मेज़र-थ्योरेटिक ढांचे को संरक्षित करता है (राडॉन-निकोडिम प्रमेय के माध्यम से) और आयाम-स्वतंत्र अभिसरण प्राप्त करता है।

3. कलर्ड रिवर्स नॉइज़ (Colored Reverse Noise):

   • अनुमान (inference) के दौरान, व्हाइट नॉइज़ को उसी कलर्ड नॉइज़ संरचना ($\eta = L_N \xi$) से बदल दिया जाता है जिसका उपयोग प्रशिक्षण के दौरान किया गया था, ताकि सैंपलिंग प्रक्षेप पथ के दौरान कोवेरिएंस स्ट्रक्चर के साथ निरंतरता बनी रहे।

सैद्धांतिक आधार: बैकवर्ड कोलमोगोरोव समीकरण (BKE)

यह फ्रेमवर्क डेंसिटी-आधारित फॉर्मुलेशन से बचता है (जो अनंत आयामों में लेबेग रेफरेंस मेजर की कमी के कारण विफल हो जाते हैं) और स्कोर को एक कैमरन-हैमिल्टन लॉगरिदमिक डेरिवेटिव के रूप में परिभाषित करता है। वैल्यू फंक्शन $u(x, s) = \mathbb{E}[f(X_t) | X_s = x]$ नियत BKE का पालन करता है:
$$-\frac{\partial u}{\partial s} = \left\langle -\frac{1}{2}x, \nabla_x u \right\rangle_H + \frac{1}{2} \text{Tr}[C_\mu \cdot \nabla^2_x u]$$
यह स्टोकेस्टिक स्कोर-मैचिंग समस्या को एक नियत बाउंड्री-वैल्यू PDE समस्या में बदल देता है।

अनुमान समय डायग्नोस्टिक्स: कोलमोगोरोव रेसिडुअल (The Kolmogorov Residual)

एक नवीन योगदान कोलमोगोरोव रेसिडुअल ($R(\hat{u})$) है, जो नीति विफलता का पता लगाने के लिए एक नियत, ऑरेकल-मुक्त सिग्नल है। यह सीखे गए फंक्शन $\hat{u}$ द्वारा BKE बाधा के उल्लंघन को मापता है:
$$R(\hat{u}) := \left\| \frac{\partial \hat{u}}{\partial s} + \left\langle -\frac{1}{2}x, \nabla_x \hat{u} \right\rangle_H + \frac{1}{2} \text{Tr}[C_\mu \cdot \nabla^2 \hat{u}] \right\|_H$$
उच्च रेसिडुअल, सीखे गए फंक्शन द्वारा BKE बाधा से विचलन को दर्शाते हैं, जो रिवॉर्ड सिग्नल की आवश्यकता के बिना डाउनस्ट्रीम विफलता मोड (जैसे, प्रक्षेप पथ ड्रिफ्ट या अव्यवहार्य नियोजन) के साथ सह-संबंधित होते हैं।

मुख्य योगदान (Key Contributions)

1. डिफ्यूजन के लिए कोलमोगोरोव PDEs: डिफ्यूजन पॉलिसियों को BKE में स्थापित करके, यह पद्धति स्टोकेस्टिक स्कोर मैचिंग को एक नियत बाउंड्री-वैल्यू समस्या से बदल देती है, जिससे अभिसरण गारंटी प्राप्त होती है जहाँ स्थिरांक (constants) एक्शन आयाम के बजाय कर्नल के प्रभावी रैंक (effective rank) पर निर्भर करते हैं।
2. तीन-बिंदु एल्गोरिथमिक इंस्टेंटिएशन: यह प्रदर्शित करना कि ID फ्रेमवर्क मानक DDPM में तीन प्रतिस्थापनों (कलर्ड नॉइज़, प्रिसिजन-वेटेड लॉस, कलर्ड रिवर्स नॉइज़) में बदल जाता है, जिससे बिना न्यूरल नेटवर्क आर्किटेक्चर परिवर्तन के इसे आसानी से अपनाया जा सकता है।
3. नियत विफलता का पता लगाना: नीति की विश्वसनीयता के लिए एक व्याख्या योग्य, अनसुपरवाइज्ड डायग्नोस्टिक के रूप में कोलमोगोरोव रेसिडुअल पेश करना।
4. बहु-डोमेन सत्यापन: रोबोटिक मैनिपुलेशन और मैन्युफैक्चरिंग फ्लो कंट्रोल में इस दृष्टिकोण का सत्यापन।

प्रायोगिक परिणाम (Experimental Results)

1. पुशटी (PushT) मैनिपुलेशन बेंचमार्क

• प्रदर्शन: कैमरन-हैमिल्टन लॉस ने 17% सुधार (0.95 बनाम MSE के लिए 0.78) दिखाया।
• प्रक्षेप पथ की गुणवत्ता: MSE बेसलाइन्स की तुलना में अनुमान के दौरान इंटर-स्टेप ड्रिफ्ट में 67.6% की कमी देखी गई।
• डायग्नोस्टिक्स: CM-प्रशिक्षित मॉडल के लिए कोलमोगोरोव रेसिडुअल $\approx 0.11$ था (बनाम MSE के लिए $\approx 0.34$), जो BKE बाधा के साथ मजबूत संरेखण दिखाता है। उच्च रेसिडुअल कार्य विफलता के साथ मजबूती से सह-संबंधित थे।

2. मैन्युफैक्चरिंग फ्लो कंट्रोल (6-स्टेशन CONWIP)

• पूर्वानुमान (Forecasting): ID मॉडल ने क्लासिकल LSTM बेसलाइन्स की तुलना में वर्क-इन-प्रोसेस (WIP) पूर्वानुमान में 28.4% कम RMSE प्राप्त किया।
• विसंगति का पता लगाना (Anomaly Detection): कोलमोगोरोव रेसिडुअल ने Precision@1 = 1.0 और 13× सिग्नल-टू-नॉइज़ रेशियो के साथ एक बॉटलनेक डिटेक्टर के रूप में कार्य किया (ओवरलोडेड स्टेशन S2 की पहचान की, जिसका औसत रेसिडुअल 13.05 था, जबकि अन्य का 0.96 था)।
• सुरक्षा प्रमाणन: हैमिल्टन-जेकोबी (HJ) रीचेबिलिटी थ्योरी के साथ एकीकृत होकर, सिस्टम ने ऐसे डिस्पैच नीतियों को प्रमाणित किया जिन्होंने अनियंत्रित डिस्पैच की तुलना में डेडलॉक घटनाओं को 96% कम कर दिया (100 रन में 351 घटनाओं को रोका गया)।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि डिफ्यूजन पॉलिसियों को अनंत-आयामी फंक्शन स्पेस में उठाकर और उन्हें मेज़र थ्योरी के आधार पर स्थापित करके, यह निरंतर भौतिक गतिशीलता और डिस्क्रीट ट्रेनिंग आर्टिफैक्ट्स के बीच मौलिक असंतुलन को हल करता है।

• अभिसरण गारंटी: सैद्धांतिक सीमाएं दिखाती हैं कि अभिसरण दरें समस्या के आयाम से स्वतंत्र हैं, जो कोवेरिएंस ऑपरेटर के स्पेक्ट्रल गुणों (प्रभावी रैंक) पर निर्भर करती हैं।
• व्याख्यात्मकता: यह फ्रेमवर्क एक भौतिकी-जागरूक डायग्नोस्टिक (कोलमोगोरोव रेसिडुअल) प्रदान करता है जो रिवॉर्ड सिग्नल की आवश्यकता के बिना नीति विफलता का पता लगाता है, जो ब्लैक-बॉक्स लर्निंग और सुरक्षा-महत्वपूर्ण सत्यापन के बीच के अंतर को पाटता है।
• परिचालन श्रेष्ठता: मैन्युफैक्चरिंग में, यह विधि फंक्शन-वैल्यूड इंटर-स्टेशन कपलिंग को कैप्चर करके स्केलर-आधारित फोरकास्टिंग (LSTM) से बेहतर प्रदर्शन करती है और HJ रीचेबिलिटी के माध्यम से प्रमाणित सुरक्षा एनवेलप प्रदान करती है, जो भुखमरी (starvation) और डेडलॉक जैसी परिचालन विफलताओं को रोकती है।

लेखक निष्कर्ष निकालते हैं कि अनंत-आयामी संरचना केवल एक सैद्धांतिक निर्माण नहीं है, बल्कि उन प्रणालियों के लिए परिचालन रूप से श्रेष्ठ है जहाँ अंतर्निहित गतिशीलता फंक्शन-वैल्यूड होती है, जो डिफ्यूजन पॉलिसियों के अधिक विश्वसनीय, व्याख्या योग्य और सुरक्षित परिनियोजन की ओर एक मार्ग प्रशस्त करती है।