तकनीकी सारांश: वॉसरस्टीन और कलमन-वॉसरस्टीन KL डाइवर्जेंस के माध्यम से सुव्यवस्थित KL-नियमित नियंत्रण

1. समस्या विवरण

कुलबैक-लीब्लर (KL) डाइवर्जेंस सुदृढीकरण शिक्षण (RL) और इष्टतम नियंत्रण (optimal control) में एक मानक नियमितकर्ता (regularizer) है, जो रैखिक रूप से-समाधान योग्य मार्कोव निर्णय प्रक्रियाओं, पाथ-इंटीग्रल नियंत्रण, और ट्रस्ट-रीजन विधियों में दिखाई देता है। हालाँकि, शास्त्रीय KL डाइवर्जेंस कम-शोर वाले परिदृश्यों (low-noise regimes) में एक महत्वपूर्ण विकृति प्रदर्शित करता है। जब नियंत्रित गतिकी (controlled dynamics) की तुलना कम गाऊसी प्रक्रिया शोर (Gaussian process noise) वाली निष्क्रिय गतिकी से की जाती है, तो KL दंड (penalty) एक द्विघात नियंत्रण लागत (quadratic control cost) में बदल जाता है जिसका गुणांक शोर सहप्रसरण (noise covariance) के व्युत्क्रमानुपाती होता है। जैसे-जैसे शोर सहप्रसरण शून्य की ओर बढ़ता है (डिटरमिनिस्टिक सीमा), यह दंड अनंत तक बढ़ जाता है, जिससे नियमितकृत नियंत्रण समस्या एकल (singular) हो जाती है। यह "निम्न-विचलन अस्थिरता" (low-variance instability) इष्टतम फीडबैक गेन को शून्य कर देती है, जिससे खराब क्लोज्ड-लूप प्रदर्शन और डिटरमिनिस्टिक या लगभग-डिटरमिनिस्टिक सेटिंग्स में अस्थिरता उत्पन्न होती है।

इसके अलावा, शास्त्रीय KL डाइवर्जेंस फिशर-राओ ज्यामिति (Fisher–Rao geometry) के माध्यम से परिभाषित किया गया है, जो सांख्यिकीय मैनिफोल्ड के लिए आंतरिक है लेकिन अंतर्निहित अवस्था स्थान (state space) की ज्यामिति को अनदेखा करता है। फलस्वरूप, KL सपोर्ट मिसमैच (जैसे, $x \neq y$ के लिए $KL(\delta_x | \delta_y) = \infty$) के प्रति असंतत (discontinuous) प्रतिक्रिया देता है, और अवस्थाओं के बीच की दूरी को दर्ज करने में विफल रहता है।

2. कार्यप्रणाली

लेखक "स्टेट-स्पेस-अवेयर" (अवस्था-स्थान-जागरूक) KL एनालॉग्स का निर्माण करने के लिए एक एकीकृत सूचना-ज्यामितीय ढांचे का प्रस्ताव करते हैं। मुख्य कार्यप्रणाली में KL डाइवर्जेंस के गतिकीय निरूपण में फिशर-राओ ज्यामिति को ट्रांसपोर्ट-आधारित ज्यामिति से बदलना शामिल है।

2.1 ज्यामितीय ढांचा

लेखक प्रायिकता घनत्वों के मैनिफोल्ड पर एक रिमैनियन ज्यामिति $G$ के आधार पर डाइवर्जेंस की एक सामान्य श्रेणी, $D_G$, को परिभाषित करते हैं।

• गतिकीय निरूपण (Dynamical Formulation): डाइवर्जेंस को $G$-ड्यूल जियोडेसिक्स (geodesics) के अनुदिश एक समय-भारित एक्शन इंटीग्रल के रूप में परिभाषित किया गया है:
  $$D_G(\mu | \nu) = \inf \left\{ \int_0^1 t \|\dot{\gamma}(t)\|_{\gamma(t)}^2 dt : \gamma(0)=\mu, \gamma(1)=\nu \right\}$$
  जहाँ $\gamma$ एक $G$-ड्यूल जियोडेसिक है।
• ज्यामितीय विकल्प: लेखक फिशर-राओ मेट्रिक ($G=FR$) को निम्नलिखित से बदलने की जांच करते हैं:
  • वॉसरस्टीन-2 ($G=O$): ओटो का मेट्रिक (Otto's metric), जो अवस्था-स्थान ज्यामिति को समाहित करता है।
  • रैखिकीकृत वॉसरस्टीन ($G=\dot{H}^{-1}$): एक फ्लैट संरचना।
  • **कलमन-वॉसरस्टीन ($G=KW$):** एक मेट्रिक जो एक नियमितीकरण पैरामीटर$\lambda$ और सहप्रसरण जानकारी को शामिल करता है।
  • स्टीन ज्यामिति (Stein Geometry): एक द्वैरेखीय कर्नेल (bilinear kernel) का उपयोग करना।

2.2 सैद्धांतिक व्युत्पत्ति

• ड्यूल जियोडेसिक्स: लेखक $G$-ड्यूल जियोडेसिक्स को एक विभव ऊर्जा फलन (potential energy functional) के मेट्रिक ग्रेडिएंट फ्लो के रूप में अभिलक्षित करते हैं।
• क्लोज्ड-फॉर्म अभिव्यक्तियाँ: वे एलिप्टिक वितरणों (एक वर्ग जिसमें गाऊसी और स्टूडेंट $t$-वितरण शामिल हैं) के बीच इन डाइवर्जेंस के लिए स्पष्ट सूत्र प्राप्त करते हैं।
  • वॉसरस्टीन मामले ($WKL$) के लिए, डाइवर्जेंस सहप्रसरण के क्षीण होने पर भी परिमित रहता है।
  • कलमन-वॉसरस्टीन मामले ($KWKL$) के लिए, डाइवर्जेंस एक "नॉइज़ फ्लोर" को एक नियमितीकरण पैरामीटर$\lambda$ के माध्यम से शामिल करता है, जो शास्त्रीय KL और वॉसरस्टीन KL के बीच इंटरपोलेशन करता है।

2.3 नियंत्रण में अनुप्रयोग

प्रस्तावित डाइवर्जेंस का उपयोग गाऊसी प्रक्रिया शोर वाले लीनियर क्वाड्रेटिक रेगुलेटर (LQR) समस्याओं में नियमितकर्ता के रूप में किया जाता है।

• नियमितीकरण पद (Regularization Term): नियंत्रित ट्रांजिशन वितरण $p_t$ और अनियंत्रित वितरण $p_0$ के बीच का डाइवर्जेंस एक योगात्मक द्विघात नियंत्रण दंड $u_t^\top R_\circ u_t$ प्रदान करता है।
• नियंत्रण दंड:
  • शास्त्रीय KL ($FR$):$R_{FR} = B^\top \Sigma_w^{-1} B$(जब$\Sigma_w \to 0$ हो तो सिंगुलर)।
  • वॉसरस्टीन ($O$): $R_O = B^\top B$ (शोर से स्वतंत्र)।
  • कलमन-वॉसरस्टीन ($KW$):$R_{KW} = B^\top (\Sigma_w + \lambda I)^{-1} B$(जब$\Sigma_w \to 0$ हो तो परिमित)।

3. प्रमुख योगदान

1. सामान्य निर्माण: $G$-ड्यूल जियोडेसिक्स और संबद्ध डाइवर्जेंस $D_G$ का परिचय, जो किसी भी ज्यामिति के लिए किया गया है, जो फिशर-राओ के लिए शास्त्रीय KL को पुनः प्राप्त करता है और ट्रांसपोर्ट ज्यामिति के लिए स्टेट-स्पेस-अवेयर वेरिएंट्स को प्राप्त करता है।
2. ग्रेडिएंट फ्लो अभिलक्षण: यह प्रमाण कि $G$-ड्यूल जियोडेसिक्स विभव ऊर्जा के मेट्रिक ग्रेडिएंट फ्लो के अनुरूप हैं, जो डाइवर्जेंस को ज्यामितीय अनुकूलन और मीन-फील्ड न्यूरल नेटवर्क गतिकी से जोड़ते हैं।
3. स्पष्ट सूत्र: वॉसरस्टीन, रैखिकीकृत वॉसरस्टीन और कलमन-वॉसरस्टीन ज्यामिति में एलिप्टिक वितरणों के बीच $D_G$ के लिए क्लोज्ड-फॉर्म अभिव्यक्तियों की व्युत्पत्ति। ये सूत्र स्पष्ट रूप से दर्शाते हैं कि कैसे ट्रांसपोर्ट-आधारित ज्यामिति शास्त्रीय KL में अनुपस्थित अवस्था-स्थान जानकारी को शामिल करती है।
4. सुव्यवस्थित नियंत्रण: यह प्रदर्शन करना कि LQR सेटिंग्स में, वॉसरस्टीन और कलमन-वॉसरस्टीन नियमितकर्ता प्रक्रिया शोर के लुप्त होने पर भी परिमित रहते हैं, जिससे सुव्यवस्थित इष्टतम नियंत्रण प्राप्त होता है जहाँ शास्त्रीय KL विफल हो जाता है।
5. अनुभवजन्य सत्यापन: डबल इंटीग्रेटर और कार्ट-पोल सिस्टम पर विश्लेषण जो यह दर्शाता है कि प्रस्तावित विधियाँ गैर-तुच्छ (nontrivial) फीडबैक को बनाए रखती हैं और निम्न-शोर वाले परिदृश्यों में KL-नियमितित नियंत्रणों की तुलना में बेहतर क्लोज्ड-लूप प्रदर्शन प्राप्त करती हैं।

4. परिणाम

• सैद्धांतिक सीमाएँ: लुप्त होते शोर ($\Sigma_w \to 0$) की सीमा में, शास्त्रीय KL नियमितीकरण ($F_{FR}$) के लिए इष्टतम फीडबैक गेन शून्य की ओर जाता है, जो प्रभावी रूप से नियंत्रण को हटा देता है। इसके विपरीत, कलमन-वॉसरस्टीन गेन ($F_{KW}$) एक गैर-शून्य सीमा की ओर जाता है (विशेष रूप से $F_O$), जो स्थिर करने वाला फीडबैक बनाए रखता है।
• इंटरपोलेशन: कलमन-वॉसरस्टीन डाइवर्जेंस ($D_{KW}$), पैरामीटर $\lambda$ द्वारा नियंत्रित, शास्त्रीय KL (उच्च शोर) और वॉसरस्टीन KL (निम्न शोर) के बीच एक सुचारू इंटरपोलेशन के रूप में कार्य करता है।
• स्थिरता: डबल इंटीग्रेटर पर प्रयोग दिखाते हैं कि जैसे-जैसे शोर कम होता है, KL-नियमितित नियंत्रक स्थिरता सीमा (स्पेक्ट्रल रेडियस $\to 1$) के करीब पहुँच जाते, जिससे बड़े दोलन होते हैं। WKL और KWKL नियंत्रक स्पेक्ट्रल रेडियस को 1 से काफी नीचे बनाए रखते हैं, जिससे स्थिरता सुनिश्चित होती है।
• एनिसोट्रोपिक शोर (Anisotropic Noise): एनिसोट्रोपिक शोर वाले परिदृश्यों में, KWKL दिशात्मक रूप से अनुकूलित होता है, जो निम्न-शोर वाले आयामों के लिए WKL (शोर स्केल को अनदेखा करना) और उच्च-शोर वाले आयामों के लिए KL (शोर के साथ स्केल करना) की तरह व्यवहार करता है, जबकि KL निम्न-शोर वाले आयामों में नियंत्रण को पूरी तरह से दबा देता है।

5. महत्व और दावे

यह शोध पत्र दावा करता है कि प्रस्तावित स्टेट-स्पेस-अवेयर डाइवर्जेंस, शास्त्रीय KL के निम्न-शोर डिजेनेरेसी (degeneracy) के लिए एक सिद्धांत-आधारित समाधान प्रदान करते हैं, जिसके लिए RL एल्गोरिदम के पूर्ण ओवरहाल की आवश्यकता नहीं है। फिशर-राओ ज्यामिति को ट्रांसपोर्ट-आधारित ज्यामिति से बदलकर, लेखक प्राप्त करते हैं:

• मजबूती (Robustness): नियंत्रण समस्याएँ डिटरमिनिस्टिक सीमा में भी सुव्यवस्थित रहती हैं।
• ज्यामितीय निरंतरता: नियमितकर्ता अवस्था-स्थान ज्यामिति का सम्मान करते हैं, और KL के सपोर्ट मिसमैच के संबंध में असंतत व्यवहार से बचते हैं।
• व्यावहारिक उपयोगिता: व्युत्पन्न क्लोज्ड-फॉर्म अभिव्यक्तियाँ निरंतर नियंत्रण में उपयोग किए जाने वाले मानक LQR और गाऊसी पॉलिसी फ्रेमवर्क में तत्काल एकीकरण की अनुमति देती हैं।

लेखक इस कार्य को KL प्रकार के डाइवर्जेंस के निर्माण के लिए एक ज्यामितीय ढांचे के रूप में प्रस्तुत करते हैं, न कि एक पूर्ण डीप RL एल्गोरिदम के रूप में। वे सुझाव देते हैं कि हालांकि इसे प्रबंधनीय LQR सेटिंग में मान्य किया गया है, अगला तार्किक कदम मॉडल-फ्री और मॉडल-बेस्ड सुदृढीकरण शिक्षण में अनुभवजन्य मूल्यांकन है। यह कार्य NEITALG प्रोजेक्ट के तहत यूरोपीय अनुसंधान परिषद (ERC) द्वारा वित्त पोषित है।