तकनीकी सारांश: एक्टर-क्रिटिक विधियों में पॉलिसी स्मूथनेस के लिए Q-ग्रेडिएंट फील्ड को स्थिर करना

1. समस्या विवरण (Problem Statement)

एक्टर-क्रिटिक विधियों (जैसे SAC, TD3) के माध्यम से सीखी गई निरंतर नियंत्रण नीतियां (continuous control policies) अक्सर अनियमित, उच्च-आवृत्ति वाले दोलनों ("झटकेदार" नियंत्रण संकेतों) को प्रदर्शित करती हैं। हालांकि ये नीतियां सिमुलेशन में उच्च कार्य प्रतिफल (high task returns) प्राप्त कर सकती हैं, लेकिन उनकी अस्थिरता उन्हें भौतिक तैनाती (physical deployment) के लिए अनुपयुक्त बना देती है, जिससे ऊर्जा की खपत, एक्चुएटर का घिसाव और सुरक्षा जोखिम बढ़ जाते हैं।

वर्तमान प्रमुख प्रतिमान इसे पॉलिसी-साइड रेगुलराइजेशन (policy-side regularization) लागू करके संबोधित करते हैं, जो स्पष्ट रूप से एक्टर नेटवर्क को बाधित करता है (जैसे कि लिप्सचिट्ज़ बाधाओं या टेम्पोरल स्मूथिंग दंड के माध्यम से)। लेखक तर्क देते हैं कि ये विधियाँ लक्षण का उपचार करती हैं, न कि कारण का। उनका तर्क है कि यदि अंतर्नि는 Q-फंक्शन (क्रिटिक) का परिदृश्य शोर युक्त या ज्यामितीय रूप से अस्थिर है, तो परिणामी पॉलिसी ग्रेडिएंट स्वाभाविक रूप से एक्टर को अनियमित दिशाओं में ले जाएंगे। एक स्मूथ पॉलिसी को मजबूर करना जबकि लर्निंग सिग्नल अस्थिर बना रहता है, एक अनुकूलन संघर्ष (optimization conflict) पैदा करता है, जो अक्सर पॉलिसी को स्मूथनेस बाधाओं को पूरा करने के लिए रिटर्न-मैक्सिमाइजिंग मैनिफोल्ड से विचलित होने के लिए मजबूर करता है, जिससे कार्य प्रदर्शन से समझौता होता है।

2. सैद्धांतिक विश्लेषण: पॉलिसी संवेदनशीलता की ज्यामिति (Theoretical Analysis: The Geometry of Policy Sensitivity)

यह शोध पत्र प्रस्तावित करता है कि पॉलिसी नॉन-स्मूथनेस मौलिक रूप से क्रिटिक की डिफरेंशियल ज्योमेट्री द्वारा नियंत्रित होती है। एक्टर-क्रिटिक ऑब्जेक्टिव पर इम्प्लिसिट डिफरेंशिएशन (implicit differentiation) लागू करके, लेखक अवस्था परिवर्तनों (state perturbations) के सापेक्ष इष्टतम पॉलिसी $a^*(s) = \arg\max_a Q_\theta(s, a)$ की संवेदनशीलता को व्युत्पन्न करते हैं।

मुख्य सैद्धांतिक व्युत्पत्ति (Key Theoretical Derivation)

इम्प्लिसिट फंक्शन थ्योरम (IFT) का उपयोग करते हुए, लेखक सिद्ध करते हैं कि पॉलिसी जैकोबियन $J_\pi(s) = \nabla_s a^*(s)$ विश्लेषणात्मक रूप से निम्न द्वारा दिया गया है:
$$J_\pi(s) = -\left[\nabla^2_{aa}Q_\theta(s, a^*(s))\right]^{-1} \nabla^2_{sa}Q_\theta(s, a^*(s))$$

यह समीकरण प्रकट करता है कि पॉलिसी संवेदनशीलता Q-फंक्शन के दो ज्यामितीय गुणों का उत्पाद है:

1. मिक्स्ड-पार्शियल डेरिवेटिव ($\nabla^2_{sa}Q$): यह "शोर संवेदनशीलता" (noise sensitivity) या यह दर्शाता है कि छोटे अवस्था परिवर्तनों के साथ सबसे तीव्र आरोहण (steepest ascent) की दिशा कितनी तेजी से घूमती है।
2. एक्शन हेसियन ($\nabla^2_{aa}Q$): यह "सिग्नल विशिष्टता" (signal distinctness) या शिखर की वक्रता (curvature) को दर्शाता है।

लेखक पॉलिसी के लिए एक लिप्सचिट्ज़ निरंतरता सीमा स्थापित करते हैं:
$$L \leq \frac{M}{\mu}$$
जहाँ $M$ मिक्स्ड पार्शियल्स के स्पेक्ट्रल नॉर्म ($\|\nabla^2_{sa}Q\|_2$) को बांधता है और $\mu$ एक्शन हेसियन की सख्त अवतलता (strict concavity) को बांधता है ($\lambda_{\max}(\nabla^2_{aa}Q) \leq -\mu < 0$)।

महत्वपूर्ण अंतर्दृष्टि (Critical Insight): केवल ग्रेडिएंट वेरिएंस को कम करना (M को कम करना) पर्याप्त नहीं है यदि वक्रता $\mu$ शून्य हो जाती है (अर्थात, Q-लैंडस्केप सपाट हो जाता है)। एक सपाट परिदृश्य पॉलिसी को अत्यधिक संवेदनशील बना देता है क्योंकि इनवर्स हेसियन विस्फोट कर सकता है। इसलिए, रेगुलराइजेशन को शोर संवेदनशीलता ($M$) को कम करने के साथ-साथ सिग्नल वक्रता ($\mu$) को बनाए रखना चाहिए।

3. कार्यप्रणाली: PAVE (पॉलिसी-अवेयर वैल्यू-फील्ड इक्वलाइज़ेशन)

इस सिद्धांत को मान्य करने के लिए, लेखक PAVE पेश करते हैं, जो एक क्रिटिक-केंद्रित रेगुलराइजेशन फ्रेमवर्क है। एक्टर को संशोधित करने के बजाय, PAVE क्रिटिक को स्टेट-एक्शन मैनिफोल्ड पर एक स्केलर फील्ड मानकर Q-ग्रेडिएंट फील्ड को स्थिर करता है। यह फ्रेमवर्क क्रिटिक के लॉस फंक्शन पर लागू तीन सहक्रियात्मक उद्देश्यों के माध्यम से लिप्सचिट्ज़ बाउंड $L \leq M/\mu$ को कम करता है:

3.1. मिक्स्ड-पार्शियल रेगुलराइजेशन (MPR)

• लक्ष्य: $M$ (शोर संवेदनशीलता) को कम करना।
• तंत्र: छोटे अवस्था परिवर्तनों $\epsilon$ द्वारा प्रेरित एक्शन-ग्रेडिएंट $\nabla_a Q$ में परिवर्तनों को दंडित करने के लिए फाइनाइट-डिफरेंस एप्रोक्सिमेशन का उपयोग करता है।
• लॉस: $\mathcal{L}_{MPR} = \mathbb{E}[\|\nabla_a Q_\theta(s+\epsilon, a) - \nabla_a Q_\theta(s, a)\|_2^2]$।
• औचित्य: यह मिक्स्ड हेसियन के स्पेक्ट्रल नॉर्म को संकुचित करता है, जिससे वेक्टर फील्ड की स्थानीय अपरिवर्तनीयता (local invariance) सुनिश्चित होती है।

3.2. वेक्टर फील्ड कंसिस्टेंसी (VFC)

• लक्ष्य: प्रक्षेप पथों (trajectories) के साथ टेम्पोरल कोहेरेंस सुनिश्चित करना।
• तंत्र: स्कोर मैचिंग से प्रेरित होकर, यह क्रमिक समय चरणों ($t$ और $t+1$) पर Q-ग्रेडिएंट्स के बीच यूक्लिडियन दूरी को कम करता है।
• लॉस: $\mathcal{L}_{VFC} = \mathbb{E}[\|\nabla_a Q_\theta(s_t, a_t) - \nabla_a Q_\theta(s_{t+1}, a_t)\|_2^2]$।
• औचित्य: यह लर्निंग सिग्नल को वातावरण की डायनेमिक्स के साथ संरेखित करता है, जिससे आस-पास के समय चरणों पर परस्पर विरोधी ग्रेडिएंट्स के कारण होने वाली "चैटरिंग" (chattering) कम होती है।

3.3. कर्वेचर प्रिजर्वेशन (Curv)

• लक्ष्य: $\mu \to 0$ को रोकना (ओवर-स्मूथिंग पतन से बचना)।
• तंत्र: यदि पर्याप्त अवतलता बनाए रखने में विफल रहता है, तो यह एक्शन हेसियन के ट्रेस को दंडित करता है।
• लॉस: $\mathcal{L}_{Curv} = \mathbb{E}[\max(0, v^\top \nabla^2_{aa}Q_\theta(s, a)v + \delta)]$, जहाँ $v$ रैंडम रेडमेकर वेक्टर्स (Hutchinson's estimator) हैं।
• औचित्य: यह सुनिश्चित करता है कि Q-लैंडस्केप अच्छी तरह से कंडिशन्ड (शार्प पीक्स) रहे, जिससे इनवर्स हेसियन का विस्फोट रुक सके।

कार्यान्वयन नोट (Implementation Note): इस पद्धति के लिए हेसियन गणना हेतु $C^2$ निरंतरता की आवश्यकता होती है, जिसे क्रिटिक नेटवर्क में SiLU एक्टिवेशन फंक्शन का उपयोग करके प्राप्त किया जाता है। एक्टर नेटवर्क अपरिवर्तित रहता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने TD3 और SAC बैकबोन का उपयोग करके Gymnasium बेंचमार्क (LunarLander, Pendulum, Reacher, Ant, Hopper, Walker2d) पर PAVE का मूल्यांकन किया, और पॉलिसी-साइड बेसलाइन्स (CAPS, GRAD-CAPS, ASAP) के विरुद्ध तुलना की।

प्रदर्शन मेट्रिक्स (Performance Metrics)

• स्मूथनेस स्कोर (sm): FFT के माध्यम से प्राप्त एक स्पेक्ट्रल मेट्रिक (कमतर होना बेहतर है)।
• संचयी प्रतिफल (re): कार्य प्रदर्शन (उच्चतर होना बेहतर है)।

मुख्य निष्कर्ष

1. स्मूथनेस: PAVE ने सभी वातावरणों में सर्वश्रेष्ठ या निकटतम सर्वश्रेष्ठ स्मूथनेस स्कोर प्राप्त किया।
   • TD3: Hopper पर, स्मूथनेस 2.715 (Base) से सुधरकर 0.950 (2.9$\times$ कमी) हो गई। Pendulum पर, यह 1.590 से सुधरकर 0.351 (4.5$\times$ कमी) हो गई।
   • SAC: PAVE ने LunarLander और Pendulum पर सर्वश्रेष्ठ स्मूथनेस प्राप्त की। उच्च-आयामी लोकोमोशन (Walker, Hopper) में, इसने रिटर्न में महत्वपूर्ण गिरावट के बिना दोलनों को काफी कम कर दिया, जबकि कुछ बेसलाइन्स (जैसे ASAP) ने रिटर्न में भारी गिरावट की कीमत पर स्मूथनेस प्राप्त की।
2. कार्य प्रदर्शन: पॉलिसी-साइड विधियों के विपरीत, जो अक्सर स्मूथनेस के लिए प्रदर्शन से समझौता करती हैं, PAVE ने 6 में से 5 TD3 वातावरणों में प्रतिस्पर्धी या बेहतर रिटर्न बनाए रखा।
3. ज्यामितीय सत्यापन (Geometric Validation):
   • विज़ुअलाइज़ेशन: मिक्स्ड-पार्शियल हेसियन नॉर्म $\|\nabla^2_{sa}Q\|_2$ के 3D प्लॉट्स ने दिखाया कि बेसलाइन्स ने "ऊबड़-खाबड़" लैंडस्केप बनाए, जबकि PAVE ने एक सपाट, सुसंगत फील्ड बनाया।
   • प्रॉक्सी वैलिडेशन: MPR में उपयोग किए गए फाइनाइट-डिफरेंस प्रॉक्सी को सटीक एनालिटिक हेसियन नॉर्म के साथ मजबूती से सह-संबंधित (अनुपात 0.67–1.14) पाया गया।
   • सिद्धांत पुष्टि: प्रयोगात्मक डेटा ने पुष्टि की कि PAVE ने $M_{sup}$ (अंश) को दबाते हुए और सख्त अवतलता (हर) को बनाए रखते हुए, $L \leq M/\mu$ बाउंड को सफलतापूर्वक मान्य किया।

5. महत्व और दावे (Significance and Claims)

यह शोध पत्र एक मौलिक दृष्टिकोण परिवर्तन का दावा करता है: पॉलिसी स्मूथनेस को एक्टर बाधाओं के माध्यम से लागू करने के बजाय एक स्थिर लर्निंग सिग्नल के माध्यम से प्रेरित किया जाना चाहिए।

• मूल कारण की पहचान: लेखक कठोरता से सिद्ध करते हैं कि पॉलिसी संवेदनशीलता क्रिटिक की डिफरेंशियल ज्योमेट्री (मिक्स्ड पार्शियल्स और एक्शन कर्वेचर) द्वारा शासित होती है, न कि केवल एक्टर की आर्किटेक्चर द्वारा।
• क्रिटिक-केंद्रित समाधान: Q-फंक्शन की ज्यामिति को रेगुलराइज करके, PAVE स्मूथनेस और प्रदर्शन के बीच के अनुकूलन संघर्ष को हल करता है। यह एक्टर को स्वाभाविक रूप से एक स्मूथ पॉलिसी की ओर अभिसरण (converge) करने की अनुमति देता है क्योंकि वह जिस ग्रेडिएंट फील्ड का अनुसरण करता है वह स्थिर है।
• व्यावहारिक प्रभाव: PAVE एक्टर नेटवर्क को संशोधित किए बिना मानक एक्टर-क्रिटिक पाइपलाइनों में क्रिटिक के लिए एक 'ड्रॉप-इन रिप्लेसमेंट' के रूप में कार्य करता है और अत्याधुनिक पॉलिसी-साइड विधियों के बराबर या बेहतर स्मूथनेस प्राप्त करता है।

लेखक निष्कर्ष निकालते हैं कि भौतिक तैनाती के लिए पॉलिसी नेटवर्क को बाधित करने की तुलना में "वैल्यू लैंडस्केप को पवेइंग (Paving) करना" अधिक प्रभावी रणनीति है, क्योंकि यह केवल उसके प्रकटीकरण के बजाय अस्थिरता के स्रोत को संबोधित करती है।