तकनीकी सारांश: अनुकूलित पूर्ववृत्त (Adaptive Priors) के साथ सीखने के लिए एक KL-नियमितीकरण ढांचा (KL-Regularization Framework)

1. समस्या विवरण

मॉडल-आधारित सुदृढीकरण aprendizaje (Model-Based Reinforcement Learning - MBRL) में, प्रभावी अन्वेषण (exploration) एक महत्वपूर्ण चुनौती बनी हुई है, विशेष रूप से उच्च-आयामी निरंतर नियंत्रण (high-dimensional continuous control) कार्यों में जहाँ नमूना दक्षता (sample efficiency) सर्वोपरि होती है। हाल के दृष्टिकोण, जैसे कि TD-MPC और BMPC, मॉडल-प्रेडिक्टिव पाथ इंटीग्रल (MPPI) योजना के लिए प्रस्ताव वितरण (proposal distributions) के रूप में सीखे गए नीतियों का उपयोग करते हैं। हालाँकि, एक मौलिक सीमा नीति बेमेल (policy mismatch) से उत्पन्न होती है: नमूनाकरण नीति ($\pi_{\theta_s}$) को अक्सर योजनाकार (planner) के क्रिया वितरण ($\pi_P$) से स्वतंत्र रूप से अपडेट किया जाता है।

यह अलगाव एक वितरण बेमेल (distribution mismatch) बनाता है जहाँ बूटस्ट्रैप एक्शन-वैल्यू फंक्शन को MPPI योजनाकार (जो एक विशिष्ट वितरण का अन्वेषण करता है) द्वारा उत्पन्न प्रक्षेपवक्रों (trajectories) पर प्रशिक्षित किया जाता है, जबकि नमूनाकरण नीति को स्थानीय क्रिया मानों को अधिकतम करने के लिए अपडेट किया जाता है, जो अक्सर योजनाकार के वितरण से विचलित हो जाती है। यह मिसअलाइनमेंट अविश्वसनीय मूल्य अनुमानों की ओर ले जाता है, विशेष रूप से कम क्षितिज (short horizons) के लिए, और दीर्घकालिक प्रदर्शन को खराब करता है। इन वितरणों को संरेखित करने के पिछले प्रयास, जैसे कि रिवर्स KL डाइवर्जेंस (BMPC) को कम करना, उच्च विचरण (high variance) से ग्रस्त होते हैं क्योंकि वे रीप्ले बफर में संग्रहीत "पुराने" (stale) योजनाकार नमूनों पर निर्भर करते हैं, जो एक सुसंगत वर्तमान वितरण के बजाय पुराने नियोजन नीतियों के मिश्रण का प्रतिनिधित्व करते हैं।

2. कार्यप्रणाली: PO-MPC ढांचा

लेखक पॉलिसी ऑप्टिमाइज़ेशन-मॉडल प्रेडिक्टिव कंट्रोल (PO-MPC) का प्रस्ताव करते हैं, जो एक एकीकृत ढांचा है जो योजनाकार के क्रिया वितरण को नीति अनुकूलन में एक 'प्रायर' (prior) के रूप में मानता है। PO-MPC नमूनाकरण नीति सीखने के चरण को KL-नियमितित सुदृढीकरण लर्निंग (KL-regularized Reinforcement Learning) के एक उदाहरण के रूप में प्रस्तुत करता है।

मुख्य सूत्र (Core Formulation)

लक्ष्य एक नमूनाकरण नीति $\pi_{\theta_s}$ सीखना है जो एक अनुकूलित प्रायर $\pi_p$ (जो MPPI योजनाकार से प्राप्त होता है) के करीब रहते हुए अपेक्षित प्रतिफल (expected return) को अधिकतम करती है। ऑब्जेक्टिव फंक्शन है:

$$J(\pi_{\theta_s}) = \mathbb{E} \left[ \sum_{t=0}^{T-1} \gamma^t \left( r(z_t, a_t) - \lambda \text{KL}[\pi_{\theta_s}(\cdot | z_t) \| \pi_p(\cdot | z_t)] \right) \right]$$

जहाँ:

• $z_t$ एक लेटेंट स्टेट प्रतिनिधित्व (latent state representation) है।
• $\lambda$ एक हाइपरपैरामीटर है जो KL नियमितीकरण की शक्ति को नियंत्रित करता है।
• $\pi_p$ एक पॉलिसी प्रायर (policy prior) है।

मुख्य घटक

1. KL-नियमितित RL: यह ढांचा मौजूदा विधियों को इस सूत्र के विशेष मामलों के रूप में एकीकृत करता है:

   • $\lambda = 0$: यह TD-MPC2 को पुनः प्राप्त करता है, जहाँ नीति को केवल एक्शन-वैल्यू मैक्सिमाइजेशन और एंट्रॉपी रेगुलराइजेशन के माध्यम से अपडेट किया जाता है।
   • $\lambda \to \infty$: यह BMPC (रिवर्स KL के साथ) को पुनः प्राप्त करता है, जहाँ नीति को योजनाकार के वितरण की नकल करने के लिए बाध्य किया जाता है।
   • मध्यवर्ती $\lambda$ (Intermediate $\lambda$): पेपर रिटर्न मैक्सिमाइजेशन और वितरण संरेखण के बीच संतुलन बनाने के लिए मध्यवर्ती मानों (जैसे, $\lambda \in [0.1, 9]$) का अन्वेषण करता है।

2. अनुकूलित मध्यवर्ती प्रायर ($\pi_{\theta_p}$):
   रीप्ले बफर से सीधे पुराने योजनाकार नमूनों का उपयोग करने से होने वाले उच्च विचरण को संबोधित करने के लिए, PO-MPC एक सीखा गया मध्यवर्ती प्रायर पेश करता है। कच्चे योजनाकार नमूनों (जो एक समय-परिवर्तित गॉसियन मिश्रण हो सकते हैं) को क्लोन करने के बजाय, यह ढांचा एक न्यूरल नेटवर्क $\pi_{\theta_p}$ को प्रशिक्षित करता है जो वर्तमान MPPI-प्रेरित वितरण $\pi_P$ का अनुमान लगाता है।

   • यह प्रायर योजनाकार के आउटपुट से डिस्टिल (distilled) किया जाता है, जो नमूनाकरण नीति अपडेट को पुराने नमूनों के विचरण से बचाता है।
   • प्रायर को या तो रिवर्स KL ( $\text{KL}[\pi_{\theta_p} \| \pi_P]$ को कम करना) या फॉरवर्ड KL ( $\text{KL}[\pi_P \| \pi_{\theta_p}]$ को कम करना) का उपयोग करके प्रशिक्षित किया जा सकता है।
     • रिवर्स KL: नीति को योजनाकार के विशिष्ट मोड (modes) से मिलाने की ओर झुकाता है (तेज़ अभिसरण, संभावित रूप से कम अन्वेषण)।
     • फॉरवर्ड KL: नीति को सभी नमूने लिए गए वितरणों के सपोर्ट (support) को कवर करने की ओर झुकाता है (बेहतर अन्वेषण, संभावित रूप से धीमा अभिसरण)।

3. एल्गोरिदम लूप:
   प्रशिक्षण एक प्लान $\to$ इन्फर $\to$ रेगुलराइज (Plan $\to$ Infer $\to$ Regularize) चक्र का अनुसरण करता है:

   • प्लान (Plan): MPPI वर्तमान नमूनाकरण नीति और वैल्यू फंक्शन का उपयोग करके एक प्रक्षेपवक्र वितरण $\pi_P$ उत्पन्न करता है।
   • इन्फर (Infer): अनुकूलित प्रायर $\pi_{\theta_p}$ को $\pi_P$ का अनुमान लगाने के लिए अपडेट किया जाता है।
   • रेगुलराइज (Regularize): नमूनाकरण नीति $\pi_{\theta_s}$ को KL-नियमितित ऑब्जेक्टिव का उपयोग करके अपडेट किया जाता है, जो Q-वैल्यू मैक्सिमाइजेशन और $\pi_{\theta_p}$ की ओर KL दंड (penalty) के बीच संतुलन बनाता है।

3. मुख्य योगदान

• एकीकरण (Unification): यह पेपर विभिन्न MPPI-आधारित RL विधियों (TD-MPC2, BMPC) को एक एकल सैद्धांतिक ढांचे (PO-MPC) के तहत एकीकृत करता है, जिससे उनके डिज़ाइन विकल्पों और संबंधों को स्पष्ट किया जाता है।
• अनुकूलित प्रायर (Adaptive Priors): यह रीप्ले बफर से कच्चे योजनाकार नमूनों के प्रत्यक्ष क्लोनिंग को बदलने के लिए एक सीखे गए मध्यवर्ती प्रायर को पेश करता है, और सैद्धांतिक एवं अनुभवजन्य रूप से यह प्रदर्शित करता है कि यह अपडेट विचरण को कम करता है और प्रशिक्षण को स्थिर करता है।
• लचीले उद्देश्य (Flexible Objectives): यह ढांचा पहले से अध्ययन न किए गए वेरिएंट्स के अन्वेषण की अनुमति देता है, विशेष रूप से KL स्ट्रेंथ $\lambda$ को ट्यून करना और प्रायर के लिए फॉरवर्ड/रिवरसे KL के बीच चयन करना।
• स्टेट-ऑफ-द-आर्ट प्रदर्शन: यह विधि उच्च-आयामी निरंतर नियंत्रण कार्यों में मौजूदा बेसलाइन्स की तुलना में बेहतर नमूना दक्षता और अंतिम प्रदर्शन प्राप्त करती है।

4. प्रयोगात्मक परिणाम

लेखकों ने DeepMind Control Suite (Humanoid और Dog) और HumanoidBench से 21 चुनौतीपूर्ण निरंतर नियंत्रण कार्यों पर PO-MPC का मूल्यांकन किया।

• प्रदर्शन लाभ: PO-MPC मध्यवर्ती $\lambda$ मानों के साथ लगातार TD-MPC2 ($\lambda=0$) और BMPC ($\lambda \to \infty$) दोनों से बेहतर प्रदर्शन करता है।
  • उच्च-आयामी कार्यों (जैसे, HumanoidBench) में, मध्यवर्ती $\lambda$ मानों (विशेष रूप से $\lambda=1$ या $\lambda=9$) ने अंतिम प्रतिफल और नमूना दक्षता में महत्वपूर्ण सुधार दिखाया।
  • कुछ वातावरणों में जहाँ बेसलाइन्स विफल रहे (जैसे, HumanoidBench "Balance Simple," "Slide," "Stair"), PO-MPC सफलतापूर्वक अभिसरण (converge) हुआ।
• मध्यवर्ती प्रायर प्रभावकारिता: कच्चे योजनाकार नमूनों का उपयोग करने के बजाय सीखे गए मध्यवर्ती प्रायर ($\pi_{\theta_p}$) का उपयोग करने से प्रदर्शन मैच हुआ या उससे बेहतर रहा, जो अपडेट विचरण में कमी की पुष्टि करता है।
• लॉस फंक्शन संवेदनशीलता: प्रायर को प्रशिक्षित करने के लिए KL लॉस का चुनाव महत्वपूर्ण था। फॉरवर्ड KL अन्वेषण-प्रधान कार्यों (जैसे, "Stair") में फायदेमंद था, जबकि रिवर्स KL ने परिशुद्धता-महत्वपूर्ण कार्यों (जैसे, "Balance Simple") में अभिसरण को तेज किया।
• एब्लेशन (Ablation): परिणामों ने दिखाया कि यदि $\lambda$ बहुत कम है (नीति बेमेल वापस आता है) या बहुत अधिक है (समय से पहले मोड कोलैप्स), तो प्रदर्शन घट जाता है, जो इस ट्रेड-ऑफ को ट्यून करने के महत्व को उजागर करता है।

5. महत्व और दावे

लेखक दावा करते हैं कि PO-MPC, MPPI-आधारित दृष्टिकोणों का एक सिद्धांतिक एकीकरण है। एक KL-नियमितित ऑब्जेक्टिव और एक अनुकूलित प्रायर के माध्यम से नमूनाकरण नीति को योजनाकार के साथ स्पष्ट रूप से संरेखित करके, यह ढांचा:

1. योजना (planning) और नीति शिक्षण (policy learning) के बीच के लूप को बंद करता है, यह सुनिश्चित करता है कि वैल्यू फंक्शन वर्तमान योजनाकार के लिए प्रासंगिक वितरणों पर मूल्यांकित हो।
2. रीप्ले बफर में पुराने योजनाकार नमूनों द्वारा उत्पन्न विचरण को कम करके स्थिरता में सुधार करता है।
3. निरंतर नियंत्रण के लिए मॉडल-आधारित RL में स्टेट-ऑफ-द-आर्ट को आगे बढ़ाता है, जो एक लचीला ढांचा प्रदान करता है जिसे विशिष्ट कार्य आवश्यकताओं (अन्वेषण बनाम शोषण) के अनुसार ट्यून किया जा सकता है।

लेखक नोट करते हैं कि हालांकि यह ढांचा शक्तिशाली है, यह नीतियों के लिए गॉसियन वितरण मानता है और वैल्यू लर्निंग के लिए सभी सिम्युलेटेड प्रक्षेपवक्रों का पूरी तरह से उपयोग नहीं करता है। भविष्य के कार्य के रूप में नीति वितरण को गॉसियनों से परे विस्तारित करने और $\lambda$ हाइपरपैरामीटर को स्वचालित रूप से ट्यून करने का सुझाव दिया गया है।