Adaptive Scaling of Policy Constraints for Offline Reinforcement Learning

यहाँ शोध पत्र "Adaptive Scaling of Policy Constraints for Offline Reinforcement Learning" (ASPC) का विस्तृत तकनीकी सारांश दिया गया है, जिसे ICLR 2026 के लिए एक कॉन्फ्रेंस पेपर के रूप में प्रकाशित किया गया है।

1. समस्या विवरण (Problem Statement)

ऑफलाइन सुदृढीकरण शिक्षण (Offline Reinforcement Learning - RL) का लक्ष्य बिना किसी अतिरिक्त वातावरण संपर्क के, पूर्व-संग्रहित स्थिर डेटासेट से इष्टतम नीतियों (optimal policies) को सीखना है। इस सेटिंग में एक प्राथमिक चुनौती डिस्ट्रीब्यूशन शिफ्ट (distribution shift) है: सीखी गई नीति उन अवस्था-क्रिया युग्मों (state-action pairs) पर जा सकती है जो डेटासेट में मौजूद नहीं हैं, जिससे Q-values का अत्यधिक आकलन (overestimation) और पॉलिसी का पतन (collapse) हो सकता है।

इसे कम करने के लिए, मौजूदा विधियाँ पॉलिसी बाधाओं (policy constraints) (जैसे TD3+BC में) को लागू करती हैं ताकि सीखी गई नीति को व्यवहार नीति (Behavior Cloning, BC) के करीब रखा जा सके। हालाँकि, ये विधियाँ एक कन्स्ट्रेंट स्केल फैक्टर (जिसे $\alpha$ द्वारा दर्शाया गया है) पर निर्भर करती हैं जो RL ऑब्जेक्टिव और BC ऑब्जेक्टिव के बीच संतुलन बनाता है।

• मुख्य समस्या: $\alpha$ का इष्टतम मान विभिन्न कार्यों (tasks) और डेटासेट की गुणवत्ता (जैसे रैंडम बनाम एक्सपर्ट डेटा) के अनुसार काफी भिन्न होता है।
• वर्तमान सीमाएँ:
  • स्थिर ट्यूनिंग (Static Tuning): अत्याधुनिक विधियों के लिए अक्सर प्रत्येक डेटासेट के लिए सूक्ष्म हाइपरपैरामीटर ट्यूनिंग की आवश्यकता होती है, जो समय लेने वाली और वास्तविक दुनिया में तैनाती के लिए अव्यावहारिक है।
  • निश्चित अनुकूली विधियाँ (Fixed Adaptive Methods): मौजूदा अनुकूली दृष्टिकोण अक्सर केवल स्थानीय स्तर पर क्रियाओं को पुन: भारित (reweight) करते हैं या ऐसे निश्चित कॉन्फ़िगरेशन का उपयोग करते हैं जो वैश्विक संतुलन (global trade-off) को पकड़ने में विफल रहते हैं, जिसके परिणामस्वरूप फाइनली ट्यून किए गए बेसलाइन की तुलना में उप-इष्टतम प्रदर्शन होता है।

यह शोध पत्र एक ऐसी विधि की तत्काल आवश्यकता को संबोधित करता है जो एक एकल हाइपरपैरामीटर कॉन्फ़िगरेशन का उपयोग करके विविध डेटासेट पर मजबूत, अत्याधुनिक प्रदर्शन प्राप्त कर सके।

2. कार्यप्रणाली: एडैप्टिव स्केलिंग ऑफ पॉलिसी कंस्ट्रेंट्स (ASPC)

ASPC एक सेकंड-ऑर्डर डिफरेंशिएबल फ्रेमवर्क (second-order differentiable framework) है जो कन्स्ट्रेंट स्केल फैक्टर $\alpha$ को एक सीखने योग्य पैरामीटर के रूप में मानता है, और एक द्वि-स्तरीय अनुकूलन प्रक्रिया (bi-level optimization process) के माध्यम से प्रशिक्षण के दौरान इसे गतिशील रूप से समायोजित करता है।

A. मुख्य ढांचा (Core Framework)

यह विधि TD3+BC ऑब्जेक्टिव पर आधारित है, जहाँ कुल लॉस $L$ है:
$$L = \alpha L_{RL} + L_{BC}$$
$\alpha$ को स्थिर रखने के बजाय, ASPC इसे मेटा-लर्निंग (meta-learning) सिद्धांतों का उपयोग करके अनुकूलित करता है:

1. इनर अपडेट (Inner Update - पॉलिसी अनुकूलन):
   पॉलिसी पैरामीटर्स $\theta$ को एक निश्चित $\alpha$ के लिए इनर ऑब्जेक्टिव $L_{inner}$ को कम करने के लिए ग्रेडिएंट डिसेंट के माध्यम से अपडेट किया जाता है।
   $$L_{inner}(\theta; \alpha) = \mathbb{E}[-\lambda(\alpha) Q(s, \pi_\theta(s)) + \|\pi_\theta(s) - a\|^2]$$
   यहाँ, $\lambda(\alpha)$ BC लॉस के पैमाने के आधार पर RL टर्म को सामान्य (normalize) करता है।

2. आउटर अपडेट (Outer Update - स्केल फैक्टर अनुकूलन):
   स्केल फैक्टर $\alpha$ को एक आउटर लॉस $L_{outer}$ को कम करने के लिए अपडेट किया जाता है, जो स्थिर प्रशिक्षण और प्रदर्शन सुधार सुनिश्चित करता है। आउटर लॉस में तीन समन्वित घटक शामिल हैं:

   • $L_1$ (बैलेंस टर्म): मानक TD3+BC ऑब्जेक्टिव को दर्शाता है, जो $\alpha$ को Q-values को अधिकतम करने और BC लॉस को न्यूनतम करने के बीच संतुलन की ओर निर्देशित करता है।
   • $L_2$ (Q-Value स्थिरता): अपेक्षित Q-value में अचानक वृद्धि ($\Delta Q^2$) को दंडित करता है ताकि अत्यधिक आशावादी अपडेट को रोका जा सके।
   • $L_3$ (BC वेरिएशन कंस्ट्रेंट): BC लॉस में भिन्नता ($\Delta L_{BC}$) को नियंत्रित करता है। यह टर्म पॉलिसी को व्यवहार नीति से बहुत दूर जाने से रोकने के लिए महत्वपूर्ण है जब Q-value में उतार-चढ़ाव अधिक होता है।

   $\alpha$ के लिए अपडेट सेकंड-ऑर्डर डेरिवेटिव्स (इनर अपडेट पैरामीटर्स के सापेक्ष $\alpha$ के ग्रेडिएंट्स) का उपयोग करता है:
   $$\alpha \leftarrow \alpha - \eta_\alpha \frac{\partial L_{outer}(\tilde{\theta}(\alpha))}{\partial \tilde{\theta}} \frac{\partial \tilde{\theta}(\alpha)}{\partial \alpha}$$

B. सैद्धांतिक गारंटी (Theoretical Guarantees)

लेखक यह सिद्ध करने के लिए सैद्धांतिक विश्लेषण प्रदान करते हैं कि:

• पारस्परिक बाधाएँ (Mutual Constraints): BC लॉस में परिवर्तन ($\Delta L_{BC}$) और Q-values में वर्ग परिवर्तन ($(\Delta Q)^2$) एक-दूसरे को पारस्परिक रूप से बाधित करते हैं।
• प्रदर्शन निचला स्तर (Performance Lower Bound): विशिष्ट धारणाओं (Lipschitz continuity) के तहत, ASPC अपडेट एक गैर-घटती (non-decreasing) पॉलिसी प्रदर्शन ($J(\pi_{t+1}) \geq J(\pi_t)$) की गारंटी देता है यदि Q-value लाभ BC लॉस के परिवर्तन की भरपाई करता है।
• अभिसरण (Convergence): विधि उप-इष्टतमता अंतराल (suboptimality gap) को प्रगतिपूर्वक कम करती है, जिसमें शेष अंतराल व्यवहार नीति और इष्टतम नीति के बीच के अंतर द्वारा नियंत्रित होता है।

C. कार्यान्वयन विवरण (Implementation Details)

• बैकबोन: TD3+BC पर आधारित।
• आर्किटेक्चर: Q-value ओवरएस्टिमेशन को कम करने के लिए तीन हिडन लेयर्स और LayerNorm के साथ एक "रोबस्ट क्रिटिक" का उपयोग करता है।
• दक्षता: हालांकि सेकंड-ऑर्डर ग्रेडिएंट्स गणनात्मक रूप से महंगे होते हैं, ASPC $\alpha$ को एक्टर अपडेट की तुलना में बहुत कम आवृत्ति ($k_\alpha$) पर अपडेट करता है, जिससे रनटाइम ओवरहेड न्यूनतम रहता है।

3. मुख्य योगदान (Key Contributions)

1. नया फ्रेमवर्क: ASPC का परिचय, जो डायनामिक रूप से पॉलिसी कंस्ट्रेंट स्केल्स को एडजस्ट करने के लिए सेकंड-ऑर्डर डिफरेंशिएबल ऑप्टिमाइजेशन का उपयोग करने वाला पहला तरीका है, जिससे प्रति-डेटासेट हाइपरपैरामीटर ट्यूनिंग की आवश्यकता समाप्त हो जाती है।
2. सैद्धांतिक विश्लेषण: प्रदर्शन सुधार गारंटी और Q-value स्थिरता एवं पॉलिसी विचलन के बीच पारस्परिक बाधा संबंध का कठोर प्रमाण।
3. व्यापकता (Generality): यह प्रदर्शित किया गया है कि ASPC केवल TD3+BC तक सीमित नहीं है, बल्कि प्रदर्शन में सुधार के लिए अन्य ऑफलाइन RL एल्गोरिदम (IQL, CQL, Diffusion-QL, FQL) में भी एकीकृत किया जा सकता है।
4. अत्याधुनिक परिणाम: चार D4RL डोमेन (MuJoCo, Maze2d, AntMaze, Adroit) और OGBench बेंचमार्क के 39 डेटासेट में एक ही हाइपरपैरामीटर सेटिंग का उपयोग करके श्रेष्ठ प्रदर्शन हासिल किया।

4. प्रयोगात्मक परिणाम (Experimental Results)

• बेंचमार्क प्रदर्शन: D4RL बेंचमार्क पर, ASPC ने 77.9 का औसत नॉर्मलाइज्ड स्कोर प्राप्त किया, जो सभी बेसलाइन से बेहतर था।
  • इसने प्रति-डेटासेट ट्यूनिंग की आवश्यकता वाले तरीकों (जैसे IQL, ReBRAC) और अन्य अनुकूली तरीकों (wPC, A2PR) को पीछे छोड़ दिया।
  • इसने बेसलाइन (फिक्स्ड $\alpha$ के साथ TD3+BC) पर 35% औसत सुधार दिखाया।
• अनुकूलन क्षमता (Adaptability):
  • डेटासेट की गुणवत्ता: ASPC उच्च-गुणवत्ता वाले एक्सपर्ट डेटासेट के लिए $\alpha$ को स्वचालित रूप से कम करता है (BC को प्राथमिकता देता है) और कम-गुणवत्ता वाले रैंडम डेटासेट के लिए $\alpha$ को बढ़ाता है (RL एक्सप्लोरेशन को प्राथमिकता देता है)।
  • कार्य गतिशीलता (Task Dynamics): यह कार्य विशेषताओं (जैसे AntMaze में स्पार्स रिवॉर्ड बनाम MuJoCo में डेंस रिवॉर्ड) के आधार पर $\alpha$ को अनुकूलित करता है।
• एब्लेशन अध्ययन (Ablation Studies):
  • डायनामिक एडजस्टमेंट को हटाने (अंतिम अभिसरित मान के लिए $\alpha$ को फिक्स करना) से प्रदर्शन में महत्वपूर्ण गिरावट आई, जिससे सिद्ध हुआ कि केवल एक अच्छा फिक्स्ड मान ढूंढना ही नहीं, बल्कि डायनामिक एडजस्टमेंट आवश्यक है।
  • विभिन्न डोमेन में इष्टतम प्रदर्शन के लिए तीनों लॉस कंपोनेंट्स ($L_1, L_2, L_3$) आवश्यक थे।
• दक्षता: जब $\alpha$ के अपडेट अंतराल को 30 स्टेप्स पर सेट किया गया, तो ASPC ने मानक TD3+BC की तुलना में केवल न्यूनतम कंप्यूटेशनल ओवरहेड पेश किया, जिसका रनटाइम बेसलाइन के तुलनीय रहा।

5. महत्व (Significance)

यह शोध पत्र हाइपरपैरामीटर संवेदनशीलता समस्या को हल करके ऑफलाइन RL के क्षेत्र में एक महत्वपूर्ण योगदान देता है।

• व्यावहारिकता: यह व्यापक हाइपरपैरामीटर ट्यूनिंग की बाधा को हटा देता है, जिससे ऑफलाइन RL वास्तविक दुनिया के अनुप्रयोगों (जैसे स्वास्थ्य सेवा, रोबोटिक्स) के लिए अधिक व्यवहार्य हो जाता है जहाँ डेटा की गुणवत्ता भिन्न होती है और ट्यूनिंग संसाधन सीमित होते हैं।
• मजबूती (Robustness): रीयल-टाइम ट्रेनिंग सिग्नल के आधार पर एक्सप्लोरेशन (RL) और एक्सप्लोइटेशन (BC) को गतिशील रूप से संतुलित करके, ASPC स्थिर और विश्वसनीय लर्निंग पथ प्रदान करता है।
• सामान्यीकरण (Generalizability): विविध एल्गोरिदम (वैल्यू-बेस्ड से लेकर डिफ्यूजन-बेस्ड तक) को बढ़ाने की इसकी क्षमता ऑफलाइन पॉलिसी कंस्ट्रेंट्स को स्थिर करने के लिए एक सार्वभौमिक तंत्र का सुझाव देती है।

निष्कर्षतः, ASPC "स्थिर कंस्ट्रेंट ट्यूनिंग" से "अनुकूली कंस्ट्रेंट लर्निंग" की ओर एक बदलाव का प्रतिनिधित्व करता है, जो विविध और चुनौतीपूर्ण वातावरणों में ऑफलाइन सुदृढीकरण शिक्षण के लिए एक मजबूत, उच्च-प्रदर्शन समाधान प्रदान करता है।