तकनीकी सारांश: पोस्टीरियर सैंपलिंग के साथ ऑफलाइन पॉलिसी ऑप्टिमाइजेशन (PSPO)

1. समस्या विवरण

ऑफलाइन सुदृढीकरण शिक्षण (Reinforcement Learning - RL) का लक्ष्य बिना किसी अतिरिक्त वातावरण संपर्क के, स्थिर ऐतिहासिक डेटासेट से इष्टतम नीतियों (optimal policies) को सीखना है। इस क्षेत्र में एक मौलिक चुनौती वितरण बदलाव (distribution shift) है, जहाँ सीखी गई नीति व्यवहार नीति (behavior policy) के सपोर्ट से विचलित हो जाती है, जिससे एजेंट आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) क्षेत्रों के संपर्क में आ जाता है। मॉडल-आधारित ऑफलाइन RL में, यह एक महत्वपूर्ण ट्रेड-ऑफ के रूप में प्रकट होता है:

• सामान्यीकरण (Generalization): डायनेमिक्स-संगत (dynamics-consistent) OOD ट्रांज़िशन का संश्लेषण मूल्य स्थिरीकरण (value maximization) और डेटासेट सपोर्ट से परे सामान्यीकरण की सुविधा प्रदान कर सकता है।
• मजबूती (Robustness): ये समान OOD क्षेत्र मॉडल शोषण (model exploitation) के जोखिम को भी पेश करते हैं, जहाँ नीति डायनेमिक्स मॉडल में अनुमान त्रुटियों (approximation errors) का लाभ उठाकर त्रुटिपूर्ण क्रियाएं चुन लेती है, जिससे प्रदर्शन विफल हो जाता है।

मौजूदा दृष्टिकोण आमतौर पर अत्यधिक निराशावादी नियमितीकरण (excessive pessimistic regularization) के माध्यम से मॉडल शोषण को कम करने का प्रयास करते हैं। ये विधियाँ एजेंट को डेटासेट सपोर्ट के भीतर रखने के लिए एपिस्टेमिक अनिश्चितता (जैसे कि प्रेडिक्शन स्टैंडर्ड डेविएशन) के आधार पर OOD वैल्यू अनुमानों को दंडित करती हैं। जबकि यह मजबूती सुनिश्चित करता है, यह अक्सर उन वैध OOD ट्रांज़िशन को भी अत्यधिक दंडित करके सामान्यीकरण क्षमताओं का त्याग कर देता है जो अंतर्निहित भौतिक गतिशीलता (physical dynamics) को कैप्चर करते हैं। केंद्रीय प्रश्न यह है कि क्या एक मॉडल-आधारित ऑफलाइन RL एल्गोरिदम ऐसी निराशावाद (pessimism) पर निर्भर हुए बिना सामान्यीकरण और मजबूती के बीच संतुलन बना सकता है।

2. कार्यप्रणाली: पोस्टीरियर सैंपलिंग-आधारित पॉलिसी ऑप्टिमाइजेशन (PSPO)

PSPO एक बेयसियन RL ढांचे पर आधारित निराशावाद-मुक्त प्रतिमान (pessimism-free paradigm) प्रस्तावित करता है। डायनेमिक्स मॉडलिंग को एक सिंगल पॉइंट एस्टीमेट के रूप में मानने के बजाय, PSPO डायनेमिक्स मॉडलिंग को एक बेयसियन अनुमान प्रक्रिया के रूप में तैयार करता है, जहाँ ट्रांज़िशन डायनेमिक्स $T$ को देखे गए ट्रांज़िशन साक्ष्य $E$ पर आधारित एक रैंडम वेरिएबल के रूप में माना जाता है।

2.1 बेयसियन फॉर्मूलेशन और पोस्टीरियर निर्माण

PSPO का मूल एक पोस्टीरियर वितरण $P(T|E)$ का व्युत्पन्न है जो स्पष्ट रूप से मॉडल की निष्ठा (fidelity) को मापता है।

• अनुभवजन्य निरंतरता मीट्रिक (Empirical Consistency Metric): पेपर एक मीट्रिक $F(T)$ को परिभाषित करता है जो एक विशिष्ट डायनेमिक्स मॉडल $T$ के तहत Q-वैल्यू और बेलमैन बैकअप के बीच वर्ग त्रुटि (squared error) को दर्शाता है।
• न्यूनतम सूचना का सिद्धांत (Principle of Minimum Information): पोस्टीरियर को अपडेट करने के लिए, PSPO एक अनुकूलन समस्या को हल करता है जो नए साक्ष्य (न्यूनतम अपेक्षित $F(T)$) द्वारा लगाए गए प्रतिबंध को संतुष्ट करते हुए प्रायर (prior) से क्लिंग-लेब्लर (KL) डाइवर्जेंस को कम करता है। यह निम्नलिखित रूप का एक पोस्टीरियर देता है:
  $$P(T|E) \propto P(T) \cdot \exp(-\beta \cdot F(T))$$
  यह फॉर्मूलेशन एल्गोरिदम को उच्च-निष्ठा वाले मॉडलों पर संभाव्यता द्रव्यमान (probability mass) को अनुकूल रूप से केंद्रित करने की अनुमति देता है, जबकि अन्य उम्मीदवारों पर गैर-नगण्य संभाव्यता बनाए रखता है, जिससे मैन्युअल हस्तक्षेप के बिना अन्वेषण सुनिश्चित होता है।

2.2 एल्गोरिथमिक फ्रेमवर्क

PSPO पोस्टीरियर सैंपलिंग को बाधा-युक्त पॉलिसी ऑप्टिमाइजेशन के साथ एकीकृत करता है:

1. रोलआउट्स के लिए पोस्टीरियर सैंपलिंग: भविष्यवाणियों का औसत निकालने (जो अनिश्चितता को समाप्त कर देता है) के बजाय, PSPO ट्रांज़िशन को संश्लेषित करने के लिए पोस्टीरियर $P(T|E)$ से डायनेमिक्स मॉडल को सैंपल करता है। यह एपिस्टेमिक अनिश्चितता में निहित स्टोकेस्टिसिटी को बनाए रखता है, जो प्रभावी रूप से थॉम्पसन सैंपलिंग (Thompson Sampling) के एक संस्करण को लागू करता है। यह नीति को डायनेमिक्स-संगत OOD क्षेत्रों का अन्वेषण करने की अनुमति देता है।
2. प्रतिबंधित पॉलिसी ऑप्टिमाइजेशन (Constrained Policy Optimization): स्थिरता सुनिश्चित करने और शोषण को रोकने के लिए, पॉलिसी ऑप्टिमाइजेशन को बाधा-युक्त उप-समस्याओं (subproblems) के एक अनुक्रम में विभाजित किया गया है। उद्देश्य को एक रेफरेंस पॉलिसी (आमतौर पर व्यवहार नीति) के सापेक्ष KL-डाइवर्जेंस पद द्वारा नियमित किया जाता है, जो पॉलिसी अपडेट के परिमाण को सीमित करता है।
3. पुनरावृत्त नियमितीकरण (Iterative Regularization): एल्गोरिदम इनके बीच बारी-बारी से कार्य करता है:
   • E-स्टेप: वर्तमान Q-वैल्यू अनुमानों के आधार पर पोस्टीरियर विश्वास $P(T|E)$ को अपडेट करना।
   • M-स्टेप: एक प्रतिबंधित ऑब्जेक्टिव के तहत नीति को अनुकूलित करना जो निरंतर सुधार (monotonic improvement) की गारंटी देता है।

2.3 सैद्धांतिक गारंटी

• अभिसरण (Convergence): पोस्टीरियर सैंपलिंग के तहत Q-वैल्यू अनुमान को एक स्टोकेस्टिक एप्रोक्सिमेशन समस्या के रूप में तैयार किया गया है। लेखक सिद्ध करते हैं कि पोस्टीरियर सैंपलिंग-आधारित बेलमैन ऑपरेटर एक $\gamma$-कॉन्ट्रैक्शन है और स्टोकेस्टिक टारगेट का वेरिएंस सीमित है। फलस्वरूप, मानक लर्निंग रेट शेड्यूल्स के तहत अनुमान प्रक्रिया इष्टतम Q-वैल्यू ($Q^*$) की ओर अभिसरित होती है (रोबिन्स-मोनरो प्रमेय के माध्यम से)।
• एकदिशीय सुधार (Monotonic Improvement): पॉलिसी ऑप्टिमाइजेशन को बाधा-युक्त उप-समस्याओं में विभाजित किया गया है। पेपर यह सिद्ध करता है कि यदि KL प्रतिबंध पर्याप्त रूप से छोटा है, तो इन उप-समस्याओं को हल करने से अभिसरण तक मूल ऑब्जेक्टिव फंक्शन $J(\pi)$ के एकदिशीय सुधार की गारंटी मिलती है।

3. मुख्य योगदान

1. निराशावाद-मुक्त प्रतिमान: PSPO स्पष्ट अनिश्चितता-आधारित दंड (निराशावाद) से बचकर, पूर्व मॉडल-आधारित ऑफलाइन RL दृष्टिकोणों से खुद को अलग करता है। इसके बजाय, यह पोस्टीरियर सैंपलिंग और बाधा-युक्त अनुकूलन के माध्यम से सामान्यीकरण और मजबूती को संतुलित करता है।
2. बेयसियन डायनेमिक्स मॉडलिंग: यह डायनेमिक्स मॉडलों को रैंडम वेरिएबल्स के रूप में मानता है और अनुभवजन्य साक्ष्य पर आधारित एक पोस्टीरियर व्युत्पन्न करता है, जो अन्वेषण को निर्देशित करने के लिए मॉडल की निष्ठा को स्पष्ट रूप से मापता है।
3. सैद्धांतिक आधार: यह कार्य पोस्टीरियर सैंपलिंग के तहत Q-वैल्यू अनुमान के अभिसरण को स्थापित करता है और पॉलिसी ऑप्टिमाइजेशन प्रक्रिया के एकदिशीय सुधार को सिद्ध करता है।
4. स्टेट-ऑफ-द-आर्ट प्रदर्शन: व्यापक प्रयोग प्रदर्शित करते हैं कि PSPO मौजूदा स्टेट-ऑफ-द-आर्ट (SoTA) बेसलाइनों की तुलना में बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने D4RL सूट (जिसमें विभिन्न डेटा गुणवत्ता जैसे Random, Medium, Expert, और Replay के साथ HalfCheetah, Hopper, और Walker2d शामिल हैं) और एक चुनौतीपूर्ण ऑफलाइन ऑप्टिमल लिक्विडेशन कार्य पर PSPO का मूल्यांकन किया।

• D4RL बेंचमार्क: PSPO ने 18 में से 14 डेटासेट्स पर उच्चतम नॉर्मलाइज्ड स्कोर प्राप्त किया। विशेष रूप से, इसने सीमित उच्च-गुणवत्ता वाले ट्राजेक्टरीज वाले डेटासेट्स (जैसे "Medium," "Medium-Expert," और "Full-Replay") पर पर्याप्त लाभ दिखाया। सांख्यिकीय विश्लेषण (पेयर्ड t-टेस्ट) ने पुष्टि की कि ये सुधार सबसे मजबूत बेसलाइन (PMDB) की तुलना में महत्वपूर्ण ($p \approx 0.029$) हैं।
• ऑप्टिमल लिक्विडेशन: एक अत्यधिक स्टोकेस्टिक वातावरण में जिसमें एक बायस्ड व्यवहार नीति थी, PSPO ने लगातार मॉडल-फ्री (जैसे IQL, ORAAC) और मॉडल-आधारित (जैसे MOPO, COMBO) दोनों तरीकों की तुलना में बेहतर स्थिरता और उच्च संचयी रिटर्न प्राप्त किया, जिन्हें कन्वर्ज करने में संघर्ष करना पड़ा।
• एब्लेशन अध्ययन (Ablation Studies): पोस्टीरियर सैंपलिंग तंत्र को हटाने (यूनिफॉर्म एवरेजिंग से बदलने) या रेफरेंस पॉलिसी रेगुलराइजेशन को हटाने से प्रदर्शन में भारी गिरावट और प्रशिक्षण अस्थिरता (उच्च स्टैंडर्ड डेविएशन) देखी गई, जो दोनों घटकों की आवश्यकता को प्रमाणित करती है।
• निराशावाद विश्लेषण (Pessimism Analysis): लर्निंग कर्व्स ने दिखाया कि PSPO के मॉडल-अनुमानित रिटर्न अन्य विधियों में देखे गए "अत्यधिक निराशावादी" व्यवहार को प्रदर्शित किए बिना वास्तविक प्रदर्शन से अधिक रहे, जो निराशावाद-मुक्त डिजाइन की प्रभावशीलता की पुष्टि करता है।

5. महत्व और दावे

पेपर दावा करता है कि PSPO ऑफलाइन RL में सामान्यीकरण और मजबूती के बीच अंतर्निहित ट्रेड-ऑफ को सफलतापूर्वक संबोधित करता है। डायनेमिक्स मॉडलिंग को बेयियन अनुमान प्रक्रिया के रूप में तैयार करके, PSPO नीति को सामान्यीकरण के लिए डायनेमिक्स-संगत OOD ट्रांज़िशन का लाभ उठाने में सक्षम बनाता है, जबकि बाधा-युक्त अनुकूलन के माध्यम से मॉडल शोषण के विरुद्ध मजबूती सुनिश्चित करता है, और यह सब अत्यधिक निराशावाद के बिना किया जाता है जो मौजूदा विधियों की सामान्यीकरण क्षमता को सीमित करता है।

लेखक PSPO को एक सैद्धांतिक रूप से ठोस, निराशावाद-मुक्त ढांचे के रूप में प्रस्तुत करते हैं जो बेयियन RL सिद्धांत और डीप RL स्केलेबिलिटी के बीच के अंतर को पाटता है। वे सुझाव देते हैं कि यह दृष्टिकोण गैर-स्थिर या डेटा-सीमित ऑफलाइन सेटिंग्स में पॉलिसी सुधार के लिए अधिक मजबूत आधार प्रदान करता है। भविष्य के कार्य के रूप में डेटा-संचालित सूचनात्मक प्रायर (informative priors) सीखने के लिए जनरेटिव मॉडलिंग का उपयोग करने की संभावना की पहचान की गई है, जिससे मैनुअल स्पेसिफिकेशन पर निर्भरता और कम हो सकेगी।