तकनीकी सारांश: बेलमैन समीकरण का व्युत्क्रमण: Q-मानों से विश्व मॉडल तक

समस्या विवरण

सुदृढीकरण शिक्षण (Reinforcement Learning - RL) पारंपरिक रूप से मॉडल-मुक्त (model-free) और मॉडल-आधारित (model-based) प्रतिमानों में विभाजित है। मॉडल-मुक्त एजेंट विशिष्ट नीतियों और पुरस्कार फलनों (reward functions) से जुड़े मान फलनों ($Q$) का अनुमान लगाते हैं, जिससे वे पर्यावरण की गतिकी (ट्रांजिशन कर्नेल $P$) को स्पष्ट रूप से सीखने के बिना ही काम चला लेते हैं। इस क्षेत्र में एक मौलिक सैद्धांतिक बाधा मूल्य तुल्यता समस्या (value equivalence problem) है: भिन्न विश्व मॉडल समान मान फलनों और इष्टतम नीतियों को उत्पन्न कर सकते हैं, जिसका अर्थ है कि मॉडल-मुक्त एजेंट अपने परिवेश का एक अद्वितीय विवरण स्वतः ही संहिताबद्ध (encode) नहीं करते हैं।

जबकि एजेंटों को विविध लक्ष्यों के माध्यम से प्रशिक्षित किया जा रहा है (लक्ष्य-सशर्त RL - GCRL), यह स्पष्ट नहीं है कि क्या इन लक्ष्यों के माध्यम से सीखे गए मान फलनों का संग्रह अंतर्निहित रूप से एक अद्वितीय और सटीक विश्व मॉडल को संहिताबद्ध करता है। यह शोध पत्र इस मुख्य प्रश्न को संबोधित करता है: मॉडल-मुक्त एजेंट कब अपने पर्यावरण के एक सटीक मॉडल को अंतर्निहित रूप से संहिताबद्ध करते हैं?

कार्यप्रणाली: P-लर्निंग

लेखक P-लर्निंग पेश करते हैं, जो एक प्रशिक्षित एजेंट से एक अंतर्निहित विश्व मॉडल निकालने के लिए डिज़ाइन किया गया Q-लर्निंग का एक व्युत्क्रम (inverse) संस्करण है।

• अवधारणा: जबकि Q-लर्निंग एक निश्चित वातावरण $P$ के लिए बेलमैन समीकरण $T^\star(Q) = Q$ को संतुष्ट करने हेतु मान फलन $Q$ को पुनरावृत्त रूप से अपडेट करता है, P-लर्निंग मान फलन $Q$ (और संबद्ध नीति $\pi$ और पुरस्कार $r$) को स्थिर मानता है। इसके बाद, यह बेलमैन अवशेष (Bellman residual) को न्यूनतम करने के लिए एक संभावित विश्व मॉडल $P_\phi$ को अपडेट करता है:
  $$L(\phi) = \| T^\pi_\phi(Q) - Q \|_d^2$$
  जहाँ $T^\pi_\phi$ विश्व मॉडल $P_\phi$ द्वारा पैरामीटराइज्ड बेलमैन ऑपरेटर है।
• तंत्र: P-लर्निंग एजेंट के $Q$-मानों, नीतियों और पुरस्कारों से नमूने लेकर आंतरिक मॉडल को डिकोड करता है। टेबुलर सेटिंग (tabular setting) में, लेखक सिद्ध करते हैं कि P-लर्निंग एक मैट्रिक्स $M$ के मूर-पेनरोज़ स्यूडो-इनवर्स (Moore-Penrose pseudo-inverse) से संबंधित समाधान की ओर अभिसरित (converge) होता है, जो पुरस्कारों और मान फलनों से प्राप्त होता है। विशेष रूप से, यदि $M$ का फुल रैंक है, तो निकाला गया मॉडल अद्वितीय है और $P_\infty = M^+ Q$ द्वारा दिया जाता है।
• विभेदनशीलता (Differentiability): निरंतर या नियतात्मक (deterministic) सेटिंग्स के लिए, यह विधि विश्व मॉडल के मापदंडों को अपडेट करने के लिए ग्रेडिएंट-आधारित अनुकूलन (या रीपैरामीट्रिज़ेशन ट्रिक्स) का उपयोग करती है, जो प्रभावी रूप से बेलमैन समीकरण को "उलट" देती है।

प्रमुख सैद्धांतिक योगदान

यह शोध पत्र उन पर्याप्त शर्तों को स्थापित करता है जिनके तहत लक्ष्य-सशर्त Q-मानों $(Q_g, \pi_g, r_g)_{g \in G}$ से ट्रांजिशन कर्नेल $P$ को अद्वितीय रूप से पहचाना जा सकता है, जिससे मूल्य तुल्यता को समाप्त किया जा सके।

1. परिमित (Finite) MDPs:

   • नियतात्मक (Deterministic): एक एकल जेनेरिक लक्ष्य $P$ को अद्वितीय रूप से पहचानने के लिए पर्याप्त है (थ्योरम 2)। अद्वितीयता लगभग सभी पुरस्कार फलनों के लिए बनी रहती है, बशर्ते कि परिणामी मैट्रिक्स $M$ कॉलम-इन्जेक्टिव (column-injective) हो।
   • स्टोकेस्टिक (Stochastic): लक्ष्यों को स्टेट स्पेस (state space) को कवर करना चाहिए (अर्थात, पुरस्कार मैट्रिक्स का रैंक अवस्थाओं की संख्या के बराबर होना चाहिए) ताकि $P$ को अद्वितीय रूप से पहचाना जा सके (थ्योरम 3)। यह जेनेरिक पुरस्कार फलनों या नीतियों के लिए मान्य है।
   • अनुमान (Approximation): लेखक कड़े त्रुटि अंतराल (error bounds) प्रदान करते हैं जो दिखाते हैं कि यदि Q-मान $\epsilon$-अनुमानित हैं, तो निकाले गए मॉडल की त्रुटि $\epsilon$ के साथ रैखिक रूप से बढ़ती है।

2. निरंतर (Continuous) MDPs:

   • नियतात्मक: विशिष्ट स्थितियों के तहत (जैसे, टर्मिनेशन के साथ गौसियन पुरस्कार) सीमित संख्या में लक्ष्य पर्याप्त हो सकते हैं (थ्योरम 4)। इंडिकेटर पुरस्कारों के लिए, एक विशिष्ट त्रिज्या के साथ स्टेट स्पेस को कवर करने वाला लक्ष्य सेट आवश्यक है।
   • स्टोकेस्टिक: पहचान (identifiability) लक्ष्य सेट की संख्या के बजाय उसके कवरेज (coverage) द्वारा संचालित होती है। गौसियन पुरस्कारों के लिए, गैर-रिक्त इंटीरियर वाला लक्ष्य सेट पर्याप्त है; इंडिकेटर पुरस्कारों के लिए, सेट को पुरस्कार त्रिज्या द्वारा विस्तारित स्टेट स्पेस को कवर करना चाहिए (थरूम 6 और 7)।

3. स्थानीय (Local) MDPs: यह शोध पत्र $N$-लोकल MDPs (जहाँ ट्रांजिशन एक पड़ोस तक सीमित हैं) तक परिणामों का विस्तार करता है, यह दिखाते हुए कि यदि ट्रांजिशन कर्नेल का सपोर्ट ज्ञात हो, तो कम लक्ष्यों की आवश्यकता होती है।

अनुभवजन्य परिणाम (Empirical Results)

लेखक कई वातावरणों में अपने सिद्धांत और विधि को सत्यापित करते हैं, यह प्रदर्शित करते हुए कि P-लर्निंग अत्यधिक सटीक विश्व मॉडल निकाल सकता है, भले ही सैद्धांतिक गारंटी (जैसे, अनंत लक्ष्य) पूरी न हो।

• FourRooms (परिमित MDPs):
  • नियतात्मक: $|G|=1$ के साथ $P$ की सटीक रिकवरी।
  • Windy (स्थानीय स्टोकेस्टिक): $|G|=4$ के साथ लगभग पूर्ण रिकवरी।
  • Teleporting (पूर्णतः स्टोकेस्टिक): $|G|=20$ के साथ लगभग इष्टतम नियोजन (planning), जो कि $|S|=68$ के सैद्धांतिक वर्स्ट-केस बाउंड से काफी कम है।
• Reacher (निरंतर, नियतात्मक):
  • केवल $|G|=4$ पोजीशन-आधारित लक्ष्यों पर प्रशिक्षित होने के बावजूद, निकाले गए विश्व मॉडल ने उच्च निष्ठा (NMSE $1.2 \times 10^{-4}$) प्राप्त की।
  • जीरो-शॉट जनरलाइजेशन: केवल निकाले गए अंतर्निहित विश्व मॉडल के भीतर प्रशिक्षित नीतियों ने आउट-ऑफ-डिस्ट्रीब्यूशन लक्ष्यों (जैसे, विशिष्ट कोणीय वेग या जोड़ विन्यास तक पहुँचना) पर लगभग इष्टतम प्रदर्शन किया, जिन्हें प्रशिक्षण के दौरान कभी नहीं देखा गया था। यह सुझाव देता है कि एजेंट ने उन चरों (वेग, कोण) के लिए गतिकी को संहिताबद्ध किया जिनके लिए उसे स्पष्ट रूप से पुरस्कृत नहीं किया गया था।
• MountainCar (निरंतर, नियतात्मक):
  • पोजीशन-आधारित लक्ष्यों और वेलोसिटी-आधारित लक्ष्यों पर प्रशिक्षित एजेंटों ने लगभग समान अंतर्निहित विश्व मॉडल विकसित किए।
  • इन मॉडलों के भीतर नियोजन करने से अन-ट्रेन्ड वेरिएबल (जैसे, पोजीशन-ट्रेन्ड एजेंट द्वारा वेलोसिटी-बेस्ड टास्क हल करना) वाले कार्यों के लिए सफल जीरो-शॉट ट्रांसफर संभव हुआ।

महत्व और दावे

यह शोध पत्र तर्क देता है कि लक्ष्य-सशर्त RL एक अंतर्निहित हाइब्रिड पद्धति के रूप में कार्य करता है, जो मॉडल-मुक्त और मॉडल-आधारित शिक्षण के बीच के अंतर को पाटता है।

1. अंतर्निहित विश्व मॉडल: पर्याप्त समृद्ध लक्ष्यों पर प्रशिक्षित मॉडल-मुक्त एजेंट अंतर्निहित रूप से एक अद्वितीय और सटीक विश्व मॉडल को संहिताबद्ध करते हैं, यहाँ तक कि स्टोकेस्टिक और निरंतर वातावरणों में भी।
2. छिपी हुई सामान्यीकरण क्षमता (Hidden Generalization): इन अंतर्निहित मॉडलों में "छिपी हुई सामान्यीकरण क्षमताएं" होती हैं, जो एजेंटों को अपने प्रशिक्षण पुरस्कारों के लंबवत (orthogonal) चरों (जैसे, पोजीशन रिवार्ड्स से वेलोसिटी डायनेमिक्स सीखना) पर परिभाषित कार्यों को हल करने की अनुमति देती हैं।
3. प्रदर्शन सहसंबंध: एक एजेंट के प्रदर्शन और उसके आंतरिक विश्व मॉडल की सटीकता के बीच एक मजबूत सहसंबंध ($\rho = 0.98$) है, जो बताता है कि उच्च-प्रदर्शन वाले GCRL एजेंट स्वाभाविक रूप से बेहतर विश्व प्रतिनिधित्व विकसित करते हैं।
4. P-Learning की उपयोगिता: प्रस्तावित P-लर्निंग एल्गोरिदम इन आंतरिक मॉडलों को निकालने के लिए एक व्यावहारिक उपकरण प्रदान करता है, जिससे अतिरिक्त वातावरण संपर्क के बिना मॉडल-मुक्त एजेंटों को नए कार्यों के लिए पुन: उपयोग करना संभव हो जाता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि P-लर्निंग स्पष्ट मॉडल-आधारित RL का विकल्प नहीं है, लेकिन यह एक मौलिक संबंध प्रकट करता है: विविध और पुरस्कार-समृद्ध प्रशिक्षण मॉडल-मुक्त एजेंटों को उनके मान फलनों के भीतर एक विश्व मॉडल को प्रभावी ढंग से संहिताबद्ध करने और "सब कुछ सीखने" की अनुमति देता है।