तकनीकी सारांश: गैर-मार्कोवियन सुदृढीकरण शिक्षण (Non-Markovian Reinforcement Learning) के लिए पॉलिसी ग्रेडिएंट विधियाँ

समस्या विवरण

सुदृढीकरण शिक्षण (RL) पारंपरिक रूप से मार्कोव निर्णय प्रक्रिया (MDP) ढांचे पर निर्भर करता है, जो यह मानता है कि गतिकी (dynamics) और पुरस्कार केवल वर्तमान स्थिति और क्रिया पर निर्भर करते हैं। हालाँकि, कई वास्तविक दुनिया के वातावरण—जैसे कि आंशिक रूप से दृश्यमान प्रणालियाँ (partially observable systems), संवाद एजेंट (dialogue agents), अनुशंसा प्रणाली (recommender systems), और वित्तीय बाजार—अंतर्निहित रूप से गैर-मार्कोवियन निर्णय प्रक्रियाएं (NMDPs) हैं। इन सेटिंग्स में, अवलोकन और पुरस्कार संपूर्ण इतिहास पर निर्भर करते हैं।

पूर्ण इतिहास पर नीतियों को सीधे अनुकूलित करना कम्प्यूटेशनल रूप से कठिन है क्योंकि इतिहास का स्थान तेजी से बढ़ता है। जबकि मौजूदा दृष्टिकोण इतिहास को संकुचित करने का प्रयास करते हैं, वे अक्सर सीमाओं का सामना करते हैं:

• निश्चित गतिकी (Fixed Dynamics): कुछ विधियाँ यह मानती हैं कि एजेंट की आंतरिक स्थिति की गतिकी स्थिर है और केवल नियंत्रण नीति को अनुकूलित करती हैं (जैसे, डोंग एट अल., 2022)।
• पूर्वानुमानित उद्देश्य (Predictive Objectives): अन्य विधियाँ भविष्य के अवलोकनों की भविष्यवाणी करने जैसे सहायक पूर्वानुमानित उद्देश्यों को अनुकूलित करके अवस्था प्रतिनिधित्व (state representations) सीखती हैं, जो उच्च-आयामी प्रतिनिधित्व की आवश्यकता हो सकती है और सीधे संचयी पुरस्कार को अधिकतम करने के अंतिम लक्ष्य के साथ संरेखित नहीं होती हैं (जैसे, सुब्रमण्यम एट अल., 2022)।

यह शोध पत्र NMDPs में निश्चित गतिकी या मध्यवर्ती पूर्वानुमानित उद्देश्यों पर निर्भर किए बिना, एक संक्षिप्त अवस्था प्रतिनिधित्व और एक नियंत्रण नीति को संयुक्त रूप से सीखने की चुनौती का समाधान करता है।

कार्यप्रणाली

एजेंट स्टेट-मार्कोव (ASM) नीतियाँ

लेखक एजेंट स्टेट-मार्कोव (ASM) नीतियों के एक वर्ग को पेश करते हैं। इस ढांचे में, एजेंट एक आंतरिक स्थिति $S_t$ बनाए रखता है जिसे पिछले राज्य, पिछली क्रिया और वर्तमान अवलोकन के आधार पर पुनरावर्ती रूप से अपडेट किया जाता है:
$$S_t \sim \nu_t(\cdot \mid S_{t-1}, A_{t-1}, O_t)$$
नियंत्रण नीति $\phi$ फिर वर्तमान एजेंट स्थिति को क्रिया में मैप करती है:
$$A_t \sim \phi_t(\cdot \mid S_t)$$
जोड़ी $(\nu, \phi)$ एक ASM नीति बनाती है। महत्वपूर्ण रूप से, लेखक अपेक्षित संचयी पुरस्कार को अधिकतम करने के लिए $\nu$ और $\phi$ दोनों के मापदंडों (parameters) को संयुक्त रूप से अनुकूलित करने का प्रस्ताव करते हैं, न कि $\nu$ को स्थिर रखने या इसे भविष्यवाणी के माध्यम से सीखने के बजाय।

सैद्धांतिक योगदान

यह शोध पत्र ASM नीतियों के लिए एक पॉलिसी ग्रेडिएंट थ्योरम स्थापित करता है, जो शास्त्रीय परिणामों को एपिसोडिक और अनंत-क्षितिज (infinite-horizon) डिस्काउंटेड NMDPs तक विस्तारित करता है।

1. ग्रेडिएंट अभिव्यक्ति (Gradient Expression): एक पैरामीटराइज्ड ASM नीति $\pi_\theta$ के लिए, अपेक्षित रिटर्न $J(\theta)$ का ग्रेडिएंट इस प्रकार प्राप्त किया जाता है:
   $$\nabla_\theta J(\theta) = \mathbb{E}_{\pi_\theta} \left[ \sum_{t} R_{t:\infty} \nabla_\theta \log \pi_\theta(S_t, A_t \mid S_{t-1}, A_{t-1}, O_t) \right]$$
   जहाँ $R_{t:\infty}$ भविष्य का रिटर्न (reward-to-go) दर्शाता है।
2. कार्यात्मक विभाजन (Factorization): ASM नीतियों की संरचना के कारण, लॉग-संभाव्यता पद अवस्था गतिकी और नियंत्रण नीति में विभाजित होता है:
   $$\nabla_\theta \log \pi_\theta = \nabla_\theta \log \nu_\theta + \nabla_\theta \log \phi_\theta$$
   यह अवस्था प्रतिनिधित्व और नीति दोनों के अलग-अलग लेकिन समवर्ती अपडेट की अनुमति देता है।
3. अभिसरण गारंटी (Convergence Guarantees): मानक स्मूथनेस और बाउंडेडनेस धारणाओं के तहत, लेखक सिद्ध करते हैं:
   • परिमित-समय अभिसरण (Finite-time convergence): एपिसोडिक कार्यों के लिए समय-औसत स्क्वेर्ड ग्रेडिएंट नॉर्म $\tilde{O}(H^{3.5}/\sqrt{K})$ की दर से अभिसरित होता है (जहाँ $H$ क्षितिज है और $K$ पुनरावृत्तियों की संख्या है)।
   • लगभग निश्चित अभिसरण (Almost sure convergence): घटते स्टेप साइज़ के साथ, ग्रेडिएंट नॉर्म लगभग निश्चित रूप से शून्य की ओर अभिसरित होता है।
   • इसी तरह की गारंटियाँ अनंत-क्षितिज डिस्काउंटेड सेटिंग के लिए भी स्थापित की गई हैं, जहाँ प्रभावी क्षितिज डिस्काउंट फैक्टर $\gamma$ द्वारा निर्धारित होता है।

एल्गोरिदम: ASMPG

ग्रेडिएंट थ्योरम के आधार पर, लेखक एजेंट स्टेट-मार्कोव पॉलिसी ग्रेडिएंट (ASMPG) एल्गोरिदम का प्रस्ताव करते हैं। यह एक ऑनलाइन, REINFORCE-शैली का एल्गोरिदम है जो:

• वर्तमान ASM नीति का उपयोग करके प्रक्षेप पथ (trajectories) का नमूना लेता है।
• एजेंट अवस्था की पुनरावर्ती संरचना का उपयोग करके ग्रेडिएंट अनुमान की गणना करता है।
• अवस्था गतिकी नेटवर्क और नीति नेटवर्क दोनों के मापदंडों को स्टोकेस्टिक ग्रेडिएंट एसेंट का उपयोग करके अपडेट करता है।

प्रयोगात्मक परिणाम

लेखकों ने पांच गैर-मार्कोवियन वातावरणों पर ASMPG का मूल्यांकन किया:

1. CheeseMaze: एक आंशिक रूप से दृश्यमान नेविगेशन कार्य जिसमें एलिएस्ड (aliased) अवलोकन हैं।
2. HallwayNavigation: एक नियतात्मक भूलभुलैया कार्य जहाँ स्थानीय दीवार विन्यास संदिग्ध (ambiguous) होते हैं।
3. HealthcareTreatment: एक उपचार योजना कार्य जिसमें छिपी हुई विषाक्तता (toxicity) और प्रतिरोध चर (resistance variables) होते हैं।
4. MachineRepair: एक रखरखाव कार्य जिसमें छिपे हुए घिसाव स्तर मशीन के क्षरण को प्रभावित करते हैं।
5. VelocityOnlyCartPole: एक नियंत्रण कार्य जहाँ केवल वेग (velocity) देखा जाता है (स्थिति नहीं)।

तुलना: ASMPG की तुलना AIS-KL और AIS-MMD (सुब्रमण्यम एट अल., 2022) से की गई, जो पूर्वानुमानित उद्देश्यों (Approximate Information States) के माध्यम से अवस्था प्रतिनिधित्व सीखते हैं।

निष्कर्ष:

• सभी पांच वातावरणों में, ASMPG ने पूर्वानुमानित बेसलाइनों की तुलना में प्रति स्टेप या प्रति एपिसोड उच्च औसत पुरस्कार प्राप्त किया।
• प्रदर्शन का अंतर उन कार्यों में विशेष रूप से उल्लेखनीय था जिनमें दीर्घकालिक स्मृति (long-term memory) की आवश्यकता थी, जैसे कि CheeseMaze, MachineRepair, और VelocityOnlyCartPole।
• परिणाम बताते हैं कि पुरस्कार उद्देश्य के लिए अवस्था गतिकी को सीधे अनुकूलित करना, पूर्वानुमानित पर्याप्तता (predictive sufficiency) के लिए अनुकूलित करने की तुलना में अधिक प्रभावी है।

महत्व और दावे

शोध पत्र का दावा है कि इसका प्राथमिक योगदान गैर-मार्कोवियन RL के लिए एक पुरस्कार-केंद्रित सूत्रीकरण (reward-centric formulation) है। एजेंट अवस्था गतिकी को नियंत्रण नीति के साथ संयुक्त रूप से अनुकूलित एक सीखने योग्य घटक के रूप में मानकर, यह विधि सहायक पूर्वानुमानित उद्देश्यों या निश्चित अवस्था प्रतिनिधित्व की आवश्यकता को समाप्त करती है।

मुख्य दावों में शामिल हैं:

• सैद्धांतिक वैधता: सामान्य NMDPs के लिए एक पॉलिसी ग्रेडिएंट थ्योरम का व्युत्पन्न संयुक्त अनुकूलन के लिए एक कठोर आधार प्रदान करता है, जो शास्त्रीय MDP परिणामों का विस्तार करता है।
• व्यावहारिक प्रभावकारिता: प्रयोगात्मक परिणाम दर्शाते हैं कि पुरस्कार-केंद्रित संयुक्त अनुकूलन, पूर्वानुमानित पर्याप्तता पर निर्भर विधियों की तुलना में बेहतर प्रदर्शन करता है, भले ही प्रतिनिधित्व का आकार तुलनीय हो।
• इष्टतमता स्थितियाँ (Optimality Conditions): शोध पत्र नोट करता है कि यदि एक "आदर्श" एजेंट अवस्था गतिकी मौजूद है (एक जो पुरस्कारों और भविष्य के अवलोकनों के लिए एक पर्याप्त सांख्यिकी है), तो खोज को ASM नीतियों तक सीमित करने से इष्टतमता में कोई हानि नहीं होती है।

लेखक स्वीकार करते हैं कि प्रस्तावित विधि REINFORCE-प्रकार के अनुमानकों पर निर्भर करती है, जिससे उच्च विचरण (variance) हो सकता है। वे रिवॉर्ड-सेंट्रिक उद्देश्य को संरक्षित करते हुए विचरण को कम करने के लिए ASM नीतियों के लिए एक्टर-क्रिटिक वेरिएंट के विकास को भविष्य के कार्य के लिए एक स्वाभाविक दिशा के रूप में पहचानते हैं।