🤖 machine learning

Augmented Lagrangian Method for Last-Iterate Convergence for Constrained MDPs

यह शोध पत्र एक इनएक्सैक्ट ऑगमेंटेड लैग्रेंजियन विधि पर आधारित एक सामान्य ढांचे का प्रस्ताव करता है जो टैबुलर, लॉग-लीनियर और जटिल गैर-रेखीय नीति सेटिंग्स में बाधाओं वाले मार्कोव निर्णय प्रक्रियाओं के लिए सिद्ध वैश्विक अंतिम-इटरेशन अभिसरण (global last-iterate convergence) प्राप्त करता है, जो मौजूदा मिश्रण-नीति दृष्टिकोणों की व्यावहारिक सीमाओं को संबोधित करता है।

मूल लेखक: Michael Lu, Max Qiushi Lin, Mo Chen, Sharan Vaswani

प्रकाशित 2026-05-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Michael Lu, Max Qiushi Lin, Mo Chen, Sharan Vaswani

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को वीडियो गेम खेलना सिखा रहे हैं। लक्ष्य सरल है: जितना संभव हो सके उच्चतम स्कोर प्राप्त करना। लेकिन इसमें एक पेच है। रोबोट के लिए एक सख्त नियम है: गेम खत्म होने से पहले उसकी बैटरी खत्म नहीं होनी चाहिए।

यह उस समस्या का मूल है जिसे यह शोध पत्र संबोधित करता है, जिसे तकनीकी दुनिया में कन्स्ट्रेंड मार्कोव डिसीजन प्रोसेस (CMDP) के रूप में जाना जाता है। रोबोट (एजेंट) को अपना रिवॉर्ड (स्कोर) अधिकतम करना है जबकि एक बजट (बैटरी लाइफ) के भीतर रहना है।

वर्तमान विधियों के साथ समस्या: "मिक्स-एंड-मैच" का झमेला

इस समस्या के लिए अधिकांश मौजूदा AI तरीके एक ऐसे शेफ की तरह काम करते हैं जो एक आदर्श सूप बनाने की कोशिश कर रहा है। वे एक-एक करके कई अलग-अलग रेसिपी (पॉलिसी) आजमाते हैं। अंत में, आपको वह एकल सबसे अच्छी रेसिपी परोसने के बजाय जो उन्होंने खोजी थी, वे आपको कहते हैं: "यहाँ एक कटोरा सूप है जो हमने आजमाई गई हर रेसिपी के थोड़े-थोड़े हिस्से को बेतरतीब ढंग से मिलाकर बनाया गया है।"

जबकि यह "मिश्रित सूप" कागजों पर अच्छा काम करता है (गणितीय रूप से, यह नियमों का पालन करता है), यह वास्तविक दुनिया में एक दुस्वप्न है:

मेमोरी भारी (Memory Heavy): आपको उस मिश्रण को बनाने के लिए हर उस रेसिपी को याद रखना होगा जिसे आपने कभी आजमाया था।
अप्रत्याशित (Unpredictable): यदि आप वास्तव में उस मिश्रण से एक एकल चम्मच लेकर परोसते हैं, तो वह बहुत खराब हो सकता है। एक रैंडम चम्मच शुद्ध नमक (बैटरी नियम का उल्लंघन) हो सकता है, भले ही औसत कटोरा ठीक हो।
दोलन (Oscillation): रोबोट का व्यवहार अक्सर इधर-उधर बहुत तेजी से झूलता रहता है, और कभी स्थिर नहीं हो पाता।

यह शोध पत्र तर्क देता है कि वास्तविक जीवन में (जैसे सेल्फ-ड्राइविंग कार या मेडिकल डिवाइस में), हम एक "रैंडम मिक्स" पर भरोसा नहीं कर सकते। हमें एक ही, अंतिम रोबोट की आवश्यकता है जो सीधे उपयोग के लिए सुरक्षित और प्रभावी हो। इसे "लास्ट-इटरेट कन्वर्जेंस" (Last-Iterate Convergence) कहा जाता है।

समाधान: "ऑगमेंटेड लैग्रेंजियन" (एक सख्त कोच)

लेखक इस रोबोट को प्रशिक्षित करने का एक नया तरीका प्रस्तावित करते हैं, जो गणित की एक क्लासिक तकनीक ऑगमेंटेड लैग्रेंजियन (AL) विधि का उपयोग करता है।

AL विधि को एक सख्त कोच के रूप में सोचें जो केवल "तेज़ चलो!" (रिवॉर्ड बढ़ाओ) चिल्लाता है, बल्कि यदि रोबोट नियम तोड़ता है, तो उसके पीठ पर एक भारी पेनल्टी वेट (दंड भार) भी लगा देता है।

यहाँ कोच कैसे काम करता है:

पेनल्टी वेट: यदि रोबola बैटरी खत्म होने के बहुत करीब पहुँच जाता है, तो कोच रोबोट के लक्ष्य में एक भारी, क्वाड्रेटिक पेनल्टी (जैसे एक भारी बैकपैक) जोड़ देता है। यह जितना अधिक नियम का उल्लंघन करेगा, बैकपैक उतना ही भारी होता जाएगा, जिससे आगे बढ़ना कठिन हो जाएगा।
समायोजन (Adjustment): कोच वजन को वहीं नहीं छोड़ देता। वे रोबोट के प्रदर्शन के आधार पर बैकपैक कितना भारी है, इसे लगातार समायोजित करते हैं।
- यदि रोबोट सुरक्षित है, तो कोच भार को थोड़ा हल्का करता है।
- यदि रोबोट जोखिम भरा है, तो कोच तुरंत भार को भारी कर देता है।
परिणाम: रोबोट के "बहुत तेज़" और "बहुत धीमे" के बीच झूलने के बजाय, AL विधि इसे एक एकल, स्थिर पथ की ओर सुचारू रूप से निर्देशित करती है जहाँ इसे उच्च स्कोर मिलता है और यह सुरक्षित भी रहता है।

"जादुई" सामग्री: प्रोजेक्टेड Q-असेंट (PQA)

शोध पत्र की सबसे बड़ी सफलता यह पता लगाने में है कि यह "सख्त कोच" कुशलतापूर्वक कैसे काम करता है, भले ही रोबोट जटिल कौशल (जैसे चलना या उड़ना) सीख रहा हो।

वे एक विशिष्ट प्रशिक्षण तकनीक का उपयोग करते हैं जिसे प्रोजेक्टेड Q-असेंट (PQA) कहा जाता है।

उपमा: कल्पना कीजिए कि रोबोट उच्चतम शिखर (सबसे अच्छा स्कोर) खोजने के लिए एक पहाड़ी पर चढ़ने की कोशिश कर रहा है। लेकिन उस पहाड़ी में एक "नो-गो ज़ोन" (सुरक्षा प्रतिबंध) है।
पुराना तरीका: रोबोट पहाड़ी पर चढ़ने की कोशिश कर सकता है, उसे एहसास हो सकता है कि वह नो-गो ज़ोन में है, और फिर वह इधर-उधर कूद सकता है, कभी स्थिर नहीं हो पाता।
PQA का तरीका: रोबोट पहाड़ी पर एक कदम ऊपर लेता है। यदि वह कदम उसे नो-गो ज़ोन में डाल देगा, तो PQA एक चुंबकीय दीवार (Magnetic Wall) की तरह कार्य करता है। यह धीरे से लेकिन मजबूती से रोबोट को सुरक्षित क्षेत्र के किनारे पर वापस धकेलता है, लेकिन उसे सबसे अच्छे दिशा में आगे बढ़ता रहता है। यह रोबोट की गति को सुरक्षित पथ पर "प्रोजेक्ट" करता है।

उन्होंने क्या सिद्ध किया?

लेखकों ने केवल एक शानदार रोबोट ही नहीं बनाया; उन्होंने गणितीय रूप से सिद्ध किया कि यह दृष्टिकोण काम करता है:

यह अभिसरण (Converges) करता है: रोबट अंततः झूलना बंद कर देगा और एक एकल, अंतिम पॉलिसी पर स्थिर हो जाएगा।

यह सुरक्षित है: वह अंतिम पॉलिसी उच्च निश्चितता के साथ सुरक्षा नियमों (बैटरी सीमा) का पालन करेगी, न कि केवल औसतन।

यह कुशल है: उन्होंने दिखाया कि यह सरल ग्रिड (टेबुलर) और जटिल, वास्तविक दुनिया के कार्यों (जैसे वीडियो गेम में निरंतर नियंत्रण) के लिए बिना हजारों पिछले संस्करणों को स्टोर किए काम करता है।

वास्तविक दुनिया में परिणाम

टीम ने अपने तरीके (जिसे वे PPQA-ALM या SPMA-ALM कहते हैं) का परीक्षण मानक सुरक्षा बेंचमार्क (जैसे दीवारों से टकराए बिना भूलभुलैया में नेविगेट करने वाला रोबोट) पर किया।

तुलना: उन्होंने अन्य लोकप्रिय तरीकों (जैसे PPO-Lag और CPO) के साथ इसकी तुलना की।

परिणाम: उनका तरीका उच्च स्कोर प्राप्त करने में उतना ही अच्छा था, लेकिन यह बहुत अधिक स्थिर था। इसमें उतार-चढ़ाव (Oscillation) नहीं हुआ। इसने एक एकल, विश्वसनीय समाधान खोजा जो सुरक्षा प्रतिबंधों का सम्मान करता था, जबकि अन्य तरीकों को कभी-कभी स्थिर होने के लिए संघर्ष करना पड़ता था या उन्हें जटिल "मिक्सिंग" ट्रिक्स की आवश्यकता होती थी।

सारांश

संक्षेप में, यह शोध पत्र सुरक्षा नियमों वाले AI एजेंटों को प्रशिक्षित करने का एक स्मार्ट तरीका पेश करता है। कई असफल प्रयासों के एक भ्रमित करने वाले "औसत" पर निर्भर रहने के बजाय, वे पेनल्टी बैकपैक वाले एक सख्त कोच और एक चुंबकीय दीवार का उपयोग करते हैं जो AI को एक एकल, पूर्ण और सुरक्षित व्यवहार की ओर निर्देशित करते हैं। यह इस तकनीक को वास्तविक दुनिया के अनुप्रयोगों के लिए तैयार बनाता है जहाँ सुरक्षा से समझौता नहीं किया जा सकता।

तकनीकी सारांश: बाधित MDPs के लिए लास्ट-इटरेट कन्वर्जेंस हेतु ऑगमेंटेड लैग्रेंजियन विधि

समस्या का निरूपण (Problem Formulation)

यह शोध पत्र अनंत-क्षितिज (infinite-horizon), डिस्काउंटेड कंस्ट्रेंड मार्कोव डिसीजन प्रोसेस (CMDPs) के लिए पॉलिसी ऑप्टिमाइज़ेशन की समस्या को संबोधित करता है। इस सेटिंग में, एक एजेंट को एक संचयी पुरस्कार $V^\pi_r(\rho)$ को अधिकतम करना होता है, जबकि यह सुनिश्चित करना होता है कि $m$ बाधाओं के लिए संचयी बाधा पुरस्कार $V^\pi_{c_i}(\rho)$ निर्धारित थ्रेशोल्ड $b_i$ को संतुष्ट करें। मानक MDPs के विपरीत, जहाँ इष्टतम नीतियां नियतात्मक (deterministic) होती हैं, CMDPs के लिए इष्टतम नीतियां आम तौर पर स्टोकेस्टिक (stochastic) होती हैं।

मौजूदा प्राइमल-डुअल (PD) विधियों की सीमाओं के कारण एक महत्वपूर्ण व्यावहारिक चुनौती उत्पन्न होती है। हालाँकि PD विधियों के लिए सैद्धांतिक गारंटी मौजूद है, लेकिन वे आमतौर पर केवल एक मिश्रण नीति (mixture policy) (प्रशिक्षण के दौरान उत्पन्न सभी मध्यवर्ती नीतियों का एक समान औसत) पर लागू होती हैं। ऐसी मिश्रण नीति को तैनात करना कम्प्यूटेशनल और मेमोरी के दृष्टिकोण से गहन है, क्योंकि इसके लिए सभी मध्यवर्ती नीतियों को संग्रहीत करने की आवश्यकता होती है। इसके अतिरिक्त, सुरक्षा-महत्वपूर्ण अनुप्रयोगों में, मिश्रण पर निर्भर रहना जोखिम भरा है क्योंकि मिश्रण से चुनी गई एक यादृच्छिक नीति बाधाओं का महत्वपूर्ण उल्लंघन कर सकती है, भले ही मिश्रण अपेक्षा (expectation) में बाधाओं को संतुष्ट करता हो। फलस्वरूप, अभ्यासी (practitioners) अक्सर लास्ट-इटरेट पॉलिसी (last-iterate policy) (अंतिम रूप से उत्पन्न अंतिम नीति) को तैनात करते हैं, लेकिन मानक PD विधियों में इस विशिष्ट नीति के लिए सैद्धांतिक गारंटी का अभाव होता है, जो अक्सर दोलन (oscillatory) व्यवहार प्रदर्शित करती हैं और एक व्यवहार्य समाधान तक पहुँचने में विफल रहती हैं।

लास्ट-इटरेट कन्वर्जेंस सिद्ध करने का प्रयास करने वाले हालिया कार्य मुख्य रूप से टैबुलर सेटिंग्स तक सीमित रहे हैं या वे एल्गोरिदम के ऐसे वेरिएंट्स (जैसे, हेवी रेगुलराइजेशन) पर निर्भर करते हैं जो बड़े पैमाने की समस्याओं के लिए कठिन या अव्यवहारिक हैं।

कार्यप्रणाली (Methodology)

लेखक CMDPs के लिए सिद्ध लास्ट-इटरेट कन्वर्जेंस प्राप्त करने के लिए ऑगमेंटेड लैग्रेंजियन (AL) विधि पर आधारित एक सामान्य ढांचे का प्रस्ताव करते हैं, जो बाधित अनुकूलन (constrained optimization) का एक क्लासिक दृष्टिकोण है।

1. AL सबप्रॉब्लम को हल करना

मुख्य चुनौती यह है कि $L_\beta(\pi, \lambda)$ पॉलिसी $\pi$ के संबंध में नॉन-कॉन्केव (non-concave) है, जिससे सबप्रॉब्लम को हल करना कठिन हो जाता है। लेखक इसके समाधान को दो सेटिंग्स में विभाजित करते हैं:

टैबुलर सेटिंग (Tabular Setting): लेखक AL सबप्रॉब्लम को हल करने के लिए प्रोजेक्टेड Q-असेंट (PQA) का प्रस्ताव करते हैं। वे AL सबप्रॉब्लम के लिए पॉलिसी ग्रेडिएंट को व्युत्पन्न करते हैं, जिसमें एक नॉन-स्टेशनरी स्यूडो-रिवॉर्ड (non-stationary pseudo-reward) $\Gamma(\pi)$ शामिल है जो वर्तमान पॉलिसी के बाधा संतुष्टि स्तर पर निर्भर करता है। PQA का उपयोग करके, वे सबप्रॉब्लम के लिए ग्लोबल लास्ट-इटरेट कन्वर्जेंस गारंटी स्थापित करते हैं।

फंक्शन एप्रोक्सिमेशन (लॉग-लीनियर पॉलिसियाँ): बड़े स्टेट-एक्शन स्पेस को संभालने के लिए, इस ढांचे को पैरामीट्रिक पॉलिसियों (विशेष रूप से लॉग-लीनियर पॉलिसियों) के लिए विस्तारित किया गया है। लेखक एक AL पॉलिसी ग्रेडिएंट व्युत्पन्न करते हैं जो मूल रिवॉर्ड और कंस्ट्रेंट घटकों में रैखिक रूप से विभाजित होता है, जिससे मानक अनुमान उपकरणों (जैसे PPO या SPMA में उपयोग किए जाने वाले) का उपयोग किया जा सकता है। वे एक प्रोजेक्टेड PQA (PPQA) अपडेट पेश करते हैं, जिसमें शामिल है:

एक आदर्श पॉलिसी अपडेट (PQA स्टेप) की गणना करना।

इस अपडेट को फॉरवर्ड KL-डाइवर्जेंस का उपयोग करके व्यवहार्य (feasible) पॉलिसी क्लास पर प्रोजेक्ट करना, जिसे एक सरोगेट ऑप्टिमाइज़ेशन समस्या (सॉफ्ट लेबल्स के साथ मल्टी-क्लास लॉजिस्टिक रिग्रेशन) के रूप में तैयार किया गया है।

2. कन्वर्जेंस विश्लेषण (Convergence Analysis)

लेखक एक मॉड्यूलर विश्लेषण प्रदान करते हैं:

वे पहले यह सिद्ध करते हैं कि इनएक्सैक्टट (inexact) AL विधि एक $\epsilon$ -ऑप्टिमल समाधान की ओर कन्वर्ज करती है यदि सबप्रॉब्लम सॉल्वर एक विशिष्ट सटीकता ( $O(1/\epsilon^2)$ बाहरी लूप के लिए इटरेशन) प्राप्त करता है।

वे फिर विशिष्ट सॉल्वर्स (PQA और PPQA) का विश्लेषण करते हैं ताकि यह दिखाया जा सके कि वे सबप्रब्लम के लिए आवश्यक सटीकता प्राप्त कर सकते हैं।

इन परिणामों को जोड़ते हुए, वे सिद्ध करते हैं कि समग्र एल्गोरिदम टैबुलर और लॉग-लीनियर दोनों सेटिंग्स के लिए $O(1/\epsilon^6)$ ग्रेडिएंट इवैल्यूएशन के साथ ग्लोबल लास्ट-इटरेट कन्वर्जेंस प्राप्त करता है।

मुख्य योगदान (Key Contributions)

जेनेरिक इनएक्सैक्टट AL फ्रेमवर्क: यह शोध पत्र CMDPs को हल करने के लिए इनएक्सैक्टट AL विधि का उपयोग करके एक मॉड्यूलर ढांचे को पेश करता है। यह AL इटरेशन के विश्लेषण को सबप्रॉब्लम सॉल्वर के चयन से अलग करता है, यह सिद्ध करते हुए कि $\epsilon$ -ऑप्टिमल पॉलिसी खोजने के लिए $O(1/\epsilon^2)$ बाहरी इटरेशन पर्याप्त हैं, बशर्ते कि सबप्रॉब्लम पर्याप्त सटीकता के साथ हल किया जाए।

टैबुलर लास्ट-इटरेट कन्वर्जेंस: टैबुलर सेटिंग के लिए प्रोजेक्टेड Q-असेंट (PQA) के साथ इस ढांचे को लागू करके, लेखक $O(1/\epsilon^6)$ की जटिलता के साथ ग्लोबल लास्ट-इटरेट कन्वर्जेंस स्थापित करते हैं। यह AL सबप्रॉब्लम में स्यूडो-रिवॉर्ड की नॉन-स्टेशनैरिटी को संबोधित करता है।

फंक्शन एप्रोक्सिमेशन तक विस्तार: ढांचे को लॉग-लीनियर पॉलिसियों के लिए सामान्यीकृत किया गया है। लेखक AL पॉलिसी ग्रेडिएंट व्युत्पन्न करते हैं और एक प्रोजेक्टेड वेरिएंट (PPQA) प्रस्तावित करते हैं जो तुलनीय $O(1/\epsilon^6)$ कन्वर्जेंस गारंटी प्राप्त करता है। पूर्ववर्ती कार्यों के विपरीत, इस पद्धति के लिए गैर-मानक एल्गोरिदम संशोधनों (जैसे प्रतिबंधित सिम्प्लेक्स पर प्रोजेक्ट करना) या प्रतिबंधात्मक संरचनात्मक धारणाओं (जैसे कम्पैटिबल फंक्शन एप्रोक्सिमेशन) की आवश्यकता नहीं है और यह कई बाधाओं का समर्थन करता है।

अनुभवजन्य सत्यापन (Empirical Validation): इस ढांचे को PPO और SPMA (एक हालिया पॉलिसी ऑप्टिमाइज़ेशन एल्गोरिदम) का उपयोग करके इंस्टैंशिएट किया गया है और Safety-Gymnasium से बड़े पैमाने के कंटीन्यूअस कंट्रोल टास्क पर मूल्यांकित किया गया है। परिणाम दर्शाते हैं कि प्रस्तावित दृष्टिकोण PPO-Lag और CPO जैसे भारी इंजीनियर किए गए बेसलाइन्स के तुलनीय प्रदर्शन करता है, जबकि अंतिम पॉलिसी के लिए सैद्धांतिक गारंटी भी प्रदान करता है।

परिणाम (Results)

सैद्धांतिक (Theoretical): शोध पत्र सिद्ध करता है कि प्रस्तावित एल्गोरिदम $O(1/\epsilon^6)$ ग्रेडिएंट इवैल्यूएशन के बाद CMDP समस्या के लिए एक $\epsilon$ -अनुमानित समाधान वाला स्टोकेस्टिक पॉलिसी लौटाता है। यह टैबुलर और लॉग-लीनियर दोनों पॉलिसी क्लास के लिए मान्य है।

अनुभवजन्य (टैबुलर): टैबुलर वातावरण (Constrained Cliff World, Constrained Deep Sea Treasure) में, प्रस्तावित PQA-ALM और PPQA-ALM विधियाँ न्यूनतम दोलन के साथ इष्टतम नीति की ओर सुचारू रूप से कन्वर्ज होती हैं, जो RPG-PD और ReLOAD जैसे अन्य लास्ट-इटरेट विधियों की तुलना में बेहतर या उनके बराबर प्रदर्शन करती हैं।

अनुभवजन्य (कंटीन्यूअस कंट्रोल): Safety-Gymnasium कार्यों (SafetyAntVelocity, SafetyHalfCheetahVelocity, SafetyHopperVelocity) पर, SPMA-ALM और PPO-ALM वेरिएंट PPO-Lag और CPO के तुलनीय रिटर्न और बाधा उल्लंघन प्राप्त करते हैं। उल्लेखनीय रूप से, AL-आधारित विधियाँ बेसलाइन्स की तुलना में कम दोलन व्यवहार और अधिक सुसंगत बाधा संतुष्टि (कम माध्य और टेल उल्लंघन) प्रदर्शित करती हैं।

महत्व और दावे (Significance and Claims)

यह शोध पत्र बाधित सुदृढीकरण शिक्षण (constrained reinforcement learning) में सैद्धांतिक गारंटी और व्यावहारिक तैनाती के बीच के अंतर को पाटने का दावा करता है।

व्यावहारिकता: पिछले लास्ट-इटरेट कन्वर्जेंस कार्यों के विपरीत, जो या तो टैबुलर सेटिंग्स तक सीमित थे या अव्यवहारिक रेगुलराइजेशन पर निर्भर थे, यह ढांचा डिज़ाइन किया गया है ताकि यह बड़े प्रश्नों के लिए मानक फंक्शन एप्रोक्सिमेशन का उपयोग करके कुशल और स्केलेबल हो।

सुरक्षा: मिश्रण के बजाय लास्ट-इटरेट पॉलिसी के लिए कन्वर्जेंस की गारंटी देकर, यह विधि सुनिश्चित करती है कि तैनात की गई पॉलिसी स्वयं बाधाओं को संतुष्ट करती है, जो सुरक्षा-महत्वपूर्ण अनुप्रयोगों के लिए महत्वपूर्ण है जहाँ मिश्रण से यादृच्छिक नमूना लेना अस्वीकार्य है।

सिद्धांतिक दृष्टिकोण: विधि क्लासिक ऑगमेंटेड लैग्रेंजियन पद्धति पर आधारित है, जो अक्सर व्यावहारिक बाधित RL कार्यान्वयन (जैसे, मल्टीप्लायर्स द्वारा उद्देश्यों को स्केल करना) में पाए जाने वाले एड-हॉक ह्यूरिस्टिक्स के बिना एक स्पष्ट सैद्धांतिक आधार प्रदान करती है।

लेखक सीमाओं को स्वीकार करते हैं, विशेष रूप से टैबुलर सेटिंग में न्यूनतम स्टेट विज़िटेशन प्रोबेबिलिटी ( $\rho_{min}$ ) पर मजबूत निर्भरता और लॉग-लीनर पॉलिसियों के लिए बायस टर्म ( $\epsilon_{bias}$ ) को, जो भविष्य के कार्य के रूप में इन दिशाओं का सुझाव देते हैं। उन्होंने यह भी उल्लेख किया है कि भविष्य की दिशाओं में सैद्धांतिक ढांचे में एक्टर-क्रिटिक या ऑफ-पॉलिसी विधियों को शामिल करना शामिल है।

वर्तमान विधियों के साथ समस्या: "मिक्स-एंड-मैच" का झमेला

समाधान: "ऑगमेंटेड लैग्रेंजियन" (एक सख्त कोच)

"जादुई" सामग्री: प्रोजेक्टेड Q-असेंट (PQA)

उन्होंने क्या सिद्ध किया?

वास्तविक दुनिया में परिणाम

सारांश

तकनीकी सारांश: बाधित MDPs के लिए लास्ट-इटरेट कन्वर्जेंस हेतु ऑगमेंटेड लैग्रेंजियन विधि

समस्या का निरूपण (Problem Formulation)

कार्यप्रणाली (Methodology)

1. AL सबप्रॉब्लम को हल करना

2. कन्वर्जेंस विश्लेषण (Convergence Analysis)

मुख्य योगदान (Key Contributions)

परिणाम (Results)

महत्व और दावे (Significance and Claims)

इसी तरह के और पेपर