📊 statistics

Revisiting Policy Gradients for Restricted Policy Classes: Escaping Myopic Local Optima with $k$ -step Policy Gradients

यह शोध पत्र एक सामान्यीकृत $k$ -स्टेप पॉलिसी ग्रेडिएंट पद्धति प्रस्तावित करता है जो $k$ -स्टेप विंडो पर यादृच्छिकता (randomness) को जोड़कर प्रतिबंधित पॉलिसी वर्गों में निहित अल्पदर्शी स्थानीय इष्टतमों (myopic local optima) पर विजय प्राप्त करता है, जो वितरण बेमेल कारकों (distribution mismatch factors) पर निर्भर किए बिना निकट-इष्टतम समाधानों में अभिसरण की सैद्धांतिक गारंटी देता है।

मूल लेखक: Alex DeWeese, Guannan Qu

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Alex DeWeese, Guannan Qu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ सरल भाषा और रचनात्मक उपमाओं का उपयोग करके शोध पत्र (paper) का विवरण दिया गया है।

बड़ी समस्या: "एक-कदम" की अंधापन (The "One-Step" Blindness)

कल्पना कीजिए कि आप एक रोबोट को भूलभुलैया (maze) में रास्ता खोजना सिखाने की कोशिश कर रहे हैं। रोबोट के पास एक सीमित मस्तिष्क ("प्रतिबंधित नीति वर्ग" या restricted policy class) है, जिसका अर्थ है कि वह केवल कुछ सरल नियमों के आधार पर निर्णय ले सकता है, जैसे "हमेशा बाएं मुड़ें" या "हमेशा दाएं मुड़ें।"

मानक AI तरीके (जिन्हें पॉलिसी ग्रेडिएंट्स कहा जाता है) एक ऐसे पदयात्री की तरह काम करते हैं जो पहाड़ की चोटी खोजने की कोशिश कर रहा है। वे अपने पैरों के ठीक नीचे की जमीन को देखते हैं और पूछते हैं, "यदि मैं इस दिशा में एक कदम लेता हूँ, तो क्या मैं ऊपर जा रहा हूँ या नीचे?" यदि जमीन ऊपर की ओर ढलान वाली है, तो वे एक कदम आगे बढ़ते हैं।

चुनौती: शोध पत्र का तर्क है कि यह मानक तरीका अल्पदर्शी (myopic/short-sighted) है। यह केवल अगले एक कदम को देखता है। यह इस बारे में नहीं सोचता कि दो, तीन या दस कदम बाद क्या होगा।

जाल: कई जटिल भूलभुलभैया में (विशेष रूप से उन जगहों पर जहाँ रोबोट पूरे मानचित्र को नहीं देख सकता, जैसे मल्टी-एजेंट गेम्स में या जब अवस्थाओं (states) को एक साथ समूह में रखा जाता है), केवल एक कदम आगे देखना रोबोट को धोखा दे सकता है। यह एक छोटी पहाड़ी को ढूंढ सकता है जो पहाड़ की चोटी जैसी दिखती है, लेकिन वास्तव में वह एक गहरी घाटी की ओर जाने वाली ढलान का एक उभार मात्र है। रोबोट वहां फंस जाता है, यह सोचकर कि उसने जीत हासिल कर ली है, क्योंकि मानक "एक-कदम" वाला दृश्य उसे कहता है, "हे, यह अभी अच्छा लग रहा है!"

समाधान: "k-कदम" का क्रिस्टल बॉल (The "k-Step" Crystal Ball)

लेखक एक नई विधि प्रस्तावित करते हैं जिसे k-स्टेप पॉलिसी ग्रेडिएंट्स कहा जाता है।

यह पूछने के बजाय कि, "क्या होगा यदि मैं एक कदम लेता हूँ?", रोबोट पूछता है, "यदि मैं लगातार k कदमों के लिए इस विशिष्ट कार्य (action) के प्रति प्रतिबद्ध रहता हूँ, तो क्या होगा?"

उपमा:
कल्पना कीजिए कि आप एक बोर्ड गेम खेल रहे हैं।

पुराना तरीका (1-स्टेप): आप बोर्ड को देखते हैं और कहते हैं, "यदि मैं अपनी गोटी यहाँ चलता हूँ, तो मुझे 5 अंक मिलते हैं।" आप चलते हैं। लेकिन आपको यह एहसास नहीं हुआ कि वहां जाने से आप एक ऐसे जाल में फंस जाएंगे जहाँ तीन चालों के बाद आपका प्रतिद्वंद्वी आपकी गोटी खा जाएगा। आप एक खराब स्थिति में फंस गए क्योंकि आपने केवल एक चाल आगे की देखी।
नया तरीका (k-स्टेप): आप कहते हैं, "यदि मैं 5 चालों के लिए इस चाल के प्रति प्रतिबद्ध रहता हूँ, तो मेरा कुल स्कोर क्या होगा?" आपको एहसास होता है कि हालांकि पहली चाल 5 अंक देती है, लेकिन अगली चार चालें तबाही की ओर ले जाती हैं। इसलिए, आप वह चाल नहीं चलते। आप भविष्य में आगे देखते हैं।

k कदमों आगे देखकर, रोबोट छोटी बाधाओं (local optima) से पार पा सकता है और यह समझ सकता है कि एक अलग रास्ता, जो अभी थोड़ा खराब लग सकता है, बाद में बहुत बेहतर मंजिल की ओर ले जाता है।

यह कैसे काम करता है: "सहसंबंधित" रणनीति (The "Correlated" Strategy)

इसे काम करने के योग्य बनाने के लिए, लेखक रोबोट के मस्तिष्क के बारे में सोचने के तरीके को बदलते हैं।

मानक दृष्टिकोण: रोबोट हर क्षण यादृच्छिक (randomly) रूप से एक कार्य चुनता है।
नया दृष्टिकोण (सहसंबंधित नीति/Correlated Policy): रोबोट एक योजना (एक नियत नियमों का सेट) चुनता है और एक नया प्लान चुनने से पहले k कदमों तक उसी प्लान पर टिका रहता है।

इसे एक रोड ट्रिप की तरह समझें।

पुराना तरीका: आप तत्काल ट्रैफिक के आधार पर हर 100 फीट में अपना गंतव्य बदलते रहते हैं। आप गोल-गोल घूमते रहते हैं।
नया तरीका: आप एक मार्ग (प्लान A) चुनते हैं और 10 मील तक उस पर चलते हैं। फिर आप फिर से मैप देखते हैं और एक नया मार्ग (प्लान B) चुनते हैं। यह "प्लान A" को यह आंकने से पहले कि वह एक अच्छा विचार था या नहीं, वास्तव में कुछ काम करने की अनुमति देता है।

यह क्यों महत्वपूर्ण है

लेखक गणितीय रूप से सिद्ध करते हैं कि यदि आप इस k-स्टेप विधि का उपयोग करते हैं:

आप जाल से बच जाते हैं: वे "खराब" स्थान जहाँ रोबोट पहले फंस जाता था, गायब हो जाते हैं।
आप पूर्णता के करीब पहुँचते हैं: भले ही रोबोट का मस्तिष्क सीमित (restricted) हो, यह विधि गारंटी देती है कि वह एक ऐसा समाधान खोज लेगी जो सर्वोत्तम संभव समाधान के लगभग बराबर है। आप जितने अधिक कदम आगे देखेंगे (k जितना बड़ा होगा), आप पूर्णता के उतने ही करीब पहुँचेंगे।
यह खराब शुरुआती बिंदुओं के साथ भी काम करता है: आमतौर पर, यदि कोई रोबोट खराब जगह से शुरू करता है या पर्याप्त अन्वेषण (explore) नहीं करता है, तो वह फंस जाता है। यह विधि उस समस्या को भी ठीक करती है, यहाँ तक कि उन स्थितियों में भी जहाँ रोब सहित सब कुछ देख सकता है (fully observable) लेकिन बस एक कठिन स्थान से शुरू हुआ है।

यह कहाँ लागू होता है (शोध पत्र के अनुसार)

लेखक विशेष रूप से उल्लेख करते हैं कि यह उन स्थितियों में मदद करता है जहाँ एजेंटों (रोबोटों) के पास सीमित दृश्य होते हैं या उन्हें स्वतंत्र रूप से कार्य करना होता है:

स्टेट एग्रीगेशन (State Aggregation): जब कंप्यूटिंग शक्ति बचाने के लिए कई अलग-अलग अवस्थाओं को एक "बकेट" में समूहबद्ध किया जाता है (जैसे "एक लाल कार" और "एक नीली कार" को केवल "एक कार" मानना)।
मल्टी-एजेंट सिस्टम:
- स्वतंत्र एजेंट (Independent Agents): कई रोबोट मिलकर काम कर रहे हैं लेकिन केवल अपने आस-पास के परिवेश को देख सकते हैं (जैसे ट्रैफिक कंट्रोल)।
- विकेंद्रीकृत एजेंट (Decentralized Agents): रोबोट जो एक-दूसरे से बात नहीं कर सकते और केवल दुनिया के एक छोटे से हिस्से को देख सकते हैं।
- ग्रुप डिकेंट्रलाइज्ड एजेंट्स (Group Decentralized Agents): रोबोट जो एक समूह में क्लस्टर किए गए हैं और अपने छोटे समूह के भीतर जो देखते हैं उसे साझा करते हैं।

निचोड़ (The Bottom Line)

शोध पत्र कहता है: "केवल अगले कदम को देखना बंद करें। एक योजना पर टिके रहते हुए कुछ कदम आगे देखें (k-steps)। यह सरल परिवर्तन रोबोटों को खराब जगहों पर फंसने से रोकता है और गारंटी देता है कि वे लगभग पूर्ण समाधान खोज लेंगे, भले ही उनके पास सीमित मस्तिष्क या खराब शुरुआती स्थिति हो।"

तकनीकी सारांश: प्रतिबंधित नीति वर्गों (Restricted Policy Classes) के लिए पॉलिसी ग्रेडिएंट्स का पुनरावलोकन

समस्या विवरण

मानक पॉलिसी ग्रेडिएंट (PG) विधियों का उपयोग मार्कोव निर्णय प्रक्रियाओं (MDPs) को हल करने के लिए व्यापक रूप से किया जाता है। जबकि वे पर्याप्त अन्वेषण (exploration) के तहत अनियंत्रित नीति वर्गों में इष्टतम नीति तक पहुँचने की सैद्धांतिक गारंटी देते हैं, वे प्रतिबंधित नीति वर्गों में अक्सर विफल हो जाते हैं। इन सेटिंग्स में, जिनमें स्टेट एग्रीगेशन (state aggregation), विकेंद्रीकृत मल्टी-एजेंट सिस्टम और आंशिक रूप से अवलोकन योग्य वातावरण शामिल हैं, PG विधियाँ अक्सर उप-इष्टतम क्रिटिकल पॉइंट्स (suboptimal critical points) में फंस जाती हैं।

लेखक इस विफलता के मूल कारण के रूप में मानक पॉलिसी ग्रेडिएंट प्रमेय की अल्पदर्शी प्रकृति (myopic nature) की पहचान करते हैं। यह प्रमेय एक-चरणीय Q-फंक्शन पर निर्भर करता है, जो वर्तमान नीति से विचलन के एक एकल एक्शन स्टेप के आधार पर नीति के सुधार का मूल्यांकन करता है। प्रतिबंधित वर्गों में, यह "अल्पदर्शिता" का अर्थ है कि भले ही वर्ग के भीतर एक बेहतर नीति मौजूद हो, ग्रेडिएंट यह संकेत दे सकता है कि कोई सुधार की दिशा नहीं है क्योंकि वर्तमान नीति से विचलन की तत्काल एक-चरणीय लागत उच्च प्रतीत होती है, जबकि दीर्घकालिक लाभ (जिनके लिए कई चरणों की नई नीति की आवश्यकता होती है) को ग्रेडिएंट गणना में कैप्चर नहीं किया जाता है। यह समस्या पूरी तरह से अवलोकन योग्य सेटिंग्स में भी बनी रहती है यदि प्रारंभिक अवस्था वितरण (initial state distribution) इष्टतम नीति के सपोर्ट को कवर करने के लिए पर्याप्त अन्वेषण की कमी रखता है।

कार्यप्रणाली (Methodology)

1. सहसंबंधित नीति सूत्रीकरण (Correlated Policy Formulation)

अल्पदर्शता (myopicness) को संबोधित करने के लिए, लेखक नीति के पुनर्गठन का प्रस्ताव करते हैं। एक स्टोकेस्टिक नीति को $\pi: S \to \Delta(A)$ के प्रत्यक्ष मैपिंग के रूप में देखने के बजाय, वे एक सहसंबंधित नीति (Correlated Policy) $\tilde{\pi}$ को नियत नीतियों $\Pi_{det}$ के एक सेट पर वितरण के रूप में परिभाषित करते हैं।

प्रतिबंधित वर्ग: सीखने की प्रक्रिया $\tilde{\pi} \in \Delta(\Pi_{det})$ पर संचालित होती है, जो एक पूर्व-निर्धारित नियत नीतियों के सेट पर सभी वितरणों का सेट है।
निष्पादन (Execution): एक मानक रोलआउट में, प्रत्येक चरण में $\tilde{\pi}$ से एक नियत नीति स्वतंत्र रूप से चुनी जाती है। हालांकि, लेखक एक k-स्टेप मूल्यांकन तंत्र पेश करते हैं।

2. k-स्टेप पॉलिसी ग्रेडिएंट्स

मुख्य नवाचार k-स्टेप पॉलिसी ग्रेडिएंट है, जो स्थानीय इष्टतम (local optima) से बचने के लिए मूल्यांकन क्षितिज (evaluation horizon) को संशोधित करता है।

k-स्टेप वैल्यू फंक्शन ( $J_{\tilde{\pi}, k}$ ): हर चरण में एक नई नियत नीति चुनने के बजाय, एल्गोरिदम एक नियत नीति $\pi_{det} \sim \tilde{\pi}$ चुनता है और $\tilde{\pi}$ के मानक k-स्टेप रोलआउट से पहले उसे $k$ लगातार चरणों के लिए निष्पादित करता है।
k-स्टेप Q-फंक्शन ( $Q_{\tilde{\pi}, k}$ ): यह फंक्शन पहले $k$ चरणों के लिए एक विशिष्ट नियत नीति $\pi'_{det}$ लेने के बाद, $\tilde{\pi}$ के मानक k-स्टेप रोलआउट के बाद के रिटर्न का मूल्यांकन करता है।
थ्योरम 5.5 (k-step PG Theorem): $\tilde{\pi}$ के मापदंडों के सापेक्ष k-स्टेप वैल्यू फंक्शन का ग्रेडिएंट, k-स्टेप Q-फंक्शन का उपयोग करके व्यक्त किया जाता है:
$\nabla_\alpha J_{\tilde{\pi}_\alpha, k}(\mu) = \frac{1}{1-\gamma^k} \mathbb{E}_{s \sim d_{\tilde{\pi}_\alpha, k}^\mu} \left[ \mathbb{E}_{\pi_{det} \sim \tilde{\pi}_\alpha} [Q_{\tilde{\pi}_\alpha, k}(s, \pi_{det}) \nabla_\alpha \log \tilde{\pi}_\alpha(\pi_{det})] \right]$
एक $k$ -स्टेप विंडो के माध्यम से क्रियाओं का मूल्यांकन करके, ग्रेडिएंट उस नियत नीति के दीर्घकालिक लाभों को "देख" सकता है जो अल्पकालिक लागत उत्पन्न कर सकती है, जिससे अल्पदर्शी पूर्वाग्रह (myopic bias) को सुधारा जा सकता है।

3. अनुकूलन एल्गोरिदम (Optimization Algorithms)

यह शोध पत्र इस k-स्टेप ऑब्जेक्टिव पर लागू होने वाले प्रोजेक्टेड ग्रेडिएंट डिसेंट (PGD) और मिरर डिसेंट (Mirror Descent) के अभिसरण (convergence) का विश्लेषण करता है। विश्लेषण केवल वैल्यू फंक्शन की स्मूथनेस और विभेदनशीलता (differentiability) को मानता है, और बेलमैन पूर्णता (Bellman completeness) या ग्रेडिएंट डोमिनेंस जैसे कड़े अनुमानों से बचता है जो पूर्व साहित्य में सामान्य हैं।

मुख्य योगदान और परिणाम

1. निकट-इष्टतमता का सैद्धांतिक आश्वासन (Theoretical Guarantee of Near-Optimality)

प्राथमिक सैद्धांतिक योगदान यह प्रमाण है कि सभी ज़ीरो-ग्रेडिएंट क्रिटिकल पॉइंट्स और बाउंड्री लोकल मिनिमा, प्रदर्शन के मामले में इष्टतम नियत नीति के घातांकीय रूप से करीब (exponentially close) हैं।

थ्योरम 6.1: किसी भी क्रिटिकल पॉइंट $\tilde{\pi}_{crit}$ के लिए, प्रदर्शन अंतराल इस प्रकार संतुष्ट होता है:
$\mathbb{E}_{\pi_{det} \sim \tilde{\pi}_{crit}}[J_{\pi_{det}}(\mu)] - J_{\pi^*_{det}}(\mu) \leq \frac{8\gamma^k}{1-\gamma} g_{max}$
जैसे-जैसे $k$ बढ़ता है, बाउंड टाइट (tighten) होती जाती है, जो प्रभावी रूप से उन उप-इष्टतम स्थानीय मिनिमा को समाप्त करती है जो 1-स्टेप विधियों को प्रभावित करते हैं।

2. अभिसरण दरें (Convergence Rates)

लेखक प्रदर्शित करते हैं कि डिसेंट एल्गोरिदम (PGD और मिरर डिसेंट) इन निकट-इष्टतम समाधानों तक $O(1/T)$ की दर से अभिसरित होते हैं।

थ्योरम 6.2 और 6.3: मानक ग्रेडिएंट डोमिनेंस स्थिति की अनुपस्थिति के बावजूद (जो अक्सर प्रतिबंधित वर्गों में विफल हो जाती है), k-स्टेप मूल्यांकन एक अनुमानित ग्रेडिएंट डोमिनेंस स्थिति प्रेरित करता है। यह एल्गोरिदम को $O(1/\sqrt{T})$ की धीमी दर (जो स्मूथ नॉन-कॉन्वेक्स फंक्शन्स के लिए विशिष्ट है) के बजाय, $O(1/T)$ की तेज़ दर प्राप्त करने की अनुमति देता है, जो आमतौर पर कॉनवेक्स या ग्रेडिएंट-डोमिनेंट समस्याओं से जुड़ी होती है।

3. वितरण बेमेल (Distribution Mismatch) से बचाव

एक महत्वपूर्ण निष्कर्ष यह है कि ये बाउंड्स वितरण बेमेल कारकों $\|d_{\pi^*}^\mu / d_{\pi}^\mu\|_\infty$ या $\|d_{\pi^*}^\mu / \mu\|_\infty$ पर निर्भर नहीं हैं।

मानक PG थ्योरी में, ये कारक अनंत हो सकते हैं यदि प्रारंभिक वितरण $\mu$ इष्टतम नीति के स्टेट ऑक्यूपेंसी सपोर्ट को कवर नहीं करता है, जिससे पूरी तरह से अवलोकन योग्य सेटिंग्स में भी उप-इष्टतम क्रिटिकल पॉइंट्स बन जाते हैं।
k-स्टेप विधि को दिखाया गया है कि वह प्रारंभिक वितरण के कवरेज की परवाह किए बिना इन बिंदुओं से बाहर निकल सकती है, बशर्ते $k$ पर्याप्त बड़ा हो।

महत्व और अनुप्रयोग

यह पेपर दावा करता है कि यह कार्य जटिल MDPs को हल करने के लिए एक सैद्धांतिक आधार प्रदान करता है जहाँ पिछले तरीके विफल रहे या अवास्तविक धारणाओं पर निर्भर थे।

स्टेट एग्रीगेशन (State Aggregation): यह विधि उन नीतियों के लिए निकट-इष्टतम गारंटी प्रदान करती है जो एग्रीगेटेड स्टेट्स को एक्शन्स में मैप करती हैं, जो बड़े पैमाने की प्रणालियों में एक सामान्य आवश्यकता है।
मल्टी-एजेंट सिस्टम: यह स्वतंत्र एजेंटों, विकेंद्रीकृत एजेंटों और ग्रुप-डिसेंट्रलाइज्ड एजेंटों के साथ सहकारी सेटिंग्स पर लागू होता है। इन्हें अक्सर Dec-POMDPs के रूप में मॉडल किया जाता है, जिन्हें NEXP-कम्प्लीट (NEXP-complete) माना जाता है। यह पेपर इन सेटिंग्स में ग्रेडिएंट-आधारित विधियों के लिए एक सकारात्मक सैद्धांतिक परिणाम प्रदान करता है।
पूरी तरह से अवलोकन योग्य सेटिंग्स: यह कार्य इस बात पर प्रकाश डालता है कि पूरी तरह से अवलोकन योग्य MDPs में भी, खराब अन्वेषण (प्रारंभिक अवस्था वितरण) उप-इष्टतम क्रिटिकल पॉइंट्स बना सकता है। k-स्टेप विधि बिना पूर्ण प्रारंभिक अन्वेषण की आवश्यकता के इनसे बचने के लिए एक तंत्र प्रदान करती है।

निष्कर्ष

एक अल्पदर्शी 1-स्टेप मूल्यांकन से सहसंबंधित k-स्टेप मूल्यांकन की ओर शिफ्ट होकर, प्रस्तावित विधि प्रतिबंधित नीति वर्गों के अनुकूलन परिदृश्य (optimization landscape) को मौलिक रूप से बदल देती है। यह गारंटी देती है कि क्रिटिकल पॉइंट्स इष्टतम समाधान के घातांकीय रूप से करीब हैं और मानक डिसेंट एल्गोरिदम के लिए तेज़ अभिसरण सुनिश्चित करती है, और यह सब बिना किसी मजबूत रियलाइज़ेबिलिटी धारणा या पूर्ण प्रारंभिक अन्वेषण की आवश्यकता के। यह स्टेट एग्रीगेशन और मल्टी-एजेंट सुदृढीकरण शिक्षण (Reinforcement Learning) में सैद्धांतिक गारंटी और व्यावहारिक अनुप्रयोगों के बीच के अंतर को पाटता है।