🤖 machine learning

Global linear convergence of entropy-regularized softmax policy gradient beyond tabular MDPs

यह शोध पत्र निरंतर अवस्था और क्रिया स्थानों वाले अनंत-क्षितिज (infinite-horizon) MDPs के लिए लॉग-लीनियर फलन सन्निकटन (log-linear function approximation) के साथ एंट्रॉपी-रेगुलराइज्ड सॉफ्टमैक्स पॉलिसी ग्रेडिएंट की वैश्विक रैखिक अभिसरण (global linear convergence) को उन विशिष्ट फीचर व्यवस्थाओं के तहत एक गैर-समान पोलाक-लोजासेविच (non-uniform Polyak-Łojasiewicz) असमानता को सिद्ध करके स्थापित करता है जो यह सुनिश्चित करते हैं कि फिशर सूचना मैट्रिक्स या अनसेंटर्ड कोवेरिएंस मैट्रिक्स सुव्यवस्थित (well-conditioned) बना रहे।

मूल लेखक: Ziyue Chen, David Šiška, Lukasz Szpruch

प्रकाशित 2026-05-26

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ziyue Chen, David Šiška, Lukasz Szpruch

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक जटिल वीडियो गेम खेलना सिखाने की कोशिश कर रहे हैं। रोबोट को उच्चतम स्कोर पाने के लिए जो कुछ भी वह देखता है (अवस्थाएं/states) उसके आधार पर निर्णय (क्रियाएं/actions) लेने होंगे। सुदृढीकरण लर्निंग (Reinforcement Learning - RL) की दुनिया में, इसे "इष्टतम नीति" (optimal policy) खोजना कहा जाता है।

लंबे समय तक, गणितज्ञ केवल यह सिद्ध कर सकते थे कि रोबोट तेजी से और विश्वसनीय रूप से सीख लेगा यदि खेल बहुत सरल हो—जैसे कि निश्चित संख्या में खानों और चालों वाला बोर्ड गेम। इसे "टेबुलर" (tabular) सेटिंग कहा जाता है। लेकिन वास्तविक जीवन अव्यवस्थित है, जहाँ अवस्था स्थान (state space) निरंतर (continuous) होता है (जैसे कार चलाना जहाँ गति और स्थिति कोई भी संख्या हो सकती है) और क्रियाएं अनंत होती हैं।

चेन, शिशका और स्प्रुच का यह शोध पत्र इस कठिन प्रश्न को संबोधित करता है: क्या हम यह सिद्ध कर सकते हैं कि यदि हम एक विशिष्ट प्रकार के "स्मार्ट" लर्निंग एल्गोरिदम का उपयोग करते हैं, तो रोबोट इन जटिल, निरंतर दुनियाओं में कुशलतापूर्वक सीख सकता है?

यहाँ उनके निष्कर्षों का रोजमर्रा के उदाहरणों के माध्यम से विवरण दिया गया है।

1. समस्या: "पहाड़ी" परिदृश्य (The "Hilly" Landscape)

कल्पना कीजिए कि रोबोट का लक्ष्य एक विशाल, कोहरे से भरे पर्वत श्रृंखला में सबसे ऊँची चोटी को खोजना है। पर्वत की "ऊंचाई" यह दर्शाती है कि रोबोट की रणनीति कितनी अच्छी है।

चुनौती: कई लर्निंग एल्गोरिदम में, पर्वत श्रृंखला झूठी चोटियों (local optima) से भरी होती है। रोबोट एक छोटी पहाड़ी पर फंस सकता है यह सोचकर कि वही शीर्ष है, और कभी असली शिखर तक नहीं पहुँच पाता।
ट्विस्ट: लेखक इसमें एक विशेष सामग्री जोड़ते हैं जिसे एन्ट्रॉपी रेगुलराइजेशन (Entropy Regularization) कहा जाता है। इसे "जिज्ञासा बोनस" (curiosity bonus) के रूप में सोचें। रोबोट को न केवल उच्च स्कोर प्राप्त करने के लिए, बल्कि अपने विकल्पों को खुला रखने और बहुत अधिक कठोर न होने के लिए भी पुरस्कृत किया जाता है। गणितीय रूप से, यह पर्वत श्रृंखला को सुचारू बनाता है, जिससे वास्तविक शिखर तक पहुँचना आसान हो जाता है।

2. विधि: "लॉग-लीनियर" मानचित्र (The "Log-Linear" Map)

चूंकि पर्वत इतना बड़ा है कि उसके हर एक इंच का मानचित्र नहीं बनाया जा सकता (निरंतर अवस्था स्थान), इसलिए रोबोट एक सरलीकृत मानचित्र का उपयोग करता है।

उपमा: हर पेड़ और चट्टान को याद करने के बजाय, रोबroट "विशेषताओं" (features) के एक सेट का उपयोग करता है (जैसे "क्या यह ढलान वाला है?", "क्या यहाँ धूप है?", "क्या यहाँ कोई नदी है?")। यह क्या करना है यह तय करने के लिए एक रैखिक सूत्र (एक भारित योग/weighted sum) का उपयोग करके इन विशेषताओं को जोड़ता है। इसे लॉग-लीनियर सॉफ्टमैक्स पॉलिसी (Log-Linear Softmax Policy) कहा जाता है।
लक्ष्य: लेखक चाहते हैं कि यदि रोबोट "ग्रेडिएंट फ्लो" (गणितीय रूप से यह कहने का एक तरीका कि "हमेशा ऊपर की ओर चलें") का पालन करता है, तो वह पर्वत के शीर्ष तक घातांकीय रूप से तेजी से (exponentially fast) पहुँचेगा। इसका मतलब है कि वह केवल धीरे-धीरे बेहतर नहीं होता; वह ऐसी गति से बेहतर होता है जो हर सेकंड अपनी प्रगति को दोगुना कर देती है।

3. बड़ी बाधा: "फिसलन भरी ढलान" (The "Slippery Slope")

सरल "टेबुलर" दुनिया में, गणित बहुत सुव्यवस्थित होता है। लेकिन इस जटिल दुनिया में, पर्वत का आकार इस बात पर निर्भर करता है कि आप कहाँ हैं।

मुद्दा: कभी-कभी, जमीन इतनी सपाट या फिसलन भरी हो जाती है कि रोबोट रुक सकता है या बहुत धीमी गति से चल सकता है। गणितीय शब्दों में, "फिशर इंफॉर्मेशन मैट्रिक्स" (यह मापने का पैमाना कि रोबोट का वर्तमान दृश्य उसे कितनी जानकारी देता है) "डीजेनरेट" (degenerate) हो सकता है या अपनी पकड़ खो सकता है।
शोध पत्र का समाधान: लेखक एक गैर-समान पोलाक-लोजासिएविक (Non-Uniform Polyak–Łojasiewicz - PŁ) असमानता को सिद्ध करते हैं।
- सरल अनुवाद: उन्होंने सिद्ध किया कि भले ही कुछ स्थानों पर जमीन फिसलन भरी है, फिर भी ऊपर की ओर "खिंचाव" हमेशा इतना मजबूत रहता है कि रोबोट चलता रहे, बशर्ते रोबोट किसी विशिष्ट अजीब विन्यास (configuration) में न फंस जाए।

4. गुप्त नुस्खा: दो प्रकार के "मानचित्र" (Two Types of "Maps")

यह सुनिश्चित करने के लिए कि रोबोट कभी न फंसे, लेखकों ने दो विशिष्ट प्रकार के "फीचर मैप्स" (जिस तरह से रोबोट दुनिया को देखता है) की पहचान की जो पूरी तरह से काम करते हैं।

प्रकार A: "फुल एफ़ाइन स्पैन" (त्रिकोणमितीय मानचित्र - The Trigonometric Map)

उपमा: कल्पना कीजिए कि रोबोट तरंगों (sine और cosine waves) पर आधारित मानचित्र का उपयोग करता है, जैसे कि फूरियर बेसिस (Fourier basis)।
यह क्यों काम करता है: लेखकों ने सिद्ध किया कि इस मानचित्र के साथ, यदि रोबलेट किसी भी दिशा में बहुत दूर जाने की कोशिश करता है, तो "जिज्ञासा बोनस" (एन्ट्रॉपी) अनंत रूप से बड़ा हो जाता है। यह एक रबर बैंड की तरह है जो बहुत अधिक खिंचने पर अनंत रूप से कस जाता है। यह रोबोट को एक सुरक्षित, सीमित क्षेत्र के भीतर रहने के लिए मजबूर करता है जहाँ जमीन कभी भी बहुत फिसलन भरी नहीं होती।
परिणाम: रोबोट तेजी से शिखर खोजने की गारंटी के साथ सफल होता है।

प्रकार B: "सिम्प्लेक्स" विशेषताएं (बर्नस्टीन मानचित्र - The Bernstein Map)

उपमा: कल्पना कीजिए कि रोबोट प्रायिकता प्रतिशत (जैसे बर्नस्टीन बहुपद, जहाँ सभी भारों का योग 100% होना चाहिए) पर आधारित मानचित्र का उपयोग करता है।
बारीकी: इस मामले में, "रबर बैंड" (एन्ट्रॉपी) केवल तभी कसता है जब रोबोट एक विशिष्ट दिशा (सभी-बराबर वाली दिशा के लंबवत) में खिंचने की कोशिश करता है।
परिणाम: इस थोड़े अलग मानचित्र के साथ भी, लेखकों ने सिद्ध किया कि रोबोट अभी भी एक सुरक्षित क्षेत्र में रहता है और रैखिक रूप से शिखर की ओर बढ़ता है।

5. उन्होंने क्या सिद्ध किया (मुख्य निष्कर्ष)

शोध पत्र एक कठोर गणितीय गारंटी प्रदान करता है:

ग्लोबल कन्वर्जेंस (Global Convergence): रोबोट अंततः सबसे अच्छी रणनीति खोज लेगा, चाहे वह कहीं से भी शुरू करे।
रैखिक गति (Linear Speed): वह केवल वहां पहुँचेगा ही नहीं; वह वहां तेजी से पहुँचेगा, जिसमें त्रुटि (error) हर चरण में एक निश्चित प्रतिशत से कम होती जाती है (जैसे चक्रवृद्धि ब्याज, लेकिन इसके विपरीत)।
सरल खेलों से परे: यह केवल सरल ग्रिड के लिए नहीं, बल्कि जटिल, निरंतर वातावरण के लिए भी काम करता है।

उन्होंने क्या दावा नहीं किया

यह महत्वपूर्ण है कि जो शोध पत्र वास्तव में कहता है उस पर टिके रहें:

उन्होंने यह दावा नहीं किया कि यह हर संभावित प्रकार के फीचर मैप के लिए काम करता है। उन्होंने विशेष रूप से "फुल एफ़ाइन स्पैन" और "सिम्प्लेक्स" प्रकारों की पहचान की है।
उन्होंने यह दावा नहीं किया कि यह "अनुमान त्रुटि" (approximation error) की समस्या को हल करता है (जहाँ मानचित्र स्वयं वास्तविकता का एक बुरा अनुमान है)। उन्होंने "Q-realizability" की स्थिति मानी है, जिसका अर्थ है कि इष्टतम रणनीति को उनके चुने हुए मानचित्र द्वारा दर्शाया जा सकता है।
उन्होंने नैदानिक उपयोगों, आत्म-चालित कारों या विशिष्ट वीडियो गेम के बारे में चर्चा नहीं की। उन्होंने शुद्ध रूप से एक गणितीय मॉडल में एल्गोरिदम के सैद्धांतिक अभिसरण (convergence) पर ध्यान केंद्रित किया।

संक्षेप में: लेखकों ने एक कठिन, निरंतर लर्निंग समस्या को लिया और दिखाया कि यदि आप सही प्रकार के "फीचर्स" (मानचित्र) का उपयोग करते हैं और एक "जिज्ञासा बोनस" जोड़ते हैं, तो लर्निंग एल्गोरिदम गणितीय रूप से गारंटी के साथ सीधे सर्वोत्तम समाधान की ओर बढ़ता है और कहीं फंसता नहीं है।

तकनीकी सारांश: टैबुलर MDPs से परे एंट्रॉपी-रेगुलराइज्ड सॉफ्टमैक्स पॉलिसी ग्रेडिएंट का वैश्विक रैखिक अभिसरण (Global Linear Convergence)

समस्या विवरण
यह शोध पत्र अनंत-क्षितिज (infinite-horizon) एंट्रॉपी-रेगुलराइज्ड मार्कोव निर्णय प्रक्रियाओं (MDPs) के लिए निरंतर अवस्था (continuous state) और क्रिया (action) स्थानों में पॉलिसी ग्रेडिएंट (PG) विधियों के वैश्विक अभिसरण गुणों की जांच करता है। जबकि एंट्रॉपी रेगुलराइजेशन (तीव्रता $\tau > 0$ के साथ KL-डाइवर्जेंस पद को शामिल करना) टैबुलर सेटिंग्स (परिमित $S$ और $A$ ) में सॉफ्टमैक्स पॉलिसियों के लिए अभिसरण परिदृश्य (convergence landscape) में सुधार करने के लिए जाना जाता है, फंक्शन एप्रोक्सिमेशन के साथ निरंतर स्थानों में इन गारंटियों को विस्तारित करना एक महत्वपूर्ण सैद्धांतिक चुनौती बनी हुई है।

विशेष रूप से, लेखक लॉग-लीनियर सॉफ्टमैक्स पॉलिसियों पर विचार करते हैं जिन्हें इस प्रकार परिभाषित किया गया है:
$\pi_\theta(da|s) \propto \exp(\langle \theta, g(s, a) \rangle) \mu(da)$
जहाँ $g: S \times A \to \mathbb{R}^p$ एक फीचर बेसिस (feature basis) को दर्शाता है, $\theta \in \mathbb{R}^p$ पैरामीटर्स हैं, और $\mu$ एक संदर्भ माप (reference measure) है। उद्देश्य रेगुलराइज्ड वैल्यू फंक्शन $V^\pi_\tau(\rho)$ को कम करना है। मुख्य कठिनाई $\theta$ के सापेक्ष उद्देश्य की गैर-उत्तलता (non-convexity) में निहित है, यहाँ तक कि एंट्रॉपी रेगुलराइजेशन के साथ भी, और निरंतर सेटिंग्स में फिशर इंफॉर्मेशन मैट्रिक्स (FIM) या फीचर कोवेरियेंस मैट्रिसेस की संभावित क्षयशीलता (degeneracy), जो मानक अभिसरण प्रमाणों को लागू होने से रोक सकती है।

कार्यप्रणाली (Methodology)
विश्लेषण एक निरंतर-समय ग्रेडिएंट फ्लो फॉर्मूलेशन पर आधारित है:
$\frac{d}{dt}\theta_t = -\nabla_\theta V^{\pi_{\theta_t}}_\tau(\rho)$
प्रमाण रणनीति तीन मुख्य चरणों में आगे बढ़ती है:

गैर-समान पोलियाक-लोजासिक (PŁ) असमानता (Non-Uniform Polyak–Łojasiewicz Inequality):
लेखक एक गैर-समान PŁ असमानता स्थापित करते हैं:
$V^{\pi_\theta}_\tau(\rho) - V^{\pi^*_\tau}_\tau(\rho) \leq C(\theta) \|\nabla_\theta V^{\pi_\theta}_\tau(\rho)\|^2$
यह असमानता सब-ऑप्टिमैलिटी गैप (suboptimality gap) को ग्रेडिएंट नॉर्म के वर्ग से जोड़ती है। महत्वपूर्ण रूप से, स्थिरांक $C(\theta)$ पॉलिसी की ज्यामिति पर निर्भर करता है, विशेष रूप से FIM के न्यूनतम आइगेनवैल्यू (eigenvalue) पर (या सिमप्लेक्स फीचर्स के लिए अनसेंटर्ड फीचर कोवेरियेंस मैट्रिक्स पर) और पॉलिसी के डेंसिटी बाउंड्स पर। टैबुलर मामले में जहाँ $C$ समान (uniform) हो सकता है, यहाँ $C(\theta)$ गैर-समान है और सिद्धांततः $\|\theta\| \to \infty$ होने पर क्षय (degenerate) हो सकता है।
$Q\pi_\tau$ -रियलाइज़ेबिलिटी धारणा ( $Q\pi_\tau$ -Realizability Assumption):
विश्लेषण यह मानता है कि किसी भी पॉलिसी $\pi$ के लिए, रेगुलराइज्ड स्टेट-एक्शन वैल्यू फंक्शन $Q^\pi_\tau$ को लीनियर फीचर बेसिस द्वारा सटीक रूप से दर्शाया जा सकता है:
$\langle \theta(\pi), g(s, a) \rangle = -\frac{1}{\tau} Q^\pi_\tau(s, a)$
यह धारणा सुनिश्चित करती है कि इष्टतम पॉलिसी $\pi^*_\tau$ पैरामीटराइज्ड क्लास के भीतर है, अर्थात $\pi^*_\tau = \pi_{\theta^*}$ किसी $\theta^*$ के लिए।
लयापुनोव विश्लेषण और रेडियल अनबाउंडेडनेस (Lyapunov Analysis and Radial Unboundedness):
वैश्विक रैखिक अभिसरण को सिद्ध करने के लिए, लेखकों को यह दिखाना होगा कि गैर-समान स्थिरांक $C(\theta_t)$ ग्रेडिएंट फ्लो प्रक्षेपवक्र (trajectory) के अनुदिश सीमित रहता है। इसके लिए उन्हें यह सिद्ध करना होगा कि प्रक्षेपवपथ $\{\theta_t\}$ एक कॉम्पैक्ट सेट में रहता है।

वे $V^{\pi_\theta}_\tau(\rho)$ को एक लयापुनोव फंक्शन के रूप में उपयोग करते हैं, यह देखते हुए कि यह एकतंत्रीय रूप से (monotonically) घटता है।
वे सिद्ध करते हैं कि फीचर बेसिस $g$ पर विशिष्ट स्थितियों के तहत, $KL(\pi_\theta | \mu)$ का KL-डाइवर्जेंस रेडियल अनबाउंडेड है (अर्थात $\|\theta\| \to \infty$ होने पर $KL \to \infty$ )। यह गुण मापदंडों (parameters) को अनंत तक जाने से रोकता है जबकि वैल्यू फंक्शन सीमित रहता है, जिससे यह सुनिश्चित होता है कि प्रक्षेपवक्र एक कॉम्पैक्ट क्षेत्र के भीतर रहता है जहाँ संबंधित मैट्रिसेस के आइगेनवैल्यू शून्य से ऊपर सीमित रहते हैं।

प्रमुख योगदान और परिणाम

शोध पत्र दो अलग-अलग रेजिम (regimes) की पहचान करता है जिनके तहत वैश्विक रैखिक अभिसरण प्राप्त किया जाता है:

फुल-एफाइन-स्पैन फीचर्स (Full-Affine-Span Features):

धारणा: फीचर मैप $g(s, \cdot)$ का फुल एफाइन डायमेंशन है, और $g$ के किसी भी लीनियर प्रोजेक्शन के मैक्सिमाइजर्स का सेट $\mu$ के तहत शून्य माप (zero measure) रखता है।
परिणाम: KL डाइवर्जेंस सभी दिशाओं में रेडियल अनबाउंडेड है। फलस्वरूप, FIM का न्यूनतम आइगेनवैल्यू इनिशियलाइजेशन पर निर्भर एक सकारात्मक स्थिरांक द्वारा नीचे की ओर सीमित रहता है।
अभिसरण: सब-ऑप्टिमैलिटी $O(e^{-Ct})$ के रूप में घटती है, जहाँ $C > 0$ ।

सिम्प्लेक्स-वैल्यूड फीचर्स (Simplex-Valued Features):

धारणा: फीचर्स प्रोबेबिलिटी सिमप्लेक्स में स्थित हैं ( $\sum g_i = 1, g_i \geq 0$ )। मैक्सिमाइजर सेट पर शर्त को केवल ऑल-वन्स वेक्टर के ऑर्थोगोनल (orthogonal) वेक्टर्स पर लागू करने के लिए शिथिल किया गया है।
परिणाम: KL डाइवर्जेंस केवल ऑल-वन्स वेक्टर के ऑर्थोगनल सबस्पेस में रेडियल अनबाउंडेड है, जो पैरामीटर रिडंडेंसी की दिशा है। लेखक सिद्ध करते हैं कि ग्रेडिएंट फ्लो ऑल-वन्स वेक्टर पर $\theta$ के प्रोजेक्शन को संरक्षित करता है, जिससे प्रभावी रूप से डायनेमिक्स को प्रासंगिक सबस्पेस में सीमित किया जाता है।
अभिसरण: FIM के बजाय अनसेंटर्ड फीचर कोवेरियेंस मैट्रिक्स का उपयोग करके, वे आइगेनवैल्यूज पर एक समान निचला बाउंड (uniform lower bound) स्थापित करते हैं, जिससे वही वैश्विक रैखिक अभिसरण दर $O(e^{-Ct})$ प्राप्त होती है।

महत्व और दावे

लेखक दावा करते हैं कि यह कार्य टैबुलर सेटिंग (जिसे अग्रवाल एट अल. (2020), भंडारी और रूसो (2024), और मेई एट अल. (2020) द्वारा स्थापित किया गया था) से परे एंट्रॉपी-रेगुलराइज्ड सॉफ्टमैक्स पॉलिसी ग्रेडिएंट की वैश्विक अभिसरण थ्योरी को विस्तारित करता है।

निरंतर सेटिंग्स में नवीनता: यह शोध पत्र लीनियर फंक्शन एप्रोक्सिमेशन के कठोर विश्लेषण के माध्यम से निरंतर स्थानों में टैबुलर विधियों की कम्प्यूटेशनल जटिलता को संबोधित करता है।
गैर-उत्तलता (Non-Convexity) को संभालना: एक गैर-समान PŁ असमानता स्थापित करके और लयापुनोव तकनीकों के माध्यम से गैर-समान स्थिरांक को नियंत्रित करके, लेखक निरंतर स्थानों में सॉफ्टमैक्स पैरामीट्राइजेशन की गैर-उत्तलता पर विजय प्राप्त करते हैं।
KL रेगुलराइजेशन की भूमिका: वे प्रक्षेपपथ को रेडियल अनबाउंडेड सुनिश्चित करने के लिए लयापुनोव फंक्शन के रूप में KL डाइवर्जेंस के एक नवीन उपयोग को रेखांकित करते हैं, जो मानक टैबुलर मामले में नहीं होता (जहाँ पूर्ण सपोर्ट वाली किसी भी पॉलिसी के लिए KL पद परिमित होता है)।
फीचर संवेदनशीलता: शोध पत्र विशिष्ट उदाहरण प्रदान करता है (जैसे, ट्रिगोनोमेट्रिक फीचर्स, बर्नस्टीन पॉलिनोमिअल्स) जो अभिसरण की शर्तों को पूरा करते हैं, और काउंटर-उदाहरण (जैसे, हैट फंक्शन्स) जहाँ रेडियल अनबाउंडेडनेस विफल हो जाती है, जिससे रैखिक अभिसरण के लिए आवश्यक ज्यामितीय गुणों को स्पष्ट किया जाता है।

इन परिणामों का तात्पर्य यह है कि, $Q^\pi_\tau$ -रियलाइज़ेबिलिटी और उपयुक्त फीचर स्थितियों के तहत, एंट्रॉपी-रेगुलराइज्ड पॉलिसी ग्रेडिएंट सामान्य स्टेट और एक्शन स्पेस में वैश्विक और रैखिक रूप से इष्टतम पॉलिसी की ओर अभिसरित होती है, जो उन अनुकूल दरों से मेल खाती है जो पहले केवल टैबुलर या लीनियर-क्वाड्रेटिक सेटिंग्स में ज्ञात थीं।