तकनीकी सारांश: डबली स्मूथड पॉलिसी इटरेशन के रूप में नेचुरल पॉलिसी ग्रेडिएंट

समस्या विवरण

रीइन्फोर्समेंट लर्निंग (RL) समस्याओं को आमतौर पर मार्कोव निर्णय प्रक्रियाओं (MDPs) के रूप में मॉडल किया जाता है। जबकि शास्त्रीय डायनेमिक प्रोग्रामिंग विधियाँ जैसे पॉलिसी इटरेशन (PI) और वैल्यू इटरेशन (VI), बेलमैन ऑपरेटर के कॉन्ट्रैक्शन (contraction) और मोनोटोनिसिटी (monotonicity) गुणों पर निर्भर करती हैं, आधुनिक ग्रेडिएंट-आधारित विधियाँ जैसे नेचुरल पॉलिसी ग्रेडिएंट (NPG) और पॉलिसी ड्यूल एवरेजिंग (PDA) को अक्सर पॉलिसी स्पेस पर निरंतर अनुकूलन (continuous optimization) के दृष्टिकोण से विश्लेषित किया जाता है।

साहित्य में एक वैचारिक अंतराल मौजूद है: NPG के विश्लेषण अक्सर बेलमैन ऑपरेटर के मूलभूत $\ell_\infty$-नॉर्म कॉन्ट्रैक्शन का लाभ उठाने में विफल रहते हैं, जो शास्त्रीय विधियों की मजबूत अभिसरण (convergence) गारंटी का आधार है। फलस्वरूप, NPG के मौजूदा सैद्धांतिक परिणाम अक्सर एक या अधिक सीमाओं से ग्रस्त होते हैं:

1. वैश्विक ज्यामितीय अभिसरण (global geometric convergence) का अभाव।
2. प्रारंभिक अवस्था वितरणों या संकेंद्रण गुणांकों (concentrability coefficients) पर निर्भरता।
3. कर्वेचर (curvature) उत्पन्न करने के लिए MDP या एल्गोरिदम के अतिरिक्त नियमितीकरण (regularization) की आवश्यकता।
4. अनुकूली (adaptive), प्रक्षेपवक्र-निर्भर (trajectory-dependent) स्टेप साइज़ पर निर्भरता।

यह शोध पत्र इस अंतराल को पाटने के उद्देश्य से एक एकीकृत ढांचा प्रदान करता है जो शास्त्रीय PI को आधुनिक ग्रेडिएंट-आधारित विधियों से जोड़ता है, जिससे बिना MDP को संशोधित किए या बिना अतिरिक्त स्टेप साइज़ की आवश्यकता के, एक वितरण-मुक्त (distribution-free), ज्यामितीय अभिसरण विश्लेषण संभव होता है।

कार्यप्रणाली: डबली स्मूथड पॉलिसी इटरेशन (DSPI)

लेखक डबली स्मूथड पॉलिसी इटरेशन (DSPI) पेश करते हैं, जो एक बेलमैन-ऑपरेटर ढांचे के रूप में तैयार किया गया एक एकीकृत एल्गोरिद्मिक ढांचा है। DSPI पिछले Q-फंक्शन्स के भारित औसत (weighted average) पर एक नियमितीकृत ग्रीडी स्टेप (regularized greedy step) लागू करके पॉलिसी को अपडेट करता है।

DSPI का मूल दो स्तरों के स्मूथिंग (smoothing) पर आधारित है:

1. एवरेजिंग स्मूथिंग (Averaging Smoothing): केवल नवीनतम Q-फंक्शन का उपयोग करने के बजाय, एल्गोरिदम सभी पिछले Q-फंक्शन्स का एक रनिंग एवरेज ($\bar{Q}_k$) बनाए रखता है।
2. रेगुलराइजेशन स्मूथिंग (Regularization Smoothing): ग्रीडी पॉलिसी अपडेट को एक एक अवतल (concave) फलन $\nu(\cdot)$ (जैसे कि एंट्रॉपी) से युक्त एक नियमितीकृत स्टेप द्वारा प्रतिस्थापित किया जाता है।

अपडेट नियम को इस प्रकार परिभाषित किया गया है:
$$\pi_{k+1}(s) \in \arg\max_{\mu \in \Delta(A)} \left\{ \mu^\top \bar{Q}_{k+1}(s) + \eta_k \nu(\mu) \right\}$$
जहाँ $\bar{Q}_{k+1} = (1-\beta_k)\bar{Q}_k + \beta_k Q_{\pi_k}$, और स्मूथिंग पैरामीटर $\eta_k$, स्टेप साइज़ $\beta_k$ के आधार पर ज्यामितीय रूप से घटता है।

महत्वपूर्ण रूप से, लेखक प्रदर्शित करते हैं कि DSPI को स्मूथड बेलमैन ऑपरेटर्स ($H_\eta$ और $H^\pi_\eta$) का उपयोग करके एक संक्षिप्त रूप में प्रस्तुत किया जा सकता है। यह एल्गोरिदम को केवल अनुकूलन-सैद्धांतिक उपकरणों पर निर्भर रहने के बजाय, इन ऑपरेटर्स की मोनोटोनिसिटी और कॉन्ट्रैक्शन गुणों का उपयोग करके विश्लेषित करने की अनुमति देता है।

मुख्य योगदान

1. एल्गोरिदम का एकीकरण

यह शोध पत्र स्थापित करता है कि DSPI एक सामान्य ढांचा है जो कई प्रमुख एल्गोरिदम को विशेष मामलों के रूप में समाहित करता है:

• पॉलिसी इटरेशन (PI): तब प्राप्त होता है जब स्टेप साइज़ $\beta_k \equiv 1$ (कोई एवरेजिंग नहीं) हो और रेगुलराइजेशन शून्य हो जाए।
• नेचुरल पॉलिसी ग्रेडिएंट (NPG): तब प्राप्त होता है जब $\nu(\cdot)$ को शैनन एंट्रॉपी (Shannon entropy) के रूप में सेट किया जाए और विशिष्ट स्टेप साइज़ शेड्यूल्स चुना जाए।
• पॉलिसी ड्यूल एवरेजिंग (PDA): तब प्राप्त होता है जब $\nu(\cdot)$ को एक शिफ्टेड नेगेटिव डायवर्जेंस-जेनरेटिंग फंक्शन के रूप में चुना जाए।
• ड्यूल-एवरेजड पॉलिसी इटरेशन: एक नया संस्करण जहाँ पॉलिसी को औसत Q-फंक्शन्स के आधार पर ग्रीडी रूप से अपडेट किया जाता है ($\nu(\cdot) \equiv 0$)।

2. एकीकृत अभिसरण विश्लेषण

स्मूथड बेलमैन ऑपरेटर्स के गुणों का लाभ उठाते हुए, लेखक DSPI के लिए एक एकीकृत अभिसरण विश्लेषण प्रदान करते हैं:

• एसिम्प्टोटिक अभिसरण (Asymptotic Convergence): किसी भी नॉन-समेबल (non-summable) स्टेप साइज़ सीक्वेंस के लिए सिद्ध किया गया है।
• ग्लोबल ज्योमेट्रिक कन्वर्जेंस: स्थिर (constant) स्टेप साइज़ के लिए सिद्ध किया गया है। त्रुटि सीमा (error bound) इस प्रकार है:
  $$\|V^* - V^{\pi_k}\|_\infty \leq (1 - (1-\gamma)\beta)^{k-1} (\gamma \|V^* - V^{\pi_0}\|_\infty + \tau \nu_{\max})$$
  जहाँ $\gamma$ डिस्काउंट फैक्टर है और $\beta$ स्थिर स्टेप साइज़ है।

3. NPG और PDA के लिए बेहतर सैद्धांतिक गारंटी

NPG और PDA के लिए DSPI ढांचे को लागू करने से निम्नलिखित परिणाम प्राप्त होते हैं, जो बिना किसी प्रतिबंधात्मक धारणाओं के अत्याधुनिक परिणामों (state-of-the-art) में सुधार करते हैं या उनके बराबर हैं:

• डिस्ट्रीब्यूशन-फ्री (Distribution-Free): अभिसरण सीमाएं केवल वैल्यू फंक्शन गैप के $\ell_\infty$-नॉर्म पर निर्भर करती हैं, न कि प्रारंभिक अवस्था वितरण या संकेंद्रण गुणांकों पर।
• कोई अतिरिक्त रेगुलराइजेशन नहीं: विश्लेषण बिना MDP को संशोधित किए या मानक NPG में निहित एंट्रॉपी टर्म के अलावा कोई अतिरिक्त रेगुलराइज़र जोड़े बिना मान्य है।
• सरल स्टेप साइज़: परिणाम एक सरल, पूर्व-निर्धारित ज्यामितीय रूप से बढ़ते स्टेप साइज़ शेड्यू ($\alpha_k = \beta \alpha_0 / (1-\beta)^k$) के लिए मान्य हैं, जो पॉलिसी प्रक्षेपवक्र या बेलमैन एरर पर निर्भर अनुकूली स्टेपसाइज़ की आवश्यकता को समाप्त करता है।
• इटरेशन कॉम्प्लेक्सिटी: NPG और PDA $O((1-\gamma)^{-1} \log((1-\gamma)^{-1}\epsilon^{-1}))$ इटरेशन में एक $\epsilon$-ऑप्टिमल पॉलिसी प्राप्त करते हैं।

4. ड्यूल-एवरेजड PI की परिमित समाप्ति (Finite Termination)

अनियमितीकृत मामले (Dual-Averaged PI) के लिए, लेखक परिमित समाप्ति सिद्ध करते हैं। एल्गोरिदम अधिकतम $O(mn(1-\gamma)^{-1} \log((1-\gamma)^{-1}))$ इटरेशन में एक इष्टतम पॉलिसी खोज लेता है, जहाँ $n$ और $m$ अवस्था और क्रिया स्थानों (state and action spaces) के आकार हैं। यह दर्शाकर प्राप्त किया गया है कि एल्गोरिदम प्रत्येक $k^*$ इटरेशन में कम से कम एक उप-इष्टतम (suboptimal) क्रिया को समाप्त कर देता है।

5. विस्तार (Extensions)

यह ढांचा स्वाभाविक रूप से निम्नलिखित तक विस्तारित होता है:

• लीनियर फंक्शन एप्रोक्सिमेशन (Linear Function Approximation): लीनियर फंक्शन एप्रोक्सिमेशन के साथ DSPI, एक फंक्शन एप्रोक्सिमेशन एरर टर्म तक ज्यामितीय अभिसरण प्राप्त करता है।
• स्टोकेस्टिक शॉर्टेस्ट पाथ (SSP) समस्याएं: विश्लेषण अनडिस्काउंटेड SSP समस्याओं तक विस्तृत है, जो यह स्थापित करता है कि सभी स्टेशनरी पॉलिसियाँ 'प्रॉपर' होने की धारणा के तहत वितरण-मुक्त वैश्विक ज्यामितीय अभिसरण प्राप्त होता है।

परिणाम और महत्व

शोध पत्र का दावा है कि इसका प्राथमिक महत्व इसके एकीकृत परिप्रेक्ष्य में निहित है जो आधुनिक ग्रेडिएंट-आधारित RL को शास्त्रीय डायनेमिक प्रोग्रामिंग से जोड़ता है। NPG और PDA को पॉलिसी इटरेशन के स्मूथड और एवरेजड वेरिएंट के रूप में व्याख्या करके, लेखक सक्षम होते हैं:

1. मजबूत गारंटी प्राप्त करना: केवल बेलमैन ऑपरेटर के अंतर्निहित गुणों (मोनोटोनिसिटी और कॉन्ट्रैक्शन) का उपयोग करके NPG और PDA के लिए ग्लोबल ज्योमेट्रिक कन्वर्जेंस स्थापित करना।
2. आर्टिफैक्ट्स को हटाना: उन "कर्वेचर-इंड्यूसिंग" रेगुलराइजेशन या अनुकूली स्टेपसाइज़ की आवश्यकता को समाप्त करना जो अक्सर पिछले अनुकूलन-आधारित विश्लेषणों में आवश्यक होते हैं।
3. विश्लेषण को सरल बनाना: एक सरल, अधिक सिद्धांतवादी विश्लेषण प्रदान करना जो वितरण बेमेल (distribution mismatch) गुणांकों की जटिलताओं से बचता है।

लेखक नोट करते हैं कि हालांकि उनका वर्तमान विश्लेषण सटीक Q-फंक्शन्स तक पहुंच (पॉलिसी इम्प्रूवमेंट डायनेमिक्स को अलग करते हुए) मानता है, यह ढांचा भविष्य के कार्यों के लिए आधार तैयार करता है जहाँ Q-फंक्शन्स का अनुमान लगाया जाना चाहिए (मॉडल-फ्री सेटिंग में)। वे पहचानते हैं कि मॉडल-फ्री RL के लिए शार्प सैंपल कॉम्प्लेक्सिटी परिणाम प्राप्त करने के लिए DSPI को फाइनाइट-टाइम पॉलिसी इवैल्यूएशन गारंटियों के साथ जोड़ना एक गैर-तुच्छ (non-trivial) अगला कदम है।