तकनीकी सारांश: नमूना जटिलता विश्लेषण के साथ मॉडल-मुक्त सुदृढ़ औसत-पुरस्कार सुदृढीकरण शिक्षण (Model-Free Robust Average-Reward Reinforcement Learning)

1. समस्या का निरूपण (Problem Formulation)

यह शोध पत्र औसत-पुरस्कार मानदंड (average-reward criterion) के तहत सुदृढ़ सुदृढीकरण शिक्षण (Robust Reinforcement Learning - RL) की चुनौती को संबोधित करता है। जबकि RL ने नियंत्रित वातावरण में सफलता प्राप्त की है, वास्तविक दुनिया में तैनाती अक्सर मॉडल बेमेल (model mismatches), पर्यावरणीय व्यवधानों या प्रतिकूल हमलों के कारण "सिम-टू-रियल" (Sim-to-Real) अंतराल से जूझती है। सुदृढ़ RL इसे अनिश्चितता सेट (uncertainty set) के भीतर सबसे खराब प्रदर्शन के लिए अनुकूलित करके कम करता है।

विशिष्ट ध्यान डिस्ट्रिब्यूशनली रोबस्ट एवरेज-रिवॉर्ड MDPs (RAMDPs) पर है। डिस्काउंटेड रिवॉर्ड सेटिंग्स के विपरीत, औसत-पुरस्कार मानदंड क्यूइंग कंट्रोल (queuing control) और पोर्टफोलियो अनुकूलन जैसे अनुप्रयोगों में दीर्घकालिक स्थिर-अवस्था प्रदर्शन के लिए आवश्यक है। हालांकि, औसत-पुरस्कार RL अपने डिस्काउंटेड समकक्ष की तुलना में काफी अधिक चुनौतीपूर्ण है क्योंकि:

1. गैर-संकुचनकारी ऑपरेटर (Non-contractive operators): रोबस्ट बेलमैन ऑपरेटर आम तौर पर संकुचनकारी (contractive) होने के बजाय गैर-विस्तारशील (non-expansive) होता है, जो मानक पुनरावृत्ति अभिसरण गारंटी को अमान्य कर देता है।
2. दोहरे अज्ञात चर (Dual unknowns): रोबस्ट बेलमैन समीकरण में दो अज्ञात चर शामिल होते हैं: वैल्यू फंक्शन (या बायस) $Q$ और इष्टतम औसत पुरस्कार $g^*_P$।
3. गैर-रैखिकता (Non-linearity): नाममात्र के नमूनों (nominal samples) से सबसे खराब स्थिति की अपेक्षा (support function) का अनुमान लगाने से पूर्वाग्रह (bias) उत्पन्न होता है, विशेष रूप से मॉडल-मुक्त सेटिंग्स में।

मौजूदा साहित्य मुख्य रूप से स्पर्शोन्मुख (asymptotic) गारंटियों पर निर्भर करता है, मॉडल-आधारित दृष्टिकोण जो समस्या के मापदंडों (जैसे कि बायस स्पैन $H$) के पूर्व ज्ञान की आवश्यकता रखते हैं, या रिडक्शन-आधारित विधियाँ जो उप-इष्टतम नमूना जटिलता (sub-optimal sample complexity) से ग्रस्त हैं या जिनमें मजबूत संरचनात्मक धारणाओं (जैसे विशिष्ट संकुचन गुणांक के साथ अपरिवर्तनीयता) की आवश्यकता होती है।

2. कार्यप्रणाली: रोबस्ट हैल्पर्निट्रेशन (Robust Halpern Iteration - RHI)

लेखक रोबस्ट हैल्पर्निट्रेशन (RHI) का प्रस्ताव करते हैं, जो एक मॉडल-मुक्त एल्गोरिदम है जिसे MDP मापदंडों के पूर्व ज्ञान की आवश्यकता के बिना रोबस्ट बेलमैन समीकरण को हल करने के लिए डिज़ाइन किया गया है।

2.1. एल्गोरिदम का मूल (Algorithmic Core)

RHI एल्गोरिदम अनुकूलन साहित्य से प्रेरित हैल्पर्निट्रेशन (Halpern Iteration) से प्रेरित है, जिसे औसत-पुरस्कार RL की विशिष्ट चुनौतियों को संभालने के लिए अनुकूलित किया गया है:

• क्वोटिएंट स्पेस फॉर्मूलेशन (Quotient Space Formulation): "दोहरे चरों के अभिशाप" (अज्ञात $g^*_P$) को संबोधित करने के लिए, लेखक समस्या को एक क्वोटिएंट स्पेस $\mathbb{R}^{SA} / \sim$ में समाहित करते हैं, जहाँ केवल एक स्थिरांक शिफ्ट द्वारा भिन्न होने वाले वेक्टर समान होते हैं। यह उन्हें $g^*_P$ को स्पष्ट रूप से जाने बिना प्रॉक्सिमल समीकरण $T_P(Q) - Q = ce$ को हल करने की अनुमति देता है।
• हैल्पर्न अपडेट (Halpern Update): मानक वैल्यू इटरेशन के बजाय, RHI इनिशियलाइजेशन और ऑपरेटर अपडेट के बीच एक कॉनवेक्स कॉम्बिनेशन का उपयोग करता है:
  $$[Q_{k+1}] = [(1 - \beta_{k+1})Q_0 + \beta_{k+1} T_P(Q_k)]$$
  जहाँ $\beta_k = k/(k+2)$ है। यह दृष्टिकोण संकुचन गुणांकों पर निर्भर किए बिना गैर-विस्तारशील ऑपरेटरों के लिए अभिसरण गारंटी प्रदान करता है।

2.2. ब्लैक-बॉक्स सैंपलिंग ऑरेकल (R-SAMPLE)

चूंकि रोबस्ट ऑपरेटर $T_P$ गैर-रैखिक है और इसमें सबसे खराब स्थिति की अपेक्षा शामिल है, इसलिए लेखक एक ब्लैक-बॉक्स सैंपलिंग ऑरेकल, R-SAMPLE पेश करते हैं। यह ऑरेकल केवल नाममात्र कर्नेल (nominal kernel) से नमूनों का उपयोग करके क्रमिक इटरेशन पर रोबस्ट सपोर्ट फंक्शन्स के बीच के अंतर का अनुमान लगाता है।

• ऑरेकल एक रैंडम इंक्रीमेंट $D_k$ लौटाता है ताकि इसकी अपेक्षा (expectation) रोबस्ट बेलमैन ऑपरेटर मानों के अंतर का अनुमान लगा सके।
• एल्गोरिदम की नमूना जटिलता (sample complexity) इस ऑरेकल के गुणों (लिप्सिट्ज़ स्थिरांक, बायस और नमूना लागत) पर आधारित है।

2.3. K-ऑर्डर मल्टी-लेवल मोंटे-कार्लो (MLMC) एस्टिमेटर

R-SAMPLE ऑरेकल को कम बायस के साथ मूर्त रूप देने के लिए, लेखक एक K-ऑर्डर MLMLC एस्टिमेटर का प्रस्ताव करते हैं।

• प्रेरणा: रोबस्ट सपोर्ट फंक्शन्स के लिए सिंगल-लेवल एस्टिमेटर्स के विभिन्न नमूना आकारों ($N_\ell = 2^\ell N_0$) के रैखिक संयोजन का उपयोग करके, यह एस्टिमेटर बायस विस्तार के पहले $K$ पदों को रद्द कर देता है।
• तंत्र: यह $K$ पदों को रद्द करने के लिए भार $w^{(K)}_\ell$ का सावधानीपूर्वक चयन करता है।
• परिणाम: यह बायस को $\tilde{O}(N_0^{-(K+1)})$ तक कम कर देता है, जिससे बहुत सटीक समग्र नमूना जटिलता प्राप्त होती है।

3. प्रमुख योगदान

1. एक सार्वभौमिक मॉडल-मुक्त एल्गोरिदम: RHI रोबस्ट औसत-पुरस्कार RL के लिए पहला मॉडल-मुक्त एल्गोरिदम है जिसे रोबस्ट इष्टतम स्पैन $H$ या मिक्सिंग टाइम के पूर्व ज्ञान की आवश्यकता नहीं है, जो रिडक्शन-आधारित दृष्टिकोणों की सीमाओं को पार करता है।
2. K-ऑर्डर MLMC एस्टिमेटर: लेखक एक नया एस्टिमेटर डिजाइन करते हैं जो पूर्व MLMC विधियों की तुलना में महत्वपूर्ण रूप से बायस को कम करता है। गैर-रैखिक रोबस्ट सपोर्ट फंक्शल्स की उपस्थिति में निकट-इष्टतम नमूना जटिलता प्राप्त करने के लिए यह अत्यंत महत्वपूर्ण है।
3. परिमित नमूना जटिलता विश्लेषण (Finite Sample Complexity Analysis): यह शोध पत्र जेनेरेटिव मॉडल सेटिंग के तहत RHI के लिए एक कठोर परिमित-नमूना विश्लेषण प्रदान करता है।
   • KL और $\chi^2$ डाइवर्जेंस अनिश्चितता सेटों के लिए, $\epsilon$-इष्टतम नीति खोजने की नमूना जटिलता $\tilde{O}\left(SAH^2 \epsilon^{-(2+o(1))}\right)$ है।
   • $\ell_p$-नॉर्म और कंटैमिनेशन सेटों के लिए, जटिलता $\tilde{O}\left(SAH^2 \epsilon^{-2}\right)$ है।
   • यहाँ, $S$ और $A$ राज्यों और कार्यों की संख्या हैं, और $H$ रोबस्ट इष्टतम बायस स्पैन है।
4. पैरामीटर-फ्री वेरिएंट (PF-RHI): लेखक एक PF-RHI वेरिएंट का प्रस्ताव करते हैं जो अज्ञात पैरामीटर $H$ के आधार पर इटरेशन की संख्या को गतिशील रूप से निर्धारित करने के लिए 'डबलिंग ट्रिक' का उपयोग करता है, जिससे समान नमूना जटिलता बनी रहती है।

4. परिणाम और सैद्धांतिक गारंटियाँ

• अभिसरण (Convergence): सटीक RHI एल्गोरिदम के अभिसरण को सिद्ध किया गया है, जहाँ इटरेशन बढ़ने के साथ बेलमैन रेसिडुअल का स्पैन और सब-ऑप्टिमलिटी गैप शून्य हो जाता है।
• नमूना जटिलता (Sample Complexity): व्युत्पन्न नमूना जटिलता मॉडल-आधारित दृष्टिकोणों (जैसे Roch et al., 2025; Chen et al., 2025) के सर्वोत्तम ज्ञात बाउंड्स के साथ स्पर्शोन्मुख रूप से मेल खाती है। घातांक में $o(1)$ पद एक उप-बहुपद दंड (sub-polynomial penalty) है जो $\epsilon \to 0$ होने पर लुप्त हो जाता है, जो मानक MLMC का उपयोग करने वाली विधियों की $\epsilon^{-3}$ जटिलता से अलग है।
• प्रायोगिक सत्यापन: Garnet समस्या और विभिन्न अनिश्चितता सेटों (कंटैमिनेशन, $\ell_\infty$, $\ell_2$) पर संख्यात्मक प्रयोग यह प्रदर्शित करते हैं कि RHI इष्टतम रोबस्ट औसत पुरस्कार की ओर अभिसरित होता है और K-ऑर्डर MLMC एस्टिमेटर मानक विधियों की तुलना में प्रभावी रूप से बायस को कम करता है।

5. महत्व और दावे

यह शोध पत्र RHI को रोबस्ट औसत-रिवॉर्ड RL के लिए स्टेट-ऑफ-द-आर्ट मॉडल-मुक्त एल्गोरिदम के रूप में स्थापित करने का दावा करता है। इसका महत्व निम्नलिखित है:

• अंतराल को पाटना: यह रोबस्ट औसत-रिवॉर्ड RL में स्पर्शोन्मुख गारंटी और परिमित-नमूना विश्लेषण के बीच के अंतर को समाप्त करता है।
• व्यावहारिकता: मॉडल-मुक्त होने और $H$ के पूर्व ज्ञान की आवश्यकता न होने के कारण, यह एल्गोरिदम वास्तविक दुनिया की तैनाती के लिए अधिक व्यावहारिक है जहाँ ऐसे पैरामीटर अज्ञात होते हैं।
• इष्टतमता: इसकी नमूना जटिलता मॉडल-आधारित विधियों के लिए ज्ञात सबसे कड़े बाउंड्स से स्पर्शोन्मुख रूप से मेल खाती है, जो यह दर्शाता है कि मॉडल-मुक्त दृष्टिकोण मॉडल निर्माण के ओवरहेड के बिना समान दक्षता प्राप्त कर सकते हैं।
• बायस रिडक्शन: K-ऑर्डर MLMC डिजाइन गैर-रैखिक फंक्शन अनुमान में अनियंत्रित बायस के कारण होने वाली उच्च नमूना जटिलता की समस्या को हल करके एक मौलिक सुधार प्रदान करता है।

लेखक नोट करते हैं कि उनका विश्लेषण सांख्यिकीय जटिलता को अलग करने के लिए एक जेनेरेटिव मॉडल (सिम्युलेटर तक पहुंच) मानता है। ऑनलाइन (एक्सप्लोरेशन-एक्सप्लोइटेशन) या ऑफलाइन (डेटासेट-संचालित) सेटिंग्स में विस्तार को भविष्य के कार्य के रूप में पहचाना गया है। इसके अतिरिक्त, KL/$\chi^2$ सेटों के लिए नमूना जटिलता में उप-बहुपद अंतर (sub-polynomial gap) गैर-रैखिक फंक्शनल्स के अनुमान में अंतर्निहित बायस-वैरिएंस ट्रेड-ऑफ के कारण है, जो मॉडल-मुक्त सेटिंग्स में पूरी तरह से समाप्त करने के लिए एक खुला प्रश्न बना हुआ है।