तकनीकी सारांश: निरंतर MDPs के लिए औसत लागत मानदंडों के अंतर्गत Q-लर्निंग

1. समस्या का निरूपण (Problem Formulation)

यह शोध पत्र निरंतर अवस्था और क्रिया स्थानों (continuous state and action spaces) वाले अनंत-क्षितिज औसत लागत मानदंड (infinite-horizon average cost criterion) के अंतर्गत मार्कोव निर्णय प्रक्रियाओं (MDPs) को हल करने की चुनौती को संबोधित करता है। मॉडल को एक टुपल $(X, U, \mathcal{T}, c)$ द्वारा परिभाषित किया गया है, जहाँ $X$ और $U$ मानक बोरेल स्पेस (complete, separable metric spaces) हैं, $\mathcal{T}$ ट्रांज़िशन कर्नेल है, और $c$ लागत फलन (cost function) है। उद्देश्य एक ऐसी नीति $\pi$ खोजना है जो दीर्घकालिक औसत लागत को न्यूनतम करे:
$$J^*(x) := \inf_{\pi} \limsup_{T \to \infty} \frac{1}{T} \mathbb{E}^\pi_x \left[ \sum_{t=0}^{T-1} c(x_t, u_t) \right]$$

लेखक इस बात पर प्रकाश डालते हैं कि जबकि निरंतर स्थानों के लिए परिमित-क्षितिज (finite-horizon) और डिस्काउंटेड-कॉस्ट (discounted-cost) समस्याएं बेलमैन ऑपरेटरों के अभिसरण गुणों (contraction properties) का उपयोग करके अच्छी तरह से अध्ययन की गई हैं, औसत-लागत समस्याएं अद्वितीय कठिनाइयाँ प्रस्तुत करती हैं। विशेष रूप से, डिस्काउंट फैक्टर की अनुपस्थिति तत्काल अभिसरण मैपिंग (immediate contraction mapping) को हटा देती है, जिसके लिए वैकल्पिक स्थिरता और एर्गोडिसिटी (ergodicity) धारणाओं की आवश्यकता होती है। इसके अलावा, औसत-लागत सुदृढीकरण लर्निंग (RL) पर मौजूदा साहित्य मुख्य रूप से परिमित स्थानों पर केंद्रित है या प्रतिबंधात्मक संरचनात्मक धारणाएं (जैसे, रैखिक गतिकी, लिप्सचिट्ज़ नीतियां) थोपता है जो सामान्य निरंतर स्थानों के लिए प्रयोज्यता को सीमित करती हैं।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र दोहरे दृष्टिकोण का उपयोग करता है: क्वांटाइजेशन के माध्यम से परिमित सन्निकटन (finite approximation via quantization) और इन सन्निकटनों के लिए डिज़ाइन किए गए सुदृढीकरण लर्निंग एल्गोरिदम।

2.1 विविक्तीकरण और सन्निकटन (Discretization and Approximation)

मुख्य कार्यप्रणाली में निरंतर स्थानों को क्वांटाइज करके एक परिमित-अवस्था, परिमित-क्रिया सन्निकट MDP का निर्माण करना शामिल है।

• अवस्था क्वांटाइजेशन (State Quantization): अवस्था स्थान $X$ को प्रतिनिधि अवस्थाओं $y_i$ के साथ असतत बिनों (disjoint bins) $\{B_i\}_{i=1}^M$ में विभाजित किया जाता है। एक मैपिंग $q: X \to Y$ (जहाँ $Y$ प्रतिनिधियों का एक परिमित सेट है) को परिभाषित किया जाता है।
• क्रिया क्वांटाइजेशन (Action Quantization): क्रिया स्थान $U$ को एक परिमित सेट $\Lambda$ द्वारा सन्निकट किया जाता है।
• सन्निकट मॉडल निर्माण (Approximate Model Construction): सन्निकट मॉडल $(\hat{X}, \hat{U}, \hat{\mathcal{T}}, \hat{c})$ को एक भार माप $\mu$ (अक्सर अवस्था प्रक्रिया का इनवेरिएंट मेजर) का उपयोग करके परिभाषित किया गया है। सन्निकट लागत और ट्रांज़िशन कर्नेल मूल फलनों के क्वांटाइजेशन बिनों पर औसत हैं:
  $$\hat{c}(y_i, u) = \int_{B_i} c(z, u) \mu_{y_i}(dz), \quad \hat{\mathcal{T}}(A|y_i, u) = \int_{B_i} \mathcal{T}(A|z, u) \mu_{y_i}(dz)$$
• शिथिल निरंतरता स्थितियाँ (Relaxed Continuity Conditions): एक महत्वपूर्ण पद्धतिगत बदलाव टोटल वेरिएशन (TV) निरंतरता की शर्त को शिथिल करना है, जो पूर्व सन्निकटन साहित्य (जैसे, Saldi et al., 2018) में मानक है। लेखक निम्नलिखित के तहत सन्निकटन परिणाम स्थापित करते हैं:
  1. दुर्बल निरंतरता (Weak Continuity/Feller): ग्रिड आकार कम होने पर त्रुटियों के विषम अभिसरण (asymptotic convergence) के लिए पर्याप्त है।
  2. वासरस्टीन निरंतरता (Wasserstein Continuity): ग्रिड आकार कम होने पर स्पष्ट अभिसरण दर (त्रुटि सीमाएं) स्थापित करने के लिए पर्याप्त है।

2.2 सुदृढीकरण लर्निंग एल्गोरिदम (Reinforcement Learning Algorithms)

शोध पत्र सीधे डेटा से अनुमानित मॉडल के लिए इष्टतम नीति सीखने के लिए क्वांटाइज्ड Q-लर्निंग (Quantized Q-Learning) एल्गोरिदम का प्रस्ताव करता है।

• सिंक्रोनस एल्गोरिदम (Algorithm 1): सभी अवस्था-क्रिया युग्मों के लिए Q-मानों को एक साथ अपडेट करता है। यह एक पूर्व-निर्धारित माप के अनुसार प्रत्येक बिन से अवस्थाओं के नमूने लेने पर निर्भर करता है।
• एसिंक्रोनस एल्गोरिदम (Algorithm 2): मूल निरंतर प्रक्रिया के एकल प्रक्षेपवक्र (single trajectory) के आधार पर Q-मानों को अपडेट करता है। यह अधिक व्यावहारिक है लेकिन एक गैर-मार्कोवियन शोर पद (non-Markovian noise term) पेश करता है क्योंकि क्वांटटाइज्ड प्रक्रिया $q(X_t)$ एक मार्कोव श्रृंखला नहीं है (यह क्वांटटाइज्ड अवस्था के दृष्टिकोण से एक आंशिक रूप से अवलोकन योग्य MDP है)।
• अभिसरण तंत्र (Convergence Mechanism): औसत लागत मानदंड और Q-इटरेट्स में अनिश्चितता (डिस्काउंटेड मामलों के विपरीत) को संभालने के लिए, लेखक निम्नलिखित का उपयोग करते हैं:
  • सिंक्रोनस अपडेट के लिए स्पैन सेमी-नॉर्म्स (Span Semi-norms)।
  • एर्गोडिसिटी धारणाएं (Ergodicity Assumptions): अन्वेषण नीति (exploration policy) को क्वांटटाइज्ड बिनों पर पूर्ण समर्थन के साथ एक अद्वितीय इनवेरिएंट मेजर प्रेरित करना चाहिए।
  • शिफ्टेड अपडेट्स (Shifted Updates): एसिंक्रोनस एल्गोरिदम एक संदर्भ मान (एक विशिष्ट बिन पर आधारित) घटाता है ताकि पुनरावृत्ति को स्थिर किया जा सके, जो क्वांटटाइज्ड प्रक्रिया को एक POMDP के रूप में मानता है।

3. प्रमुख योगदान (Key Contributions)

यह शोध पत्र तीन प्राथमिक योगदान देता है, जो निरंतर-स्थान औसत-लागत नियंत्रण में अत्याधुनिक ज्ञान को आगे बढ़ाता है:

1. कमजोर शर्तों के साथ सन्निकटन सिद्धांत (Approximation Theory with Weaker Conditions):

   • लेखक दुर्बल निरंतरता (Weak Continuity) और वासरस्टीन निरंतरता (Wasserstein Continuity) के तहत त्रुटि सीमाओं के लिए प्रावधान प्रदान करते हैं, जो पिछले कार्यों (जैसे, Saldi et al., 2018) द्वारा आवश्यक सख्त टोटल वेरिएशन निरंतरता को शिथिल करते हैं।
   • वे स्थापित करते हैं कि वासरस्टीन निरंतरता (एक अभिसरण स्थिरांक $K_T < 1$ के साथ) के तहत, इष्टतम औसत लागत में त्रुटि क्वांटाइजेशन त्रुटि ($L_X^\delta$) के आनुपातिक रूप से घटती है।
   • केवल दुर्बल निरंतरता के तहत, वे सिद्ध करते हैं कि जैसे-जैसे विविक्तीकरण (discretization) सूक्ष्म होता जाता है, सन्निकट नीति की लागत का इष्टतम लागत की ओर विषम अभिसरण होता है।

2. क्वांटाइज्ड Q-लर्निंग का अभिसरण (Convergence of Quantized Q-Learning):

   • शोध पत्र निरंतर स्थानों के लिए सिंक्रोनस और एसिंक्रोनस दोनों Q-लर्निंग एल्गोरिदम के लगभग निश्चित अभिसरण (almost sure convergence) को स्थापित करता है।
   • महत्वपूर्ण रूप से, यह सिद्ध करता है कि ये एल्गोरिदम न केवल मूल निरंतर मॉडल, बल्कि निर्मित परिमित अनुमानित मॉडल के इष्टतम Q-मानों की ओर अभिसरण करते हैं। यह अंतर महत्वपूर्ण है क्योंकि क्वांटटाइज्ड प्रक्रिया सख्ती से मार्कोवियन नहीं है।
   • यह विश्लेषण पिछले परिणामों (जैसे, Kara and Yüksel, 2023) को डिस्काउंटेड लागत से अधिक चुनौतीपूर्ण औसत-लागत मानदंड तक सामान्यीकृत करता है, जिसमें अनबाउंडेड (unbounded) Q-इटरेट्स को संभालने के लिए नए तकनीकी विश्लेषण की आवश्यकता होती है।

3. निकट-इष्टतमता गारंटी (Near-Optimality Guarantees):

   • सन्निकटन त्रुटि सीमाओं को लर्निंग एल्गोरिदम के अभिसरण के साथ जोड़कर, शोध पत्र प्रदर्शित करता है कि क्वांटटाइज्ड Q-लर्निंग के माध्यम से सीखी गई नीतियां मूल निरंतर MDP के लिए निकट-इष्टतम (near-optimal) हैं।
   • प्रदर्शन हानि को लागत और ट्रांज़िशन कर्नेल के लिप्सचिट्ज़ स्थिरांकों और क्वांटाइजेशन रिज़ॉल्यूशन के संदर्भ में स्पष्ट रूप से सीमित किया गया है।

4. प्रमुख परिणाम और प्रमेय (Key Results and Theorems)

• प्रमेय 1 और 2 (सन्निकटन सीमाएं): मूल मॉडल ($\rho$) और अनुमानित मॉडल ($\hat{\rho}$) के बीच इष्टतम औसत लागत के अंतर पर ऊपरी सीमा स्थापित करते हैं।
  • वासरस्टीन निरंतरता के तहत: $|\rho - \hat{\rho}| \leq C \cdot (L_X)^\delta$, जहाँ $L_X$ क्वांटाइजेशन त्रुटि है।
  • दुर्बल निरंतरता के तहत: $\lim_{n \to \infty} \rho(\pi_n) = \rho$।
• प्रमेय 5 और 6 (एल्गोरिदम अभिसरण): यह सिद्ध करते हैं कि सिंक्रोनस और एसिंक्रोनस Q-लर्निंग पुनरावृत्तियाँ परिमित अनुमानित मॉडल के इष्टतम Q-मानों की ओर अभिसरण करती हैं। एसिंक्रोनस अभिसरण औसत लागत मानदंडों के तहत इस सेटिंग में एर्गोडिसिटी पर निर्भर करता है।
• उपप्रमेय 1 (Corollary 1): सन्निकटन और लर्निंग परिणामों को जोड़कर यह दिखाता है कि सीखी गई नीति $\hat{\pi}$ संतुष्ट करती है $\rho(\hat{\pi}) - \rho \leq \epsilon$, जहाँ $\epsilon$ विविक्तीकरण ग्रिड आकार के शून्य की ओर जाने पर लुप्त हो जाता है।

5. महत्व और दावे (Significance and Claims)

लेखक इस कार्य को निरंतर स्थानों वाले औसत-लागत MDPs के लिए सुदृढीकरण लर्निंग से संबंधित खुले प्रश्नों के समाधान के रूप में प्रस्तुत करते हैं।

• धारणाओं का शिथलीकरण (Relaxation of Assumptions): शोध पत्र दावा करता है कि टोटल वेरिएशन निरंतरता से हटकर दुर्बल और वासरकीन निरंतरता की ओर बढ़कर एक महत्वपूर्ण सैद्धांतिक प्रगति की है, जो अक्सर व्यावहारिक मॉडलों के लिए बहुत प्रतिबंधात्मक होती है। यह उन प्रणालों (जैसे, योगात्मक शोर या विशिष्ट गतिकी वाले सिस्टम) के वर्ग को व्यापक बनाता जिनके लिए सैद्धांतिक गारंटी प्रदान की जा सकती है।
• सिद्धांत और व्यवहार को जोड़ना (Bridging Theory and Practice): यह सिद्ध करके कि Q-लर्निंग एक अच्छी तरह से परिभाषित परिमित सन्निकटन के समाधान की ओर अभिसरण करता है, शोध पत्र निरंतर औसत-लागत सेटिंग्स में विविक्तीकरण-आधारित RL के उपयोग के लिए एक कठोर औचित्य प्रदान करता है। यह स्पष्ट करता है कि "निकट-इष्टतमता" सन्निकटन की गुणवत्ता का सीधा परिणाम है, न कि लर्निंग एल्गोरिदम का एक आर्टिफैक्ट।
• गैर-मार्कोवियन क्वांटाइजेशन को संभालना (Handling Non-Markovian Quantization): शोध पत्र स्पष्ट रूप से इस तकनीकी कठिनाई को संबोधित करता है कि क्वांटटाइज्ड अवस्था प्रक्रिया एक POMDP है, न कि एक MDP, और औसत लागत मानदंडों के तहत इस सेटिंग में एसिंक्रोनस लर्निंग के लिए अभिसरण प्रमाण प्रदान करता है, जो साहित्य (जैसे, Wan et al., 2021) में एक अंतराल था।

शोध पत्र एक निरंतर नियंत्रण समस्या पर एक संख्यात्मक केस स्टडी के साथ समाप्त होता है, जो मान फलनों (value functions) के अभिसरण और क्वांटाइजेशन दर बढ़ने के साथ रिग्रेट (regret) में कमी को प्रदर्शित करता है, जिससे सैद्धांतिक सीमाओं की पुष्टि होती है।