⚡ electrical engineering

The Sample Complexity of Online Reinforcement Learning: A Multi-model Perspective

यह शोध पत्र निरंतर अवस्था और क्रिया स्थानों वाले सामान्य गैररेखीय गतिक प्रणालियों के लिए ऑनलाइन सुदृढीकरण शिक्षण (ऑनलाइन रिइन्फोर्समेंट लर्निंग) की नमूना जटिलता (सैंपल कॉम्प्लेक्सिटी) का विश्लेषण करता है, जो ऐसे एल्गोरिदम प्रस्तावित करता है जो सामान्य मामले में $\mathcal{O}(N \epsilon^2 + d_\mathrm{u}\ln(m(\epsilon))/\epsilon^2)$ से लेकर पैरामीटराइज्ड मॉडलों के लिए $\mathcal{O}(\sqrt{d_\mathrm{u}N p})$ तक के विशिष्ट नीति पछतावा (पॉलिसी रिग्रेट) बाउंड प्राप्त करते हैं, जबकि इन सरल, पूर्व-ज्ञान-समावेशी विधियों की व्यावहारिक उपयोगिता पर बल देते हैं।

मूल लेखक: Michael Muehlebach, Zhiyu He, Michael I. Jordan

प्रकाशित 2026-03-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Michael Muehlebach, Zhiyu He, Michael I. Jordan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक घने, अनछुए कोहरे के बीच से गुजरते हुए एक जहाज के कप्तान हैं। आपका एक गंतव्य है (प्रदर्शन को अनुकूलित करना), लेकिन आप समुद्र की गतिशीलता (मैप) को नहीं जानते। आप केवल पहिया घुमाकर (कार्रवाई करके) और जहाज की प्रतिक्रिया देखकर ही दिशा तय कर सकते हैं।

यह शोध पत्र इस बारे में है कि कैसे जहाज चलाते समय तेजी से और सुरक्षित रूप से मैप को सीखा जाए, ताकि जहाज टकरा न जाए या बहुत लंबे समय तक रास्ता न भटक जाए। लेखक, माइकल मुहलेबैक, ज़िह्यु हे और माइकल आई. जोर्डन, कंप्यूटरों को (विशेष रूप से सुदृढीकरण लर्निंग (Reinforcement Learning) एल्गोरिदम को) यह सिखाने का एक नया तरीका प्रस्तावित करते हैं कि जटिल, वास्तविक दुनिया की स्थितियों में यह कैसे किया जाए जहाँ नियम सरल सीधी रेखाओं जैसे नहीं होते।

यहाँ उनके विचार का रोजमर्रा के उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. मुख्य समस्या: "एक्सप्लोरेशन बनाम एक्सप्लोइटेशन" (Exploration vs. Exploitation) का द्वंद्व

सुदृढीकरण लर्निंग (Reinforcement Learning) में, आप एक क्लासिक दुविधा का सामना करते हैं:

एक्सप्लोइटेशन (Exploitation): आप जहाज को उसी तरह मोड़ते हैं जैसा आपको लगता है कि गंतव्य तक जल्दी पहुँचने के लिए अभी सबसे अच्छा है।
एक्सप्लोरेशन (Exploration): आप जहाज को एक अजीब, यादृच्छिक (random) दिशा में मोड़ते हैं ताकि यह देखा जा सके कि क्या होता है, इस उम्मीद में कि आप समुद्र के बारे में कुछ नया सीख पाएंगे।

यदि आप केवल एक्सप्लोइट करते हैं, तो आप एक खराब स्थिति में फंस सकते हैं क्योंकि आपने कभी पूरे मैप को नहीं सीखा। यदि आप केवल एक्सप्लोर करते हैं, तो आप समुद्र के चक्कर काटते रहेंगे और कभी पहुँच नहीं पाएंगे। अधिकांश मौजूदा तरीके इस संतुलन को बनाने में संघर्ष करते हैं, खासकर जब "समुद्र" जटिल और गैर-रेखीय (non-linear) हो (जैसे एक शांत झील के बजाय एक तूफानी समुद्र)।

2. समाधान: "जुआरी के मेनू" (Gambler's Menu) वाला दृष्टिकोण

लेखक एक चतुर रणनीति प्रस्तावित करते हैं जो अनुमान लगाने और सीखने को जोड़ती है। कल्पना कीजिए कि आपके पास समुद्र के 100 अलग-अलग नक्शों (मॉडल्स) का एक मेनू है। आप नहीं जानते कि असली नक्शा कौन सा है, लेकिन आप जानते हैं कि असली नक्शा उस सूची में कहीं है।

उनका एल्गोरिदम इस प्रकार काम करता है:

मेनू: आपके पास संभावित नक्शों की एक सूची है।
स्कोरकार्ड: हर बार जब आप जहाज को मोड़ते हैं, तो आप जाँचते हैं: "किस नक्शे ने इस हलचल की सही भविष्यवाणी की?"
- यदि नक्शा A ने मोड़ की सटीक भविष्यवाणी की, तो उसका स्कोर बढ़ जाता है।
- यदि नक्शा B ने भविष्यवाणी की कि जहाज बाईं ओर जाएगा लेकिन वह दाईं ओर चला गया, तो उसका स्कोर कम हो जाता है।
जुआ (पोस्टीरियर सैंपलिंग - Posterior Sampling): केवल एक "सर्वश्रेष्ठ" नक्शा चुनने और उसी पर टिके रहने के बजाय, एल्गोरिदम मेनू से एक नक्शा यादृच्छिक रूप से चुनता है।
- उच्च स्कोर वाले नक्शों (अच्छी भविष्यवाणियों) के चुने जाने की संभावना अधिक होती है।
- कम स्कोर वाले नक्शों की संभावना बहुत कम होती है, लेकिन उन्हें अभी पूरी तरह से हटाया नहीं गया है।
"धक्का" (एक्साइटेशन - Excitation): यही असली गुप्त मंत्र है। भले ही आप एक नक्शे का पालन कर रहे हों, आप स्टीयरिंग व्हील में एक छोटा, यादृच्छिक "धक्का" (nudge) जोड़ते हैं। यह जहाज को थोड़ा हिलाने जैसा है ताकि यह सुनिश्चित हो सके कि पानी कैसे प्रतिक्रिया करता है। यह सुनिश्चित करता है कि यदि आपका वर्तमान नक्शा गलत है, तो जहाज इस तरह से प्रतिक्रिया करेगा जो आपकी गलती को उजागर कर दे, जिससे आप तेजी से सीख सकें।

3. तीन परिदृश्य (Scenarios)

यह पेपर तीन अलग-अलग स्तर की जटिलता में इस विचार का परीक्षण करता है:

परिदृश्य A: सीमित मेनू (डिस्क्रीट मॉडल्स)
- उपमा: आपके पास 50 छपे हुए नक्शों का एक भौतिक ढेर है।
- परिणाम: एल्गोरिदम जल्दी से समझ जाता है कि कौन से 1 या 2 नक्शे सबसे अच्छे हैं और खराब वाले पर समय बर्बाद करना बंद कर देता है। यह बहुत तेजी से सीखता है।
परिदृश्य B: अनंत पुस्तकालय (कंटीन्यूअस मॉडल्स)
- उपमा: आपके पास नक्शों का ढेर नहीं है; आपके पास नक्शों के अनंत संस्करणों वाली एक लाइब्रेरी है (हर संभव वक्र और कोण)।
- परिणाम: एल्गोरिदम सबसे अच्छे नक्शे को पकड़ने के लिए एक "नेट" (एक गणितीय अवधारणा जिसे पैकिंग नंबर कहा जाता है) बनाता है। यह सिद्ध करता है कि अनंत संभावनाओं के बावजूद, आप अभी भी कुशलतापूर्वक सही रास्ता खोज सकते हैं।
परिदृश्य C: न्यूरल नेटवर्क (पैरामीट्रिक मॉडल्स)
- उपमा: नक्शा कोई चित्र नहीं है; यह हजारों सामग्रियों (पैरामीटर्स) वाला एक नुस्खा (recipe) है। आप नमक, चीनी या मसाले की मात्रा को बदलकर नक्शे को बदल सकते हैं।
- परिणाम: यह सबसे व्यावहारिक परिदृश्य है (आधुनिक AI की तरह)। पेपर दिखाता है कि हजारों "सामग्रियों" को ट्यून करने के बावजूद, एल्गोरिदम सही नुस्खा ढूंढ सकता है और जहाज को सुरक्षित रूप से चला सकता है।

4. यह क्यों एक बड़ी बात है

पिछले तरीकों में दो मुख्य समस्याएं थीं:

वे बहुत सैद्धांतिक थे: वे सरल, रेखीय दुनिया (जैसे एक सीधी सड़क) में अच्छी तरह काम करते थे, लेकिन जटिल, गैर-रेखीय दुनिया (जैसे एक घुमावदार पहाड़ी सड़क) में विफल हो जाते थे।
वे "बायेसियन" (Bayesian) थे: वे "विश्वास" और संभावना पर निर्भर थे जिसे वास्तविक दुनिया में गारंटी देना कठिन था।

इस पेपर की सफलता:

यह वास्तविक दुनिया में काम करता है: यह जटिल, गैर-रेखीय प्रणालियों (जैसे तूफान में उड़ता हुआ ड्रोन या भारी वस्तुओं को हिलाने वाला रोबोटिक हाथ) को संभालता है।
यह एक "फ्रीक्वेंटिस्ट" (Frequentist) गारंटी प्रदान करता है: यह केवल यह नहीं कहता कि "हमें लगता है कि हम अच्छे हैं," बल्कि यह कहता है कि "हम गारंटी देते हैं कि $N$ चरणों के बाद, हम इष्टतम पथ के इतने करीब होंगे।" यह प्रदर्शन का एक गणितीय वादा है।
यह सरल है: इसके पीछे का गणित आश्चर्यजनक रूप से सीधा है (एक "हेज" अपडेट का उपयोग करना, जो स्मार्ट तरीके से दांव लगाने जैसा है), जिससे इसे वास्तविक इंजीनियरिंग में लागू करना आसान हो जाता है।

5. "बेनाइन ट्रांजिएंट" (Benign Transient) का वादा

कंट्रोल थ्योरी में, "ट्रांजिएंट" यात्रा के शुरुआती अराजक और अव्यवस्थित काल को कहते हैं।

पुराने तरीके: सीखने के दौरान जहाज को क्रैश कर सकते हैं या नियंत्रण से बाहर कर सकते हैं।
यह पेपर: गारंटी देता है कि सीखते समय भी जहाज स्थिर रहेगा। "धक्का" नियंत्रित है, और जहाज सीखने की कोशिश में किसी खाई में नहीं गिरेगा।

सारांश

इस शोध पत्र को स्व-चालित कारों या रोबोटों के लिए एक नए नेविगेशन सिस्टम के रूप में देखें। यह कहता है: "केवल नक्शे का अनुमान न लगाएं। संभावित नक्शों की एक सूची रखें, उन पर दांव लगाएं जो सही दिखते हैं, लेकिन अपने सिद्धांतों का परीक्षण करने के लिए कभी-कभी स्टीयरिंग व्हील को थोड़ा हिलाएं। इस तरह, आप किसी भी अन्य व्यक्ति की तुलना में वास्तविक नक्शा तेजी से सीखेंगे, और ऐसा करते समय आप टकराएंगे भी नहीं।"

लेखक गणितीय रूप से सिद्ध करते हैं कि यह दृष्टिकोण सरल रैखिक प्रणालियों से लेकर जटिल न्यूरल नेटवर्क तक सब कुछ के लिए काम करता है, जो वास्तविक, अव्यवस्थित दुनिया में AI के लिए एक विश्वसनीय मार्ग प्रदान करता है।

यहाँ ICLR 2026 में प्रकाशित शोध पत्र "The Sample Complexity of Online Reinforcement Learning: A Multi-Model Perspective" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या का निरूपण (Problem Formulation)

यह शोध पत्र निरंतर अवस्था ( $x \in \mathbb{R}^{d_x}$ ) और क्रिया ( $u \in \mathbb{R}^{d_u}$ ) स्थानों वाले गैर-एपिसोडिक (non-episodic) परिवेश में, नॉनलीनियर डायनेमिकल सिस्टम्स (nonlinear dynamical systems) के लिए ऑनलाइन सुदृढीकरण शिक्षण (online reinforcement learning - RL) की सैंपल कॉम्प्लेक्सिटी (sample complexity) को संबोधित करता है।

सिस्टम डायनेमिक्स: सिस्टम इस प्रकार विकसित होता है: $x_{k+1} = f(x_k, u_k) + n_k$ , जहाँ $f$ एक अज्ञात नॉनलीनियर फलन है और $n_k$ प्रोसेस नॉइज़ (गौसियन या सब-गौसियन) है।
उद्देश्य: निर्णय लेने वाले का लक्ष्य एक फीडबैक पॉलिसी $u_k = \mu_k(x_k)$ सीखकर अपेक्षित संचयी चरण लागत (expected cumulative stage cost) $\mathbb{E}[\sum_{k=1}^N l(x_k, u_k)]$ को न्यूनतम करना है।
मुख्य चुनौतियाँ:
- गैर-एपिसोडिक (Non-episodic): सिस्टम को रीसेट नहीं किया जा सकता; अवस्थाएँ समय के साथ सह-संबंधित (correlated) होती हैं, जो मानक i.i.d. सांख्यिकीय उपकरणों के प्रत्यक्ष अनुप्रयोग को रोकती हैं।
- एक्सप्लोरेशन-एक्सप्लोइटेशन द्वंद्व (Exploration-Exploitation Dilemma): क्रियाओं को प्रदर्शन को अनुकूलित करने और अज्ञात डायनेमिक्स के बारे में जानकारी प्रकट करने के लिए एक साथ कार्य करना चाहिए।
- नॉनलिनैरिटी और निरंतरता (Nonlinearity & Continuity): डायनेमिक्स सामान्य नॉनलीनियर फलन हैं, और स्थान निरंतर हैं, जिससे पारंपरिक टेबुलर या लीनियर विधियाँ अपर्याप्त हो जाती हैं।
- स्थिरता (Stability): लर्निंग चरण के दौरान बाउंडेड स्टेट ट्राजेक्टरीज और सौम्य ट्रांजिएंट्स (benign transients) सुनिश्चित करना।

यह शोध पत्र उम्मीदवार मॉडल क्लास $\mathcal{F}$ के लिए तीन विशिष्ट सेटिंग्स पर विचार करता है:

S1 (सीमित मॉडल - Finite Models): $m$ नॉनलीनियर कैंडिडेट मॉडल्स का एक सीमित सेट।
S2 (अनंत/नॉन-पैरामीट्रिक - Infinite/Non-parametric): एक नॉर्मड वेक्टर स्पेस (जैसे बाउंडेड लिप्सचिट्ज़ फंक्शन्स) में फंक्शन्स का एक बाउंडेड सेट।
S3 (पैरामीट्रिक - Parametric): एक कॉम्पैक्ट रियल-वैल्यूड वेक्टर $\theta \in \Omega \subset \mathbb{R}^p$ द्वारा पैरामीटराइज़ किए गए मॉडल्स (जैसे न्यूरल नेटवर्क, ट्रांसफॉर्मर, या लीनियर सिस्टम्स)।

2. कार्यप्रणाली (Methodology)

लेखक पोस्टीरियर सैंपलिंग सुदृढीकरण शिक्षण (Posterior Sampling Reinforcement Learning - PSRL) को हेज-टाइप अपडेट्स (Hedge-type updates) और सर्टेन्टी-इक्विवेलेंट कंट्रोल (Certainty-Equivalent Control) के साथ जोड़कर एल्गोरिदम का एक समूह प्रस्तावित करते हैं।

मुख्य एल्गोरिद्मिक रणनीति

एल्गोरिदम पर्याप्त उत्तेजना (excitation) सुनिश्चित करने के लिए प्रत्येक $M$ स्टेप के बाद मॉडल चयन को अपडेट करते हुए, डिस्क्रीट टाइम स्टेप्स में कार्य करता है:

मॉडल स्कोरिंग (Model Scoring): प्रत्येक अपडेट स्टेप पर, एल्गोरिदम प्रत्येक कैंडिडेट मॉडल $f^i$ के लिए एक प्रेडिक्शन एरर स्कोर $s_k^i$ की गणना करता है:
$s_k^i = \sum_{j=1}^{k-1} \frac{|x_{j+1} - f^i(x_j, u_j)|^2}{1 + |(x_j, u_k)|^2/b^2}$
यह स्कोर नेगेटिव लॉग-लाइक्लीहुड (गौसियन नॉइज़ मानते हुए) के रूप में कार्य करता है। नॉर्मलाइजेशन टर्म बड़े स्टेट्स के लिए भी बाउंडेडनेस सुनिश्चित करता है।
पोस्टीरियर सैंपलिंग (Hedge Update): एल्गोरिदम एक इंडेक्स $i_k$ (या पैरामीटर $\theta_k$ ) को $\exp(-\eta s_k^i)$ के समानुपाती वितरण से सैंपल करता है, जहाँ $\eta$ एक लर्निंग रेट है। यह ऑनलाइन लर्निंग में हेज (Hedge) एल्गोरिदम के समान है लेकिन इसे डिपेंडेंट डायनेमिकल सिस्टम्स के लिए अनुकूलित किया गया है।
सर्टेन्टी-इक्विवेलेंट कंट्रोल (Certainty-Equivalent Control): एक बार मॉडल सैंपल होने के बाद, उस विशिष्ट मॉडल के लिए एक कंट्रोल पॉलिसी $\mu_{i_k}$ की गणना की जाती है (जैसे डायनेमिक प्रोग्रामिंग, MPC, या PPO के माध्यम से)।
उत्तेजना (Excitation): वास्तविक कंट्रोल इनपुट $u_k = \mu_{i_k}(x_k) + n_{u_k}$ है, जहाँ $n_{u_k}$ एडिटिव गौसियन नॉइज़ है। यह परसिस्टेंस ऑफ एक्साइटेशन (Persistence of Excitation - PE) यह सुनिश्चित करने के लिए महत्वपूर्ण है कि पोस्टीरियर वितरण वास्तविक मॉडल की ओर तेजी से अभिसरित (converge) हो।

सैद्धांतिक ढांचा (Theoretical Framework)

सेपरेशन प्रिंसिपल (Separation Principle): दृष्टिकोण मॉडल आइडेंटिफिकेशन (पोस्टीरियर सैंपलिंग के माध्यम से) को कंट्रोल सिंथेसिस (सर्टेन्टी-इक्विवेलेंट पॉलिसी) से अलग करता है।
लियापुनोव विश्लेषण (Lyapunov Analysis): लेखक स्टेट ट्राजेक्टरीज की स्थिरता और बाउंडेडनेस को सिद्ध करने के लिए कॉस्ट-टू-गो फंक्शन $V(x)$ को लियापुनोव फंक्शन के रूप में उपयोग करते हैं।
मान्यताएँ (Assumptions):
- रियलाइज़ेबिलिटी (Realizability): वास्तविक डायनेमिक्स $f$ कैंडिडेट सेट $\mathcal{F}$ के भीतर है (इसे परिशिष्ट G में शिथिल किया गया है)।
- परसिस्टेंस ऑफ एक्साइटेशन (Persistence of Excitation - PE): एक ऐसी स्थिति जो यह सुनिश्चित करती है कि सिस्टम ट्राजेक्टरी मॉडल्स के बीच अंतर करने के लिए पर्याप्त जानकारी प्रदान करती है।
- स्मूथनेस/डिसिपेशन (Smoothness/Dissipation): डायनेमिक्स और पॉलिसियों की लिप्सचिट्ज़ निरंतरता, और सिस्टम डिसिपेशन को दर्शाने वाला बेलमैन-टाइप असमानता।

3. मुख्य योगदान (Key Contributions)

नॉन-एसिम्प्टोटिक फ्रीक्वेंटिस्ट रिग्रेट गारंटी (Non-Asymptotic Frequentist Regret Guarantees): पिछले PSRL कार्यों के विपरीत, जो अक्सर बेयसियन रिग्रेट बाउंड प्रदान करते हैं या मिक्सिंग मान्यताओं पर निर्भर करते हैं, यह शोध पत्र फ्रीक्वेंटिस्ट पॉलिसी रिग्रेट बाउंड प्रदान करता है जो किसी भी विशिष्ट एनवायरनमेंट रियलाइजेशन के लिए लागू होते हैं, यहाँ तक कि स्थिरता सीमाओं के पास भी।
नॉनलीनियर सिस्टम्स के लिए मल्टी-मॉडल परिप्रेक्ष्य: यह कार्य लीनियर सिस्टम्स से अनंत मॉडल क्लासेस और पैरामीट्रिक न्यूरल नेटवर्क वाले व्यापक वर्गों तक सैंपल कॉम्प्लेक्सिटी विश्लेषण का सामान्यीकरण करता है।
नवीन रिग्रेट बाउंड्स (Novel Regret Bounds):
- सीमित मॉडल (S1): रिग्रेट हॉरिजन $N$ और मॉडल्स की संख्या $m$ के लॉगरिदमिक रूप में स्केल करता है: $O(\frac{d_u \ln(N) + d_u \ln(m)}{\Delta})$ , जहाँ $\Delta$ मॉडल सेपरेशन है।
- नॉन-पैरामीट्रिक (S2): रिग्रेट पैकिंग नंबर $m(\epsilon)$ पर निर्भर करता है: $O(N\epsilon^2 + \frac{d_u \ln(N) + d_u \ln(m(\epsilon))}{\epsilon^2})$ । बाउंडेड लिप्सचिट्ज़ फंक्शन्स के लिए, रिग्रेट सबलीनियर ( $o(N)$ ) है।
- पैरामीट्रिक (S3): पैरामीट्रिक मॉडल्स (जैसे न्यूरल नेटवर्क) के लिए, रिग्रेट $O(\sqrt{d_u N p})$ है, जहाँ $p$ पैरामीटर्स की संख्या है। यह लीनियर क्वाड्रेटिक रेगुलेटर्स (LQR) के ज्ञात परिणामों को रिकवर करता है जबकि इसे सामान्य पैरामीट्रिक नॉनलीनियर डायनेमिक्स तक विस्तारित करता है।
स्थिरता और बाउंडेडनेस (Stability and Boundedness): शोध पत्र सिद्ध करता है कि स्टेट ट्राजेक्टरीज बाउंडेड (सब-गौसियन) रहती हैं और लगभग निश्चित रूप से (almost surely) सीमित समय में अभिसरित होती हैं, जो एडेप्टिव कंट्रोल की एक प्राथमिक चिंता को संबोधित करती है।
व्यावहारिकता (Practicality): प्रस्तावित एल्गोरिदम ऑप्टिमिस्टिक पॉलिसियों या जटिल कॉन्फिडेंस रीजन की गणना करने से बचते हैं (जैसा कि "ऑप्टिमिज्म इन द फेस ऑफ अनसर्टेनिटी" विधियों में होता है), जिससे उन्हें मौजूदा कंट्रोल तकनीकों जैसे MPC के साथ एकीकृत करना आसान हो जाता है।

4. मुख्य परिणाम (Key Results)

थ्योरम 2.1 (S1): मॉडल्स के सीमित सेट के लिए, पॉलिसी रिग्रेट हॉरिजन $N$ और मॉडल्स की संख्या $m$ में लॉगरिदमिक टर्म्स द्वारा बाउंडेड है।
थ्योरम 2.2 (S2): अनंत फंक्शन क्लासेज के लिए, रिग्रेट पैकिंग नंबर $m(\epsilon)$ पर निर्भर करता है। बाउंडेड लिप्सचिट्ज़ फंक्शन्स के लिए, रिग्रेट सबलीनियर ( $o(N)$ ) है।
थ्योरम 2.3 (S3): पैरामीट्रिक मॉडल्स (जैसे न्यूरल नेटवर्क) के लिए, रिग्रेट $O(\sqrt{d_u N p})$ है। यह लीनियर सिस्टम्स के लिए इष्टतम दर से मेल खाता है लेकिन सामान्य पैरामीट्रिक नॉनलीनियर डायनेमिक्स पर लागू होता है।
संख्यात्मक प्रयोग (Numerical Experiments):
- लीनियर सिस्टम्स: 10,000 कैंडिडेट मॉडल्स के साथ भी, लगभग इष्टतम स्टेडी-स्टेट परफ़ॉर्मेंस (लगभग 20 स्टेप्स के भीतर) तक तीव्र अभिसरण प्रदर्शित किया।
- नॉनलीनियर पेंडुलम: एक कार्ट-पोल सिस्टम के लिए स्विंग-अप टास्क को सफलतापूर्वक नियंत्रित किया जहाँ वास्तविक डायनेमिक्स कैंडिडेट सेट में नहीं थे (मिसस्पेसिफिकेशन), और लगभग 100 स्टेप्स में एक स्थिर बैलेंस की ओर अभिसरित हुआ।
- स्केलेबिलिटी: एल्गोरिदम एक मानक लैपटॉप पर कुशलतापूर्वक चले, जहाँ बॉटलनेक मॉडल सैंपलिंग के बजाय पॉलिसी इवैल्यूएशन (MPC) था।

5. महत्व (Significance)

यह शोध पत्र सांख्यिकीय शिक्षण सिद्धांत (statistical learning theory), ऑनलाइन ऑप्टिमाइज़ेशन, और कंट्रोल थ्योरी के बीच के अंतर को पाटता है।

सैद्धांतिक प्रभाव: यह स्थापित करता है कि जब स्पष्ट उत्तेजना (excitation) और लियापुनोव विश्लेषण के साथ जोड़ा जाता है, तो पोस्टीरियर सैंपलिंग, निरंतर, नॉनलीनियर, गैर-एपिसोडिक सिस्टम्स के लिए मजबूत फ्रीक्वेंटिस्ट गारंटी प्रदान करता है। यह पूर्व साहित्य में सामान्य एपिसोडिक रीसेट या लीनियर डायनेमिक्स की प्रतिबंधात्मक मान्यताओं से आगे बढ़ता है।
व्यावहारिक प्रभाव: प्रस्तावित एल्गोरिदम गणनात्मक रूप से सुलभ (tractable) हैं और कार्यान्वयन में सरल हैं। आइडेंटिफिकेशन और कंट्रोल को अलग करके, वे अभ्यासकर्ताओं को पॉलिसी इवैल्यूएशन के लिए शक्तिशाली सिम्युलेटर या MPC का उपयोग करने की अनुमति देते हैं, जबकि मॉडल चयन के लिए सरल सांख्यिकीय अपडेट पर भरोसा करते हैं।
भविवीष्य की दिशाएं: यह कार्य आंशिक अवलोकन (partial observability), नॉन-एडिटिव नॉइज़, और जटिल फंक्शन क्लासेज के लिए पदानुक्रमित कवरेज रणनीतियों (hierarchical coverage strategies) को संभालने के मार्ग खोलता है।

संक्षेप में, यह शोध पत्र जटिल डायनेमिकल सिस्टम्स के लिए ऑनलाइन RL के लिए एक कठोर, एकीकृत ढांचा प्रदान करता है, जो आयाम और मॉडल जटिलता के साथ अनुकूल रूप से स्केल करने वाले सिद्ध प्रदर्शन गारंटी प्रदान करता है, साथ ही सिस्टम स्थिरता सुनिश्चित करता है।