🔢 mathematics

Extensions of Robbins-Siegmund Theorem with Applications in Reinforcement Learning

यह शोध पत्र रॉबिन्स-सीगमंड प्रमेय (Robbins-Siegmund theorem) का विस्तार एक नवीन मृदु धारणा (mild assumption) के तहत वर्ग-सम्मणीय (square-summable) (बजाय सम्मणीय (summable)) शून्य-क्रम पदों वाले लगभग सुपरमार्टिंगेल (almost supermartingales) को संभालने के लिए करता है, जिससे नए अभिसरण दर (convergence rates) और सांद्रता सीमाएं (concentration bounds) स्थापित होती हैं जो रैखिक फलन सन्निकटन (linear function approximation) के साथ Q-लर्निंग के लिए प्रथम लगभग निश्चित अभिसरण गारंटी प्रदान करती हैं।

मूल लेखक: Xinyu Liu, Zixuan Xie, Shangtong Zhang

प्रकाशित 2026-05-28

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xinyu Liu, Zixuan Xie, Shangtong Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही भीड़भाड़ वाले, अराजक पार्किंग लॉट में अपनी कार पार्क करने के लिए एकदम सही जगह खोजने की कोशिश कर रहे हैं। आपके पास एक GPS (एक एल्गोरिदम) है जो आपको दिशा निर्देश देता है, लेकिन वह GPS थोड़ा गड़बड़ (glitchy) है। कभी-कभी यह आपको दाएं मुड़ने के बजाय बाएं मुड़ने के लिए कहता है, या यह दिशा का एक बहुत बड़ा, अचानक झटका देता है जो आपको पूरे लॉट में उड़ा ले जाता है।

दशकों से, गणितज्ञों के पास एक बहुत ही प्रसिद्ध नियम (रॉबिन्स-सीगमंड प्रमेय/Robbins-Siegmund theorem) था जो यह भविष्यवाणी करता था कि क्या आपकी कार अंततः हिलना बंद करके एक ही जगह पर पूरी तरह से पार्क हो जाएगी। हालाँकि, इस पुराने नियम की एक सख्त आवश्यकता थी: GPS की "गड़बड़ियाँ" या "झटके" इतनी तेज़ी से छोटे होते जाने चाहिए थे कि उनका कुल योग सीमित (finite) हो। दूसरे शब्दों में, शोर (noise) को बहुत तेज़ी से खत्म होना पड़ता था।

समस्या:
आजकल के कई सुदृढीकरण शिक्षण (Reinforcement Learning - RL) परिदृश्यों में—जैसे कि कंप्यूटर को गेम खेलना या कार चलाना सिखाने में—"गड़बड़ियाँ" इतनी तेज़ी से खत्म नहीं होती हैं कि वे पुराने नियम को संतुष्ट कर सकें। वे "स्क्वायर-समेबल" (square-summable) हैं (वे छोटी तो होती हैं, लेकिन उतनी तेज़ी से नहीं)। पुराने नियमों के तहत, गणितज्ञ यह साबित नहीं कर सकते थे कि कार कभी रुकेगी या नहीं; वे केवल इतना कह सकते थे, "खैर, यह अनंत तक उड़ सकती है, या यह बस चक्कर काटते हुए घूम सकती है।"

समाधान:
इस शोध पत्र के लेखकों ने, सिन्यू लियू, ज़िक्सुआन ज़ी और शंगतोंग झांग ने, नियम पुस्तिका को फिर से लिखने का निर्णय लिया। उन्होंने एक विस्तारित संस्करण (extended version) बनाया है।

यहाँ उन्होंने इसे सरल रूपकों का उपयोग करके समझाया है:

1. "सीमित सेट" (Bounded Set) बनाम "एकल बिंदु" (Single Point)

पुराना प्रमेय वादा करता था कि आपकी कार अंततः एक सटीक पार्किंग स्पॉट (एक एकल बिंदु) पर रुक जाएगी।
नया प्रमेय स्वीकार करता है कि एक अराजक लॉट में, आप शायद कभी एक सटीक स्थान पर नहीं पहुँच पाएंगे। इसके बजाय, यह सिद्ध करता है कि आपकी कार अंततः एक विशिष्ट, सुरक्षित क्षेत्र के भीतर (एक सीमित सेट) घूमना बंद कर देगी।

सादृश्य (Analogy): एक एकल वर्ग के केंद्र में पूरी तरह से पार्क होने का वादा करने के बजाय, नया नियम यह वादा करता है कि आप 10 फुट के घेरे के भीतर सुरक्षित रहेंगे। आप उस घेरे के अंदर इधर-उधर भटक सकते हैं, लेकिन आप कारों की अगली पंक्ति में नहीं टकराएंगे।

2. झटकों पर "गति सीमा" (Speed Limit)

इस नए नियम को काम करने के लिए, लेखकों ने एक सुरक्षा रेलिंग जोड़ी। उन्होंने माना कि भले ही GPS एक बड़ा झटका दे, लेकिन कार की गति बहुत अधिक अनियंत्रित रूप से नहीं बढ़ सकती।

सादृश्य: कल्पना कीजिए कि कार में एक गवर्नर (नियंत्रक) लगा है। यदि GPS चिल्लाता है "कूद जाओ!", तो कार कूद सकती है, लेकिन कूदने की ऊंचाई इस बात से सीमित है कि कार वर्तमान में कितनी तेज़ चल रही है। यह केवल इसलिए चंद्रमा तक नहीं कूद सकती क्योंकि GPS में गड़बड़ी हुई है। यह "पैथोलॉजिकल स्पाइक्स" (अचानक, अनंत उछाल) को रोकता है जो पुराने नियमों को विफल करने का कारण बनते थे।

3. परिणाम: केवल "यह रुकता है," नहीं बल्कि "कितनी तेज़ी से?"

लेखकों ने केवल यह नहीं कहा कि "यह घेरे के भीतर रहता है।" उन्होंने तीन नए गेज के साथ एक विस्तृत डैशबोर्ड प्रदान किया:

लगभग निश्चित अभिसरण दर (Almost Sure Convergence Rate): कार उस घेरे में कितनी तेज़ी से स्थिर होती है? (जैसे, "यह 100 चरणों में 90% तक पहुँच जाती है।")
उच्च संभाव्यता संकेंद्रण (High Probability Concentration): इसकी कितनी संभावना है कि कार घेरे के भीतर रहे? (जैसे, "500 चरणों के बाद 99.9% संभावना है कि आप कार को घेरे के बाहर नहीं देखेंगे।")
$L_p$ अभिसरण ( $L_p$ Convergence): घेरे के भीतर कार के औसत "डगमगाहट" (wobble) को मापने का एक गणितीय तरीका।

4. वास्तविक दुनिया का परीक्षण: लीनियर Q-लर्निंग (Linear Q-Learning)

लेखकों ने अपने नए नियम का परीक्षण एक विशिष्ट, प्रसिद्ध और अत्यंत कठिन एल्गोरिदम पर किया जिसे लीनियर Q-लर्निंग कहा जाता है।

संदर्भ: दशकों से, विशेषज्ञों का मानना था कि लीनियर Q-लर्निंग "अस्थिर" (unstable) या "घातक" (deadly) है। उन्हें लगा कि यह अंततः क्रैश हो जाएगा या अलग हो जाएगा क्योंकि इसमें "डेडली ट्रायड" (अनुमान, ऑफ-पॉलिसी लर्निंग और बूटस्ट्रैपिंग का मिश्रण) मौजूद है।
खोज: अपने नए प्रमेय का उपयोग करते हुए, लेखकों ने सिद्ध किया कि लीनियर Q-लर्निंग वास्तव में स्थिर है, बशर्ते आप एक विशिष्ट प्रकार की "तमीज़ की गई" (tamed) व्यवहार नीति (खोज करने का एक तरीका जो बहुत अधिक लालची नहीं है) का उपयोग करें।
महत्वपूर्ण उपलब्धि: उन्होंने केवल यह सिद्ध नहीं किया कि यह सुरक्षित रहता है; उन्होंने पहली बार यह भी बताया कि यह कितनी तेज़ी से सुरक्षित होता है, इसकी कितनी संभावना है, और इसमें कितनी डगमगाहट होती है।

सारांश

इस शोध पत्र को अराजक वातावरण के लिए नेविगेशन सिस्टम को अपग्रेड करने के रूप में देखें।

पुराना सिस्टम: "यदि सड़क पूरी तरह से चिकनी है, तो आप सटीक गंतव्य तक पहुँच जाएंगे।"
नया सिस्टम: "भले ही सड़क ऊबड़-खाबड़ हो और GPS गड़बड़ करे, जब तक कि झटके बहुत अधिक हिंसक न हों, आप एक सुरक्षित पड़ोस के भीतर रहेंगे। और यहाँ बताया गया है कि आप वहाँ कितनी तेज़ी से पहुँचेंगे और वहाँ रहने की आपकी कितनी संभावना है।"

यह एक बड़ा कदम है क्योंकि यह वैज्ञानिकों को उन जटिल AI एल्गोरिदम का विश्लेषण करने और उन पर भरोसा करने की अनुमति देता है जिन्हें पहले कठोरता से अध्ययन करना असंभव माना जाता था।

तकनीकी सारांश: रॉबिन्स-सीगमंड प्रमेय के विस्तार और सुदृढीकरण शिक्षण (Reinforcement Learning) में उनके अनुप्रयोग

1. समस्या विवरण (Problem Statement)

रॉबिन्स-सीगमंड प्रमेय स्टोकेस्टिक पुनरावृत्ति एल्गोरिदम (stochastic iterative algorithms), विशेष रूप से स्टोकेस्टिक सन्निकटन (stochastic approximation) और सुदृढीकरण शिक्षण (RL) के विश्लेषण के लिए एक आधारभूत उपकरण है। यह "लगभग सुपरमार्टिंगेल" (almost supermartingales - शोर वाले अनुक्रम) के लगभग निश्चित अभिसरण (almost sure convergence) को स्थापित करता है, जब शून्य-क्रम पद (zero-order term/additive noise term) समनीय (summable) होता है।

हालाँकि, कई आधुनिक RL एल्गोरिदम के लिए, विशेष रूप से उन साधारण अवकल समीकरणों (ODEs) से जुड़े जो वैश्विक स्पर्शोन्मुखी स्थिरता (Globally Asymptotically Stable - GAS) नहीं हैं, एक महत्वपूर्ण सीमा मौजूद है। उदाहरण के लिए, लीनियर सारसा (linear SARSA) और लीनियर Q-लर्निंग। इन सेटिंग्स में, विश्लेषण से उत्पन्न होने वाला शून्य-क्रम पद आमतौर पर केवल वर्ग-समनीय (square-summable) होता है (अर्थात $\sum T_n^2 < \infty$ ), न कि समनीय (अर्थात $\sum T_n < \infty$ ), क्योंकि यह लर्निंग रेट की प्रकृति और एल्गोरिद्मिक संरचना पर निर्भर करता है।

मानक रॉबिन्स-सीगमंड प्रमेय इस शासन (regime) में विफल हो जाता है। जैसा कि लेखकों द्वारा प्रदर्शित किया गया है, केवल रॉबिन्स-मोनरो (Robbins-Monro) की स्थिति (जो $\sum T_n = \infty$ और $\sum T_n^2 < \infty$ की आवश्यकता रखती है) पर्याप्त नहीं है; अतिरिक्त बाधाओं के बिना, अनियंत्रित "स्पाइक्स" (spikes) के कारण अनुक्रम लगभग निश्चित रूप से अपसारी (diverge) हो सकते हैं। फलस्वरूप, मौजूदा सिद्धांत अक्सर इन एल्गोरिदम के लिए अभिसरण दर या एकाग्रता सीमाएं (concentration bounds) प्रदान करने में असमर्थ रहता है, जिससे वे केवल मजबूत धारणाओं या विशिष्ट नीति डिजाइनों के तहत केवल परिबद्धता (boundedness) परिणामों तक सीमित रह जाते हैं।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र एक सैद्धांतिक ढांचा विकसित करता है ताकि रॉबिन्स-सीगमंड प्रमेय को उस मामले में संभालने के लिए विस्तारित किया जा सके जहाँ शून्य-क्रम पद वर्ग-समनीय है लेकिन समनीय नहीं है। कार्यप्रणाली तीन चरणों में आगे बढ़ती है:

अ. स्पर्शोन्मुखी विस्तार (Asymptotic Extensions)

लेखक स्टोकेस्टिक प्रक्रिया के वृद्धियों (increments) पर एक नवीन, सौम्य धारणा पेश करते हैं ताकि अनुक्रम की वृद्धि को नियंत्रित किया जा सके। विशेष रूप से, एक अनुक्रम $\{z_n\}$ के लिए जो वर्ग-समनीय शून्य-क्रम पद के साथ एक पुनरावृत्ति संबंध (recurrence relation) का पालन करता है, वे यह शर्त लागू करते है कि वृद्धीय मान $|z_{n+1} - z_n|$ का मान $T_n(z_n + 1)$ द्वारा रैखिक रूप से सीमित है।

प्रमेय 3 और 4: इस वृद्धि की स्थिति और शून्य-क्रम पद की वर्ग-समनीयता के तहत, लेखक यह सिद्ध करते हैं कि अनुक्रम लगभग निश्चित रूप से एक परिबद्ध सेट (bounded set) (विशेष रूप से एक बॉल या अंतराल) की ओर अभिसरित होता है, न कि एक एकल बिंदु की ओर। यह उस विचलन संबंधी समस्या का समाधान करता है जो उन विकृत उदाहरणों में देखी जाती है जहाँ स्पाइक्स अनियंत्रित वृद्धि का कारण बनते हैं।

ब. गैर-स्पर्शोन्मुखी विस्तार (Nonasymptotic Extensions)

इन स्पर्शोन्मुखी परिणामों पर निर्माण करते हुए, शोध पत्र गैर-स्पर्शोन्मुखी अभिसरण दर और एकाग्रता सीमाएं व्युत्पन्न करता है।

प्रमेय 5: लर्निंग रेट की विशिष्ट ह्रास दरों (decay rates) को मानते हुए, एक परिबद्ध सेट की ओर लगभग निश्चित अभिसरण दर स्थापित करता है।
प्रमेय 6 और सह-प्रमेय 7: घातीय पूंछ (exponential tails) के साथ उच्च-संभाव्यता एकाग्रता सीमाएं और $L_p$ अभिसरण दरें व्युत्पन्न करते हैं। ये परिणाम हालिया साहित्य से प्रेरित एक आगमनात्मक (inductive/bootstrapping) दृष्टिकोण का उपयोग करते हैं, जो सभी समय चरणों के लिए एक साथ मान्य रहने वाले अधिकतमतम (maximal) बाउंड्स की अनुमति देता है।

स. स्टोकेस्टिक सन्निकटन और RL में अनुप्रयोग

लेखक इन विस्तारित प्रमेयों को समय-असंगत मार्कोवियन शोर (time-inhomogeneous Markovian noise) वाले स्टोकेस्टिक सन्निकटन (SA) एल्गोरिदम पर लागू करते हैं।

तकनीक: वे "कंकाल इटरेट्स" (skeleton iterates) तकनीक (कियान एवं अन्य, 2024 से) को एक नवीन त्रुटि अपघटन (error decomposition) (लियू एवं अन्य, 2025 से) के साथ जोड़ते हैं। इसमें एक अनुक्रमिक उप-क्रम (subsequence) का विश्लेषण शामिल है जहाँ संचयी लर्निंग रेट रॉबिन्स-मोनरो की स्थिति को पूरा करता है।
बायस नियंत्रण (Bias Control): मार्कोव श्रृंखला की समय-असंगतता से उत्पन्न बायस पदों का कठोर नियंत्रण एक महत्वपूर्ण तकनीकी योगदान है। वर्तमान समय चरण और मार्कोव श्रृंखला के मिश्रण समय (mixing time) के बीच संबंध के आधार पर प्रमाण को विभाजित करके, वे बायस पदों को प्रभावी ढंग से नियंत्रित करते हैं, जिससे कंकाल तकनीक पहली बार समय-असंगत सेटिंग्स के लिए संगत हो जाती है।

3. प्रमुख योगदान (Key Contributions)

रॉबिन्स-सीगमंड प्रमेय का विस्तार: यह शोध पत्र रॉबिन्स-सीगमंड प्रमेय का पहला विस्तार प्रदान करता है जो शून्य-क्रम पद पर समनीय की शर्त को वर्ग-समनीय की शर्त में शिथिल (relax) करता है। यह एक वृद्धीय वृद्धि धारणा (growth assumption) पेश करके प्राप्त किया गया है, जो एक परिबद्ध सेट की ओर अभिसरण सुनिश्चित करता है।
अभिसरण दरें और सीमाएं: लेखक इस गैर-समनीय शासन में लगभग सुपरमार्टिंगेल के लिए पहली लगभग निश्चित अभिसरण दरें, उच्च-संभाव्यता एकाग्रता सीमाएं (घातीय पूंछ के साथ), और $L_p$ अभिसर्तन दरें व्युत्पन्न करते हैं।
समय-असंगत SA का विश्लेषण: यह ढांचा समय-असंगत मार्कोवियन शोर वाले स्टोकेस्टिक सन्निकटन को सफलतापूर्वक संभालता है, एक ऐसी सेटिंग जहाँ रॉबिन्स-सीगमंड प्रमेय के पिछले अनुप्रयोग सीमित थे या जिन्हें मजबूत धारणाओं की आवश्यकता थी।
लीनियर Q-लर्निंग परिणाम: लीनियर फंक्शन एप्रोक्सिमेशन और एक "टेम्ड" (tamed) गिब्स व्यवहार नीति (जैसा कि मेयन, 2024 द्वारा प्रस्तावित है) के साथ लीनियर Q-लर्निंग पर इस सिद्धांत को लागू करते हुए, शोध पत्र स्थापित करता है:
- एक परिबद्ध सेट की ओर पहली लगभग निश्चित अभिसरण दर।
- घातीय पूंछ के साथ पहली उच्च-संभाव्यता एकाग्रता सीमा।
- पहली $L_p$ अभिसरण दर।
- ये परिणाम बिना किसी एल्गोरिद्मिक बदलाव (जैसे टारगेट नेटवर्क) या फीचर्स पर प्रतिबंधात्मक धारणाओं के, बशर्ते व्यवहार नीति विशिष्ट स्थिरता शर्तों को पूरा करती हो, मान्य हैं।

4. परिणाम (Results)

शोध पत्र व्यापक सैद्धांतिक गारंटी प्रस्तुत करता है:

एक सेट की ओर अभिसरण: उन एल्गोरिदम के लिए जहाँ संबद्ध ODE, GAS नहीं है, यह सिद्ध किया गया है कि इटरेट्स (iterates) एक एकल बिंदु के बजाय लगभग निश्चित रूप से एक परिबद्ध सेट की ओर अभिसरित होते हैं।
मापन योग्य दरें: अभिसरण केवल स्पर्शोन्मुखी नहीं है; शोध पत्र स्पष्ट दरें (जैसे $O(t^{-\zeta})$ ) और विचलन की संभावना पर सीमाएं प्रदान करता है।
पूर्व कार्य के साथ तुलना:
- मेयन (2024) और लियू एवं अन्य (2025) के विपरीत, जिन्होंने दूसरे क्षण (second moment) के लिए लगभग निश्चित परिबद्धता या $L_2$ अभिसरण दर स्थापित की थी, यह कार्य सभी $p \ge 2$ के लिए $L_p$ अभिसरण दर और सेट की ओर लगभग निश्चित अभिसरण दर स्थापित करता है।
- कियान एवं अन्य (2024) और बोर्कर एवं अन्य (2025) के विपरीत, जो GAS ODEs (एक बिंदु की ओर अभिसरण) पर ध्यान केंद्रित करते हैं, यह कार्य गैर-GAS शासन को संबोधित करता है।
- लीनियर Q-लर्निंग के परिणाम स्थिरता विश्लेषण पर पिछले कार्यों की तुलना में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करते हैं, जो दर और एकाग्रता सहित पूर्ण अभिसरण गतिकी का लक्षण वर्णन प्रदान करते हैं।

5. महत्व और दावे (Significance and Claims)

लेखक इस कार्य को आधुनिक RL एल्गोरिदम के विश्लेषण के लिए एक आवश्यक सैद्धांतिक प्रगति के रूप में देखते हैं जो शास्त्रीय GAS ढांचे में फिट नहीं होते हैं।

अंतराल को पाटना: शोध पत्र दावा करता है कि यह साहित्य के उस महत्वपूर्ण अंतराल को पाटता है जहाँ शून्य-क्रम पद की गैर-समनीयता के कारण मानक रॉबिन्स-सीगमंड प्रमेय लागू नहीं होता है।
प्रथम उपलब्ध: लेखक स्पष्ट रूप से दावा करते हैं कि वे मानक धारणाओं (विशेष रूप से टेम्ड गिब्स नीति) के तहत लीनियर Q-लर्निंग के लिए "पहली" लगभग निश्चित अभिसरण दर, उच्च-संभाव्यता एकाग्रता सीमा, और $L_p$ अभिसरण दर प्रदान करते हैं।
विनम्रता: लेखक अपने दावों के दायरे के संबंध में विनम्र हैं। वे स्वीकार करते हैं कि उनके परिणाम विशिष्ट लर्निंग रेट शेड्यूल्स (वर्ग-समनीय और घटते हुए) पर निर्भर करते हैं और सीधे स्थिर स्टेप-साइज़ (constant step-size) या गैर-वर्ग-समनीय लर्निंग रेट्स को संबोधित नहीं करते हैं। वे यह भी स्पष्ट करते कि उनका ढांचा एक परिबद्ध सेट की ओर अभिसरण को लक्षित करता है, जो बिना मजबूत संरचनात्मक धारणाओं के गैर-GAS ODEs के लिए सर्वोत्तम संभव परिणाम है, न कि एक अद्वितीय फिक्स्ड पॉइंट की ओर अभिसरण।

निष्कर्षतः, यह शोध पत्र उन क्षेत्रों में स्टोकेस्टिक पुनरावृत्ति एल्गोरिदम की स्थिरता और अभिसरण के विश्लेषण के लिए एक सुदृढ़ सैद्धांतिक टूलकिट प्रदान करता है जिन्हें पहले सैद्धांतिक रूप से कठिन माना जाता था, विशेष रूप से लीनियर Q-लर्निंग के लिए पहली सूक्ष्म अभिसरण विशेषताओं को प्रदान करता है।