🤖 AI

A Smooth Polynomial Lyapunov Certificate for Convergence of Q-Learning and Its Smooth Variants

यह शोध पत्र एक एकीकृत, सुचारू बहुपद-लायापुनोव-फंक्शन (polynomial Lyapunov-function) ढांचे को स्थापित करता है जो संकुचनकारी ऑपरेटरों (contractive operators) के तहत मानक और सुचारू Q-लर्निंग वेरिएंट्स की वैश्विक घातांकीय स्थिरता (global exponential stability) को सिद्ध करने के लिए शास्त्रीय $\infty$ -नॉर्म विश्लेषणों की अवकलनीयता संबंधी समस्याओं का समाधान करता है, साथ ही बोल्ट्ज़मैन वेरिएंट के एक स्पष्ट अपरिवर्तनीय त्रुटि सेट (invariant error set) की ओर अभिसरण को भी अभिलक्षित करता है।

मूल लेखक: Donghwan Lee, Hyunjun Na

प्रकाशित 2026-09-10

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Donghwan Lee, Hyunjun Na

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

आर्टिफिशियल इंटेलिजेंस के विशाल परिदृश्य में, एक विशिष्ट शाखा है जिसे सुदृढीकरण शिक्षण (reinforcement learning) के रूप में जाना जाता है, जहाँ कंप्यूटर प्रोग्राम पर्यावरण के साथ अंतःक्रिया करके निर्णय लेना सीखते हैं, ठीक वैसे ही जैसे एक बच्चा त्रुटि और सुधार (trial and error) के माध्यम से एक नए शहर में रास्ता बनाना सीखता है। ये प्रोग्राम, जिन्हें अक्सर एजेंट कहा जाता है, विभिन्न क्रियाओं को आजमाते हैं ताकि यह देख सकें कि कौन सी क्रियाएं पुरस्कार लाती हैं और कौन सी उन्हें बंद रास्तों की ओर ले जाती हैं। समय के साथ, वे मूल्य का एक मानसिक मानचित्र बनाते हैं, जिससे यह तय होता है कि किसी भी दी गई स्थिति में कौन सा मार्ग सबसे अच्छा है। इस मानचित्र को बनाने के लिए सबसे मौलिक उपकरणों में से एक एक विधि है जिसे Q-लर्निंग कहा जाता है। यह एक शक्तिशाली, मॉडल-मुक्त दृष्टिकोण है जो एक एजेंट को उस दुनिया का पूर्ण ब्लूप्रिंट या खाका बनाए बिना सबसे अच्छी रणनीति खोजने की अनुमति देता है जिसमें वह निवास करता है। दशकों से, वैज्ञानिक इस बात से मंत्रमुग्ध रहे हैं कि कैसे ये एल्गोरिदम अंततः स्थिर हो जाते हैं और बदलना बंद कर देते हैं, एक प्रक्रिया जिसे अभिसरण (convergence) कहा जाता है। यह समझना कि यह बिल्कुल कब और कैसे होता है, अत्यंत महत्वपूर्ण है क्योंकि यह गारंटी देता है कि सीखने की प्रक्रिया स्थिर और विश्वसनीय है, न कि अराजकता में बदल जाती है।

लंबे समय तक, इस स्थिरता की गारंटी देने वाले गणितीय प्रमाण एक विशिष्ट, कुछ हद तक खुरदरे उपकरण पर निर्भर थे: दूरी मापने का एक तरीका जो केवल सबसे बड़ी त्रुटि को ही महत्वपूर्ण मानता है। प्रभावी होने के बावजूद, यह उपकरण ऊबड़-खाबड़ है और सीखने के सुचारू, निरंतर प्रवाह का विश्लेषण करने के लिए कठिन है। यह एक ढलान के ढाल को मापने के लिए एक ऐसे रूलर (पटरी) का उपयोग करने जैसा है जो केवल तीखे कोनों पर ही फिट बैठता है; यह काम तो कर देता है, लेकिन यह परिदृश्य के कोमल घुमावों को धुंधला कर देता है। इस सीमा ने सीखने के नए, अधिक सुचारू संस्करणों का अध्ययन करना कठिन बना दिया जो अधिक लचीले होने और पुरस्कारों का अतिरंजित अनुमान लगाने से बचने के लिए डिज़ाइन किए गए थे। ये आधुनिक रूपांतर कठोर "सर्वश्रेष्ठ चुनें" के नियम को संभावनाओं के एक अधिक सूक्ष्म और कोमल औसत में बदल देते हैं, लेकिन पुराने, ऊबड़-खाबड़ गणितीय उपकरण यह सिद्ध करने में संघर्ष करते थे कि ये नई विधियाँ भी सही ढंग से स्थिर होंगी।

कोरिया उन्नत विज्ञान और प्रौद्योगिकी संस्थान (KAIST) के शोधकर्ताओं की एक टीम ने अब एक नया, अधिक सुचारू तरीका विकसित किया है जिससे यह सिद्ध किया जा सके कि ये लर्निंग एल्गोरिदम कैसे काम करते हैं। अतीत के ऊबड़-खाबड़, कोनों वाले उपकरण के बजाय, उन्होंने एक लचीला, बहुपद-आधारित प्रमाण (polynomial-based certificate) पेश किया है—एक गणितीय चिकनी सतह जो सीखने की प्रक्रिया के ऊपर से बिना अटके फिसल सकती है। अपने दृष्टिकोण को एक कठोर, तीखे माप से बदलकर एक सुचारू, भारित बहुपद (weighted polynomial) में स्थानांतरित करके, वे यह दिखाने में सक्षम हुए कि क्लासिक लर्निंग विधियाँ और उनके आधुनिक, अधिक सुचारू संबंधी, दोनों ही एक स्थिर समाधान की ओर अभिसरित होते हैं। उनका कार्य एक एकीकृत ढांचा प्रदान करता है जो वास्तविक दुनिया के सीखने की अव्यवस्थित, एसिंक्रोनस (asynchronous) प्रकृति को संभालता है, जहाँ अपडेट अलग-अलग गति से होते हैं और किसी विशेष क्रम में नहीं होते हैं, और यह सिद्ध करता है कि सिस्टम अंततः अपना संतुलन पा ही लेगा।

शोधकर्ताओं ने एल्गोरिदम के एक विशिष्ट परिवार पर ध्यान केंद्रित किया जिसमें मानक Q-लर्निंग विधि और तीन लोकप्रिय सुचारू संस्करण शामिल हैं। मानक विधि एक "मैक्स" (max) ऑपरेटर का उपयोग करती है, जो संभावनाओं की सूची में से केवल उच्चतम मान को चुनती है। सुचारू संस्करण, हालांकि, निर्णयों को नरम करने के लिए विभिन्न गणितीय युक्तियों का उपयोग करते हैं। एक तकनीक 'लॉग-सम-एक्सप' (log-sum-exp) का उपयोग करती है, दूसरा एक "मेलोमैक्स" (mellowmax) दृष्टिकोण का उपयोग करता है, और तीसरा 'बोल्ट्ज़मैन सॉफ्टमैक्स' (Boltzmann softmax) का उपयोग करता है। ये सुचारू ऑपरेटर एजेंट को अधिक अन्वेषण करने के लिए प्रोत्साहित करने और अत्यधिक आत्मविश्वास के जाल से बचने के लिए डिज़ाइन किए गए हैं, लेकिन वे एक नई गणितीय चुनौती पेश करते हैं: वे हमेशा पूरी तरह से संकुचनशील (contractive) नहीं होते हैं, जिसका अर्थ है कि वे हमेशा एक सीधे तरीके से त्रुटि को कम नहीं करते हैं। पुराने प्रमाण, जो इस धारणा पर निर्भर थे कि त्रुटि हमेशा एक निश्चित मात्रा में घटती है, इन नरम, अधिक जटिल ऑपरेटरों को आसानी से नहीं संभाल सके।

इसे हल करने के लिए, लेखकों ने एक सुचारू बहुपद फलन पर आधारित एक नए प्रकार का गणितीय प्रमाण निर्मित किया। एक ऐसे परिदृश्य की कल्पना करें जहाँ ऊंचाई एजेंट के ज्ञान में त्रुटि का प्रतिनिधित्व करती है। पुराना तरीका इस परिदृश्य के उच्चतम शिखर को देखता था और यह सिद्ध करने की कोशिश करता था कि वह नीचे जा रहा है, लेकिन उस शिखर के तीखे किनारे गणित को कठिन बना देते थे। नई विधि उस परिदृश्य को पूरी तरह से सुचारू बना देती है, एक कोमल, कटोरे के आकार की सतह बनाती है जिस पर त्रुटि फिसल सकती है। उन्होंने सिद्ध किया कि मानक विधि और लॉग-सम-एक्सप तथा मेलोमैक्स पर आधारित दो सुचारू ऑपरेटरों के लिए, यह सुचारू सतह गारंटी देती है कि त्रुटि तेजी से (exponentially fast) घटेगी जब तक कि एजेंट आदर्श समाधान तक नहीं पहुँच जाता। इसका अर्थ है कि सीखने की शुरुआत कहीं से भी हो, यह गणितीय रूप से निश्चित है कि वह इष्टतम रणनीति तक पहुँचेगा।

चौथे संस्करण के लिए स्थिति थोड़ी भिन्न है, जो बोल्ट्ज़मैन सॉफ्टमैक्स ऑपरेटर का उपयोग करता है। यह विशिष्ट विधि हमेशा संकुचनशील नहीं होती है, इसलिए यह एक ही सर्वोत्तम समाधान तक पूर्ण आगमन की गारंटी नहीं देती है। हालाँकि, शोधकर्ताओं ने दिखाया कि इस मामले में भी, सुचारू बहुपद प्रमाण काम करता है। उन्होंने सिद्ध किया कि सीखने की प्रक्रिया अनंत की ओर नहीं भटक जाएगी; इसके बजाय, यह सर्वोत्तम संभव समाधान के आसपास एक छोटे, सुपरिभाषित पड़ोस (neighborhood) में स्थिर हो जाएगी। इस पड़ोस का आकार एल्गोरिदम में एक "तापमान" (temperature) पैरामीटर पर निर्भर करता है। जैसे-जैसे यह तापमान कम किया जाता है, पड़ोस छोटा होता जाता है, और समाधान आदर्श के और करीब आता जाता है। यह एक सटीक समझ प्रदान करता है: एल्गोरिदम हर बार सटीक लक्ष्य तक नहीं पहुँच सकता है, लेकिन यह एक अनुमानित दूरी के भीतर रहेगा, और उस दूरी को सेटिंग्स को समायोजित करके मनमाना रूप से छोटा किया जा सकता है।

पत्र ने इस बात को भी संबोधित किया कि वास्तविक दुनिया में ये एल्गोरिदम कैसे चलते हैं। एक कंप्यूटर सिमुलेशन में, अपडेट एक साथ हो सकते हैं, लेकिन एक वास्तविक प्रणाली में, वे अक्सर एक-एक करके, अलग-अलग गति से होते हैं, जो इस पर निर्भर करता है कि डेटा बिंदुओं को कैसे लिया जाता है। शोधकर्ताओं का नया ढांचा स्वाभाविक रूप से इस एसिंक्रोनस प्रकृति को संभालता है। उन्होंने दिखाया कि उनका सुचारू बहुपद प्रमाण तब भी काम करता है जब अपडेट को अलग-अलग तरह से भारित (weighted) किया जाता है, जो इस तथ्य का प्रतिनिधित्व करता है कि समस्या के कुछ हिस्सों को अन्य की तुलना में तेजी से सीखा जाता है। यह पिछले सिद्धांतों की तुलना में एक महत्वपूर्ण सुधार है, जो अक्सर इस अवास्तविक धारणा की आवश्यकता रखते थे कि सिस्टम के प्रत्येक भाग एक ही समय में अपडेट होता है। इन वास्तविक दुनिया की अनियमितताओं को समायोजित करके, नया सिद्धांत यह समझने के लिए एक अधिक मजबूत आधार प्रदान करता है कि वास्तव में सीखना कैसे होता है।

अपने सैद्धांतिक निष्कर्षों को सत्यापित करने के लिए, टीम ने चार संभावित अवस्थाओं (states) और दो संभावित क्रियाओं वाले निर्णय लेने की समस्या के एक सरल मॉडल का उपयोग करके कंप्यूटर सिमुलेशन चलाए। उन्होंने समय के साथ एजेंट के ज्ञान में त्रुटि को देखा। मानक विधि और दो सुचारू संस्करणों के लिए जिन्हें संकुचनशील सिद्ध किया गया था, त्रुटि तेजी से और लगातार गिरी, जैसा कि उनके नए समीकरणों द्वारा अनुमानित घातीय क्षय (exponential decay) का पालन किया गया था। ग्राफ ने एक लघुगणकीय पैमाने (logarithmic scale) पर एक साफ, सीधी रेखा दिखाई, जिससे पुष्टि हुई कि सिस्टम वास्तव में उनके सुचारू गणितीय कटोरे में फिसल रहा था। बोल्ट्ज़मैन संस्करण के लिए, सिमुलेशन ने दिखाया कि त्रुटि शुरू में तेजी से गिरती है और फिर इष्टतम समाधान के आसपास एक छोटे, स्थिर बैंड में स्थिर हो जाती है, जैसा कि सिद्धांत ने भविष्यवाणी की थी। इस बैंड का आकार तापमान पैरामीटर के आधार पर प्राप्त गणितीय सूत्र से मेल खाता है, जो यह प्रदर्शित करता है कि सिद्धांत एल्गोरिदम के व्यवहार का सटीक वर्णन करता है, भले ही वह एक एकल पूर्ण बिंदु तक न पहुँचे।

यह कार्य यह दावा नहीं करता है कि यह सुदृढीकरण शिक्षण की हर समस्या को हल कर देगा, न ही यह एजेंटों के उपयोग के लिए कोई नया एल्गोरिदम प्रदान करता है। इसके बजाय, यह मौजूदा एल्गोरिदम क्यों काम करते हैं, इसे समझने का एक स्पष्ट, अधिक एकीकृत तरीका प्रदान करता है। अतीत के ऊबड़-खाबड़, कठिन-से-उपयोग योग्य गणितीय उपकरणों को एक सुचारू, लचीले बहुपद दृष्टिकोण से बदलकर, शोधकर्ताओं ने एक एकल, सुसंगत कहानी बनाई है जो Q-लर्निंग के क्लासिक और आधुनिक दोनों संस्करणों की स्थिरता की व्याख्या करती है। यह स्पष्टता आर्टिफिशियल इंटेलिजेंस के भविष्य के विकास के लिए आवश्यक है, क्योंकि यह वैज्ञानिकों को यह विश्वास करने की अनुमति देती है कि उनके द्वारा बनाए गए जटिल सिस्टम अनुमानित व्यवहार करेंगे और सही उत्तरों तक पहुँचेंगे, भले ही वे सिस्टम वास्तविक दुनिया की अव्यवस्थित, एसिंक्रोनस वास्तविकता में चल रहे हों। परिणाम अतीत के आदर्श गणित और वर्तमान के लचीले, सुचारू एल्गोरिदम के बीच के अंतर को पाटने वाला एक ठोस सैद्धांतिक आधार है।

तकनीकी सारांश: Q-लर्निंग और इसके सुचारू वेरिएंट्स के अभिसरण के लिए एक सुचारू बहुपद लियापुनोव प्रमाण (A Smooth Polynomial Lyapunov Certificate)

समस्या विवरण
Q-लर्निंग और इसके वेरिएंट्स के शास्त्रीय अभिसरण विश्लेषण आमतौर पर बेलमैन ऑपरेटर्स के $\infty$ -नॉर्म संकुचन गुणों (contraction properties) पर निर्भर करते हैं। हालांकि प्रभावी होने के बावजूद, $\infty$ -नॉर्म गैर-परिवर्तनीय (non-differentiable) है, जो मानक लियापुनोव स्थिरता सिद्धांत (Lyapunov stability theory) के अनुप्रयोग को जटिल बनाता है, विशेष रूप से स्टोकेस्टिक एप्रोक्सिमेशन एल्गोरिदम के संबद्ध ऑर्डिनरी डिफरेंशियल इक्वेशन (ODE) लिमिट्स के विश्लेषण के दौरान। मौजूदा ODE तर्क अक्सर इस गैर-परिवर्तनीयता को सबग्रेडिएंट विधियों के माध्यम से संभालते हैं या स्विचिंग-सिस्टम मॉडल पर प्रतिबंधात्मक संरचनात्मक स्थितियाँ (जैसे कि क्वासी-मोनोटोनिसिटी) लागू करते हैं। यह शोधपत्र एक सुचारू, अवकलनीय स्थिरता प्रमाण (differentiable stability certificate) की आवश्यकता को संबोधित करता है जो एसिंक्रोनस अपडेट से उत्पन्न प्रीकंडीशनड डायनेमिक्स को संभाल सके और हार्ड मैक्स ऑपरेटर का उपयोग करने वाले मानक Q-लर्निंग तथा संकुचनकारी (contractive) सुचारू ऑपरेटर्स (जैसे Log-Sum-Exp, mellowmax, या Boltzmann softmax) के लिए एक एकीकृत अभिसरण विश्लेषण प्रदान कर सके।

कार्यप्रणाली (Methodology)
लेखक एक ODE-आधारित अभिसरण ढांचे को विकसित करते हैं जो शास्त्रीय गैर-सुचारू $\infty$ -नॉर्म लियापुनोव तर्क को एक सुचारू भारित डिग्री- $2p$ बहुपद लियापुनोव फलन (smooth weighted degree- $2p$ polynomial Lyapunov function) से बदल देता है। मुख्य कार्यप्रणाली इस प्रकार है:

सुचारू लियापुनोव निर्माण: गैर-परिवर्तनीय $\infty$ -नॉर्म का सीधे उपयोग करने के बजाय, शोधपत्र एक भारित $2p$ -नॉर्म का उपयोग करता है, जिसे $\|x\|_{2p,w} = (\sum w_i x_i^{2p})^{1/(2p)}$ द्वारा परिभाषित किया गया है, जहाँ $w_i > 0$ भार हैं। संबद्ध लियापुनोव फलन $W_p(x) = \frac{1}{2p}\|x\|_{2p,w}^{2p}$ है। चूंकि $2p$ एक सम पूर्णांक (even integer) है, इसलिए $W_p$ एक बहुपद है और मूल बिंदु (origin) सहित हर जगह अनंत रूप से अवकलनीय (infinitely differentiable) है।
संकुचन का हस्तांतरण (Transfer of Contraction): ढांचा बेलमैन-प्रकार के ऑपरेटर्स के $\infty$ -नॉर्म संकुचन गुण को इस सुचारू बहुपद प्रमाण में स्थानांतरित करता है। परिमित $2p$ -नॉर्म और $\infty$ -नॉर्म के बीच नॉर्म तुलना असमानताओं (norm comparison inequalities) का लाभ उठाते हुए, लेखक दिखाते हैं कि पर्याप्त बड़े $p$ के लिए, $\infty$ -नॉर्म में संकुचन, सुचारू लियापुनोव फलन में घातीय क्षय (exponential decay) को सुनिश्चित करता है।
प्रीकंडीशनड डायनेमिक्स को संभालना: ODE मॉडल को $\dot{x}_t = D(F(x_t) - x_t)$ के रूप में तैयार किया गया है, जहाँ $D$ एक धनात्मक विकर्ण मैट्रिक्स (positive diagonal matrix) है। यह संरचना दोनों सिंक्रोनस फुल-अपडेट मीन फील्ड्स (जहाँ $D=I$ ) और एसिंक्रोनस मीन फील्ड्स (जहाँ $D$ के विकर्ण तत्व कोऑर्डिनेट-अपडेट आवृत्तियों का प्रतिनिधित्व करते हैं) को समाहित करती है।
गैर-संकुचनकारी ऑपरेटर्स के लिए विक्षोभ विश्लेषण (Perturbation Analysis): उन ऑपरेटर्स के लिए जो पूरी तरह से संकुचनकारी नहीं हैं (विशेष रूप से Boltzmann softmax), शोधपत्र एक विक्षोभ तर्क का उपयोग करता है। यह Boltzmann ऑपरेटर को मैक्स ऑपरेटर के एक समान सन्निकटन (uniform approximation) के रूप में मानता है और एक विशिष्ट इनवेरिएंट एरर सेट (invariant error set) की ओर अभिसरण सिद्ध करने के लिए सुचारू लियापुनोव फलन का उपयोग करता है।

प्रमुख योगदान
यह शोधपत्र चार प्राथमिक योगदान प्रस्तुत करता है:

प्रीकंडीशनड डायनेमिक्स के लिए एक सुचारू लियापुनोव सिद्धांत: लेखक भारित बहुपद लियापुनोव फलन का उपयोग करके $\dot{x}_t = D(F(x_t) - x_t)$ प्रकार के ODEs के लिए स्थिरता परिणाम स्थापित करते हैं। जब $F$ एक $\infty$ -नॉर्म संकुचन है, तो ढांचा ग्लोबल एक्सपोनेंशियल स्टेबिलिटी का एक अवकलनीय प्रमाण प्रदान करता है, जिससे $\infty$ -नॉर्म की गैर-परिवर्तनीयता की समस्याओं से बचा जा सकता है।
एकीकृत ODE स्थिरता विश्लेषण: इस ढांचे को मानक Q-लर्निंग और Log-Sum-Exp एवं mellowmax ऑपरेटर्स पर आधारित सुचारू वेरिएंट्स पर लागू किया गया है। यह सिद्ध करता है कि संबंधित ODEs, सिंक्रोनस ( $D=I$ ) और एसिंक्रोनस ( $D$ एक धनात्मक विकर्ण मैट्रिक्स है) दोनों मीन फील्ड्स के लिए ग्लोबल एक्सपोनेंशियल रूप से स्थिर हैं।
Boltzmann Q-Learning के लिए गैर-संकुचनकारी स्थिरता: Boltzmann softmax ऑपरेटर के लिए, जो सामान्यतः नॉन-एक्सपेंसिव नहीं है, ढांचा $Q^*_{\max}$ के आसपास एक स्पष्ट इनवेरिएंट एरर सेट की ओर अभिसरण का परिणाम देता है। यह दिखाया गया है कि इस सेट की त्रिज्या तापमान पैरामीटर $\lambda$ के साथ स्केल करती है, और $\lambda \to 0$ होने पर घटती है।
एकीकृत स्पर्शोन्मुखी अभिसरण प्रमेय (Unified Asymptotic Convergence Theorem): स्वतंत्र और समान रूप से वितरित (i.i.d.) सैंपलिंग के तहत मानक स्टोकेस्टिक एप्रोक्सिमेशन तर्कों के साथ ODE स्थिरता परिणामों को जोड़कर, शोधपत्र डिस्क्रीट-टाइम Q-लर्निंग वेरिएंट्स के लिए लगभग-निश्चित (almost-sure) अभिसरण गारंटी प्राप्त करता है। यह मानक Q-लर्निंग, संकुचनकारी सुचारू वेरिएंट्स और गैर-संकुचनकारी Boltzmann केस के लिए एक एकल प्रमाण आर्किटेक्चर प्रदान करता है।

परिणाम

संकुचनकारी मामले (Max, LSE, Mellowmax): संबंधित ODEs को ग्लोबल एक्सपोनेंशियल रूप से स्थिर सिद्ध किया गया है। फलस्वरूप, स्टोकेस्टिक एप्रोक्सिमेशन इटरेट संबंधित बेलमैन ऑपरेटर के अद्वितीय फिक्स्ड पॉइंट की ओर लगभग-निश्चित रूप से अभिसरित होते हैं।
गैर-संकुचनकारी मामला (Boltzmann): ODE और स्टोकेस्टिक इटरेट गारंटीकृत रूप से एक इनवेरिएंट एरर सेट $\mathcal{H} = \{Q : \|Q - Q^*_{\max}\|_\infty \leq \frac{\gamma \lambda \ln(|A|) w_{\max}}{(1-\gamma) w_{\min}}\}$ की ओर बढ़ते हैं। विश्लेषण प्रदर्शित करता है कि जैसे-जैसे तापमान पैरामीटर $\lambda$ कम होता है, सीमांत त्रुटि (limiting error) घटती जाती है।
संख्यात्मक चित्रण (Numerical Illustrations): एक छोटे MDP पर किए गए सिमुलेशन सैद्धांतिक भविष्यवाणियों की पुष्टि करते हैं। Max, LSE, और mellowmax ऑपरेटर्स के लिए त्रुटि वक्र (error curves) ODE विश्लेषण के अनुरूप घातीय क्षय प्रदर्शित करते हैं। Boltzmann ऑपरेटर के लिए प्रक्षेपवक्र (trajectories) $Q^*_{\max}$ के आसपास सैद्धांतिक रूप से अनुमानित एरर बॉल की ओर अभिसरित होते हैं।

महत्व और दावे
यह शोधपत्र स्वयं को एक परिमित-समय सीमा (finite-time bound) के बजाय एक वैचारिक और संरचनात्मक आधार के रूप में स्थापित करता है। लेखक दावा करते हैं कि उनका ढांचा:

एकीकृत और सरल बनाता है: यह एक एकल, स्वच्छ ODE-आधारित प्रमाण आर्किटेक्चर प्रदान करता है जो मानक Q-लर्निंग और विभिन्न सुचारू वेरिएंट्स के स्पर्शोन्मुखी विश्लेषण को एकीकृत करता है, जो विखंडित और प्रतिबंधात्मक दृष्टिकोणों को प्रतिस्थापित करता है।
गैर-परिवर्तनीयता से बचता है: $\infty$ -नॉर्म संकुचन को एक सुचारू बहुपद प्रमाण में स्थानांतरित करके, यह सबग्रेडिएंट तर्कों या प्रतिबंधात्मक स्थितियों वाले स्विचिंग-सिस्टम मॉडल की आवश्यकता को समाप्त करता है।
एसिंक्रोनिसिटी को संभालता है: यह एसिंक्रोनस अपडेट से उत्पन्न प्रीकंडीशनड डायनेमिक्स को स्वाभाविक रूप से शामिल करता है, जो सिंक्रोनस और एसिंक्रोनस दोनों मीन फील्ड्स को एक ही सैद्धांतिक संरचना के भीतर कवर करता है।
तंत्र को स्पष्ट करता है: प्राथमिक लक्ष्य स्थिरता तंत्र को स्पष्ट करना और अभिसरण सिद्ध करने के लिए एक संक्षिप्त मार्ग प्रदान करना है, जो अधिक परिष्कृत गैर-एसिम्प्टोटिक परिणामों की खोज से पहले एक "प्रथम स्थिरता जांच" (first stability check) के रूप में कार्य करता है।

लेखक स्पष्ट रूप से कहते हैं कि यह सिद्धांत एक स्पर्शोन्मुखी विश्लेषण उपकरण (asymptotic analysis tool) के रूप में लक्षित है और यह मात्रात्मक दरों पर केंद्रित हालिया कार्यों से भिन्न है, क्योंकि यह परिमित-समय सैंपल कॉम्प्लेक्सिटी बाउंड प्रदान नहीं करता है।

इसी तरह के और पेपर