🤖 machine learning

\textit{Stochastic} MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent

यह शोध पत्र स्टोकेस्टिक मीनफ्लो पॉलिसीज़ (SMFP) को प्रस्तुत करता है, जो एक वन-स्टेप जनरेटिव पॉलिसी क्लास है जो मल्टीमॉडल एक्शन डिस्ट्रीब्यूशन को प्रभावी ढंग से संभालने के लिए ट्रैक्टेबल एंट्रॉपी एस्टीमेशन को ऑफ-पॉलिसी मिरर डिसेंट के साथ जोड़ता है, जबकि MuJoCo बेंचमार्क में इन्फरेंस दक्षता और ट्रेनिंग स्थिरता बनाए रखता है।

मूल लेखक: Zeyuan Wang, Da Li, Yulin Chen, Yuehu Gong, Yanming Guo, Ye Shi, Liang Bai, Tianyuan Yu, Yanwei Fu

प्रकाशित 2026-05-21

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zeyuan Wang, Da Li, Yulin Chen, Yuehu Gong, Yanming Guo, Ye Shi, Liang Bai, Tianyuan Yu, Yanwei Fu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को चलना, दौड़ना या नाचना सिखा रहे हैं। ऐसा करने के लिए, रोबोट को एक "दिमाग" (एक पॉलिसी) की आवश्यकता होती है जो यह तय कर सके कि उसे आगे क्या कदम उठाना है, जो उसने देखा है उसके आधार पर। यह शोध पत्र उस दिमाग को बनाने का एक नया, अधिक स्मार्ट तरीका पेश करता है, जिसे Stochastic MeanFlow Policies (SMFP) कहा जाता है।

यहाँ इस नए तरीके के काम करने का विवरण सरल उपमाओं के माध्यम से दिया गया है।

समस्या: "एक ही आकार सबके लिए" बनाम "धीमा कलाकार"

रोबोट लर्निंग की दुनिया में, पारंपरिक रूप से दो मुख्य प्रकार के दिमाग रहे हैं, और दोनों में एक बड़ी खामी है:

द गॉसियन ब्रेन (The Gaussian Brain - तेज़, सरल विचारक):
- यह कैसे काम करता है: यह एक ऐसे रोबोट की तरह है जो हमेशा "औसत" चाल चुनता है। यदि इसे कूदने की आवश्यकता है, तो यह सटीक ऊँचाई की गणना करता है और कूद जाता है।
- अच्छी बात: यह अविश्वसनीय रूप से तेज़ है और इसकी गणना करना आसान है।
- बुरी बात: यह बहुत सरल है। यदि किसी कार्य में सफल होने के कई तरीके हैं (जैसे बाधा के ऊपर से बाईं ओर या दाईं ओर से कूदना), तो यह दिमाग भ्रमित हो जाता है। यह दोनों विकल्पों का औसत निकालने की कोशिश करता है और अंततः बाधा के बीच में ही कूद जाता है। यह एक समय में केवल एक ही प्रकार के व्यवहार (mode) को संभाल सकता है।
द जनरेटिव ब्रेन (The Generative Brain - धीमा, रचनात्मक कलाकार):
- यह कैसे काम करता है: यह एक ऐसे रोबोट की तरह है जो हजारों संभावित चालों की कल्पना करता है, उनके रेखाचित्र बनाता है, और सबसे अच्छी को चुनता है। यह जटिल स्थितियों को संभाल सकता है जिनमें कई अलग-अलग समाधान होते हैं (मल्टीमॉडल)।
- अच्छी बात: यह बहुत अभिव्यंजक है और रचनात्मक समाधान खोज सकता है।
- बुरी बात: यह धीमा है। हर चाल को "बनाने" में इसे बहुत समय लगता है क्योंकि इसे कई चरणों से गुजरना पड़ता है। साथ ही, यह मापना कठिन है कि यह कितना "रचनात्मक" या "खोजी" (exploratory) है, जिससे रोबोट को सुरक्षित रूप से नई चीजें आज़माने के लिए सिखाना मुश्किल हो जाता है।

लक्ष्य: दोनों दुनियाओं का सर्वश्रेष्ठ संगम

शोधकर्ताओं चाहते थे कि वे सरल विचारक की गति और रचनात्मक कलाकार की रचनात्मकता को मिला सकें। वे भी दो विशिष्ट शिक्षण रणनीतियों का उपयोग करना चाहते थे:

एक्सप्लोरेशन (SAC - अन्वेषण): रोबोट को तेज़ी से सीखने के लिए यादृच्छिक (random), जोखिम भरे कदम उठाने के लिए प्रोत्साहित करना।
स्टेबिलिटी (Mirror Descent - स्थिरता): यह सुनिश्चित करना कि रोबोट अपनी आदतों को बहुत नाटकीय रूप से न बदले, ताकि वह जो पहले से जानता है उसे भूल न जाए।

समस्या क्या है? जब आप इन दोनों शिक्षण रणनीतियों को मिलाते हैं, तो वह "परफेक्ट" चाल जिसे रोबोट को लक्षित करना चाहिए, एक जटिल, बहु-शिखर वाली आकृति बन जाती है (जैसे पहाड़ों की एक श्रृंखला जिसमें कई चोटियाँ हों)। सरल विचारक (गॉसियन) केवल एक शिखर देख पाता है, इसलिए वह विफल हो जाता है। रचनात्मक कलाकार सभी शिखरों को देख सकता है लेकिन वह बहुत धीमा है और उसे नियंत्रित करना कठिन है।

समाधान: SMFP (एक "एक-चरण" वाला जादुई ट्रिक)

लेखकों ने SMFP बनाया, जो एक नया प्रकार का दिमाग है जो इस पहेली को हल करता है। यह यहाँ बताया गया है कि यह कैसे काम करता है:

"मीनफ्लो" (MeanFlow) की अवधारणा:
कल्पना कीजिए कि आप एक नाव को एक शांत झील (शोर/noise) से एक विशिष्ट गंतव्य (एक्शन) तक ले जाने की कोशिश कर रहे हैं।

पुराने जनरेटिव तरीके: नाव को वहां तक पहुँचने के लिए एक घुमावदार नदी से गुजरना पड़ता है, और समय के साथ कई छोटे समायोजन करने पड़ते हैं। यह धीमा है।
SMFP: शोधकर्ताओं ने महसूस किया कि वे झील से गंतव्य तक पहुँचने के लिए आवश्यक औसत गति और दिशा की गणना एक ही छलांग में कर सकते हैं। यह एक कदम में नाव को सीधे सही जगह पर टेलीपोर्ट करने जैसा है, न कि धीरे-धीरे नौकायन करने जैसा।

"स्टोकेस्टिक" (Stochastic) ट्विस्ट:
आमतौर पर, यह "टेलीपोर्ट" विधि नियत (deterministic) होती है (यह हमेशा एक ही सटीक स्थान पर जाती है)। लेकिन रोबोट को खोजने (explore करने) के लिए सिखाने हेतु, हमें इसे थोड़ा अप्रत्याशित होना चाहिए।

SMFP एक "फजीनेस" (धुंधलापन/अनिश्चितता) कारक जोड़ता है। यह कहने जैसा है कि, "गंतव्य तक टेलीपोर्ट करें, लेकिन थोड़े लचीलेपन (wiggle room) के साथ।"
महत्वपूर्ण बात यह है कि यह "लचीलापन" गणितीय रूप से मापने में सरल है। यह रोबोट को यह जानने की अनुमति देता है कि वह बिना जटिल गणनाओं के कितनी खोज (exploration) कर रहा है।

यह क्यों महत्वपूर्ण है

गति: क्योंकि यह एक चाल तय करने के लिए केवल एक चरण लेता है (पुराने जनरेटिव तरीकों की तरह 20 चरणों के बजाय), रोबोट लगभग तुरंत सोच सकता है। यह पुराने "सरल विचारक" जितना ही तेज़ है।
समझदारी: क्योंकि यह "टेलीपोर्ट" तर्क का उपयोग करता है, यह कई समाधानों वाली जटिल स्थितियों को संभाल सकता है (जैसे रचनात्मक कलाकार)।
स्थिरता: यह "नई चीजें आज़माने" (Exploration) और "बहुत तेज़ी से न बदलने" (Stability) दोनों शिक्षण विधियों को सफलतापूर्वक जोड़ता है। यह एक ऐसा लक्ष्य बनाता है जो कठिन कार्यों को सीखने के लिए पर्याप्त जटिल है, फिर भी रोबोट कुशलतापूर्वक वहां तक पहुँच सकता है।

परिणाम

शोधकर्ताओं ने सात अलग-अलग रोबोट सिमुलेशन कार्यों (जैसे रोबोट का दौड़ना, चलना या खड़ा होना) पर इस नए दिमाग का परीक्षण किया।

प्रदर्शन: SMFP ने मौजूदा सर्वोत्तम तरीकों को भी पीछे छोड़ दिया या उनके बराबर प्रदर्शन किया, जिसमें धीमे और जटिल तरीके भी शामिल थे।
दक्षता: इसने उच्च स्कोर प्राप्त करते हुए भी अविश्वसनीय रूप से तेज़ प्रदर्शन किया, निर्णय लेने में लगभग कोई देरी नहीं हुई।

संक्षेप में: SMFP रोबोट को सिखाने का एक नया तरीका है जो वास्तविक समय के उपयोग के लिए तेज़ है लेकिन जटिल, बहु-विकल्प समस्याओं को संभालने के लिए पर्याप्त स्मार्ट भी है, और साथ ही सीखने की प्रक्रिया के दौरान रोबोट को स्थिर और सुरक्षित रखता है। यह "तेज़ लेकिन सरल" और "स्मार्ट लेकिन धीमा" के बीच के अंतर को पाटता है।

तकनीकी सारांश: स्टोकेस्टिक मीनफ्लो पॉलिसीज़ (SMFP)

1. समस्या विवरण

उच्च-आयामी निरंतर नियंत्रण (high-dimensional continuous control) के लिए ऑनलाइन ऑफ-पॉलिसी सुदृढीकरण लर्निंग (RL) एक मौलिक व्यापार-बंद (trade-off) का सामना करती है: पॉलिसी की अभिव्यंजना क्षमता (policy expressivity) और अनुकूलन सुगमता (optimisation tractability)।

पॉलिसी प्रतिनिधित्व (Policy Representation): मानक गॉसियन (Gaussian) पॉलिसियाँ तेज़ अनुमान (inference) और सुगम एंट्रॉपी अनुमान प्रदान करती हैं, लेकिन वे जटिल, मल्टीमॉडल एक्शन डिस्ट्रीब्यूशन को मॉडल करने में विफल रहती हैं। इसके विपरीत, जनरेटिव पॉलिसियाँ (जैसे डिफ्यूजन या फ्लो-आधारित) समृद्ध मल्टीमॉडल अभिव्यंजना प्रदान करती हैं, लेकिन वे अगतिशील लाइक्लीहुड (intractable likelihoods), कठिन एंट्रॉपी अनुमान और पुनरावृत्ति सैंपलिंग (iterative sampling) के कारण उच्च अनुमान विलंबता (inference latency) से ग्रस्त होती हैं।
अनुकूलन पद्धति (Optimisation Methodology): एंट्रॉपी-रेगुलराइज्ड एक्सप्लोरेशन (जैसे सॉफ्ट एक्टर-क्रिटिक, SAC), जो व्यापक अन्वेषण को बढ़ावा देता है लेकिन अस्थिरता का कारण बन सकता है, और मिरर डिसेंट (MD) अपडेट्स, जो पिछले पॉलिसी के करीब रहने के लिए अपडेट को सीमित करके स्थिर, रूढ़िवादी सुधार सुनिश्चित करते हैं, के बीच एक तनाव है।
मुख्य संघर्ष (The Core Conflict): SAC-शैली के एंट्रॉपी मैक्सिमाइजेशन को MD बाधाओं के साथ जोड़ने से एक मल्टीमॉडल टारगेट डिस्ट्रीब्यूशन (एक वैल्यू-प्रेरित बोल्ट्ज़मैन डिस्ट्रीब्यूशन और पिछली पॉलिसी का संयोजन) बनता है। मानक यूनिमॉडल गॉसियन पॉलिसियाँ इस लक्ष्य को दर्शाने में असमर्थ हैं, जिससे एक प्रतिनिधित्व बेमेल (representation mismatch) उत्पन्न होता है। हालांकि अभिव्यंजक जनरेटिव पॉलिसियाँ सैद्धांतिक रूप से इस अंतर को पाट सकती हैं, लेकिन उनमें आमतौर पर स्पष्ट एंट्रॉपी नियंत्रण के लिए एक सुगम तंत्र की कमी होती है, जिससे एंट्रॉपी-संचालित एक्सप्लोरेशन और मिरर-डिसेंट स्थिरता का संयोजन व्यावहारिक रूप से असंभव हो जाता है।

2. कार्यप्रणाली: स्टोकेस्टिक मीनफ्लो पॉलिसियाँ (SMFP)

लेखक स्टोकेस्टिक मीनफ्लो पॉलिसियाँ (SMFP) प्रस्तावित करते हैं, जो एक 'वन-स्टेप' जनरेटिव पॉलिसी फ्रेमवर्क है। इसे मीनफ्लो-आधारित नॉइज़-टू-एक्शन मैपिंग और गॉसियन रीपैरामीट्राइजेशन को जोड़कर उपरोक्त संघर्षों को हल करने के लिए डिज़ाइन किया गया है।

2.1 स्टोकेस्टिक रीपैरामीट्राइजेशन (Stochastic Reparameterisation)

SMFP नियत (deterministic) मीनफ्लो आइडेंटिटी को एक स्टोकेस्टिक मैपिंग में पुनर्गठित करता है। शुद्ध नियत वेग क्षेत्र (velocity field) के बजाय, पॉलिसी $g_\theta$ माध्य क्रिया (mean action) और सशर्त मानक विचलन (conditional standard deviation) दोनों का अनुमान लगाती है:
$g_\theta(a_t, b, t) = \underbrace{a_t - u_\theta(a_t, b, t)}_{\text{Mean } \mu} + \underbrace{\sigma_\theta(a_t, b, t) \odot \epsilon}_{\text{Stochasticity } \sigma}$
जहाँ $a_t$ नॉइज़ और एक्शन के बीच इंटरपोलेशन है, $u_\theta$ सीखा गया औसत वेग है, और $\epsilon$ मानक गॉसियन नॉइज़ है। यह संरचना पॉलिसी को एकल फॉरवर्ड पास (one-step inference) में क्रियाएं आउटपुट करने की अनुमति देती है जबकि एक सशर्त गॉसियन डिस्ट्रीब्यूशन बनाए रखती है।

2.2 सुगम एंट्रॉपी सरोगेट (Tractable Entropy Surrogate)

एक प्रमुख नवाचार एक सुगम एंट्रॉपी सरोगेट का व्युत्पन्न है। चूंकि जनरेटिव पॉलिसी की मार्जिनल एंट्रॉपी अगतिशील (intractable) है, SMFP लेटेंट नॉइज़ $e$ के सापेक्ष सशर्त एंट्रॉपी पर आधारित एक लोअर बाउंड को मैक्सिमाइज करता है।

ऑब्जेक्टिव प्रेडिक्टेड गॉसियन के अपेक्षित लॉग-स्टैंडर्ड डेविएशन $\mathbb{E}[\sum \log \sigma^{(i)}_\theta]$ का उपयोग करता है।
वेरिएंस कोलैप्स को रोकने और अनबाउंड एंट्रॉपी वृद्धि को रोकने के लिए, एक हिंज-स्टाइल एंट्रॉपी रेगुलराइज़र लागू किया जाता है। यह केवल तभी सक्रिय होता है जब नॉर्मलाइज्ड लॉग-स्टैंडर्ड डेविएशन $\kappa_\sigma$ थ्रेशोल्ड से नीचे गिर जाता है, जिससे अन्वेषण के लिए न्यूनतम नॉइज़ स्केल सुनिश्चित होता है।

2.3 ऑफ-पॉलिसी मिरर डिसेंट ऑप्टिमाइजेशन

SMFP इस एंट्रॉपी नियंत्रण को ऑफ-पॉलिसी मिरर डिसेंट के साथ एकीकृत करता है। अनुकूलन ऑब्जेक्टिव निम्नलिखित को जोड़ता है:

वैल्यू मैक्सिमाइजेशन: मानक Q-लर्निंग लॉस।
एंट्रॉपी रेगुलराइजेशन: ऊपर वर्णित सुगम सशर्त एंट्रॉपी सरोगेट।
मिरर डिसेंट कंस्ट्रेंट: पिछली पॉलिसी $\pi_{\theta_{old}}$ के प्रति अपडेट को बांधने वाला एक KL-डाइवर्जेंस टर्म।

चूंकि मिरर डिसेंट के लिए टारगेट डिस्ट्रीब्यूशन नॉन-पैरामीट्रिक और अननॉर्मलाइज्ड है, SMFP एक वेटेड रिग्रेशन दृष्टिकोण अपनाता है। यह पिछली पॉलिसी से क्रियाएं सैंपल करता है और उन्हें एडवांटेज-आधारित टर्म द्वारा वेट करता है (जिसे $\max(0, Q(s,a) - V(s))$ के रूप में अनुमानित किया गया है) ताकि जनरेटिव पॉलिसी को इष्टतम लक्ष्य पर प्रोजेक्ट किया जा सके। यह लक्ष्य के स्पष्ट डेंसिटी मूल्यांकन की आवश्यकता को समाप्त करता है।

2.4 वैल्यू-गाइडेड एक्शन सिलेक्शन

वेरिएंस को और कम करने के लिए, SMFP Best-of-K सैंपलिंग का उपयोग करता है। एक दिए गए स्टेट के लिए, $K$ एक्शन कैंडिडेट समानांतर में (JAX vmap का उपयोग करके) जेनरेट किए जाते हैं, और उच्चतम Q-वैल्यू वाली क्रिया का चयन किया जाता है। यह नगण्य इन्फरेंस ओवरहेड के साथ एक लाइटवेट रिजेक्शन फिल्टर के रूप में कार्य करता है।

3. मुख्य योगदान

SMFP आर्किटेक्चर: एक वन-स्टेप स्टोकेस्टिक जनरेटिव पॉलिसी का परिचय जो मीनफ्लो अभिव्यंजना को गॉसियन रीपैरामीट्राइजेशन के साथ जोड़ता है, जिससे सिंगल-स्टेप इन्फरेंस सक्षम होता है और स्पष्ट एंट्रॉपी नियंत्रण भी मिलता है।
सुगम एंट्रॉपी नियंत्रण: एक सशर्त एंट्रॉपी लोअर बाउंड का व्युत्पन्न जो जनरेटिव पॉलिसियों के लिए एंट्रॉपी-रेगुलराइज्ड मिरर-डिसेंट RL को पहली बार व्यावहारिक रूप से प्रभावी बनाता है।
एकीकृत ऑब्जेक्टिव: एक एकीकृत लॉस फंक्शन जो एंट्रॉपी-संचालित एक्सप्लोरेशन, वैल्यू-वेटेड मिरर डिसेंट और वन-स्टेप जनरेटिव इन्फरेंस को संयुक्त रूप से अनुकूलित करता है, जिससे मल्टीमॉडल लक्ष्यों और यूनिमॉडल पॉलिसियों के बीच प्रतिनिधित्व बेमेल को हल किया जाता है।
अनुभवजन्य सत्यापन: यह प्रदर्शन कि गॉसियन-ओनली सेटिंग्स के विपरीत, जब अभिव्यंजक जनरेटिव पॉलिसियों द्वारा समर्थित हो, तो SAC-शैली का एक्सप्लोरेशन और मिरर डिसेंट को जोड़ना फायदेमंद होता है।

4. प्रयोगात्मक परिणाम

लेखकों ने SMFP का मूल्यांकन सात MuJoCo निरंतर नियंत्रण बेंचमार्क (Hopper, Walker2D, Ant, HalfCheetah, Humanoid, HumanoidStandup, Swimmer) पर 30 रैंडम सीड्स के साथ किया।

प्रदर्शन: SMFP ने सभी बेंचमार्क में सर्वश्रेष्ठ समग्र प्रदर्शन प्राप्त किया, जिसने क्लासिकल गॉसियन बेसलाइन्स (PPO, TD3, SAC) और स्टेट-ऑफ-द-आर्ट जनरेटिव बेसलाइन्स (डिफ्यूजन-आधारित जैसे DIME, QVPO; फ्लो-आधारित जैसे SAC Flow, FPMD) दोनों को पीछे छोड़ दिया।
दक्षता: 16-20 सैंपलिंग स्टेप्स की आवश्यकता वाली इटरेटिव डिफ्यूजन पॉलिसियों के विपरीत, SMFP सिंगल-स्टेप इन्फरेंस (NFE=1) बनाए रखता है। NVIDIA RTX 5090 पर, SMFP ने नगण्य इन्फरेंस विलंबता (0.42ms) के साथ मजबूत प्रदर्शन हासिल किया, जो मानक गॉसियन पॉलिसियों के तुलनीय है और इटरेटिव जनरेटिव मेथड्स की तुलना में काफी तेज़ है।
एब्लेशन स्टडीज (Ablation Studies):
- एंट्रॉपी रेगुलराइज़र को हटाने से प्रदर्शन में गिरावट आई, जो स्टोकेस्टिक एक्सप्लोरेशन की आवश्यकता की पुष्टि करता है।
- मिरर डिसेंट टर्म को हटाने से स्थिरता कम हो गई, विशेष रूप से Humanoid जैसे उच्च-आयामी कार्यों में।
- विधि ने एंट्रॉपी टेम्परेचर ( $\alpha$ ) और मिरर डिसेंट कोएफिशिएंट ( $\lambda$ ) के हाइपरपैरामीटर वेरिएशंस के प्रति मजबूती दिखाई।

5. महत्व और दावे

यह पेपर दावा करता है कि SMFP ऑनलाइन ऑफ-पॉलिसी RL में एक महत्वपूर्ण कदम है, जो अभिव्यंजक जनरेटिव मॉडलिंग और स्थिर, एंट्रॉपी-रेगुलराइज्ड ऑप्टिमाइजेशन के बीच के अंतर को सफलतापूर्वक पाटता है।

व्यावहारिक प्रभावशीलता: लेखक कहते हैं कि SMFP "एंट्रॉपी-रेगुलराइज्ड मिरर-डिसेंट RL को पहली बार व्यावहारिक रूप से प्रभावी बनाता है।" पूर्ववर्ती प्रयास जो इन उद्देश्यों को मिलाने का प्रयास करते थे, गॉसियन पैरामीट्राइजेशन के तहत विफल रहे क्योंकि वे मल्टीमॉडल लक्ष्यों को दर्शाने में असमर्थ थे; SMFP अपनी जनरेटिव प्रकृति के माध्यम से इस पर विजय प्राप्त करता है।
संतुलित व्यापार-बंद (Balanced Trade-off): यह कार्य प्रदर्शित करता है कि वास्तविक समय के नियंत्रण के लिए आवश्यक इन्फरेंस स्पीड से समझौता किए बिना, जनरेटिव पॉलिसियों की मल्टीमॉडल अभिव्यंजना और मिरर डिसेंट की स्थिरता को बनाए रखना संभव है।
सीमाएँ: लेखक विनम्रतापूर्वक नोट करते हैं कि सुगम सरोगेट विशेष रूप से मीनफ्लो के रीपैरामीटराइज्ड स्ट्रक्चर पर निर्भर करता है। अन्य जनरेटिव क्लासेज तक इसे विस्तारित करने के लिए नए एंट्रॉपी बाउंड्स की आवश्यकता हो सकती है। इसके अतिरिक्त, वर्तमान कार्यान्वयन $\alpha$ और $\lambda$ के लिए फिक्स्ड हाइपरपैरामीटर्स का उपयोग करता है, जिससे एडेप्टिव वेटिंग स्कीम्स भविष्य के कार्य के रूप में बचते हैं।

संक्षेप में, SMFP एक ऐसा सिद्धांतपूर्ण ढांचा प्रदान करता है जहाँ अभिव्यंजक जनरेटिव पॉलिसियों और कुशल गॉसियन-आधारित एंट्रॉपी नियंत्रण के पूरक लाभ सुरक्षित रहते हैं, जिससे जटिल निरंतर डोमेन में स्थिर और उच्च-प्रदर्शन वाली ऑनलाइन RL सक्षम होती है।