🤖 machine learning

Offline Reinforcement Learning with Generative Trajectory Policies

यह शोधपत्र जेनेरेटिव ट्रैजेक्टरी पॉलिसीज़ (GTPs) को प्रस्तुत करता है, जो एक एकीकृत ऑफलाइन सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो निरंतर-समय ODE-आधारित ट्रैजेक्टरी समाधान मानचित्रों को सीखकर धीमे डिफ्यूजन मॉडल्स और तेज़ कंसिस्टेंसी मॉडल्स के बीच के अंतर को पाटता है, और चुनौतीपूर्ण AntMaze कार्यों पर परफेक्ट स्कोर सहित D4RL बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त करता है।

मूल लेखक: Xinsong Feng, Leshu Tang, Chenan Wang, Haipeng Chen

प्रकाशित 2026-05-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xinsong Feng, Leshu Tang, Chenan Wang, Haipeng Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक जटिल भूलभुलैया (maze) के माध्यम से चलना सिखाने की कोशिश कर रहे हैं। आपके पास अन्य रोबोटों द्वारा इस कार्य को करने वाले वीडियो का एक विशाल पुस्तकालय है, लेकिन आप अपने नए रोबोट को वास्तविक दुनिया में अभ्यास करने की अनुमति नहीं दे सकते; इसे पूरी तरह से उन पुराने वीडियो को देखकर ही सीखना होगा। यह ऑफलाइन रीइन्फोर्समेंट लर्निंग (Offline Reinforcement Learning) की चुनौती है।

समस्या यह है कि वीडियो दिखाते हैं कि हिलने-डुलने के कई अलग-अलग तरीके हैं। कभी रोबोट बाईं ओर मुड़ता है, कभी दाईं ओर, कभी वह लड़खड़ाता है, और कभी वह बिल्कुल सुचारू रूप से चलता है। एक साधारण रोबोट मस्तिष्क भ्रमित हो सकता है और इन सभी गतिविधियों का "औसत" निकालने की कोशिश कर सकता है, जिसके परिणामस्वरूप रोबोट बस गोल-गोल घूमता रहेगा। इसके लिए एक ऐसे मस्तिष्क की आवश्यकता है जो एक साथ सभी विभिन्न संभावनाओं को समझ सके।

पुराना द्वंद्व: धीमा बनाम मूर्ख (The Old Dilemma: Slow vs. Stupid)

अतीत में, शोधकर्ताओं ने इन "स्मार्ट दिमागों" को बनाने के लिए दो मुख्य प्रकार के उपकरणों का उपयोग करने की कोशिश की, लेकिन उन्हें एक निराशाजनक समझौते का सामना करना पड़ा:

धीमा कलाकार (डिफ्यूजन मॉडल्स - Diffusion Models): कल्पना कीजिए कि एक कलाकार एक खाली कैनवास से शुरुआत करता है जो स्टैटिक शोर (static noise) से ढका हुआ है और धीरे-धीरे, चरण-दर-चरण, इसे तब तक परिष्कृत करता है जब तक कि एक आदर्श चित्र प्रकट न हो जाए। यह विधि जटिल विवरणों और विभिन्न शैलियों (multi-modal behaviors) को पकड़ने में अविश्वसनीय रूप से अच्छी है। हालांकि, एक चित्र बनाने में बहुत समय लगता है। यदि आपके रोबोट को हर सेकंड एक निर्णय लेने की आवश्यकता है, तो यह धीमी प्रक्रिया बहुत सुस्त है।
तेज़ स्केचर (कंसिस्टेंसी मॉडल्स - Consistency Models): अब एक स्केचर की कल्पना करें जो एक या दो त्वरित स्ट्रोक में अंतिम चित्र बनाने की कोशिश करता है। यह अविश्वसनीय रूप से तेज़ है, लेकिन क्योंकि यह परिष्करण चरणों को छोड़ देता है, इसलिए ड्राइंग अक्सर धुंधली या गलत दिखती है। रोबोट तेज़ी से चलता है लेकिन दीवारों से टकरा जाता है क्योंकि दुनिया के प्रति उसकी समझ बहुत सरल होती है।

नया समाधान: "जेनरेटिव ट्राजेक्टरी पॉलिसी" (GTP)

इस पेपर के लेखक, ज़िनसोंग फेंग (Xinsong Feng) और उनके सहयोगियों ने कहा: "क्यों 'धीमे और स्मार्ट' या 'तेज़ और मूर्ख' के बीच चुनाव करना? आइए एक ऐसा रोबोट मस्तिष्क बनाएं जो दोनों हो।"

उन्होंने एक नई विधि पेश की जिसे जेनरेटिव ट्राजेक्टरी पॉलिसी (Generative Trajectory Policy - GTP) कहा जाता है। इसे समझने के लिए, रोबोट की गति को बिंदु A से बिंदु B तक की एक एकल छलांग के रूप में नहीं, बल्कि उसकी यात्रा के एक निरंतर मूवी (continuous movie) के रूप में देखें।

एकीकृत दृष्टिकोण (The Unified View): लेखकों ने महसूस किया कि "धीमा कलाकार" और "तेज़ स्केचर" वास्तव में एक ही मूवी को अलग-अलग कोणों से देख रहे हैं। वे दोनों एक ही गणितीय समीकरण (एक ऑर्डिनरी डिफरेंशियल इक्वेशन, या ODE) को हल करने की कोशिश कर रहे हैं जो यह बताता है कि रोबोट अराजकता (शोर) से व्यवस्था (एक आदर्श क्रिया) की ओर कैसे बढ़ता है।
जादुई ट्रिक (The Magic Trick): मूवी को फ्रेम-दर-फ्रेम देखने (धीमा) या अंत का तुरंत अनुमान लगाने (तेज़) के बजाय, GTP एक साथ पूरी मूवी का नक्शा सीख लेता है। यह "सॉल्यूशन मैप" सीखता है, जो इसे बताता है कि शोर के किसी भी बिंदु से पूर्ण क्रिया तक कैसे पहुँचा जाए, चाहे कितने भी चरण क्यों न लगें।

उन्होंने इसे कैसे काम करने के लायक बनाया (दो हैक्स)

शून्य से इस "पूरी मूवी मैप" को सीखना कठिन है। यदि रोबोट शुरुआत में गलत अनुमान लगाता है, तो वह भ्रमित हो जाता है और गलत अनुमान लगाना जारी रखता है। लेखकों ने इसे व्यावहारिक बनाने के लिए दो चतुर "हैक" जोड़े:

"चीट शीट" (स्कोर एप्रोक्सिमेशन - Score Approximation):
सामान्यतः, मूवी मैप सीखने के लिए, रोबोट को अपना काम जांचने के लिए पूरी मूवी को बार-बार सिम्युलेट करना होगा। यह गणनात्मक रूप से बहुत महंगा है।

उपमा: कल्पना कीजिए कि आप सही नोट बजाने की जाँच करने के लिए पूरी सिम्फनी (symphony) बजाकर एक गाना सीखने की कोशिश कर रहे हैं। लेखक कहते हैं, "नहीं, बस शीट म्यूजिक को देखें।" उन्होंने एक तरीका खोजा जिससे वे पूरी मूवी को सिम्युलेट किए बिना सीधे एक सरल सूत्र (एक "चीट शीट") का उपयोग करके रोबोट की प्रगति की जाँच कर सकें। यह प्रशिक्षण को तेज़ और स्थिर बनाता है, जिससे रोबोट भ्रम के चक्र में फंसने से बच जाता है।

"कोच की सीटी" (वैल्यू-ड्रिवन गाइडेंस - Value-Driven Guidance):
केवल वीडियो की नकल करना पर्याप्त नहीं है; रोबोट को वीडियो में मौजूद चीज़ों से बेहतर चालें सीखने की आवश्यकता है।

उपमा: कल्पना कीजिए कि एक कोच वीडियो लाइब्रेरी देख रहा है। जब वीडियो में रोबोट ऐसी चाल चलता है जो उच्च स्कोर की ओर ले जाती है, तो कोच सीटी बजाता है और कहता है, "ऐसा अधिक करो!" जब रोबोट एक खराब चाल चलता है, तो कोच कहता है, "ऐसा मत करो।"
लेखकों ने एक ऐसी प्रणाली बनाई जहाँ एक "क्रिटिक" (कोच) रोबोट के प्रशिक्षण को देखता है और पाठों को वेटेज (weight) देता है। यह रोबोट को वीडियो में उच्च-स्कोर वाली चालों पर विशेष ध्यान देने के लिए कहता है, प्रभावी रूप से उसे केवल नकल करने से आगे बढ़कर सुधार करने के लिए सिखाता है।

परिणाम

टीम ने इस नए रोबोट मस्तिष्क का परीक्षण D4RL नामक प्रसिद्ध चुनौतियों के सेट पर किया, जिसमें दो पैरों पर चलना और जटिल भूलभुलैया (AntMaze) में नेविगेट करना जैसे कार्य शामिल हैं।

परिणाम: GTP ने लगभग हर अन्य पद्धति को मात दी। यह व्यावहारिक होने के लिए पर्याप्त तेज़ था और सबसे कठिन, बहु-चरणीय पहेलियों को संभालने के लिए पर्याप्त स्मार्ट भी था।
मुख्य आकर्षण: अत्यंत कठिन "AntMaze" कार्यों पर (जहाँ एक रोबोट को एक बड़ी, घुमावदार भूलभुलैया में नेविगेट करना होता है), GTP ने कई स्तरों पर परफेक्ट स्कोर प्राप्त किया, जो पिछले तरीकों के लिए संघर्षपूर्ण था।

सारांश

संक्षेप में, लेखकों ने "धीमे लेकिन स्मार्ट" और "तेज़ लेकिन मूर्ख" के बीच के अंतर को पाट दिया है। रोबोट की गति को एक निरंतर यात्रा के रूप में देखकर और इसे कुशलतापूर्वक सीखने के लिए एक "चीट शीट" का उपयोग करके, उन्होंने एक ऐसी पॉलिसी बनाई जो अत्यधिक अभिव्यंजक (जटिल, बहु-विकल्प व्यवहारों को संभालने में सक्षम) और गणनात्मक रूप से कुशल दोनों है। उन्होंने साबित किया कि ऑफलाइन लर्निंग में बुद्धिमत्ता के लिए गति का त्याग करना आवश्यक नहीं है।

तकनीकी सारांश: जनरेटिव ट्राजेक्टरी पॉलिसीज़ के साथ ऑफलाइन सुदृढीकरण शिक्षण (Reinforcement Learning)

समस्या विवरण

ऑफलाइन सुदृढीकरण शिक्षण (RL) एक मौलिक चुनौती का सामना करता है: बिना किसी और वातावरण संपर्क के, केवल एक स्थिर, पूर्व-संग्रहित डेटासेट से नीति (policy) सीखना। इस सेटिंग में नीति को सीमित, अक्सर संकीर्ण अनुभवों से एक अप्रत्याशित दुनिया में सामान्यीकरण (generalize) करने की आवश्यकता होती है। इस क्षेत्र में एक महत्वपूर्ण बाधा पॉलिसी अभिव्यक्ति (policy expressiveness) और कम्प्यूटेशनल दक्षता (computational efficiency) के बीच का संतुलन है।

पारंपरिक ऑफलाइन RL विधियाँ अक्सर सरल फंक्शन एप्रोक्सिमेटर्स (जैसे कि गॉसियन पॉलिसी) पर निर्भर करती हैं जो वास्तविक दुनिया के डेटासेट में मौजूद जटिल, मल्टी-मोडल व्यवहारों को पकड़ने में संघर्ष करती हैं। इसके विपरीत, हालिया जनरेटिव दृष्टिकोण, जैसे कि डिफ्यूजन पॉलिसीज़ (Diffusion Policies), जटिल एक्शन डिस्ट्रीब्यूशन को मॉडल करके उच्च अभिव्यक्ति प्रदान करते हैं, लेकिन वे धीमी, पुनरावृत्ति वाली सैंपलिंग प्रक्रियाओं के कारण भारी कम्प्यूटेशनल बोझ का सामना करते हैं। इसे कम करने के लिए, कंसिस्टेंसी पॉलिसीज़ (Consistency Policies) को अनुमान (inference) को तेज करने के लिए पेश किया गया था (अक्सर एक या दो चरणों में), लेकिन यह सरलीकरण अक्सर नीति के प्रदर्शन में गिरावट का कारण बनता है। यह शोध कार्य जिस केंद्रीय प्रश्न को संबोधित करता है, वह है: क्या एक ऐसी पॉलिसी क्लास डिजाइन करना संभव है जो उच्च पॉलिसी अभिव्यक्ति और कम्प्यूटेशनल दक्षता दोनों प्राप्त कर सके?

कार्यप्रणाली (Methodology)

1. एकीकृत ODE ढांचा (Unified ODE Framework)

लेखक एक एकीकृत परिप्रेक्ष्य प्रस्तावित करते हैं जो आधुनिक जनरेटिव मॉडलों को—डिफ्यूजन मॉडल, फ्लो मैचिंग, कंसिस्टेंसी मॉडल (CMs), और कंसिस्टेंसी ट्राजेक्टरी मॉडल (CTMs) सहित—एक निरंतर-समय जनरेटिव ट्राजेक्टरी के विशिष्ट उदाहरण के रूप में देखता है, जो एक साधारण अंतर समीकरण (Ordinary Differential Equation - ODE) द्वारा नियंत्रित होती है।

रिवर्स प्रक्रिया को इस ODE द्वारा वर्णित किया जाता है:
$\frac{dx_t}{dt} = f(x_t, t)$
जहाँ $f(x, t)$ एक शोर वितरण (noise distribution) $x_T$ से एक डेटा सैंपल $x_0$ तक एक नियतात्मक ट्राजेक्टरी (deterministic trajectory) को परिभाषित करता है। लेखक एक फ्लो मैप (Flow Map) $\Phi(x_t, t, s)$ पेश करते हैं, जो समय $t$ पर एक अवस्था को समय $s$ पर एक अवस्था में मैप करता है। उनका तर्क है कि मौजूदा विधियाँ केवल इस फ्लो मैप के विशिष्ट पहलुओं के सन्निकटन (approximations) हैं।

इस मैप को सीखने के लिए, वे दो पूरक प्रशिक्षण उद्देश्यों को परिभाषित करते हैं:

इंस्टेंटेनियस फ्लो लॉस (स्थानीय एंकर - Local Anchor): यह अनंत सूक्ष्म चरणों (infinitesimal steps) के लिए शुद्धता को लागू करता है, जो सीखे गए मैप को सीमा $s \to t$ पर वेक्टर फील्ड (या डिनोइज़र) के साथ मिलाता है। यह डिफ्यूजन-शैली के डिनोइजिंग और फ्लो-मैचिंग वेलोसिटी एस्टीमेशन को एकीकृत करता है।
ट्राजेक्टरी कंसिस्टेंसी लॉस (ग्लोबल रेगुलेटर - Global Regulator): यह लंबे, मल्टी-स्टेप जंप्स के माध्यम से स्व-संगति (self-consistency) को लागू करता है, यह सुनिश्चित करता है कि मध्यवर्ती चरणों का संयोजन सीधे जंप के बराबर हो।

2. जनरेटिव ट्राजेक्टरी पॉलिसीज़ (GTP)

इस ढांचे पर आधारित, यह शोध पत्र जनरेटिव ट्राजेक्टरी पॉलिसीज़ (GTPs) पेश करता है, जो एक नया पॉलिसी प्रतिमान (paradigm) है जो अंतर्निहित ODE के संपूर्ण समाधान मैप (solution map) को सीखता है। धीमी, उच्च-सटीकता वाली सैंपलिंग या तेज़, निम्न-सटीकता वाले शॉर्टकट्स तक सीमित विधियों के विपरीत, GTPs लचीला, बहु-चरणीय, नियतात्मक उत्पादन सक्षम करते हैं।

3. ऑफलाइन RL के लिए व्यावहारिक अनुकूलन

GTP प्रतिमान को एक कार्यात्मक ऑफलाइन RL एल्गोरिदम में बदलने के लिए तीन विशिष्ट चुनौतियों को संबोधित करने की आवश्यकता है: अत्यधिक कम्प्यूटेशनल लागत, प्रशिक्षण अस्थिरता, और गलत उद्देश्य। लेखक दो प्रमुख सैद्धांतिक रूप से सिद्ध अनुकूलन पेश करते हैं:

स्थिर स्कोर सन्निकटन (Stable Score Approximation):
- चुनौती: ODE ट्राजेक्टरी को सीखने के लिए आमतौर पर प्रत्येक सैंपल के लिए एक इनर-लूप सॉल्वर का उपयोग करके ODE को बैकवर्ड में संख्यात्मक रूप से हल करने की आवश्यकता होती है, जो कम्प्यूटेशनल रूप से अव्यवहार्य है और शुरुआती चरण के गलत अनुमानों से होने वाले एरर प्रोपेगेशन के कारण अस्थिर है।
- समाधान: लेखक सीखे गए वेक्टर फील्ड को एक क्लोज्ड-फॉर्म सरोगेट (surrogate) से बदल देते हैं जो ऑफलाइन डेटा सैंपल से जुड़ा होता है: $\tilde{f}(x_t, t) = (x_t - x)/t$ ।
- सैद्धांतिक गारंटी: प्रमेय 4.1 सिद्ध करता है कि इस सरोगेट का उपयोग करने से प्रशिक्षण उद्देश्य केवल $O(h^p)$ (जहाँ $h$ स्टेप साइज है) से बदलता है, जिससे व्यावहारिक उद्देश्य आदर्श वाले के समतुल्य हो जाता है। यह प्रशिक्षण के दौरान महंगे मल्टी-स्टेप ODE इंटीग्रेशन की आवश्यकता को समाप्त करता है और स्थिरता सुनिश्चित करता है।
वैल्यू-ड्रिवन गाइडेंस (Value-Driven Guidance):
- चुनौती: मानक जनरेटिव उद्देश्य डेटा वितरण (व्यवहार क्लोनिंग) से मेल खाते हैं, जो स्वाभाविक रूप से नीति सुधार (policy improvement) की ओर नहीं ले जाते हैं।
- समाधान: लेखक एक वैल्यू-वेटेड ट्रेनिंग ऑब्जेक्टिव को औपचारिक रूप देते हैं। एक KL-रेगुलराइज्ड पॉलिसी ऑप्टिमाइज़ेशन समस्या के इष्टतम समाधान को व्युत्पन्न करके, वे दिखाते हैं कि एक जनरेटिव पॉलिसी को इष्टतम पॉलिसी से मिलाने के लिए प्रशिक्षित करना एक वेटेड जनरेटिव ऑब्जेक्टिव को हल करने के समान है जहाँ वेट्स एक्सपोनेंशियल एडवांटेज फंक्शन हैं: $w(s, a) \propto \exp(\eta A(s, a))$ ।
- कार्यान्वयन: स्थिरता सुनिश्चित करने के लिए, एडवांटेज वेट्स को नॉर्मलाइज़ किया जाता है और नेगेटिव वैल्यूज को ट्रंकेट किया जाता है। यह नीति को डेटा सपोर्ट के भीतर रहते हुए उच्च-एडवांटेज वाले कार्यों की नकल करने को प्राथमिकता देने की अनुमति देता है।

मुख्य योगदान

जनरेटिव ट्राजेक्टरी पॉलिसीज़ (GTP): एक नया, उच्च अभिव्यक्ति वाला पॉलिसी प्रतिमान जो आधुनिक जनरेटिव मॉडल्स को निरंतर-समय ODE ट्राजेक्टरीज से जोड़ने वाले एक एकीकृत ढांचे से प्राप्त हुआ है।
सैद्धांतिक अनुकूलन: ऑफलाइन RL के लिए दो प्रमुख अनुकूलन:
- एक स्कोर एप्रोक्सिमेशन तकनीक जो दक्षता और स्थिरता के लिए सैद्धांतिक गारंटी प्रदान करती है, जिससे प्रशिक्षण के दौरान पुनरावृत्ति सॉल्वर की आवश्यकता समाप्त हो जाती है।
- एक वेरिएशनल फ्रेमवर्क जो इमिटेशन लर्निंग और पॉलिसी ऑप्टिमाइज़ेशन के बीच के अंतर को पाटता है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग जो प्रदर्शित करते हैं कि GTP, D4RL बेंचमार्क पर स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करता है, जो पिछले जनरेटिव और ऑफलाइन RL तरीकों को पीछे छोड़ देता है।

प्रयोगात्मक परिणाम

लेखकों ने Gym (लोकोमोशन) और AntMaze (स्पार्स-रिवॉर्ड, लॉन्ग-होरिजन) डोमेन को कवर करते हुए D4RL बेंचमार्क पर GTP का मूल्यांकन किया।

बिहेवियर क्लोनिंग (BC) प्रदर्शन: एक शुद्ध इमिटेशन लर्नर (बिना वैल्यू गाइडेंस के) के रूप में, GTP-BC ने 15 में से 11 कार्यों में स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त किए। विशेष रूप से, इसने चुनौतीपूर्ण AntMaze सूट में डिफ्यूजन-BC और कंसिस्टेंसी-BC को काफी पीछे छोड़ दिया (औसत स्कोर 66.3 बनाम अगले सर्वश्रेष्ठ का 44.1)।
पॉलिसी सुधार: पूर्ण GTP एक्टर-क्रिटिक एल्गोरिदम ने जनरेटिव पॉलिसीज़ के लिए नए रिकॉर्ड बनाए।
- Gym कार्यों पर, GTP ने 89.0 का औसत रिटर्न प्राप्त किया, जो पिछले सर्वश्रेष्ठ (Diffusion-QL 87.9) से अधिक है।
- AntMaze कार्यों पर, GTP ने 80.6 का औसत प्राप्त किया, जो Diffusion-QL (69.6) और QGPO (78.3) से काफी बेहतर है।
- उल्लेखनीय उपलब्धि: GTP ने अत्यंत कठिन antmaze-umaze कार्य पर 100.0 का पूर्ण स्कोर प्राप्त किया।
दक्षता: एब्लेशन अध्ययनों ने पुष्टि की कि GTP प्रदर्शन के लिए लंबी ODE ट्राजेक्टरीज पर निर्भर नहीं है; सैंपलिंग हॉरिजन को 5 से घटाकर 2 स्टेप करने पर भी उच्च प्रदर्शन बना रहा, जिससे इन्फरेंस लेटेंसी में काफी कमी आई।

महत्व और दावे

यह शोध पत्र दावा करता है कि GTP ऑफलाइन RL में अभिव्यक्ति (expressiveness) और दक्षता (efficiency) के बीच के अंतर को सफलतापूर्वक पाटता है। जनरेटिव पॉलिसीज़ को एक एकीकृत ODE ढांचे के लेंस के माध्यम से देखकर और पूर्ण समाधान मैप को सीखकर, GTP डिफ्यूजन मॉडल्स की कम्प्यूटेशनल बाधाओं और सरलीकृत कंसिस्टेंसी मॉडल्स के प्रदर्शन ह्रास से बचता है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण जनरेटिव पॉलिसीज़ को डिजाइन करने के लिए एक सिद्धांतिक आधार प्रदान करता है। स्कोर एप्रोक्सिमेशन और वैल्यू-ड्रिवन गाइडेंस का परिचय इस सैद्धांतिक रूप से समृद्ध ढांचे को ऑफलाइन RL के लिए व्यावहारिक रूप से सक्षम बनाता है। परिणाम बताते हैं कि पूर्ण निरंतर-समय ट्राजेक्टरी को सीखना जटिल, टेम्पोरली एक्सटेंडेड व्यवहारों को कैप्चर करने के लिए एक शक्तिशाली इंडक्टिव बायस प्रदान करता है, विशेष रूप से उन स्पार्स-रिवॉर्ड, लॉन्ग-होरिजन वातावरणों में जहाँ अन्य विधियाँ संघर्ष करती हैं।

यह शोध निष्कर्ष निकालता है कि जबकि इन्फरेंस तेज़ है, इस मॉडल क्लास के पर्याप्त प्रशिक्षण समय को कम करना भविष्य के अनुसंधान के लिए एक महत्वपूर्ण मार्ग बना हुआ है। यह कार्य RL में निरंतर-समय डायनेमिक्स का लाभ उठाने के लिए एक आशाजनक दिशा खोलता है, जो मजबूती और प्रदर्शन के बीच एक ऐसा संतुलन प्रदान करता है जो पहले अप्राप्य था।