🤖 machine learning

Scalable Maximum Entropy Reinforcement Learning for Diffusion Policies via Adjoint Matching

यह शोध पत्र एडजॉइंट मैचिंग (adjoint matching) का लाभ उठाकर डिफ्यूजन पॉलिसीज़ को ऑनलाइन सुदृढीकरण लर्निंग (reinforcement learning) में प्रशिक्षित करने के लिए एक कुशल, सिम्युलेशन-मुक्त एल्गोरिदम पेश करता है ताकि मानक स्कोर मैचिंग की सीमाओं को दूर किया जा सके और लागतपूर्ण लाइकलीहुड एस्टीमेशन (likelihood estimation) या डिफ्यूजन प्रक्रिया के माध्यम से बैकप्रोपैगेशन की आवश्यकता को समाप्त किया जा सके।

मूल लेखक: Serge Thilges, Onur Celik, Denis Blessing, Emiliyan Gospodinov, Gerhard Neumann

प्रकाशित 2026-06-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Serge Thilges, Onur Celik, Denis Blessing, Emiliyan Gospodinov, Gerhard Neumann

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को चलना, नाचना या वीडियो गेम खेलना सिखा रहे हैं। रोबोट को यह सीखने की आवश्यकता है कि सबसे अच्छा स्कोर (पुरस्कार/रिवॉर्ड्स) पाने के लिए कौन से कार्य करने चाहिए। अतीत में, रोबोट अक्सर सरल, "बेल-कर्व" (घंटी के आकार वाले) स्टाइल के कार्यों का अनुमान लगाकर सीखते थे (जैसे थोड़ा बाएं या थोड़ा दाएं हिलना)। लेकिन वास्तविक जीवन अव्यवस्थित है; कभी-कभी सबसे अच्छा कदम एक जटिल, बहु-चरणीय नृत्य होता है जो एक सरल वक्र (कर्व) में फिट नहीं बैठता।

डिफ्यूजन पॉलिसीज (Diffusion Policies) के बारे में सोचें। इन्हें ऐसे समझें जैसे एक रोबोट जो एक अराजक, शोर भरे ढेर (noisy mess) से शुरुआत करके और धीरे-धीरे उस शोर को हटाकर (denoising) एक आदर्श, जटिल चाल खोज लेता है। यह एक धुंधली फोटो को स्टेप-बाय-स्टेप साफ करने जैसा है जब तक कि तस्वीर स्पष्ट न हो जाए।

हालाँकि, इस रोबोट को वास्तविक समय में सिखाना (ऑनलाइन रिइन्फोर्समेंट लर्निंग) दो मुख्य कारणों से एक दुस्वप्न रहा है:

मेमोरी की समस्या: सीखने के लिए, रोबोट को आमतौर पर अपनी हर गलती को सुधारने के लिए अपने दिमाग में अपनी पूरी "डिनोइजिंग" प्रक्रिया को बार-बार दोहराना पड़ता है। यह एक फिल्म के हर एक फ्रेम को याद रखने की कोशिश करने जैसा है ताकि केवल एक दृश्य को ठीक किया जा सके। यह इतनी मेमोरी लेता है कि रोबोट क्रैश हो जाता है या बहुत धीमी गति से सीखता है।
"नो ग्राउंड ट्रुथ" (कोई ज्ञात उत्तर नहीं) की समस्या: एक क्लासरूम में, आपके पास एक उत्तर कुंजी (answer key) होती है। वास्तविक समय में सीखने में, रोबोट को पहले से नहीं पता होता कि "परफेक्ट" मूव क्या है; उसे केवल बाद में रिवॉर्ड के माध्यम से पता चलता है। मानक शिक्षण विधियाँ जो ज्ञात उत्तरों के साथ अनुमानों की तुलना करती हैं, यहाँ काम नहीं करतीं।

समाधान: AMDP (एडजॉइंट मैचिंग डिफ्यूजन पॉलिसी)

इस शोध के लेखकों ने एक नया तरीका पेश किया जिसे AMDP कहा जाता है। यहाँ उन्होंने कुछ चतुर युक्तियों का उपयोग करके इन समस्याओं को कैसे हल किया, इसका विवरण दिया गया है:

1. "रिवर्स मूवी" ट्रिक (सिमुलेशन-फ्री ट्रेनिंग)
कल्पना कीजिए कि आप केक बनाना सीख रहे हैं। आमतौर पर, आपको पूरा केक बनाना पड़ता है, उसे चखना पड़ता है, और फिर यह पता लगाने की कोशिश करनी पड़ती है कि आपने ठीक किस सेकंड में चीनी डाली थी ताकि इसे ठीक किया जा सके। यह कठिन है।
AMDP अलग है। पूरी बेकिंग प्रक्रिया को दोबारा चलाने के बजाय, यह एडजॉइंट मैचिंग (Adjoint Matching) नामक एक गणितीय शॉर्टकट का उपयोग करता है।

उपमा: इसे तैयार केक को देखने जैसा समझें (अंतिम क्रिया) और तुरंत यह जानना कि, "यदि मैंने इस विशिष्ट क्षण पर चीनी डाली होती, तो केक एकदम सही होता।"
परिणाम: रोबोट को सीखने के लिए पूरी शोर भरी प्रक्रिया को पीछे की ओर (backward) सिम्युलेट करने की आवश्यकता नहीं है। वह बस अंतिम चाल को देखता है, "स्कोर" (Q-स्कोर) की गणना करता है, और अपने मस्तिष्क को अपडेट करता है। इससे कंप्यूटर की बहुत सारी मेमोरी बचती है और प्रशिक्षण बहुत तेज़ हो जाता है।

2. "स्क्वैश" फंक्शन (कार्यों को सुरक्षित रखना)
रोबोट की अक्सर सीमाएं होती हैं। एक रोबोटिक हाथ अनंत ऋणात्मक (negative infinity) तक नहीं जा सकता; उसकी एक भौतिक सीमा होती है (जैसे, -1 और 1 के बीच)।

समस्या: डिफ्यूजन के पीछे का गणित अक्सर ऐसी संख्याएँ उत्पन्न करता है जो बहुत बड़ी या बहुत छोटी होती हैं, जिससे रोबोट की सीमाएं टूट जाती हैं।
समाधान: लेखकों ने एक विशेष गणितीय "स्क्वैश" फंक्शन (एरर फंक्शन या erf पर आधारित) का उपयोग किया। इसे एक स्प्रिंग की तरह समझें जो खींचने पर और अधिक सख्त होता जाता है, और अंततः एक कठोर दीवार पर रुक जाता है। यह सुनिश्चित करता है कि रोबोट की आंतरिक गणित कितनी भी अजीब क्यों न हो, अंतिम क्रिया हमेशा सुरक्षित और उसकी भौतिक सीमाओं के भीतर रहे। उन्होंने पाया कि यह विशिष्ट "स्क्वैश" पुराने तरीकों की तुलना में बहुत अधिक स्थिर है।

3. "ट्रस्ट रीजन" (अति-प्रतिक्रिया न दें)
सीखते समय, यदि रोबोट को बुरा स्कोर मिलता है, तो वह घबरा सकता है और रातों-रात अपना पूरा व्यक्तित्व बदल सकता है, जिससे वह वह सब कुछ भूल सकता है जो उसने पहले सीखा था।

समाधान: लेखकों ने एक "ट्रस्ट रीजन" नियम जोड़ा। यह एक सुरक्षा पट्टे (safety leash) की तरह है। यह रोबोट को बताता है: "आप इस नए अनुभव से सीख सकते हैं, लेकिन अपने व्यवहार को बहुत अधिक नाटकीय रूप से न बदलें। जो आप पहले कर रहे थे उसके करीब रहें।" यह सीखने की प्रक्रिया को स्थिर रखता है और रोबोट को पागल होने से रोकता है।

उन्होंने क्या पाया?

टीम ने 63 विभिन्न वातावरणों में इस नई विधि का परीक्षण किया, जिसमें साधारण संतुलन कार्यों से लेकर जटिल ह्यूमनायड रोबोटों का चलना और वस्तुओं को संभालना शामिल था।

गति: AMDP सबसे सरल, सबसे कुशल तरीकों (जैसे गॉसियन पॉलिसी) की तरह लगभग उतनी ही तेज़ी से प्रशिक्षित होता है, लेकिन यह बहुत अधिक जटिल गतिविधियों को भी संभाल सकता है।
प्रदर्शन: इसने कई मौजूदा उन्नत तरीकों से बेहतर तरीके से चलना और वस्तुओं को संभालना सीखा। कुछ जटिल परीक्षणों में, यह स्पष्ट विजेता था।
दक्षता: क्योंकि इसे रोबोट की विचार प्रक्रिया की पूरी "मूवी" को दोबारा चलाने की आवश्यकता नहीं है, इसलिए यह बहुत कम कंप्यूटर पावर का उपयोग करता है। उन्होंने दिखाया कि एक विशाल, जटिल रोबोट मॉडल के साथ भी, प्रशिक्षण का समय सरल तरीकों की तुलना में केवल लगभग 10% बढ़ा, जबकि पुराने जटिल तरीकों को 70 से 80 गुना अधिक समय लगता।

संक्षेप में

यह शोध पत्र एक तरीका प्रस्तुत करता है जिससे रोबोट को उनके कंप्यूटर क्रैश किए बिना जटिल, बहु-चरणीय गतिविधियाँ सिखाई जा सकें। उन्होंने यह एक गणितीय शॉर्टकट का आविष्कार करके किया जो रोबोट को पूरी हिस्ट्री को दोबारा चलाने के बिना अंतिम परिणाम से सीखने की अनुमति देता है, सीखने को स्थिर रखने के लिए एक "सुरक्षा पट्टा" जोड़ता है, और कार्यों को सुरक्षित सीमाओं के भीतर रखने के लिए एक विशेष "स्क्वैश" टूल का उपयोग करता है। परिणाम यह है कि एक रोबोट जटिल कौशल तेजी से, कुशलता से और बिना गणित में खोए सीखता है।

तकनीकी सारांश: एडजॉइंट मैचिंग के माध्यम से डिफ्यूजन पॉलिसी के लिए स्केलेबल मैक्सिमम एंट्रॉपी सुदृढीकरण शिक्षण (Reinforcement Learning)

समस्या विवरण

डिफ्यूजन पॉलिसीज़ जटिल, मल्टी-मोडल एक्शन डिस्ट्रीब्यूशन को दर्शाने के लिए सुदृढीकरण शिक्षण (RL) में एक शक्तिशाली प्रतिमान (paradigm) के रूप में उभरी हैं। हालाँकि, ग्राउंड-ट्रुथ डेटा की अनुपस्थिति में ऑनलाइन RL में उनके अनुप्रयोग को स्केलेबल प्रशिक्षण की चुनौती द्वारा सीमित किया जाता है। स्कोर मैचिंग या ब्रिज मैचिंग जैसे मानक प्रशिक्षण उद्देश्य सीधे तौर पर लागू नहीं होते हैं क्योंकि ऑनलाइन RL में इष्टतम नमूनों (optimal samples) का कोई स्थिर डेटासेट नहीं होता है।

ऑनलाइन सेटिंग्स में डिफ्यूजन पॉलिसीज़ को प्रशिक्षित करने वाले मौजूदा दृष्टिकोण तीन प्राथमिक सीमाओं का सामना करते हैं:

रिवर्स KL डाइवर्जेंस (Reverse KL Divergence): रिवर्स KL डाइवर्जेंस को कम करने वाली विधियों के लिए संपूर्ण डिफ्यूजन प्रक्रिया के माध्यम से बैकप्रोपैगेशन की आवश्यकता होती है। इससे भारी मेमोरी ओवरहेड और कम्प्यूटेशनल अक्षमता आती है, जो बड़ी समस्याओं तक स्केलिंग करने से रोकती है।
इंपॉर्टेंस वेटेड मैचिंग (Importance Weighted Matching): प्रेडिक्टेड और टारगेट एक्शन्स के बीच त्रुटियों को कम करने के लिए इंपोर्टेंस सैंपलिंग का उपयोग करने वाले दृष्टिकोण उच्च-आयामी (high-dimensional) एक्शन स्पेस में स्केल करने में संघर्ष करते हैं।
Q-स्कोर विधियाँ (Q-Score Methods): Q-फंक्शन के ग्रेडिएंट ( $\nabla_a Q$ ) का उपयोग करने वाली तकनीकें अक्सर ओवरडैम्प्ड लैंग्विन डायनेमिक्स (overdamped Langevin dynamics) पर निर्भर करती हैं। ये प्रक्रियाएँ आमतौर पर परिमित चरणों (finite steps) के बाद ट्रंकेशन की मांग करती हैं, जो सीमित समय के शासन (finite-time regime) में बहुत कम सैद्धांतिक गारंटी प्रदान करती हैं, या हीयुरिस्टिक सैंपलिंग तकनीकों पर निर्भर करती हैं जिनमें वास्तविक लक्ष्य वितरण से नमूने उत्पन्न करने की गारंटी नहीं होती है।

कार्यप्रणाली: एडजॉइंट मैचिंग डिफ्यूजन पॉलिसी (AMDP)

लेखक एडजॉइंट मैचिंग डिफ्यूजन पॉलिसी (AMDP) प्रस्तावित करते हैं, जो मैक्सिमम एंट्रॉपी RL (MaxEnt-RL) के लिए डिफ्यूजन पॉलिसी अनुकूलन को एक स्टोकेस्टिक ऑप्टिमल कंट्रोल (SOC) समस्या के रूप में स्वरूपित करता है। मुख्य नवाचार एडजॉइंट मैचिंग (AM), विशेष रूप से रेसिप्रोकल एडजॉइंट मैचिंग (RAM) का अनुकूलन है, जो सिम्युलेशन-फ्री प्रशिक्षण को सक्षम बनाता है।

1. सैद्धांतिक आधार

यह विधि पॉलिसी इम्प्रूवमेंट स्टेप को एक ड्रिफ्ट फंक्शन $u$ खोजने के रूप में फ्रेम करती है ताकि टर्मिनल टाइम $\tau=1$ पर मार्जिनल डिस्ट्रीब्यूशन एक इष्टतम MaxEnt पॉलिसी $\pi^*(a|s) \propto \exp(Q^\pi(s,a)/\alpha)$ से मेल खाए।

श्रोडिंगर ब्रिज (Schrödinger Bridge): इस समस्या को एक श्रोडिंगर ब्रिज समस्या के रूप में प्रस्तुत किया गया है, जो नियंत्रण $u$ की काइनेटिक कॉस्ट को बाउंड्री कंडीशंस के अधीन न्यूनतम करती है।
रेसिप्रोकल एडजॉइंट मैचिंग: डिफ्यूजन पाथ के माध्यम से बैकप्रोपैगेट करने के बजाय (जिसके लिए इंटरमीडिएट स्टेट्स को स्टोर करना आवश्यक है), AMDP अनकंट्रोल्ड रेफरेंस प्रोसेस पर कंट्रोल्ड प्रोसेस के रेसिप्रोकल प्रोजेक्शन का उपयोग करता है। यह एल्गोरिदम को टर्मिनल स्टेट $X_1$ का उपयोग करके सीधे एक कंडीशनल रेसिप्रोकल प्रोसेस $\Pi^0_{\tau|1}$ के माध्यम से इंटरमीडिएट स्टेट्स $X_\tau$ को सैंपल करने की अनुमति देता है।
सिम्युलेशन-फ्री ट्रेनिंग: टर्मिनल एक्शन $X_1$ (जो कि रिप्ले बफर में संग्रहीत है) से $X_\tau$ को सैंपल करके, एल्गोरिदम डिफ्यूजन SDE के फॉरवर्ड सिमुलेशन को टाल देता है। यह स्पष्ट लाइक्लीहुड एस्टीमेशन और डिफ्यूजन चेन के माध्यम से महंगी बैकप्रोपैगेशन की आवश्यकता को दरकिनार करता है।

2. प्रमुख एल्गोरिथमिक घटक

एक्शन स्पेस अडैप्टेशन (एरर फंक्शन स्क्वैशिंग):
बाउंडेड एक्शन स्पेस (जैसे, $A = [-1, 1]^d$ ) को संभालने के लिए, लेखक एक डिफरेंशिएबल ट्रांसफॉर्मेशन $f: \mathbb{R}^d \to [-1, 1]^d$ पेश करते हैं। मानक एलिमेंट-वाइज $\tanh$ स्क्वैशिंग के विपरीत, AMDP एक स्केल्ड एरर फंक्शन (erf) स्क्वैशिंग का उपयोग करता है:
$f_{\text{erf}}(x) = (\text{erf}(k x_i))_{i=1}^d$
स्केलिंग फैक्टर $k$ को इस तरह चुना जाता है कि ट्रांसफॉर्मेशन का जैकोबियन डिटर्मिनेंट (Jacobian determinant) रेफरेंस प्रोसेस के गौसियन मार्जिनल डेंसिटी से सटीक रूप से मेल खाता है। यह विशिष्ट चुनाव यह सुनिश्चित करता है कि रेफरेंस डेंसिटी और जैकोबियन डिटर्मिनेंट का लॉग-रेशियो एक स्थिरांक (constant) बन जाए, जिससे रिग्रेशन ऑब्जेक्टिव काफी सरल हो जाता है और न्यूमेरिकल स्टेबिलिटी में सुधार होता है।
पॉलिसी इटरेशन:
- इवैल्यूएशन: एक संशोधित "सॉफ्ट" बेलमैन बैकअप का उपयोग किया जाता है। चूंकि डिफ्यूजन मॉडल्स की मार्जिनल एंट्रॉपी गणना योग्य (intractable) है, लेखक कंट्रोल कॉस्ट से प्राप्त एक सुलभ एंट्रॉपी लोअर बाउंड प्रस्तावित करते हैं, जो कन्वर्जेंस गुणों को बनाए रखता है।
- इम्प्रूवमेंट: पॉलिसी को AMDP लॉस को मिनिमाइज करके अपडेट किया जाता है, जो कि एक फिक्स्ड-पॉइंट इटरेशन है। इस लॉस का अद्वितीय फिक्स्ड पॉइंट इष्टतम कंट्रोल $u^*$ के अनुरूप होता है।
ट्रस्ट-रीजन अपडेट्स:
ऑनलाइन सेटिंग्स में स्थिरता सुनिश्चित करने के लिए, जहाँ टारगेट डिस्ट्रीब्यूशन तेजी से बदलता है, एक ट्रस्ट-रीजन कंस्ट्रेंट जोड़ा गया है। यह नए ड्रिफ्ट $u$ को पिछले इटरेशन से विचलन के लिए दंडित करता है, जिससे आक्रामक अपडेट को रोका जा सके जो डिस्ट्रीब्यूशन कोलैप्स या Q-फंक्शन डाइवर्जेंस का कारण बन सकते हैं। इसे एक रिलैक्स्ड लैग्रेंजियन फॉर्मलिज्म के माध्यम से हल किया जाता है।

प्रमुख योगदान

स्केलेबल ट्रेनिंग एल्गोरिदम: AMDP एक अत्यधिक कुशल एल्गोरिदम पेश करता है जो डिफ्यूजन प्रोसेस के माध्यम से बैकप्रोपैगेट किए बिना डिफ्यूजन पॉलिसीज़ को ऑप्टिमाइज़ करता है, जिससे मेमोरी आवश्यकताओं में भारी कमी आती है।
सिम्युलेशन-फ्री ऑप्टिमाइजेशन: रेसिप्रोकल एडजॉइंट मैचिंग का लाभ उठाकर, AMDP केवल रिप्ले बफर में संग्रहीत टर्मिनल एक्शन्स का उपयोग करके अनुकूलन करने की अनुमति देता है, जिससे SDE को पुन: सिम्युलेट किए बिना प्रति सैंपल कई ग्रेडिएंट अपडेट संभव होते हैं।
न्यूमेरिकली स्टेबल एक्शन स्क्वैशिंग: एरर फंक्शन स्क्वैशिंग का प्रस्ताव एक स्थिर विकल्प प्रदान करता है, जो लॉस फंक्शन में विशिष्ट पदों को रद्द करके ट्रेनिंग ऑब्जेक्टिव को सरल बनाता है।
स्थिर पॉलिसी अपडेट्स: ट्रस्ट-रीजन लॉस का एकीकरण ऑनलाइन सेटिंग्स में स्थिर पॉलिसी इटरेशन सुनिश्चित करता है, बिना एडजॉइंट मैचिंग फ्रेमवर्क के सैद्धांतिक गारंटियों को बदले।

प्रयोगात्मक परिणाम

लेखकों ने MuJoCo Playground, ManiSkill और HumanoidBench में ऑन-पॉलिसी सेटिंग में, और 7 उच्च-आयामी डॉग और ह्यूमनॉइड एनवायरनमेंट्स (DMC सूट) में ऑफ-पॉलिसी सेटिंग में 63 एनवायरनमेंट्स पर AMDP का मूल्यांकन किया।

ऑन-पॉलिसी प्रदर्शन:
- AMDP मजबूत गौसियन बेसलाइन्स (REPPO, PPO, SPO) और स्टेट-ऑफ-द-आर्ट डिफ्यूजन मेथड्स (DIME, DPPO, FPO) की बराबरी करता है या उनसे बेहतर प्रदर्शन करता है।
- जटिल, उच्च-आयामी कार्यों (HumanoidBench) में, AMDP सभी बेसलाइन्स से काफी बेहतर प्रदर्शन करता है, यहाँ तक कि Best-of-N (BoN) सैंपलिंग के बिना भी।
- AMDP, MuJoCo DMC और ह्यूमनॉइड लोकोमोशन कार्यों पर सैंपल एफिशिएंसी के मामले में REPPO की तुलना में तेजी से कन्वर्ज होता है।
- जब इसे BoN सैंपलिंग (16 सैंपल्स में से सर्वश्रेष्ठ का चयन) के साथ जोड़ा जाता है, तो AMDP सभी बेंचमार्क में श्रेष्ठ प्रदर्शन करता है।
ऑफ-पॉलिसी प्रदर्शन:
- DMC डॉग और ह्यूमनॉइड कार्यों पर, AMDP (जो रिवर्स KL को ऑप्टिमाइज़ करता है) के प्रदर्शन से मेल खाता है और थोड़ा तेजी से कन्वर्ज होता है, जो ऑफ-पॉलिसी सेटिंग्स में एडजॉइंट मैचिंग ऑब्जेक्टिव की प्रतिस्पर्धात्मकता को प्रदर्शित करता है।
कम्प्यूटेशनल दक्षता:
- वॉल-क्लॉक टाइम: AMDP, डिफ्यूजन स्टेप्स की संख्या की परवाह किए बिना, अत्यधिक कुशल गौसियन मेथड्स जैसे REPPO की तुलना में केवल एक छोटा निरंतर ओवरहेड (~10%) लेता है।
- स्केलेबिलिटी: इसके विपरीत, रिवर्स KL बैकप्रोपैगेशन का उपयोग करने वाली विधियाँ 16 डिफ्यूजन स्टेप्स के साथ 10 गुना धीमी और 128 स्टेप्स के साथ 72-80 गुना तक धीमी होती हैं।
- मॉडल स्केलिंग: लेखकों ने AMDP का उपयोग करके एक बड़े डिफ्यूजन पॉलिसी (106M पैरामीटर्स, मानक मॉडल्स से ~300 गुना बड़ा) को सफलतापूर्वक प्रशिक्षित किया, जो जटिल मॉडल्स को स्केल करने की इसकी क्षमता को दर्शाता है जहाँ बैकप्रोपैगेशन-आधारित विधियाँ मेमोरी बाधाओं के कारण विफल हो सकती हैं।

महत्व और दावे

पेपर का दावा है कि AMDP वास्तविक दुनिया के RL अनुप्रयोगों में एक्सप्रेसिव जेनरेटिव पॉलिसीज़ को तैनात करने के लिए एक सैद्धांतिक रूप से सुदृढ़, कम्प्यूटेशनल रूप से कुशल और मजबूत मार्ग प्रदान करता है।

मेमोरी बॉटलनेक्स को दूर करना: डिफ्यूजन चेन के माध्यम से बैकप्रोपैगेशन की आवश्यकता को समाप्त करके, AMDP डिफ्यूजन पॉलिसीज़ के प्रशिक्षण को ऑनलाइन RL परिदृश्यों के लिए व्यवहार्य बनाता है जहाँ मेमोरी और कम्प्यूटेशनल संसाधन सीमित होते हैं।
सैद्धांतिक गारंटी: हीयुरिस्टिक Q-स्कोर मेथड्स के विपरीत, AMDP को स्टोकेस्टिक ऑप्टिमल कंट्रोल से लिया गया है जिसमें फिक्स्ड-पॉइंट गारंटी है, जो यह सुनिश्चित करता है कि पॉलिसी इष्टतम MaxEnt डिस्ट्रीब्यूशन की ओर कन्वर्ज होती है।
व्यावहारिक व्यवहार्यता: सिम्युलेशन-फ्री ट्रेनिंग, erf-squashing के माध्यम से न्यूमेरिकल स्टेबिलिटी, और ट्रस्ट-रीजन अपडेट्स का संयोजन उन प्राथमिक बाधाओं (स्केलेबिलिटी, स्थिरता और दक्षता) को संबोधित करता है जिन्होंने पहले ऑनलाइन RL में डिफ्यूजन पॉलिसीज़ के उपयोग को सीमित किया था।

लेखक निष्कर्ष निकालते हैं कि उनका दृष्टिकोण जटिल निरंतर नियंत्रण कार्यों के लिए पारंपरिक गौसियन पॉलिसीज़ के मुकाबले डिफ्यूजन पॉलिसीज़ को अधिक व्यवहार्य बनाकर, कम्प्यूटेशनल ओवरहेड को काफी कम करता है।