🤖 machine learning

MDP Planning as Policy Inference

यह शोध पत्र एपिसोडिक मार्कोव निर्णय प्रक्रिया (मार्कोव डिसीजन प्रोसेस) नियोजन को नीतियों पर बेयसियन अनुमान (बेयसियन इन्फरेंस) के रूप में पुनर्गठित करता है, जिसमें इष्टतम व्यवहारों के पश्च वितरण (पोस्टीरियर डिस्ट्रीब्यूशन) का सन्निकटन करने और एंट्रॉपी रेगुलराइजेशन के बजाय पश्च भविष्य कहनेवाला नमूनाकरण (पोस्टीरियर प्रेडिक्टिव सैंपलिंग) के माध्यम से स्टोकेस्टिक नियंत्रण को सक्षम करने के लिए एक वेरिएशनल सीक्वेंशियल मोंटे कार्लो विधि प्रस्तुत की गई है।

मूल लेखक: David Tolpin

प्रकाशित 2026-04-14✓ Author reviewed ⓘ

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: David Tolpin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को खजाना खोजने के लिए एक पेचीदा भूलभुलैया (maze) में रास्ता दिखाना सिखा रहे हैं।

पुराना तरीका: "एन्ट्रॉपी शेफ" (The Entropy Chef)

अधिकांश आधुनिक AI विधियाँ (जैसे कि इस पेपर में उल्लेखित सॉफ्ट एक्टर-क्रिटिक) एक ऐसे शेफ की तरह काम करती हैं जो बहुत अधिक अनुमानित (predictable) होने से डरता है। रोबोट को एक्सप्लोर करने के लिए प्रेरित करने हेतु, शेफ रेसिपी में "एन्ट्रॉपी" (यानी रैंडमनेस/अनिश्चितता) नामक एक गुप्त सामग्री मिला देता है।

समस्या: शेफ को वास्तव में यह नहीं पता होता कि रोबोट को रैंडम क्यों होना चाहिए। वे बस देखने के लिए मिश्रण में "अराजकता" (chaos) की एक निश्चित मात्रा मिला देते हैं कि क्या होता है। यदि रोबोट कहीं फंस जाता है, तो शेफ बस अराजकता की मात्रा को थोड़ा बदल देता है। यह अनुमान लगाने और फिर जांचने का एक खेल है। रोबोट एक ऐसी एकल, धुंधली रणनीति सीखता है जो कई चीजों में "ठीक-ठाक" होती है लेकिन शायद सबसे अच्छी चीज में एकदम सटीक नहीं होती।

नया तरीका: "विशेषज्ञों की परिषद" (The Council of Experts)

यह पेपर एक अलग दृष्टिकोण प्रस्तावित करता है जिसे MDP प्लानिंग ऐज़ पॉलिसी इन्फरेंस कहा जाता है। रैंडम अराजकता जोड़ने के बजाय, लेखक रोबोट की रणनीति को एक रहस्य को सुलझाने की तरह देखते हैं।

इसे इस तरह समझें:

परिषद (The Council): कल्पना कीजिए कि 100 अलग-अलग विशेषज्ञों (पार्टिकल्स) से भरा एक कमरा है। प्रत्येक विशेषज्ञ के पास भूलभुलैया को हल करने का थोड़ा अलग विचार है।
परीक्षण (The Test): हम सभी 100 विशेषज्ञों को एक ही समय में भूलभुलैया में भेजते हैं।
ट्विस्ट (The "Shared Reality"): पुराने तरीके में, यदि दो विशेषज्ञ भूलभुलैया के किसी फिसलन भरे हिस्से में कदम रखते हैं, तो वे केवल बदकिस्मती के कारण अलग-अलग दिशाओं में फिसल सकते हैं। इससे यह बताना मुश्किल हो जाता है कि कौन वास्तव में स्मार्ट था और कौन सिर्फ बदकिस्मत था।
- नवाचार (The Innovation): लेखक कहते हैं, "आइए हम भूलभुलैया को सभी के लिए एक जैसा व्यवहार करने दें।" यदि विशेषज्ञ A और विशेषज्ञ B दोनों एक ही फिसलन भरी टाइल पर कदम रखते हैं, तो वे दोनों बिल्कुल एक ही दिशा में फिसलेंगे। यह सुनिश्चित करता है कि यदि एक विशेषज्ञ दूसरे से बेहतर प्रदर्शन करता है, तो यह इसलिए है क्योंकि उसने बेहतर चुनाव किया, न कि इसलिए कि ब्रह्मांड उसके प्रति अधिक दयालु था।
वोटिंग (The Voting): दौड़ के बाद, हम देखते हैं कि किसने सबसे ज्यादा खजाना पाया। हम केवल एक "विजेता" को नहीं चुनते और बाकी सबको निकाल नहीं देते। इसके बजाय, हम पूरे समूह को बनाए रखते हैं, लेकिन हम उन विशेषज्ञों को अधिक "वोटिंग पावर" देते हैं जिन्होंने अच्छा प्रदर्शन किया।
निर्णय (The Decision): जब रोबोट को वास्तविक दुनिया में कोई कदम उठाना होता है, तो वह एक कठोर योजना का पालन नहीं करता है। इसके बजाय, वह परिषद से एक विशेषज्ञ को रैंडमली चुनता है (उनके पिछले प्रदर्शन के आधार पर भार देकर) और पूछता है, "आप क्या करेंगे?"

यह बेहतर क्यों है? (रूपक/Metaphors)

1. अनिश्चितता बनाम रैंडमनेस (Uncertainty vs. Randomness)

पुराना तरीका: रोबोट रैंडम है क्योंकि हमने उसे रैंडम होने के लिए कहा है (जैसे एक घूमता हुआ लट्टू)।
नया तरीका: रोबोट रैंडम है क्योंकि वह अनिश्चित है।
- उपमा: कल्पना कीजिए कि आप सड़क के एक मोड़ पर खड़े हैं।
  - यदि आप निश्चित हैं कि बायां रास्ता सोने की ओर जाता है, तो आप 100% समय बाएं जाएंगे।
  - यदि आप अनिश्चित हैं (शायद बायां रास्ता सोने का है, या शायद दायां), तो आप सिक्का उछाल सकते हैं।
- इस नए तरीके में, रोबलेट तभी रैंडम व्यवहार करता है जब वह वास्तव में नहीं जानता कि कौन सा रास्ता सबसे अच्छा है। यदि वह उत्तर जानता है, तो वह 100% निर्णायक बन जाता है। इसे थॉम्पसन सैंपलिंग कहा जाता है।

2. "फिसलन" वाली समस्या (The "Slippery" Problem)
यह पेपर AI ट्रेनिंग की एक विशिष्ट सिरदर्द को हल करता है। कल्पना कीजिए कि आप एक वीडियो गेम पर एक ड्राइवर को प्रशिक्षित कर रहे हैं जहाँ कार कभी-कभी फिसलती है।

यदि आप 100 ड्राइवरों को प्रशिक्षित करते हैं और वे हर बार अलग-अलग तरह से फिसलते हैं, तो आप यह नहीं बता सकते कि ड्राइवर A बेहतर ड्राइवर है या ड्राइवर B, या क्या ड्राइवर A केवल सड़क की स्थितियों के कारण भाग्यशाली था।
लेखकों की विधि "सड़क की स्थितियों" (फिसलन) को सभी 100 ड्राइवरों के लिए समान बनाने के लिए मजबूर करती है। अब, एकमात्र अंतर ड्राइविंग कौशल का है। यह सीखने की प्रक्रिया को बहुत तेज़ और अधिक सटीक बनाता है।

परिणाम: क्या हुआ?

लेखकों ने ब्लैकजैक (Blackjack) और ग्रिड वर्ल्ड्स (Grid Worlds - भूलभुलैया) जैसे खेलों पर इसका परीक्षण किया।

भूलभुलैया में: पुराना तरीका (SAC) कभी-कभी रोबोट को केवल "रैंडम" होने या एक्सप्लोर करने के लिए दीवारों के पास भटकने पर मजबूर करता था। नया तरीका (पॉलिसी इन्फरेंस) रोबोट को लक्ष्य पर केंद्रित रखता है। वह केवल तभी भटकता है जब वह वास्तव में भ्रमित होता है।
ब्लैकजैक में: नए तरीके ने रैंडमनेस सेटिंग्स को कम ट्यून किए बिना पुराने तरीके की तुलना में बेहतर रणनीति खोजी।
चुनौती (The Catch): नया तरीका इस बात के प्रति बहुत संवेदनशील है कि आप जीतने के लिए कितना "रिवॉर्ड" (इनाम) देते हैं। यदि इनाम बहुत बड़ा है, तो रोबोट बहुत जल्दी आत्मविश्वासी हो जाता है। यदि इनाम छोटा है, तो वह लंबे समय तक अनिश्चित रहता है। पुराना तरीका इन नंबरों के प्रति थोड़ा अधिक उदार है।

मुख्य निष्कर्ष (The Bottom Line)

यह पेपर हमें सिखाता है कि AI को सीखने में मदद करने के लिए उसे रैंडम होने के लिए मजबूर करने के बजाय, हमें AI को अपनी अनिश्चितता को समझने देना चाहिए।

AI की रणनीति को प्रतिस्पर्धी परिकल्पनाओं (hypotheses) के एक समूह के रूप में देखने और उनका निष्पक्ष परीक्षण करने से (सभी के लिए एक ही "मौसम" का उपयोग करके), AI तभी निर्णायक बनता है जब वह उत्तर जानता है और जब वह नहीं जानता तब सावधानीपूर्वक रैंडम होता है। यह एक ऐसे रोबोट के बीच का अंतर है जो "डिजाइन द्वारा भ्रमित" है और एक ऐसे रोबोट के बीच है जो "ईमानदारी से अनिश्चित" है।

यहाँ डेविड टोलपिन के शोध पत्र "MDP Planning as Policy Inference" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र स्टोकेस्टिक ट्रांज़िशन वाले एपिसोडिक मार्कोव डिसीजन प्रोसेस (MDPs) में प्लानिंग की चुनौती को संबोधित करता है। पारंपरिक दृष्टिकोण अक्सर निम्नलिखित पर निर्भर करते हैं:

डिटरमिनिस्टिक ऑप्टिमाइज़ेशन (Deterministic optimization): एक एकल इष्टतम नीति (optimal policy) खोजना, जो समाधान के बारे में अनिश्चितता की अनदेखी करता है।
एन्ट्रॉपी-रेगुलराइज्ड RL (जैसे SAC): एक एन्ट्रॉपी टर्म ( $E[R] + \alpha H(\pi)$ ) के माध्यम से मॉडलिंग प्राथमिकता या एक्सप्लोरेशन मैकेनिज्म के रूप में स्टोकेस्टिसिटी (stochasticity) को पेश करना, जो मूल ऑब्जेक्टिव फंक्शन को बदल देता है।

लेखक एक प्रतिमान परिवर्तन (paradigm shift) का प्रस्ताव करते हैं: MDP प्लानिंग को नीतियों पर बेयसियन इन्फरेंस (Bayesian inference over policies) के रूप में तैयार करना। इसका लक्ष्य क्लासिकल एक्सपेक्टेड-रिटर्न ऑप्टिमलिटी मानदंड को बनाए रखना है, जबकि इष्टतम व्यवहार के बारे में अनिश्चितता को एक अनुमानित वितरण (posterior distribution) के रूप में स्पष्ट रूप से मॉडल करना है, न कि किसी सन्निकटन (approximation) या ह्यूरिस्टिक रेगुलराइजेशन के आर्टिफैक्ट के रूप में।

2. कार्यप्रणाली (Methodology)

A. संभाव्य सूत्रीकरण (Probabilistic Formulation)

मुख्य नवाचार नीति $\pi$ को स्वयं एक लेटेंट रैंडम वेरिएबल के रूप में मानना है, न कि ऑप्टिमलिटी को एक काल्पनिक अवलोकन या ट्राजेक्टरी को इन्फरेंस के प्राथमिक ऑब्जेक्ट के रूप में मानना।

अननॉर्मलाइज्ड डेंसिटी (Unnormalized Density): प्रत्येक नीति को एक अननॉर्मलाइज्ड लॉग-प्रोबेबिलिटी असाइन की जाती है, जो उसकी अपेक्षित रिटर्न द्वारा परिभाषित होती है:
$\log \tilde{p}(\pi) = \mathbb{E}_{\tau_\pi} \left[ \sum_{t=1}^H R(s_t, a_t, s_{t+1}) \right]$
यह नीतियों पर एक बोल्ट्ज़मैन-गिब्स वितरण (Boltzmann–Gibbs distribution) बनाता है जहाँ मोड (modes) रिटर्न-मैक्सिमाइजिंग नीतियों के अनुरूप होते हैं।
कोई अतिरिक्त चर नहीं (No Auxiliary Variables): "कंट्रोल-एज़-इन्फरेंस" दृष्टिकोणों के विपरीत, जो ऑप्टिमलिटी वेरिएबल्स ( $O_t$ ) पेश करते हैं, यह विधि सीधे नीति के अपेक्षित रिटर्न के साथ काम करती है।
स्टोकेस्टिक एस्टीमेशन (Stochastic Estimation): चूंकि वास्तविक अपेक्षित रिटर्न गणना-योग्य (intractable) है, इसलिए इसे मोंटे कार्लो रोलआउट्स (नॉइजी एस्टिमेटर्स) के माध्यम से अनुमानित किया जाता है, जिससे रिटर्न गणना को नीति के लॉग-घनत्व के एक अनबायस्ड लेकिन नॉइजी ऑब्जर्वेशन के रूप में माना जाता है।

B. इन्फरेंस एल्गोरिदम: वेरिएशनल सीक्वेंसियल मोंटे कार्लो (VSMC)

डिस्क्रीट MDPs में नीतियों के पोस्टीरियर को अनुमानित करने के लिए, लेखक वेरिएशनल सीक्वेंसियल मोंटे कार्लो (VSMC) को अनुकूलित करते हैं। पॉलिसी इन्फरेंस की विशिष्ट बाधाओं को संभालने के लिए दो महत्वपूर्ण संशोधन पेश किए गए हैं:

डिटरमिनिस्टिक पॉलिसी कंसिस्टेंसी (Deterministic Policy Consistency):
- एल्गोरिदम डिटरमिनिस्टिक नीतियों के वितरण का अनुमान लगाता है।
- जब एक पार्टिकल (particle) पहली बार स्थिति $s$ पर पहुँचता है, तो एक प्रपोजल डिस्ट्रीब्यूशन $q(a|s)$ से एक एक्शन लिया जाता है।
- उसी ट्राजेक्टरी के भीतर $s$ पर पुन: आगमन (subsequent revisits) होने पर, वही एक्शन पुनः उपयोग किया जाता है। यह सुनिश्चित करता है कि पार्टिकल एक सुसंगत डिटरमिनिस्टिक नीति का प्रतिनिधित्व करता है, न कि एक स्टोकेस्टिक नीति का।
कपल्ड ट्रांज़िशन रैंडमनेस (Coupled Transition Randomness):
- मानक SMC में, पार्टिकल्स स्वतंत्र एनवायरनमेंट नॉइज़ का अनुभव करते हैं। यहाँ, ट्रांज़िशन रैंडमनेस एक स्वीप के भीतर सभी पार्टिकल्स के बीच साझा (coupled) होती है।
- यदि दो पार्टिकल्स एक ही स्थिति $s$ पर जाते हैं और एक ही विज़िट काउंट $k$ पर एक ही एक्शन $a$ लेते हैं, तो उन्हें मजबूरन एक ही उत्तराधिकारी स्थिति $s'$ में ट्रांज़िशन करना होगा।
- उद्देश्य: यह सुनिश्चित करना कि पार्टिकल वेट्स (weights) केवल नीति की गुणवत्ता को दर्शाते हैं, न कि सिम्युलेटर नॉइज़ के स्वतंत्र वास्तविकताओं के अंतर को।

C. एक्शन सिलेक्शन (कंट्रोल)

रिकरेंट थॉमसन सैंपलिंग (Recurrent Thompson Sampling): वातावरण में कार्य करने के लिए, एजेंट अनुमानित पोस्टीरियर से एक डिटरमिनिस्टिक नीति का नमूना लेता है और उस नीति द्वारा निर्धारित एक्शन को निष्पादित करता है।
स्टोकेस्टिसिटी का स्रोत: परिणामी कंट्रोल पॉलिसी स्टोकेस्टिक है क्योंकि एजेंट यह जानने की अनिश्चितता के आधार पर मार्जिनलाइज़ करता है कि कौन सी डिटरमिनिस्टिक नीति इष्टतम है, न कि इसलिए कि नीति को स्टोकेस्टिक के रूप में पैरामीटराइज किया गया है (जैसा कि SAC में होता है)।
रिवॉर्ड स्केल व्याख्या: रिवॉर्ड का परिमाण पोस्टीरियर कंसंट्रेशन को नियंत्रित करता है। बड़े रिवॉर्ड्स एक शार्प पोस्टीरियर (निकट-डिटरमिनिस्टिक व्यवहार) की ओर ले जाते हैं, जबकि छोटे रिवॉर्ड्स एक डिफ्यूज पोस्टीरियर (वरीयता अनिश्चितता के तहत इष्टतम स्टोकेस्टिक व्यवहार) की ओर ले जाते हैं।

D. ऑप्टिमाइज़ेशन

यह विधि लॉग-एविडेंस ( $\log \hat{Z}$ ) के वेरिएशनल लोअर बाउंड को ऑप्टिमाइज़ करती है। चूंकि एक्शन प्रपोजल कैटेगोरिकल (गैर-रीपैरेटराइज़ेबल) है, इसलिए ऑब्जेक्टिव में एक स्कोर-फंक्शन टर्म (REINFORCE-स्टाइल ग्रेडिएंट) शामिल है ताकि अनबायस्ड ग्रेडिएंट एस्टीमेशन सुनिश्चित किया जा सके, जिसमें वेरिएंस रिडक्शन के लिए टेम्पोरली स्ट्रैटिफाइड बेसलाइन का उपयोग किया जाता है।

3. प्रमुख योगदान (Key Contributions)

बेयसियन पॉलिसी फॉर्मूलेशन: नीतियों पर इन्फरेंस के रूप में MDP प्लानिंग का एक नया स्वरूप, जो मानक अपेक्षित-रिटर्न ऑब्जेक्टिव को बनाए रखता है, जिससे वरीयता अनिश्चितता के तहत पोस्टीरियर प्रेडिक्टिव सैंपलिंग के माध्यम से एक इष्टतम स्टोकेस्टिक नीति प्राप्त होती है।
MDPs के लिए अनुकूलित VSMC: डिस्क्रीट MDPs के लिए VSMC का एक एल्गोरिथमिक अनुकूलन, जिसमें पॉलिसी कंसिस्टेंसी (स्टेट प्रति एक्शन मेमोइज़ेशन) और कपल्ड ट्रांज़िशन रैंडमनेस (पार्टिकल्स के बीच कॉमन रैंडम नंबर्स) की विशेषताएं हैं ताकि नीति की गुणवत्ता को एनवायरनमेंटल नॉइज़ से अलग किया जा सके।
थॉमसन-स्टाइल कंट्रोल: यह प्रदर्शन करना कि पोस्टीरियर प्रेडिक्टिव सैंपलिंग के माध्यम से कार्य करना एक रिकरेंट थॉमसन सैंपलिंग को प्रेरित करता है, जो एंट्रॉपी रेगुलराइजेशन से भिन्न है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस फ्रेमवर्क का ग्रिड वर्ल्ड्स, ब्लैकजैक, ट्रायंगल टायरवर्ल्ड और एकेडेमिक एडवाइजिंग पर मूल्यांकन किया गया, जिसमें पॉलिसी VSMC की तुलना डिस्क्रीट सॉफ्ट एक्टर-क्रिटिक (SAC) से की गई।

ग्रिड वर्ल्ड्स (Grid Worlds):
- VSMC ने मल्टीमॉडल नीतियों और अनिश्चितता को सफलतापूर्वक विज़ुअलाइज़ किया।
- एब्लेशन (Ablation): डिटरमिनिस्टिक नीतियों को लागू करना और डायनेमिक्स को कपल करना महत्वपूर्ण था; कपलिंग के बिना, वेट्स नीति की गुणवत्ता के बजाय नॉइज़ को दर्शाते थे।
- तुलना: VSMC ने "बाउंड्री-हगिंग" व्यवहार से परहेज किया जो SAC (जो एन्ट्रॉपी को मैक्सिमाइज करता है) में देखा जाता है। VSMC नीतियां अधिक लक्ष्य-केंद्रित (goal-directed) थीं।
ब्लैकजैक (Blackjack):
- VSMC ने मानक एन्ट्रॉपी वेट्स ( $\alpha=1$ ) के साथ SAC से उच्च अपेक्षित रिवॉर्ड प्राप्त किया।
- SAC के प्रदर्शन से मेल खाने के लिए, इसे काफी कम एन्ट्रॉपी वेट्स ( $\alpha=0.1$ ) की आवश्यकता थी, जो यह दर्शाता है कि VSMC बिना भारी रेगुलराइजेशन के स्वाभाविक रूप से एक्सप्लोरेशन और एक्सप्लोइटेशन को संतुलित करता है।
- VS-MC ने दोनों (SAC और ऑप्टिमल पॉलिसी) की तुलना में कम ड्रॉ प्रोबेबिलिटी दिखाई।
ट्रायंगल टायरवर्ल्ड (जोखिम-इनाम/Risk-Reward):
- रिवॉर्ड स्केल के प्रति संवेदनशीलता: मूल रिवॉर्ड्स ने "फास्ट/रिस्की" और "सेफ/स्लो" पथों के बीच एक बड़ा अंतर पैदा किया, जिससे VSMC पोस्टीरियर सबऑप्टिमल रिस्की पथों पर बहुत अधिक केंद्रित हो गया (उच्च वेरिएंस)।
- समाधान: रिवॉर्ड्स को कम करके (गैप को कम करके) पोस्टीरियर को स्मूथ किया गया, जिससे VSMC को SAC के तुलनीय प्रदर्शन करने में मदद मिली। यह उजागर करता है कि VSMC का प्रदर्शन केवल रैंकिंग पर नहीं, बल्कि रिवॉर्ड स्केल द्वारा एन्कोडेड वरीयता की मजबूती पर निर्भर करता है।
एकेडेमिक एडवाइजिंग (Combinatorial):
- दोनों विधियों को कठिन इंस्टेंस (लंबे हॉरिजन, उच्च ब्रांचिंग) में संघर्ष करना पड़ा।
- VSMC ने हेवी-टेल्ड रिटर्न डिस्ट्रीब्यूशन प्रदर्शित किया, जो यह दर्शाता है कि इसने व्यवहारों के व्यापक खोज को बनाए रखा, जबकि SAC अक्सर तत्काल लागतों को कम करने वाले रैंडम वॉक की ओर झुक गया।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह शोध पत्र बिना मूल MDP ऑब्जेक्टिव को बदले, प्लानिंग और बेयसियन इन्फरेंस के बीच एक कठोर सैद्धांतिक संबंध स्थापित करता है।

अनिश्चितता का पृथक्कीकरण (Decoupling Uncertainty): यह एलेटोरिक अनिश्चितता (एनवायरनमेंट नॉइज़) को एपिस्टेमिक अनिश्चितता (इष्टतम नीति के बारे में अनिश्चितता) से स्पष्ट रूप से अलग करता है।
व्याख्यात्मकता (Interpretability): परिणामी कंट्रोलर में स्टोकेस्टिसिटी को उच्च-प्रदर्शन करने वाली डिटरमिनिस्टिक नीतियों के बीच आम सहमति की कमी के रूप में व्याख्यायित किया जा सकता है, न कि एक मनमाने एन्ट्रॉपी पेनल्टी के रूप में।
निहितार्थ: यह दृष्टिकोण एंट्रॉपी-रेगुलराइज्ड RL के लिए एक मौलिक विकल्प प्रदान करता है, विशेष रूप से उन डोमेन में जहाँ इष्टतम व्यवहारों के वितरण को समझना उतना ही महत्वपूर्ण है जितना कि एक एकल इष्टतम नीति खोजना। यह सुझाव देता है कि "स्टोकेस्टिक कंट्रोल" रेगुलराइजेशन के माध्यम से जबरदस्ती थोपने के बजाय अनिश्चितता मात्रा निर्धारण (uncertainty quantification) से स्वाभाविक रूप से उभर सकता है।

यह कार्य बताता है कि हालांकि VSMC-आधारित पॉलिसी इन्फरेंस रिवॉर्ड स्केलिंग के प्रति संवेदनशील है (क्लासिकल डायनेमिक प्रोग्रामिंग के विपरीत), यह अनिश्चितता के तहत निर्णय लेने के लिए एक समृद्ध प्रतिनिधित्व प्रदान करता है, विशेष रूप से जटिल, स्टोकेस्टिक वातावरणों में।