🤖 machine learning

Learning When to Stop: Selective Imitation Learning Under Arbitrary Dynamics Shift

यह शोधपत्र SeqRejectron प्रस्तुत करता है, जो चयनात्मक अनुकरण शिक्षण (selective imitation learning) के लिए एक एल्गोरिदम है जो एक क्षितिज-मुक्त (horizon-free) स्टॉपिंग नियम का निर्माण करके एजेंटों को मनमानी गतिकी परिवर्तनों (arbitrary dynamics shifts) के तहत सुरक्षित रूप से कार्य करने से बचने में सक्षम बनाता है, जिसके पास सिद्ध नमूना जटिलता गारंटी (provable sample complexity guarantees) है।

मूल लेखक: Surbhi Goel, Jonathan Pei, James Wang

प्रकाशित 2026-05-12

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Surbhi Goel, Jonathan Pei, James Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कार चलाना सिखा रहे हैं। आप उसे एक धूप वाले, सूखे शहर में एक आदर्श मानव चालक द्वारा नेविगेट किए गए हजारों घंटों के वीडियो दिखाते हैं। रोबोट नियम सीख जाता है: "जब आप स्टॉप साइन देखें, तो रुकें। जब आप ग्रीन लाइट देखें, तो चलें।"

अब, कल्पना कीजिए कि आप इस रोबोट को एक नए शहर में भेजते हैं। लेकिन यह नया शहर अलग है। वहां बर्फ गिर रही है, सड़कें बर्फीली हैं, और ट्रैफिक लाइट का रंग अलग है। रोबोट, जिसने केवल धूप वाले दिन देखे हैं, शायद बर्फ पर भी ठीक वैसे ही तीखा मोड़ लेने की कोशिश करेगा जैसे उसने सूखी सड़क पर किया था। टक्कर (Crash)।

यही वह समस्या है जिसे यह शोध पत्र हल करता है। मानक AI प्रशिक्षण यह मान लेता है कि "टेस्ट" वाली दुनिया बिल्कुल वैसी ही है जैसी "ट्रेनिंग" वाली दुनिया थी। जब वे नहीं होती हैं, तो AI अक्सर बिना सोचे-समझे आगे बढ़ता रहता है, ऐसी गलतियाँ करता है जिनके बारे में उसे पता भी नहीं होता कि वह गलत कर रहा है।

मुख्य विचार: "कब रुकना है, यह जानना"

लेखक सेलेक्टिव इमिटेशन लर्निंग (Selective Imitation Learning) नामक एक नया तरीका प्रस्तावित करते हैं। हर एक क्षण में निर्णय लेने के लिए मजबूर करने के बजाय, वे इसे एक तीसरा विकल्प देते हैं: "मुझे नहीं पता कि यहाँ क्या करना है। मैं रुकूँगा और प्रतीक्षा करूँगा।"

इसे एक छात्र की तरह समझें जो परीक्षा दे रहा है।

मानक AI: छात्र हर सवाल का जवाब देने की कोशिश करता है, भले ही उसने वे सवाल पहले कभी न देखे हों। यदि परीक्षा अजीब है, तो उसका स्कोर बहुत खराब हो जाता है।
सेलेक्टive AI: छात्र उन सवालों के जवाब देता है जिनके बारे में वह आश्वस्त है। यदि उसे कोई ऐसा सवाल दिखता है जो पूरी तरह से पराया लगता है (जैसे किसी ऐसी भाषा में गणित का सवाल जिसे वह नहीं जानता), तो वह उसे खाली छोड़ देता है और हाथ उठाकर कहता है, "मुझे मदद चाहिए।"

लक्ष्य पूर्ण (Complete) होना है (जब आप अपने "घरेलू" वातावरण में हों तो लगभग सब कुछ हल करें) और सत्यनिष्ठ (Sound) होना है (जब आप किसी "अजीब" वातावरण में हों तो कभी गलत उत्तर न दें; यदि आप सुनिश्चित नहीं हैं, तो रुक जाएँ)।

यह कैसे काम करता है: "वैलिडेटर" टीम

रोबोट को कैसे पता चलता है कि कब रुकना है? शोध पत्र "वैलिडेटर्स" (Validators) की एक टीम का उपयोग करके एक चतुर तकनीक पेश करता है।

कल्पना कीजिए कि रोबोट के पास एक "बेस ड्राइवर" (मुख्य AI) और "इंस्पेक्टर्स" (वैलिडेटर्स) की एक छोटी टीम है।

सेटअप: बेस ड्राइवर चलाने की कोशिश करता है। इंस्पेक्टर्स बारीकी से देखते हैं।
सहमति: जब तक सभी इंस्पेक्टर्स बेस ड्राइवर के कदमों से सहमत होते हैं, कार चलती रहती है।
रुकना: जिस क्षण एक भी इंस्पेक्टर बेस ड्राइवर से असहमत होता है, कार तुरंत किनारे लग जाती है।

जादू: शोध पत्र सिद्ध करता है कि आपको इंस्पेक्टर्स की एक विशाल सेना की आवश्यकता नहीं है। आपको लगभग हर खतरनाक स्थिति को पकड़ने के लिए केवल एक छोटी सी टीम की आवश्यकता है। यह अपने दोस्तों के एक छोटे, विविध समूह द्वारा आपके काम की जाँच करने जैसा है; यदि वे सभी सहमत हैं, तो आप सुरक्षित हैं। यदि उनमें से एक कहता है, "रुको, यह गलत लग रहा है," तो आप रुक जाते हैं और फिर से सोचते हैं।

तीन परिदृश्य

शोध पत्र इस विचार का परीक्षण तीन अलग-अलग स्थितियों में करता है:

1. डिटर्मिनिस्टिक केस (द "नियम-पालक")

परिदृश्य: रोबोट सख्त, अपरिवर्तित नियमों का पालन करता है (जैसे शतरंज का कंप्यूटर)।
परिणाम: वैलिडेटर्स की छोटी टीम पूरी तरह से काम करती है। रोबोट ठीक उसी समय रुकना सीख जाता है जब उसे रुकना चाहिए, बिना बहुत अधिक डेटा की आवश्यकता के। यह "होराइजन-फ्री" है, जिसका अर्थ है कि यह मायने नहीं रखता कि यात्रा 5 मिनट की है या 5 घंटे की; सुरक्षा गारंटी बनी रहती है।

2. स्टोकेस्टिक केस (द "जुआरी")

परिदृश्य: रोबोट संभाव्यता आधारित अनुमान लगाता है (जैसे एक मानव चालक जो थोड़ा बाईं या दाईं ओर मुड़ सकता है)। यहाँ, दो ड्राइवर एक एकल चाल पर असहमत नहीं हो सकते हैं, लेकिन उनकी कुल शैली समय के साथ अलग हो सकती है।
समाधान: एक एकल "गलत" चाल की जाँच करने के बजाय, वैलिडेटर्स एक "संचयी विचलन" (cumulative drift) को ट्रैक करते हैं। एक स्कोरकार्ड की कल्पना करें। हर बार जब रोबोट की शैली विशेषज्ञ से थोड़ी भी विचलित होती है, तो स्कोर बढ़ जाता है। यदि स्कोर बहुत अधिक हो जाता है, तो रोबोट रुक जाता है।
परिणाम: यह काम करता है, लेकिन सुरक्षित होने के लिए इसमें अधिक डेटा की आवश्यकता होती है। शोध पत्र एक "लोअर बाउंड" भी सिद्ध करता है, जो दिखाता है कि इसे सीखने की एक मौलिक सीमा है; आप गणित के साथ धोखाधड़ी नहीं कर सकते।

3. "मिसस्पेसिफाइड" केस (द "अपूर्ण शिक्षक")

परिदृश्य: क्या होगा यदि वह "विशेषज्ञ" जिसकी नकल रोबोट करने की कोशिश कर रहा है, वास्तव में पूर्ण नहीं है? या क्या होगा यदि रोबोट का मस्तिष्क (उसकी पॉलिसी क्लास) विशेषज्ञ की पूरी तरह से नकल करने के लिए पर्याप्त स्मार्ट नहीं है?
समाधान: सिस्टम को इस तरह डिज़ाइन किया गया है कि वह धीरे-धीरे ढल जाए (degrade gracefully)। यदि विशेषज्ञ त्रुटिपूर्ण है, तो रोबोट दुर्घटनाग्रस्त नहीं होगा; वह बस सामान्य से थोड़ा अधिक बार रुकेगा, लेकिन वह अभी भी सुरक्षित रहेगा। वह स्वीकार करता है, "मैं इस व्यक्ति की पूरी तरह से नकल नहीं कर सकता, इसलिए मैं अतिरिक्त सावधानी बरतूँगा।"

शोध पत्र में उल्लेख किए गए वास्तविक दुनिया के उदाहरण

लेखक यह समझाने के लिए कि यह क्यों महत्वपूर्ण है, कुछ विशिष्ट उदाहरणों का उपयोग करते हैं:

सेल्फ-ड्राइविंग कारें: कैलिफोर्निया की धूप वाली सड़कों पर प्रशिक्षित कार शिकागो में बर्फबारी का सामना कर सकती है। दुर्घटना होने के बजाय, वह पहचान लेती है कि "बर्फीली" स्थितियाँ उसके प्रशिक्षण डेटा से बाहर हैं और सुरक्षित रूप से किनारे लग जाती है।
हेल्थकेयर (सेप्सिस उपचार): एक डॉक्टर का AI जो पूर्ण सेंसर वाले हाई-टेक ICU में प्रशिक्षित है, उसे कम सेंसर वाले ग्रामीण क्लिनिक में तैनात किया जा सकता है। यदि AI को सुरक्षित खुराक निर्णय लेने के लिए आवश्यक डेटा नहीं दिखता है, तो वह एक खतरनाक खुराक का अनुमान लगाने के बजाय रुक जाता है और इंसान को कार्यभार सौंप देता है।
स्टॉक ट्रेडिंग: ऐतिहासिक बाजार डेटा और ट्रेड लॉग तक पूर्ण पहुंच वाला मॉडल एक नई आर्थिक संकट का सामना कर सकता है जहाँ केवल सार्वजनिक सुर्खियाँ उपलब्ध हैं। जब "खेल के नियम" बहुत अधिक बदल जाते हैं, तो वह ट्रेडिंग बंद कर देता है।

निचोड़

यह शोध पत्र SeqRejectron पेश करता है, जो AI को न केवल यह सिखाता है कि क्या करना है, बल्कि यह भी कि कब छोड़ना है।

यह "एनवायरनमेंट शिफ्ट" (जब दुनिया बदल जाती है) की समस्या को हल करता है और AI को एक सुरक्षा वाल्व प्रदान करता है। यह एक छोटे, स्मार्ट वैलिडेटर टीम का उपयोग करता है ताकि यह पता लगाया जा सके कि AI कब खतरनाक, अज्ञात क्षेत्र में जा रहा है। यह सुनिश्चित करता है कि भले ही AI गलत हो, वह तबाही मचाने से पहले रुक जाए, जिससे वास्तविक दुनिया में AI के लिए गणितीय रूप से गारंटीकृत सुरक्षा जाल प्रदान होता है।

तकनीकी सारांश: कब रुकना है यह सीखना: मनमाने डायनेमिक्स शिफ्ट के तहत चयनात्मक अनुकरण सीखना (Selective Imitation Learning)

1. समस्या का स्वरूप (Problem Formulation)

यह शोध पत्र इमिटेशन लर्निंग (IL) की चुनौती को संबोधित करता है जहाँ परीक्षण वातावरण (test environment) के ट्रांजिशन डायनेमिक्स, प्रशिक्षण वातावरण (training environment) से मनमाने ढंग से भिन्न होते हैं। क्लासिकल ऑफलाइन IL में, एक लर्नर जो स्रोत वातावरण $M$ से विशेषज्ञ प्रदर्शन (expert demonstrations) पर प्रशिक्षित है, उसे लक्ष्य वातावरण $N$ में तैनात किया जाता है। यदि $M$ और $N$ के स्टेट सपोर्ट (state supports) विलगित (disjoint) या महत्वपूर्ण रूप से स्थानांतरित हैं, तो एक मानक नीति (standard policy) अत्यंत खराब प्रदर्शन कर सकती है क्योंकि वह यह पहचान नहीं पाती कि उसका प्रशिक्षण डेटा कब विश्वसनीय मार्गदर्शन प्रदान करना बंद कर चुका है।

लेखक चयनात्मक इमिटेशन लर्निंग (Selective Imitation Learning) के लिए एक ढांचा प्रस्तावित करते हैं, जहाँ लर्नर को मध्य-ट्रैजेक्टरी (mid-trajectory) में परित्याग करने (abstain/stop execution) का विकल्प दिया जाता है जब वह पहचान लेता है कि वर्तमान स्थिति उसके प्रशिक्षण डेटा के विश्वसनीय सपोर्ट से बाहर है। लक्ष्य एक चयनात्मक नीति (selective policy) $(\pi, \tau)$ सीखना है, जिसमें एक बेस पॉलिसी $\pi$ और एक स्टॉपिंग टाइम $\tau$ शामिल है, जो दो प्रतिस्पर्धी उद्देश्यों को पूरा करती है:

पूर्णता (Completeness): नीति को प्रशिक्षण वातावरण $M$ में शायद ही कभी परित्याग करना चाहिए (अर्थात $\alpha_M(\pi, \tau) \le \epsilon$ )।
सुदृढ़ता (Soundness): नीति को रुकने से पहले परीक्षण वातावरण $N$ में कम रिग्रेट (regret) दर्ज करना चाहिए (अर्थात $Regret_N(\pi, \tau) \le \epsilon$ )।

यह सेटिंग निम्नलिखित तक पहुँच सुनिश्चित करती है:

लेबल वाले प्रशिक्षण रोलआउट्स (Labeled training rollouts): वातावरण $M$ में विशेषज्ञ $\pi^\star$ से प्राप्त स्टेट-एक्शन पेयर्स $(s, a)$ ।
अनलेबल परीक्षण रोलआउट्स (Unlabeled test rollouts): वातावरण $N$ में विशेषज्ञ $\pi^\star$ से प्राप्त स्टेट-ओनली ट्रैजेक्टरीज। यह विषमता वास्तविक दुनिया के परिदृश्यों को मॉडल करती है जहाँ एक्शन टेलीमेट्री महंगी या मालिकाना हो सकती है (जैसे, बिना स्टीयरिंग कमांड के स्वायत्त ड्राइविंग डैशकैम फुटेज)।

2. कार्यप्रणाली: SeqRejectron

मुख्य एल्गोरिदम, SeqRejectron, चयनात्मक वर्गीकरण (selective classification) के Rejectron एल्गोरिदम (Goldwasser et al., 2020) को अनुक्रमिक निर्णय लेने (sequential decision-making) के लिए सामान्यीकृत करता है। मुख्य अंतर्दृष्टि यह है कि प्रत्येक टाइम स्टेप पर स्वतंत्र निर्णय लेने के बजाय (जो हॉरिजन-डिपेंडेंट सैंपल कॉम्प्लेक्सिटी की ओर ले जाता है), एल्गोरिदम वैलिडेटर पॉलिसियों (validator policies) के एक विरल सेट (sparse set) का उपयोग करके संपूर्ण ट्रैजेक्टरी प्रीफिक्स (trajectory prefixes) को प्रमाणित करता है।

मुख्य तंत्र (Core Mechanism)

बेस पॉलिसी (Base Policy): लर्नर प्रशिक्षण डेटा के अनुरूप एक बेस पॉलिसी $\pi_0$ चुनता है (उदाहरण के लिए, मैक्सिमम लाइकलीहुड एस्टीमेशन)।
वैलिडेटर सेट्स (Validator Sets): एल्गोरिदम 'वर्जन स्पेस' (वे पॉलिसियाँ जो प्रशिक्षण डेटा के अनुरूप हैं) से खींची गई वैलिडेटर पॉलिसियों का एक छोटा सेट $\Phi$ बनाता है।
स्टॉपिंग नियम (Stopping Rule): लर्नर $\pi_0$ को निष्पादित करता है और केवल तब तक जारी रखता है जब तक कि $\Phi$ का प्रत्येक वैलिडेटर $\pi_0$ के साथ सहमत रहता है। असहमति का पहला बिंदु रुकने (परित्याग) को ट्रिगर करता है।
विरल वैलिडेटर वितरण (Sparse Validator Distribution): एक महत्वपूर्ण सैद्धांतिक योगदान यह प्रमाण है कि एक विरल (sparse) वैलिडेटर सेट (जिसका आकार $H$ से स्वतंत्र हो) सुरक्षा सुनिश्चित करने के लिए पर्याप्त है। यह एक "चैलेंजर" (प्रतिस्पर्धी नीति चुनना) और एक "वैलिडेटर" (वैडेटर्स का सेट चुनना) के बीच ज़ीरो-सम गेम पर मिनिमैक्स तर्क के माध्यम से प्राप्त किया जाता है।

विभिन्न सेटिंग्स के लिए वेरिएंट्स

यह ढांचा तीन बढ़ते हुए सामान्य सेटिंग्स के लिए अनुकूलित है:

डिटरमिनिस्टिक पॉलिसियाँ (Deterministic Policies):
- तंत्र: एक बाइनरी डिसएग्रीमेंट टेस्ट का उपयोग करता है। स्टॉपिंग टाइम $\tau$ वह पहला स्टेप है जहाँ कोई भी वैलिडेटर $\pi \in \Phi$ , $\pi_0$ से असहमत होता है।
- कार्यान्वयन: वैलिडेटर वितरण का निर्माण नो-रिग्रेट डायनेमिक्स (विशेष रूप से, वेटेड रियलाइजेबल मल्टीपल-इंस्टेंस लर्निंग का ओरकल-एफिशिएंट रिडक्शन) का उपयोग करके किया जाता है।
- परिणाम: स्पार्स कॉस्ट के तहत $\tilde{O}(\sqrt{\log|\Pi|/n})$ की हॉरिजन-फ्री सैंपल कॉम्प्लेक्सिटी प्राप्त करता है।
स्टोकेस्टिक पॉलिसियाँ (Stochastic Policies):
- चुनौती: बाइनरी डिसएग्रीमेंट बहुत मोटा (coarse) है; वितरण बिना किसी एक अलार्मिंग विसंगति के हर स्टेप पर "सॉफ्टली" भिन्न हो सकते हैं।
- तंत्र: बाइनरी टेस्ट के स्थान पर संचयी हेलिंगर दूरी (cumulative Hellinger distance) स्टॉपिंग टाइम का उपयोग करता है। लर्नर तब रुक जाता है जब $\pi_0$ और किसी भी वैलिडेटर के बीच संचित स्क्वेयर्ड हेलिंगर दूरी $\theta$ थ्रेशोल्ड से अधिक हो जाती है।
- परिणाम: रुके हुए ट्रैजेक्टरीज की हेलिंगर दूरी के लिए फाइनाइट-सैंपल बाउंड प्रदान करता है। पेपर लेबल किए गए सैंपल कॉम्प्लेक्सिटी के लिए $\Omega(1/\epsilon^3)$ का लोअर बाउंड स्थापित करता है, जो कॉस्ट-ड्रिवन भाग के अपर बाउंड से मेल खाता है।
मिसस्पेसिफाइड पॉलिसी क्लासेस (Misspecified Policy Classes):
- चुनौती: विशेषज्ञ $\pi^\star$ लर्नर के पॉलिसी क्लास $\Pi$ के भीतर नहीं हो सकता है।
- तंत्र: हार्ड वर्जन स्पेस बाधा के स्थान पर एक सिमेट्रिकली रेगुलराइज्ड गेम का उपयोग करता है। वैडेटर्स को सोर्स डेटा पर बेस पॉलिसी के साथ असहमत होने की अनुमति है, लेकिन इस असहमति को दंडित किया जाता है।
- परिणाम: मिसस्पेसिफिकेशन (जिसे बेस्ट-इन-क्लास मिसस्पेसिफिकेशन एरर $\Delta$ द्वारा मापा जाता है) की मात्रा के साथ रिग्रेट बाउंड्स गरिमापूर्ण रूप से घटते हैं।

3. प्रमुख योगदान और परिणाम

सैद्धांतिक गारंटी (Theoretical Guarantees)

हॉरिजन-फ्री कॉम्प्लेक्सिटी (Horizon-Free Complexity): डिटरमिनिस्टिक पॉलिसियों के लिए, सैंपल कॉम्प्लेक्सिटी हॉरिजन $H$ से स्वतंत्र है (कुल लागत स्केल $C_{max}$ को छोड़कर), जो $\tilde{O}(\sqrt{\log|\Pi|/n})$ के रूप में स्केल करती है। यह नैविव स्टेप-वाइज रिडक्शन में सुधार करता है जो $O(H^2)$ पेनल्टी से ग्रस्त होते हैं।
स्पार्स वैलिडेशन (Sparse Validation): पेपर एक ऐसे वैलिडेटर वितरण के अस्तित्व को सिद्ध करता है जो $O(1/\epsilon)$ आकार के सेट्स पर समर्थित है, जो स्टेट स्पेस, एक्शन स्पेस या हॉरिजन से स्वतंत्र है।
लोअर बाउंड्स (Lower Bounds): लेखक स्टोकेस्टिक सिंगल-स्टेप सेटिंग में लेबल किए गए सैंपल कॉम्प्लेक्सिटी के लिए $\Omega(1/\epsilon^3)$ लोअर बाउंड सिद्ध करते हैं, जो दिखाता है कि कॉस्ट-ड्रिवन रेजीम के लिए $1/\epsilon$ की क्यूबिक डिपेंडेंस अपरिहार्य है।
मिसस्पेसिफिकेशन रोबस्टनेस (Misspecification Robustness): ढांचा एगोस्टिक सेटिंग्स में विस्तारित होता है जहाँ विशेषज्ञ क्लास में नहीं है, जिसमें रिग्रेट बाउंड्स मिसस्पेसिफिकेशन एरर के वर्गमूल (square root) के साथ स्केल करते हैं।

अनुभवजन्य मूल्यांकन (Empirical Evaluation)

लेखक LunarLander-v3 वातावरण में SeqRejectron का मूल्यांकन करते हैं।

सेटअप: प्रशिक्षण एक बिना हवा वाले (windless) वातावरण में होता है; परीक्षण अलग-अलग शुरुआती इम्पल्स के साथ एक हवा वाले (windy) वातावरण में होता है।
निष्कर्ष: एल्गोरिदम आउट-ऑफ-डिस्ट्रीब्यूशन डायनेमिक्स का सफलतापूर्वक पता लगाता है। $\theta$ सुरक्षा थ्रेशोल्ड को ट्यून करके, लेखक एक ट्रेड-ऑफ प्रदर्शित करते हैं जहाँ नीति इन-डिस्ट्रीब्यूशन (ट्रेनिंग) डेटा पर न्यूनतम परित्याग करती है जबकि आउट-ऑफ-डिस्ट्रीब्यूशन (टेस्ट) डेटा पर विश्वसनीय रूप से रुक जाती है, जिससे विनाशकारी विफलताओं को रोका जा सके। वैलिडेटर्स की संख्या को पाया गया कि वह मजबूत थी, और प्रदर्शन जल्दी संतृप्त (saturate) हो गया।

4. महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि इमिटेशन लर्निंग में अप्रत्याशित डायनेमिक्स शिफ्ट के प्रति परित्याग (abstention) को एक सिद्धांतवादी, सैद्धांतिक रूप से सुदृढ़ प्रतिक्रिया के रूप में स्थापित करता है।

हेयुरिस्टिक्स से परे (Beyond Heuristics): रोबस्ट आरएल (Robust RL) या डोमेन रैंडमाइजेशन दृष्टिकोणों के विपरीत, जिन्हें शिफ्ट की प्रकृति के बारे में धारणाओं या ऑनलाइन टेस्ट डिस्ट्रीब्यूशन तक पहुँच की आवश्यकता होती है, SeqRejectron केवल ऑफलाइन डेटा का उपयोग करके डिस्ट्रीब्यूशन-फ्री PAC गारंटी प्रदान करता है।
PQ लर्निंग का अनुक्रमिक एनालॉग (Sequential Analogue of PQ Learning): यह कार्य PQ लर्निंग फ्रेमवर्क (Goldwasser et al., 2020) के एक अनुक्रमिक एनालॉग के रूप में खुद को स्थापित करता है, जो एकल भविष्यवाणियों से लेकर संपूर्ण ट्रैजेक्टरी प्रीफिक्स तक परित्याग करने की क्षमता का विस्तार करता है।
सुरक्षा तंत्र (Safety Mechanism): 'क्या करना है' के निर्णय को 'कब रुकना है' से अलग करके, यह ढांचा एक सुरक्षा तंत्र प्रदान करता है जो लर्नर को उन स्थितियों में सिस्टम को अनकंट्रोलेबल अवस्थाओं में ले जाने से रोकता है जब उसका प्रशिक्षण डेटा सूचनात्मक नहीं रह जाता है।

लेखक सीमाओं को स्वीकार करते हैं, यह नोट करते हुए कि स्टोकेस्टिक सेटिंग में वर्तमान में एक ओरकल-एफिशिएंट कम्प्यूटेशनल रिडक्शन (डिटरमिनिस्टिक केस के विपरीत) की कमी है, और स्टोकेस्टिक पॉलिसियों के लिए वेरिएंस-ड्रिवन सैंपल कॉम्प्लेक्सिटी दरें ऊपरी और निचले बाउंड के बीच एक खुला अंतराल (open gap) बनी हुई हैं। वे यह भी सुझाव देते हैं कि भविष्य के कार्य में टेस्ट-साइड स्टॉपिंग रेट्स को कड़ा करने के लिए आंशिक संरचनात्मक ज्ञान (जैसे, बाउंडेड TV डिस्टेंस) को शामिल किया जा सकता है।