🤖 machine learning

Optimizing What Policies Learn From: Recoverability-aware Rollout Intervention Learning

यह शोध पत्र रिकवरेबिलिटी-अवेयर इंटरवेंशन लर्निंग (RAIL) का प्रस्ताव करता है, जो एक प्रशिक्षण-समय ढांचा है जो रोलआउट जनरेशन को एक अनुकूली ऑनलाइन कॉन्टेक्स्टुअल-बैंडिट समस्या के रूप में मानता है ताकि सुधार संकेतों के आधार पर हस्तक्षेप रणनीतियों को गतिशील रूप से अनुकूलित किया जा सके, जिससे सीमित रोलआउट बजट के तहत लार्ज लैंग्वेज मॉडल्स के लिए पोस्ट-ट्रेनिंग दक्षता और प्रदर्शन को बढ़ाया जा सके।

मूल लेखक: Zheyuan Zhang, Manqing Mao, Hong Wang, Zhuoer Wang, Samson Koelle, Jie Yuan, Yanjun Lin, James Feng, Nikki Lijing Kuang, Yanfang Ye, Wei Niu

प्रकाशित 2026-08-06

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zheyuan Zhang, Manqing Mao, Hong Wang, Zhuoer Wang, Samson Koelle, Jie Yuan, Yanjun Lin, James Feng, Nikki Lijing Kuang, Yanfang Ye, Wei Niu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को भूलभुलैया (maze) सुलझाना सिखा रहे हैं। पुराने दिनों में, आप शायद सिर्फ रोबोट को कह देते, "100 बार आगे बढ़ने की कोशिश करो, और अगर तुम दीवार से टकरा जाओ, तो बाईं ओर मुड़ने की कोशिश करो।" यह काम तो करता है, लेकिन यह बर्बादी भरा है। कभी-कभी रोबोट एक ऐसे डेड एंड (बंद रास्ते) पर पहुँच जाता है जिससे निकलना असंभव होता है; वहाँ 100 कोशिशें बर्बाद करना एक बड़ी गलती है। दूसरी ओर, कभी-कभी रोबोट एक शानदार शॉर्टकट से बस एक कदम की दूरी पर होता, लेकिन आप उसे केवल एक बार ही मौका देते हैं, इसलिए वह उस खोज को चूक जाता है। यही समस्या है कि हम वर्तमान में लार्ज लैंग्वेज मॉडल्स (LLMs) को स्मार्ट एजेंट बनाने के लिए कैसे प्रशिक्षित करते हैं: हम उन्हें हर एक समस्या के लिए प्रयासों की एक निश्चित संख्या (जिसे "रोलआउट्स" कहा जाता है) देते हैं, चाहे वे प्रयास उपयोगी हों या समय की बर्बादी।

यह शोध पत्र इस अक्षमता को दूर करता है। यह एक नई विधि पेश करता है जिसे RAIL (रिकवरेबिलिटी-अवेयर इंटरवेंशन लर्निंग) कहा जाता है। RAIL को एक सुपर-स्मार्ट कोच की तरह समझें जो रोबोट के बगल में खड़ा है। अंधे होकर रोबोट को 100 बार दौड़ने देने के बजाय, कोच रोबोट की प्रगति को देखता है। यदि रोबोट किसी ऐसे जाल में फँस गया है जहाँ से वह कभी नहीं निकल सकता, तो कोच कहता है, "रुको! यहाँ और कोशिश करने में समय बर्बाद मत करो।" लेकिन यदि रोबोट एक ऐसी कठिन स्थिति में है जहाँ थोड़ी अतिरिक्त खोज एक छिपा हुआ रास्ता प्रकट कर सकती है, तो कोच चिल्लाता है, "जाओ! अभी तीन और विविधताओं को आज़माओ!" कोच यह सीखता है कि कब हस्तक्षेप करना है और कैसे हस्तक्षेप करना है, न कि कठोर नियमों के आधार पर अनुमान लगाकर।

समस्या: "एक ही आकार सबके लिए" वाला जाल (The "One-Size-Fits-All" Trap)

AI की दुनिया में, विशेष रूप से मॉडल को तर्क करने और टूल्स (जैसे डेटाबेस या शॉपिंग वेबसाइट का उपयोग करना) का उपयोग करने के लिए सिखाते समय, हम एक तकनीक का उपयोग करते हैं जिसे रीइन्फोर्समेंट लर्निंग कहा जाता है। मॉडल एक कार्य को हल करने का प्रयास करता है, यदि वह सफल होता है तो उसे इनाम मिलता है, और वह अपनी गलतियों से सीखता है। एक लोकप्रिय विधि जिसे GRPO (ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन) कहा जाता है, एक ही प्रश्न के लिए अलग-अलग उत्तरों का एक समूह (एक "रोलआउट") उत्पन्न करती है और देखती है कि उनमें से सबसे अच्छा कौन सा है।

समस्या यह है कि GRPO आमतौर पर हर प्रश्न के साथ एक जैसा व्यवहार करता है। यह कहता है, "हर प्रश्न के लिए, 16 उत्तर उत्पन्न करें।" लेकिन वास्तव में, कुछ प्रश्न आसान होते हैं (मॉडल पहले से ही उत्तर जानता है), और कुछ असंभव होते हैं (मॉडल एक तार्किक चक्र में फँसा हुआ है)। एक असंभव प्रश्न के लिए 16 उत्तर उत्पन्न करना उस घास के ढेर में सुई खोजने जैसा है जो वहाँ है ही नहीं; यह केवल कंप्यूटर पावर को जलाता है। इसके विपरीत, एक कठिन प्रश्न के लिए, 16 उत्तर एक चतुर समाधान खोजने के लिए पर्याप्त नहीं हो सकते हैं।

इसे ठीक करने के पिछले प्रयासों ने "ह्यूरिस्टिक" नियमों का उपयोग किया—सरल, निश्चित निर्देश जैसे "यदि मॉडल भ्रमित लग रहा है, तो अधिक प्रयास करें।" लेकिन ये नियम स्थिर हैं। वे AI के स्मार्ट होने के साथ नहीं बदलते। एक नियम जो AI के शुरुआती दौर में काम आया था, वह AI के विशेषज्ञ बनने पर बेकार हो सकता है। यह 1990 के मानचित्र का उपयोग करके एक ऐसे शहर में नेविगेट करने जैसा है जो पूरी तरह से पुनर्निर्मित किया जा चुका है।

समाधान: एक कोच जो हस्तक्षेप करना सीखता है

इस शोध पत्र के लेखक RAIL का प्रस्ताव करते हैं, जो एक ऐसी प्रणाली है जो "कब और कैसे अधिक प्रयास करना है" के निर्णय को स्वयं एक सीखने की प्रक्रिया में बदल देती है। एक निश्चित नियम के बजाय, RAIL एक "रिकवरेबिलिटी कंट्रोलर" (Recoverability Controller) को प्रशिक्षित करता है।

यह कैसे काम करता है, एक सरल उदाहरण के माध्यम से समझते हैं:

कल्पना कीजिए कि आप एक वीडियो गेम खेल रहे हैं जहाँ आप अपना रास्ता "ब्रांच" (शाखा बनाना) चुन सकते हैं। कभी-कभी, आप सड़क के मोड़ पर पहुँचते हैं।

शैडो फेज (प्रशिक्षण शिविर): वास्तविक खेल खेलने से पहले, यह एक "शैडो" प्रशिक्षण मोड से गुजरता है। यहाँ, यह विभिन्न रणनीतियाँ आज़माता है: "क्या होगा अगर मैं 4 अतिरिक्त पथ आज़माऊँ?" "क्या होगा अगर मैं 8 आज़माऊँ?" "क्या होगा अगर मैं सोचने का एक अलग तरीका अपनाऊँ?" यह रिकॉर्ड करता है कि इनमें से किस विकल्प ने वास्तव में एक बेहतर समाधान खोजने में मदद की। यह एक कोच द्वारा ड्रिल चलाने जैसा है यह देखने के लिए कि कौन से व्यायाम वास्तव में खिलाड़ी के प्रदर्शन में सुधार करते हैं।
कंट्रोलर (स्मार्ट कोच): इन ड्रिल्स के आधार पर, AI एक "रिकवरेबिलिटी कंट्रोलर" बनाता है। यह एक छोटा, तेज़ मस्तिष्क है जो वर्तमान स्थिति को देखता है और पूछता है: "यदि मैं अभी हस्तक्षेप करता हूँ, तो क्या इससे मदद मिलेगी?" यह रिकवरेबिलिटी (recoverability) को मापता है—एक फैंसी शब्द जिसका अर्थ है "यदि हम अभी अधिक प्रयास करें तो हम कितना बेहतर हो सकते हैं?"
लाइव फेज (असली खेल): अब, AI असली खेल खेलता है। कंट्रोलर हर कदम पर नज़र रखता है। यदि AI ऐसी जगह पर है जहाँ अतिरिक्त प्रयास निश्चित रूप से मदद करेंगे (उच्च रिकवरेबिलिटी), तो कंट्रोलर कहता है, "हस्तक्षेप करो! शाखा बनाओ!" यदि AI एक ऐसे डेड एंड में है जहाँ अधिक प्रयास मदद नहीं करेंगे (कम रिकवरेबिलिटी), तो कंट्रोलर कहता है, "छोड़ दो। अपनी ऊर्जा बचाओ।"

उन्होंने क्या पाया

शोधकर्ताओं ने चार चुनौतीपूर्ण कार्यों पर RAIL का परीक्षण किया जहाँ AI एजेंटों को ऑपरेटिंग सिस्टम, डेटाबेस, वेब शॉप और डेटा विश्लेषण टूल के साथ इंटरैक्ट करना था।

यह बेहतर काम करता है: RAIL ने लगातार सभी अन्य तरीकों को पछाड़ दिया, जिसमें मानक "एक ही आकार सबके लिए" वाला दृष्टिकोण और अन्य "स्मार्ट" तरीके शामिल हैं जो निश्चित नियमों का उपयोग करते हैं। इसने कार्यों को हल करने में उच्च सफलता दर प्राप्त की।
यह पैसे बचाता है: शायद सबसे प्रभावशाली बात यह है कि RAIL ने इन बेहतर परिणामों को प्राप्त करने के लिए अन्य तरीकों की तुलना में कम कुल प्रयासों (रोलआउट्स) का उपयोग किया। यह न केवल स्मार्ट बना; यह अधिक कुशल भी बना। इसने उन निराशाजनक स्थितियों पर समय बर्बाद करना बंद कर दिया जहाँ कोई उम्मीद नहीं थी और अपनी ऊर्जा वहीं केंद्रित की जहाँ इसकी आवश्यकता थी।
यह अनुकूलित होता है: शोध पत्र दिखाता है कि हस्तक्षेप करने का "सबसे अच्छा" तरीका AI के सीखने के साथ बदल जाता है। एक रणनीति जो शुरुआत में काम करती है, वह बाद में काम नहीं कर सकती। क्योंकि RAIL का कंट्रोलर नए परिणामों से लगातार सीखता रहता है, यह AI के बढ़ते कौशल के अनुकूल होता है, जबकि पुराने निश्चित नियम पीछे छूट जाते हैं।

बड़ी तस्वीर

यह शोध पत्र सुझाव देता है कि AI के लिए प्रशिक्षण डेटा उत्पन्न करने का तरीका एक निश्चित, उबाऊ प्रक्रिया नहीं होना चाहिए। इसके बजाय, "चीजों को आज़माने" की प्रक्रिया स्वयं एक गतिशील, सीखने योग्य हिस्सा होनी चाहिए। AI को यह पहचानने के सिखाकर कि उसे कब गहराई तक जाने की आवश्यकता है और कब आगे बढ़ना चाहिए, हम AI प्रशिक्षण को तेज़, सस्ता और अधिक प्रभावी बना सकते हैं। यह किसी समस्या पर अंधाधुंध अधिक कंप्यूटर पावर लगाने के बजाय, उस शक्ति को ठीक वहीं निर्देशित करने की ओर एक बदलाव है जहाँ इसकी आवश्यकता है।

तकनीकी सारांश: रिकवरेबिलिटी-अवेयर इंटरवेंशन लर्निंग (RAIL)

समस्या विवरण

क्रिटिक-मुक्त, ग्रुप-आधारित रीइन्फोर्समेंट लर्निंग (RL) विधियाँ, जैसे कि ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO), लार्ज लैंग्वेज मॉडल (LLM) पोस्ट-ट्रेनिंग के लिए एक स्केलेबल प्रतिमान बन गई हैं। हालाँकि, ये विधियाँ आमतौर पर विभिन्न कार्यों और ट्राजेक्टरी स्टेट्स के बीच सीखने के मूल्य (learning value) में महत्वपूर्ण भिन्नताओं के बावजूद, रोलआउट बजट को कार्यों और ट्राजेक्टरी स्टेट्स में समान रूप से आवंटित करती हैं। एजेंटिक सेटिंग्स में, जहाँ रिवॉर्ड्स स्पार्स (sparse) होते हैं और एनवायरनमेंट इंटरैक्शन की लागत अधिक होती है, यह समान आवंटन अक्षमता का कारण बनता है:

नॉन-स्टेशनरी गैप (Non-Stationary Gap): मौजूदा इंटरवेंशन रणनीतियाँ स्टैटिक ह्यूरिस्टिक्स (जैसे एंट्रॉपी, अनसर्टेन्टी) पर निर्भर करती हैं जो लर्निंग वैल्यू के प्रॉक्सी के रूप में कार्य करते हैं। ये प्रॉक्सी अप्रत्यक्ष हैं और पॉलिसी के विकसित होने के साथ अनुकूलित होने में विफल रहते हैं, जिससे इंटरवेंशन ट्रिगर और किसी स्टेट की वास्तविक रिकवरेबिलिटी (recoverability) के बीच एक निरंतर बेमेल स्थिति बनी रहती है।
नॉन-स्केलर गैप (Non-Scalar Gap): पूर्ववर्ती विधियाँ अक्सर इंटरवेंशन को एक स्केलर निर्णय (जैसे, "कितने रोलआउट जेनरेट करने हैं") तक सीमित कर देती हैं, जिसमें यह तय करने के लिए कोई सिद्धांतगत तंत्र नहीं होता कि कहाँ ब्रांच करना है और कैसे एक्सप्लोर करना है (जैसे, डिकोडिंग रिजीम)। यह अनरिकवरेबल स्टेट्स से उबरने या विशिष्ट ट्राजेक्टरी स्ट्रक्चर का लाभ उठाने की क्षमता को सीमित करता है।

मुख्य चुनौती यह है कि फिक्स्ड रूल्स पर निर्भर रहने के बजाय, प्राप्त परिणामों (realized outcomes) से ऑनलाइन रोलआउट इंटरवेंशन को सीखना ताकि स्ट्रक्चर्ड निर्णयों (कहाँ और कैसे हस्तक्षेप करना है) को अनुकूलित किया जा सके।

कार्यप्रणाली: रिकवरेबिलिटी-अवेयर इंटरवेंशन लर्निंग (RAIL)

RAIL एक ट्रेनिंग-टाइम फ्रेमवर्क है जो रोलआउट जनरेशन को एक लर्न करने योग्य इंटरवेंशन प्रक्रिया के रूप में मानता है। यह स्ट्रक्चर्ड निर्णयों को उनके वास्तविक "रिकवरेबिलिटी गेन्स" (recoverability gains)—जो कि इंटरवेंशन के परिणामस्वरूप रिवॉर्ड-डिस्ट्रीब्यूशन सिग्नल्स (विशेष रूप से रिवॉर्ड कॉन्ट्रास्ट) में सुधार है—के आधार पर अनुकूलित करता है।

1. रिकवरेबिलिटी की परिभाषा

RAIL रिकवरेबिलिटी को एक विशिष्ट स्टेट $z$ पर इंटरवेंशन लागू करने पर अपेक्षित रिवॉर्ड कॉन्ट्रास्ट में होने वाले लाभ के रूप में परिभाषित करता है। औपचारिक रूप से, गेन $\Delta_\theta(z, b) = E[I(Y_b) - I(Y_\emptyset) | z, b, \pi_\theta]$ है, जहाँ $I(Y)$ रोलआउट ग्रुप के रिवॉर्ड वेरिएंस (कॉन्ट्रास्ट) को मापता है। एक स्टेट रिकवरेबल है यदि इंटरवेंशन एक सकारात्मक अपेक्षित गेन प्रदान करता है।

2. ऑनलाइन कॉन्टेक्स्टुअल बैंडिट फॉर्मूलेशन

RAIL इंटरवेंशन के चयन को एक ऑनलाइन कॉन्टेक्स्टुअल-बैंडिट समस्या के रूप में फ्रेम करता है:

कॉन्टेक्स्ट ( $z_t$ ): वर्तमान ट्राजेक्टरी स्टेट, जिसे रोलआउट स्टैटिस्टिक्स (जैसे एंट्रॉपी, रिवॉर्ड मीन/वेरिएंस) और प्रोजेक्टेड पॉलिसी हिडन स्टेट्स सहित एक 26-डायमेंशनल वेक्टर द्वारा दर्शाया जाता है।
एक्शन ( $b_t$ ): एक स्ट्रक्चर्ड इंटरवेंशन जो एक डिस्क्रीट ब्रांच बजट (अतिरिक्त कंटीन्यूएशन की संख्या) और एक डिकोडिंग रिजीम (जैसे सैंपलिंग टेम्परेचर/टॉप-पी) को मिलाकर $\mathcal{B} = \mathcal{M} \times \mathcal{T}$ स्पेस से चुना जाता है।
रिवॉर्ड ( $y_t$ ): इंटरवेंशन के बाद देखा गया वास्तविक रिकवरेबिलिटी गेन।

3. शैडो-टू-लाइव डिप्लॉयमेंट (Shadow-to-Live Deployment)

कोल्ड-स्टार्ट समस्या को संबोधित करने और सुरक्षा सुनिश्चित करने के लिए, RAIL एक शैडो-टू-लाइव प्रक्रिया का उपयोग करता है:

शैडो फेज (Shadow Phase): एक लाइटवेट ह्यूरिस्टिक वॉर्म-अप पॉलिसी स्ट्रक्चर्ड इंटरवेंशन (बढ़ते बजट के साथ इटरेटिव ब्रांचिंग) निष्पादित करती है ताकि $(z, b, y)$ टुपल्स का एक ट्रेस बफर एकत्र किया जा सके। इस चरण के दौरान, कंट्रोलर इन ट्रेसेस से एक स्कोर फंक्शन $\hat{\Delta}_\phi(z, b)$ को फिट करने के लिए रिसेंसी-वेटेड हबर लॉस (recency-weighted Huber loss) का उपयोग करके सीखता है।
लाइव फेज (Live Phase): एक बार जब कंट्रोलर प्रेडिक्टिव स्किल (साइन एग्रीमेंट के माध्यम से डायनेमिक प्रमोशन क्राइटेरिया द्वारा) प्रदर्शित करता है, तो यह नियंत्रण संभाल लेता है। कंट्रोलर सभी निष्पादन योग्य इंटरवेंशन को स्कोर करता है और उच्चतम अनुमानित गेन वाले इंटरवेंशन का चयन करता है। एक यूटिलिटी गेट ( $\eta$ ) इंटरवेंशन को फ़िल्टर करता है, और केवल तभी एक ब्रांच निष्पादित करता है जब अनुमानित गेन थ्रेशोल्ड से अधिक हो, अन्यथा डिफॉल्ट रोलआउट के साथ आगे बढ़ता है।
को-इवोल्यूशन (Co-evolution): जैसे-जैसे पॉलिसी $\pi_\theta$ अपडेट होती है, रिकवरेबिलिटी लैंडस्केप बदल जाता है। कंट्रोलर लाइव ट्रेनिंग के दौरान उत्पन्न नए ट्रेसेस से लगातार अपडेट होता रहता है, जिससे यह नॉन-स्टेशनरी रिकवरेबिलिटी पैटर्न को ट्रैक कर पाता है।

मुख्य योगदान

नॉन-स्टेशनरी गैप को पाटना: RAIL रिकवरेबिलिटी को एक आउटकम-बेस्ड सिद्धांत के रूप में पेश करता है, जो स्टैटिक ह्यूरिस्टिक्स को एक ऑनलाइन कंट्रोलर से बदल देता है जो वास्तविक रिवॉर्ड-डिस्ट्रीब्यूशन गेन्स से सीधे इंटरवेंशन यूटिलिटी सीखता है।
नॉन-स्केलर गैप को पाटना: फ्रेमवर्क इंटरवेंशन को एक स्ट्रक्चर्ड निर्णय स्पेस (ब्रांच बजट $\times$ डिकोडिंग रिजीम) पर फॉर्मुलेट करता है और इन युग्मित निर्णयों को सुरक्षित रूप से सीखने और समन्वय करने के लिए एक शैडो-टू-लाइव डिप्लॉयमेंट मैकेनिज्म विकसित करता है।
अनुभवजन्य सत्यापन (Empirical Validation): RAIL का मूल्यांकन चार एजेंटिक रीजनिंग बेंचमार्क्स (AgentBench-OS, AgentBench-DB, WebShop, ToolQA-Coffee) पर किया गया है, जो यूनिफॉर्म GRPO और स्टेट-ऑफ-द-आर्ट ह्यूरिस्टिक बेसलाइन्स की तुलना में प्रभावशीलता, अनुकूलन क्षमता, अभिव्यक्ति और दक्षता में सुधार प्रदर्शित करता है।

प्रयोगात्मक परिणाम

प्रभावशीलता: RAIL सभी बेंचमार्क्स में लगातार उच्चतम सफलता दर प्राप्त करता है। उदाहरण के लिए, AgentBench-OS पर, RAIL 33.30% सफलता दर प्राप्त करता है, जो बेस्ट बेसलाइन (TAMPO 31.25%) और यूनिफॉर्म GRPO-32 (27.50%) से बेहतर है।
अनुकूलन क्षमता (Adaptivity): प्रयोग दिखाते हैं कि एक ऑनलाइन-अपडेटिंग कंट्रोलर, फ्रोजन कंट्रोलर की तुलना में इंटरवेंशन गेन्स की भविष्यवाणी करने में काफी बेहतर प्रदर्शन करता है (कम मीन एब्सोल्यूट एरर और उच्च साइन एग्रीमेंट), जो पुष्टि करता है कि रिकवरेबिलिटी नॉन-स्टेशनरी है और पॉलिसी के साथ विकसित होती है।
अभिव्यक्ति (Expressiveness): एब्लेशन स्टडीज से पता चलता है कि इंटरवेंशन को एक स्ट्रक्चर्ड स्पेस (बजट और डिकोडिंग दोनों को बदलकर) के रूप में मॉडल करने से केवल स्केलर-ओनली इंटरवेंशन (जैसे, केवल बजट बदलना) की तुलना में बेहतर प्रदर्शन मिलता है। कंट्रोलर विभिन्न कार्यों के लिए विशिष्ट इंटरवेंशन पैटर्न सीखता है न कि एक यूनिवर्सल रणनीति में सिमट जाता है।
दक्षता: RAIL कम रोलआउट के साथ बेहतर प्रदर्शन करता है। यह GRPO-32 से कमกว่า आधे रोलआउट बजट का उपयोग करते हुए भी उससे बेहतर प्रदर्शन करता है, और यह ARPO-32 और VIP-32 जैसे अडैप्टिव बेसलाइन्स की उच्च कम्प्यूटेशनल लागतों से बचता है।

महत्व

यह पेपर तर्क देता है कि रोलआउट-जनरेशन प्रक्रिया को स्वयं एक ऑप्टिमाइज़ेशन ऑब्जेक्ट माना जाना चाहिए। वास्तविक रिकवरेबिलिटी के आधार पर हस्तक्षेप करने के लिए सीखकर, पोस्ट-ट्रेनिंग अधिक सूचनात्मक और कम रेडंडेंट लर्निंग सिग्नल्स से अनुकूलित हो सकती है। RAIL रिकवरेबिलिटी-अवेयर इंटरवेंशन को अधिक सूचनात्मक रोलआउट जनरेशन के लिए एक सिद्धांतगत पथ के रूप में स्थापित करता है, जो LLM एजेंट्स को फिक्स्ड, संभावित रूप से गलत ह्यूरिस्टिक्स पर निर्भर रहने के बजाय, विकसित होती पॉलिसी और कार्य आवश्यकताओं के अनुसार अपनी एक्सप्लोरेशन रणनीतियों को गतिशील रूप से अनुकूलित करने में सक्षम बनाता है। यह दृष्टिकोण एक व्यापक प्रतिमान का सुझाव देता है जहाँ मॉडल पैरामीटर्स और डेटा-जनरेशन प्रक्रिया दोनों को लर्निंग एफिशिएंसी को अधिकतम करने के लिए सह-अनुकूलित (co-adapted) किया जाता है।