💬 NLP

Recursive Agent Optimization

यह शोध पत्र रिकर्सिव एजेंट ऑप्टिमाइज़ेशन (RAO) को पेश करता है, जो एक सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो एजेंटों को उप-कार्यों को स्वयं को पुनरावर्ती रूप से सौंपने के लिए प्रशिक्षित करता है, जिससे प्रशिक्षण दक्षता में सुधार होता है, संदर्भ सीमाओं से परे मापनीयता (scalability) सक्षम होती है, और विभाजित करो और जीतो (divide-and-conquer) की रणनीतियों के माध्यम से जटिल समस्याओं में सामान्यीकरण को बढ़ाता है।

मूल लेखक: Apurva Gandhi, Satyaki Chakraborty, Xiangjun Wang, Aviral Kumar, Graham Neubig

प्रकाशित 2026-05-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Apurva Gandhi, Satyaki Chakraborty, Xiangjun Wang, Aviral Kumar, Graham Neubig

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन थोड़ी भूलक्कड़, व्यक्तिगत सहायक (personal assistant) है। आप उन्हें एक बहुत बड़ा, जटिल काम देते हैं, जैसे कि चार लोगों के परिवार के लिए तीन दिन की क्योटो यात्रा की योजना बनाना, या दस लाख किताबों के पुस्तकालय के भीतर छिपे किसी विशिष्ट तथ्य को खोजना।

यदि आप यह काम एक अकेले सहायक को देते हैं, तो दो चीजें गलत हो सकती हैं:

वे अभिभूत (overwhelmed) हो जाते हैं: निर्देश बहुत लंबे होते हैं, और योजना के अंत तक पहुँचते-पहुँचते वे शुरुआत का हिस्सा भूल जाते हैं।
वे अटक जाते हैं: काम एक बार में करने के लिए बहुत बड़ा होता है, इसलिए वे हार मान लेते हैं या गलतियाँ करते हैं।

यह पेपर इन सहायकों को प्रशिक्षित करने का एक नया तरीका पेश करता है जिसे रिकर्सिव एजेंट ऑप्टिमाइज़ेशन (Recursive Agent Optimization - RAO) कहा जाता है। केवल एक सहायक को सब कुछ अकेले करने के लिए प्रशिक्षित करने के बजाय, RAO उन्हें एक सुपरपावर सिखाता है: खुद को क्लोन करने की क्षमता।

यह कैसे काम करता है, सरल उपमाओं (analogies) का उपयोग करके यहाँ दिया गया है:

1. "क्लोन आर्मी" रणनीति

पुराने तरीके में, यदि किसी सहायक को किसी विषय पर शोध करने की आवश्यकता होती थी, तो वे सब कुछ एक लंबी रेखा में पढ़ते थे। यदि टेक्स्ट बहुत लंबा होता था, तो वे विवरणों को छोड़ देते थे।

RAO के साथ, मुख्य सहायक (मान लीजिए कि वह एक मैनेजर है) एक बड़े कार्य को देखती है और कहती है, "यह मेरे लिए एक साथ सब कुछ समझने के लिए बहुत बड़ा है। मैं इसे विभाजित कर दूँगी।"

वह फिर सब-एजेंट्स (Sub-Agents) (खुद के क्लोन) पैदा करती है।

मैनेजर: "तुम, सब-एजेंट A, जाओ सबसे अच्छे चेरी ब्लॉसम स्पॉट ढूँढो।"
मैनेजर: "तुम, सब-एजेंट B, जाओ एक शांत मंदिर और एक बच्चों के अनुकूल गतिविधि ढूँढो।"
सब-एजेंट B: "रुको, मैं एक साथ दोनों काम नहीं कर सकता। मैं अपने खुद के क्लोन बनाऊँगा! सब-एजेंट B1, मंदिर ढूँढो। सब-एजेंट B2, गतिविधि ढूँढो।"

यह श्रमिकों का एक पेड़ (tree) बनाता है। प्रत्येक कार्यकर्ता को केवल पहेली के एक छोटे, प्रबंधनीय हिस्से पर ध्यान केंद्रित करना होता है। उन्हें पूरे प्रोजेक्ट के इतिहास को याद रखने की आवश्यकता नहीं है; उन्हें बस अपने विशिष्ट छोटे कार्य को याद रखना है।

2. "टीम बोनस" सिस्टम (वे कैसे सीखते हैं)

इस पेपर की बड़ी सफलता केवल क्लोन का उपयोग करना नहीं है; बल्कि यह है कि उन्हें क्लोन का उपयोग करने के लिए कैसे प्रशिक्षित किया जाता है।

एक वीडियो गेम की कल्पना करें जहाँ आपको अंक मिलते हैं।

पुराना तरीका: आपको अंक तभी मिलते हैं जब पूरा गेम जीत लिया जाता है। यदि आप पहले लेवल में एक बेहतरीन चाल चलते हैं लेकिन अंतिम बॉस से हार जाते हैं, तो आपको शून्य अंक मिलते हैं। यह शुरुआती स्तरों को अच्छी तरह से खेलने के लिए सीखना कठिन बनाता है।
RAO का तरीका: आपको दो चीजों के लिए अंक मिलते हैं:
1. क्या आपने अपना विशिष्ट छोटा कार्य हल किया? (जैसे, क्या आपने मंदिर ढूँढा?)
2. क्या जिन लोगों को आपने काम पर रखा (आपके सब-क्लोन), उन्होंने अपने कार्यों को हल किया?

यदि मैनेजर एक ऐसा सब-एजेंट काम पर रखती है जो विफल हो जाता है, तो मैनेजर को "डेलीगेशन पेनल्टी" (delegation penalty) मिलती है। यदि मैनेजर एक ऐसा सब-एजेंट काम पर रखती है जो सफल होता है, तो मैनेजर को "डेलीगेशन बोनस" मिलता है।

यह मैनेजर को दो महत्वपूर्ण सबक सिखाता है:

कब क्लोन करें: छोटे काम के लिए क्लोन न करें (यह समय की बर्बादी है)। क्लोन तब करें जब काम बहुत बड़ा हो।
कैसे क्लोन करें: स्पष्ट निर्देश दें ताकि आपके क्लोन सफल हो सकें।

3. परिणाम: पेपर ने क्या पाया

शोधकर्ताओं ने तीन प्रकार के "कठिन कामों" पर इनका परीक्षण किया:

"क्राफ्टिंग" गेम (TextCraft-Synth): एक ऐसे गेम की कल्पना करें जैसे माइनक्राफ्ट, जहाँ आपको कई छोटी वस्तुओं को मिलाकर एक जटिल वस्तु (जैसे मधुमक्खी का छत्ता) बनानी होती है।
- परिणाम: RAO-प्रशिक्षित एजेंट ऐसी वस्तुएं बना सके जो एक एकल एजेंट के संभालने के लिए बहुत जटिल थीं। वे "हार्ड" स्तर की पहेलियों को भी हल कर सके जहाँ सिंगल-एजेंट संस्करण पूरी तरह से विफल रहा था।
- गति: क्योंकि क्लोन वास्तविक समय में अलग-अलग हिस्सों पर एक साथ काम कर सकते थे (जैसे एक व्यक्ति लकड़ी काट रहा है जबकि दूसरा पेंट कर रहा है), उन्होंने काम को बहुत तेज़ी से पूरा किया, भले ही उन्होंने कुल मिलाकर अधिक "स्टेप्स" लिए हों।
"लंबी किताब" का परीक्षण (Oolong-Real): कल्पना कीजिए कि एक सहायक को 55,000 शब्दों की किताब में एक विशिष्ट वाक्य खोजने के लिए कहा जाता है, लेकिन सहायक एक बार में केवल 32,000 शब्द ही "पढ़" सकता है।
- परिणाम: सिंगल असिस्टेंट को अनुमान लगाना पड़ता था या ट्रिक्स का उपयोग करना पड़ता था क्योंकि वह पूरी किताब नहीं पढ़ सकता था। RAO एजेंट ने किताब को टुकड़ों में विभाजित किया, प्रत्येक टुकड़े को अलग-अलग क्लोन को दिया, और फिर उत्तरों को मिला दिया। इसने समस्या को पूरी तरह से हल किया, जबकि सिंगल एजेंट विफल रहा।
"गहन शोध" का परीक्षण (DeepDive): कल्पना कीजिए कि एक सहायक को एक विशिष्ट ऐतिहासिक तथ्य खोजने के लिए कहा जाता है जिसके लिए इंटरनेट खोजने, पांच अलग-अलग वेबसाइटों को पढ़ने और तथ्यों को जोड़ने की आवश्यकता है।
- परिणाम: RAO एजेंट ने शोध को चरणों में तोड़ने (खोज, सत्यापन, संश्लेषण) और उन्हें सौंपने के लिए सीखा। यह सिंगल एजेंट की तुलना में बहुत अधिक सटीक था, हालांकि इसमें अधिक समय लगा क्योंकि चरणों को एक के बाद एक किया जाना था (आप दो अलग-अलग तथ्यों के लिए एक ही समय में खोज नहीं कर सकते यदि वे एक-दूसरे पर निर्भर हों)।

मुख्य निष्कर्ष

यह पेपर तर्क देता है कि हमें केवल शानदार उपकरण (जैसे क्लोनिंग) बनाने और यह उम्मीद करने के बजाय कि AI खुद सीख जाएगा कि उनका उपयोग कैसे करना है, AI को विशेष रूप से उन उपकरणों का उपयोग करने के लिए प्रशिक्षित करना चाहिए।

AI को बड़े समस्याओं को छोटी समस्याओं में तोड़ने, उन्हें अपने क्लोन को सौंपने और क्लोन के अच्छा काम करने के लिए पुरस्कृत करने के लिए प्रशिक्षित करके, AI बनता है:

कठिन समस्याओं के लिए स्मार्ट: यह उन चीजों से निपट सकता है जो इसकी मेमोरी के लिए बहुत बड़ी हैं।
समानांतर कार्यों के लिए तेज़: यह एक साथ कई काम कर सकता है।
सीखने में बेहतर: यह तेज़ी से सीखता है क्योंकि इसे हर छोटे कदम पर फीडबैक मिलता है, न कि केवल अंतिम परिणाम पर।

संक्षेप में, RAO एक अकेले, अभिभूत कार्यकर्ता को एक अच्छी तरह से व्यवस्थित, स्व-प्रबंधित टीम में बदल देता है जो ऐसी समस्याओं को हल कर सकती है जिन्हें कोई भी अकेला कार्यकर्ता कभी नहीं संभाल सकता।

तकनीकी सारांश: रिकर्सिव एजेंट ऑप्टिमाइज़ेशन (RAO)

समस्या विवरण

लार्ज लैंग्वेज मॉडल (LLM) एजेंटों को लंबे क्षितिज (long horizons), बड़े प्रभावी वर्किंग मेमोरी और पर्याप्त अन्वेषण (exploration) वाले जटिल, वास्तविक दुनिया के कार्यों पर तेजी से तैनात किया जा रहा है। हालांकि ऐसे कई कार्य स्वाभाविक रूप से 'डिवाइड-एंड-कॉन्कर' (विभाजित करो और जीतो) रणनीतियों के अनुकूल होते हैं, मौजूदा रिकर्सिव और मल्टी-एजेंट सिस्टम आमतौर पर रिकर्सन को एक प्री-ट्रेन्ड मॉडल के चारों ओर लिपटे एक स्टैटिक, इन्फरेंस-टाइम स्कैफोल्ड (ढांचे) के रूप में देखते हैं। इन प्रणालियों में, मॉडल स्वयं यह तय करने के लिए प्रशिक्षित नहीं होता है कि कब डेलीगेशन (प्रत्यायोजन) फायदेमंद है, प्रभावी उप-कार्यों (subtasks) को कैसे तैयार किया जाए, विभिन्न स्तरों के बीच कैसे संवाद किया जाए, या उप-एजेंट आउटपुट को कैसे संयोजित किया जाए। फलस्वरूप, मॉडल्स को रिकर्सिव इन्फरेंस को एक फिक्स्ड आर्किटेक्चरल कंस्ट्रेंट के बजाय एक 'लर्नड प्रिमिटिव' (सीखी हुई मौलिक इकाई) के रूप में प्रभावी ढंग से उपयोग करने के लिए प्रशिक्षित करने में एक अंतर बना हुआ है।

कार्यप्रणाली: रिकर्सिव एजेंट ऑप्टिमाइज़ेशन (RAO)

लेखक रिकर्सिव एजेंटों के एंड-टू-एंड प्रशिक्षण के लिए डिज़ाइन किए गए एक रीइन्फोर्समेंट लर्निंग (RL) दृष्टिकोण, 'रिकर्सिव एजेंट ऑप्टिमाइज़ेशन' (RAO) को पेश करते हैं। पूर्ववर्ती कार्यों के विपरीत, जो ऑर्केस्ट्रेशन स्कीम को स्थिर रखते हैं, RAO एक एकल साझा पॉलिसी ( $\pi_\theta$ ) को प्रशिक्षित करता है, जिसे एक डायनेमिकली जेनरेटेड एक्जीक्यूशन ट्री के प्रत्येक नोड पर स्थापित किया जाता है।

1. एजेंट फॉर्मूलेशन और इन्फरेंस

एजेंट एक ऐसे वातावरण में कार्य करता है जहाँ वह पायथन REPL में नेचुरल लैंग्वेज रीजनिंग और कोड निष्पादन के बीच तालमेल बिठाता है। एक्शन स्पेस को एक एसिंक्रोनस फंक्शन launch_subagent(goal, ...) को शामिल करने के लिए विस्तारित किया गया है।

डायनेमिक एक्जीक्यूशन ट्रीज़: कार्य $X$ को हल करते समय, पॉलिसी डेलीगेट किए गए उप-कार्यों $X_1, \dots, X_n$ पर शून्य या एक से अधिक चाइल्ड एजेंट स्पॉन (पैदा) कर सकती है। इन उप-कार्यों की संख्या और सामग्री पॉलिसी द्वारा स्वयं चुनी जाती है।
कन्करेंसी (समवर्तीता): पैरेंट एजेंट टास्क डिपेंडेंसी के आधार पर बच्चों को क्रमिक (sequentially) या समवर्ती (concurrently - asyncio.gather का उपयोग करके) रूप से लॉन्च कर सकता है।
बाउंडेडनेस (सीमाबद्धता): रिकर्सन डेप्थ और प्रत्येक एजेंट इंस्टेंस के प्रति एनवायरनमेंट स्टेप्स की संख्या पर स्पष्ट सीमाएं लगाई गई हैं ताकि गणना सीमित रहे।

2. रिवॉर्ड डिज़ाइन (लोकल नोड रिवॉर्ड)

RAO एक्जीक्यूशन ट्री में क्रेडिट असाइनमेंट में सुधार के लिए एक लोकल रिवॉर्ड स्ट्रक्चर का उपयोग करता है। कार्य $X$ के अनुरूप एक नोड के लिए, जिसमें ट्रेजेक्टरी $\tau_X$ और उसके तत्काल बच्चे $C(X)$ हैं, रिवॉर्ड को इस प्रकार परिभाषित किया गया है:
$R(X, \tau_X) = \tilde{s}(X, \tau_X) + \lambda \cdot \frac{1}{|C(X)|} \sum_{c \in C(X)} \tilde{s}(c, \tau_c)$

$\tilde{s}(X, \tau_X)$ : वर्तमान नोड के लिए सफलता का संकेत, जो सटीक सत्यापन, LLM जज, या प्रॉक्सी (जैसे, रूट टास्क सक्सेस) से प्राप्त होता है।
डेलीगेशन बोनस: दूसरा पद एजेंट को उसके तत्काल बच्चों की सफलता दर के आधार पर पुरस्कृत करता है। पैरामीटर $\lambda$ इस बोनस की शक्ति को नियंत्रित करता है।
तर्क: यह डिज़ाइन केवल अधिक बच्चों को स्पॉन करने के बजाय उत्पादक डेलीगेशन को प्रोत्साहित करता है। यह सघन (dense) सुपरविजन सिग्नल प्रदान करता है, विशेष रूप से प्रशिक्षण के शुरुआती चरणों में जब रूट-टास्क सक्सेस दुर्लभ होती है।

3. पॉलिसी ऑप्टिमाइज़ेशन

उद्देश्य रूट टास्क और पॉलिसी-जेनरेटेड वंशजों (descendants) दोनों पर साझा पॉलिसी को ऑप्टिमाइज़ करना है। ऑब्जेक्टिव फंक्शन $J(\theta)$ रिकर्सिव रोलआउट के सभी डेप्थ $d$ के अपेक्षित रिवॉर्ड्स का योग है:
$J(\theta) = \sum_{d=0}^{D} \mathbb{E}_{X \sim D_d(\theta)} \left[ \mathbb{E}_{\tau_X \sim \pi_\theta(\cdot|X)} [R(X, \tau_X)] \right]$

करिकुलम प्रभाव (Curriculum Effect): रिकर्सिव संरचना स्वाभाविक रूप से अलग-अलग कठिनाई वाले संबंधित कार्य उत्पन्न करती है, जिससे एक निहित करिकुलम बनता है जहाँ उप-कार्य अक्सर रूट टास्क की तुलना में सरल या अधिक संरचित होते हैं।
एडवांटेज एस्टीमेशन: विभिन्न डेप्थ पर अलग-अलग ट्रेजेक्टरीज को संभालने के लिए, लेखक रूट रोलआउट रिवॉर्ड्स से गणना किए गए 'लीव-वन-आउट बेसलाइन' का उपयोग करते हैं।
डेप्थ-लेवल वेटिंग: ऑप्टिमाइज़ेशन को गहरे स्तरों (जो अधिक ट्रेजेक्टरीज रख सकते हैं) द्वारा हावी होने से रोकने के लिए, डेप्थ-लेवल इनवर्स-फ्रीक्वेंसी वेटिंग लागू की जाती है। ओवर-रिप्रेजेंटेड डेप्थ्स की ट्रेजेक्टरीज को डाउनवेट किया जाता है ताकि समग्र अपडेट स्केल सुरक्षित रहे।

मुख्य योगदान

रिकर्सिव एजेंटों का एंड-टू-एंड प्रशिक्षण: RAO एक डायनेमिकली जेनरेटेड रिकर्सिव ट्री के सभी नोड्स में एक सिंगल पॉलिसी को संयुक्त रूप से प्रशिक्षित करने वाला पहला तरीका है, जो मॉडल को यह सिखाता है कि कब और कैसे डेलीगेट करना है।
नया रिवॉर्ड मैकेनिज्म: एक लोकल नोड रिवॉर्ड और डेलीगेशन बोनस का परिचय, जो गहरे रिकर्सिव स्ट्रक्चर्स में प्रभावी क्रेडिट असाइनमेंट की अनुमति देता है, जिससे पॉलिसी को केवल मात्रा के बजाय डेलीगेशन की गुणवत्ता के साथ संरेखित किया जाता है।
स्केलेबल इन्फरेंस प्रिमिटिव: यह दृष्टिकोण प्रदर्शित करता है कि रिकर्सिव एजेंट उन कार्यों तक स्केल कर सकते हैं जो मॉडल के कॉन्टेक्स्ट विंडो से अधिक हैं और प्रशिक्षण के दौरान देखे गए कठिन कार्यों से काफी अधिक कठिन समस्याओं पर सामान्यीकरण (generalize) कर सकते हैं।
दक्षता लाभ: यह विधि सिंगल-एजेंट ट्रेनिंग की तुलना में बेहतर प्रशिक्षण दक्षता दिखाती है और समानांतर (parallelizable) कार्यों के लिए वॉल-क्लॉक टाइम को कम कर सकती है।

प्रयोगात्मक परिणाम

लेखक तीन बेंचमार्क पर RAO का मूल्यांकन करते हैं: TEXTCRAFT-SYNTH (सिंथेटिक क्राफ्टिंग टास्क), OOLONG-REAL (लॉन्ग-कॉन्टेक्स्ट डॉक्यूमेंट एग्रीगेशन), और DEEPDIVE (मल्टी-हॉप वेब सर्च के साथ डीप रिसर्च)।

कॉन्टेक्स्ट विंडो विस्तार: TEXTCRAFT-SYNTH पर, 8K कॉन्टेक्स्ट विंडो के साथ प्रशिक्षित रिकर्सिव एजेंटों ने कठिन कार्यों पर 95% सफलता प्राप्त की, जो 40K कॉन्टेक्स्ट के साथ प्रशिक्षित मॉडलों के प्रदर्शन के बराबर है। इसके विपरीत, 8K कॉन्टेक्सट वाले सिंगल-एजेंट बेसलाइन्स कठिन कार्यों पर पूरी तरह विफल रहे। इसी तरह, OOLONG-REAL पर, रिकर्सिव एजेंटों ने 32K लिमिट के साथ प्रशिक्षित होने के बावजूद 175K टोकन तक के इनपुट को प्रोसेस किया, जबकि सिंगल एजेंट पूरे इनपुट को पढ़ नहीं सके।
कठिन कार्यों पर सामान्यीकरण: केवल मध्यम-कठिनाई वाले TEXTCRAFT-SYNTH कार्यों पर प्रशिक्षित एजेंटों ने कठिन कार्यों पर 88% सफलता दर के साथ सामान्यीकरण किया, जबकि सिंगल-एजेंट बेसलाइन्स के लिए यह 20% था।
प्रशिक्षण दक्षता: रिकर्सिव एजेंटों ने सभी बेंचमार्क में सिंगल-एजेंट बेसलाइन्स की तुलना में काफी तेजी से सीखा, जिसका श्रेय स्ट्रक्चर्ड सब-एजेंट रिवॉर्ड्स को सघन प्रोसेस रिवॉर्ड्स के रूप में और सेल्फ-इंड्यूस्ड करिकुलम को जाता है।
वॉल-क्लॉक टाइम: समानांतर कार्यों (TEXTCRAFT-SYNTH) के लिए, रिकर्सिव एजेंटों ने कठिन कार्यों पर सिंगल एजेंटों की तुलना में वॉल-क्लॉक टाइम को 2.5× तक कम कर दिया। क्रमिक कार्यों (DEEPDIVE) के लिए, हालांकि उप-कार्यों की क्रमिक प्रकृति के कारण वॉल-क्लॉक टाइम बढ़ गया, लेकिन सफलता दर 0.24 से बढ़कर 0.40 हो गई।
अनुकूली डेलीगेशन (Adaptive Delegation): एजेंटों ने कार्य की कठिनाई के अनुसार अपनी डेलीगेशन डेप्थ को अनुकूलित करना सीखा, और बिना किसी स्पष्ट डेप्थ कंस्ट्रेंट के कठिन समस्याओं के लिए गहरे पेड़ों (10 स्तरों तक) तक स्केल किया।

महत्व और दावे

यह पेपर दावा करता है कि रिकर्सिव एजेंट ऑप्टिमाइज़ेशन इस बात में बदलाव का प्रतिनिधित्व करता है कि इन्फरेंस-टाइम स्कैफोल्ड्स का उपयोग कैसे किया जाना चाहिए। फिक्स्ड मॉडल्स के चारों ओर स्कैफोल्ड डिजाइन करने के बजाय, मॉडल्स को उन्हें प्रभावी ढंग से उपयोग करने के लिए प्रशिक्षित किया जाना चाहिए। RAO प्रदर्शित करता है कि रिकर्सन एक शक्तिशाली इन्फरेंस-टाइम स्केलिंग प्रिमिटिव है जो प्रदान करता है:

सब-एजेंट्स के लिए फ्रेश कॉन्टेक्स्ट विंडोज, जो वर्किंग मेमोरी को प्रभावी ढंग से विस्तारित करती है।
एक डिवाइड-एंड-कॉन्कर स्ट्रक्चर जो कठिन समस्याओं पर सामान्यीकरण करता है।
टेस्ट-टाइम कंप्यूट का अनुकूली आवंटन (adaptive allocation)।
समानांतर निष्पादन (parallel execution) के अवसर।

लेखक RAO को "सेल्फ-ऑर्गनाइजिंग एजेंट्स" की ओर एक कदम के रूप में देखते हैं जो गतिशील रूप से अपनी समस्या-समाधान प्रक्रियाओं को स्ट्रक्चर कर सकते हैं। वे नोट करते हैं कि हालांकि उनके प्रयोग विशिष्ट डोमेन पर केंद्रित हैं, यह दृष्टिकोण एजेंटों को जटिल इन्फरेंस-टाइम स्ट्रक्चर्स का लाभ उठाने के लिए प्रशिक्षित करने के एक व्यापक सिद्धांत का सुझाव देता है। भविष्य के कार्यों की पहचान महंगी रोलआउट के लिए सरोगेट सैंपलिंग प्रक्रियाओं को संबोधित करने और जनरलइस्ट रिकर्सिव एजेंटों को प्रशिक्षित करने के लिए की गई है जो गुणात्मक रूप से भिन्न डोमेन में डेलीगेशन रणनीतियों को ट्रांसफर कर सकें।