🤖 AI

LANTERN: LLM-Augmented Neurosymbolic Transfer with Experience-Gated Reasoning Networks

यह शोध पत्र LANTERN का प्रस्ताव करता है, जो एक एकीकृत न्यूरोसिम्बोलिक ट्रांसफर लर्निंग फ्रेमवर्क है जो मल्टी-सोर्स रीइन्फोर्समेंट लर्निंग परिदृश्यों में सैंपल एफिशिएंसी और रोबस्टनेस को महत्वपूर्ण रूप से सुधारने के लिए LLM-जनरेटेड टास्क ऑटोमेटा, सिमेंटिक पॉलिसी एग्रीगेशन और अडैप्टिव गेटिंग का लाभ उठाता है।

मूल लेखक: Mahyar Alinejad, Yue Wang, Amrit Singh Bedi, George Atia

प्रकाशित 2026-05-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mahyar Alinejad, Yue Wang, Amrit Singh Bedi, George Atia

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक जटिल मिशन पूरा करना सिखाने की कोशिश कर रहे हैं, जैसे कि एक ड्रैगन को हराने के लिए कालकोठरी (dungeon) में रास्ता बनाना। अतीत में, एक रोबोट को इस तरह सिखाना एक बच्चे को केवल एक विशिष्ट प्रकार की कार पर एक विशिष्ट सड़क पर अभ्यास करने की अनुमति देकर गाड़ी चलाना सिखाने जैसा था। यदि रोबोट ने एक छोटी, शांत सड़क पर सीखा, तो उसे व्यस्त राजमार्ग पर गाड़ी चलाने के लिए कहा जाने पर वह पूरी तरह से भटक सकता है।

यह शोध पत्र LANTERN पेश करता है, जो रोबोट को सिखाने का एक नया तरीका है जो एक सुपर-स्मार्ट, बहुभाषी मेंटर (गुरु) प्रणाली की तरह कार्य करता है। केवल एक शिक्षक या एक प्रकार के अनुभव पर निर्भर रहने के बजाय, LANTERN कई अलग-अलग "शिक्षकों" (स्रोत कार्यों) से ज्ञान प्राप्त करता है और यह पता लगाता है कि उनके परामर्श को बुद्धिमानी से कैसे मिलाया जाए।

यहाँ बताया गया है कि LANTERN कैसे काम करता है, जिसे चार सरल चरणों में विभाजित किया गया है:

1. "अनुवादक" (LLM-जनित मानचित्र)

आमतौर पर, किसी रोबोट को एक जटिल कार्य सिखाने के लिए, एक मानव विशेषज्ञ को एक विस्तृत मानचित्र (जिसे "डिटरमिनिस्टिक फाइनाइट ऑटोमेटा" या DFA कहा जाता है) खींचना पड़ता है, जो हर उस कदम को दर्शाता है जिसे रोबोट को उठाना चाहिए। यह धीमा है और इसके लिए एक विशेषज्ञ होना आवश्यक है।

LANTERN की तरकीब: यह एक लार्ज लैंग्वेज मॉडल (जैसे कि एक बहुत ही उन्नत AI चैटबॉट) का उपयोग करता है ताकि कार्य के एक साधारण वाक्य विवरण (जैसे, "चाबी खोजो, फिर ढाल खोजो, फिर तलवार खोजो") को पढ़ सके और स्वचालित रूप से रोबोट के लिए मानचित्र बना सके।

उपमा: एक मानव वास्तुकार द्वारा हफ्तों तक ब्लूप्रिंट बनाने के बजाय, आप बस एक स्मार्ट AI को कहते हैं, "एक घर बनाओ जिसमें एक रसोई और दो बेडरूम हों," और वह तुरंत आपको ब्लूप्रिंट सौंप देता है।

2. "ज्ञान का पुस्तकालय" (बहु-स्रोत एकत्रीकरण)

अतीत में, रोबोट केवल एक अन्य कार्य से ही सीख सकते थे। यदि आप एक रोबोट को "लकड़ी इकट्ठा करना" सिखाना चाहते थे, तो आप केवल एक ऐसे रोबोट का उपयोग कर सकते थे जिसने पहले से ही "लकड़ी इकट्ठा करना" सीखा हो। यदि आप एक ऐसे रोबोट का उपयोग करने का प्रयास करते थे जिसने "पत्थर इकट्ठा करना" सीखा था, तो उसकी सलाह बेकार या भ्रमित करने वाली हो सकती थी।

LANTERN की तरकीब: यह एक साथ कई अलग-अलग शिक्षकों को देखता है। यह पूछता है: "क्या 'लकड़ी इकट्ठा करने' का कार्य 'पत्थर इकट्ठा करने' के कार्य के साथ कोई समानता साझा करता है?"

जादू: यह एक "सिमेंटिक एम्बेडिंग" (शब्दों को गणितीय बिंदुओं में बदलने का एक तरीका) का उपयोग करता है। यह महसूस करता है कि भले ही "लकड़ी" और "पत्थर" अलग हैं, लेकिन "सामग्री एकत्र करने" की अवधारणा समान है।
उपमा: कल्पना कीजिए कि आप एक विशिष्ट स्टू (stew) बनाना सीख रहे हैं। केवल एक ऐसे शेफ से पूछने के बजाय जो केवल स्टू बनाता है, आप एक बेकर, एक ग्रिल मास्टर और एक सूप शेफ से पूछते हैं। LANTERN उनके परामर्श को देखता है और कहता है, "बेकर जानता है कि सामग्री को कैसे मिलाया जाता है (स्टू के आधार के लिए अच्छा है), और ग्रिल मास्टर जानता है कि समय का प्रबंधन कैसे किया जाता है (गर्मी के लिए अच्छा है)। मैं उनकी प्रासंगिकता के आधार पर उनकी सलाह को एक साथ मिला दूँगा।"

3. "विश्वास मीटर" (दोहरी-अस्थिरता गेटिंग)

यह सबसे महत्वपूर्ण हिस्सा है। यदि कोई रोबत अंधे होकर गलत शिक्षक का अनुसरण करता है, तो वह विफल हो जाएगा। LANTERN में एक अंतर्निहित "विश्वास मीटर" होता है जो यह तय करता है कि किसी दिए गए क्षण में शिक्षकों की कितनी बात मानी जाए। यह दो चीजें जाँचता है:

अनुभव अस्थिरता (Experience Volatility): क्या रोबोट अभी भ्रमित है? (क्या वह बड़ी गलतियाँ कर रहा है?) यदि हाँ, तो वह शिक्षकों पर अधिक भरोसा करता है।
सिमेंटिक अस्थिरता (Semantic Volatility): क्या शिक्षक की सलाह वास्तव में इस विशिष्ट क्षण के लिए प्रासंगिक है? यदि रोबोट "लकड़ी इकट्ठा" रहा है लेकिन शिक्षक "ब्रेड बेक करने" के बारे में बात कर रहा है, तो विश्वास मीटर गिर जाता है।

उपमा: एक छात्र के बारे में सोचें जो परीक्षा दे रहा है।
- यदि छात्र को उत्तर पता है (कम अस्थिरता), तो वह शिक्षक को अनदेखा करता है और अपना उत्तर लिखता है।
- यदि छात्र फंसा हुआ और भ्रमित है (उच्च अस्थिरता), तो वह शिक्षक की ओर देखता है।
- महत्वपूर्ण रूप से: यदि शिक्षक किसी पूरी तरह से अलग विषय पर बात कर रहा है (कम सिमेंटिक संरेखण), तो छात्र उन्हें अनदेखा कर देता है भले ही वह भ्रमित क्यों न हो। LANTERN केवल सही समय पर सही शिक्षक की बात सुनता है।

4. परिणाम: तेजी से और समझदारी से सीखना

इस शोध पत्र ने दो मुख्य दुनियाओं में LANTERN का परीक्षण किया:

डंजन क्वेस्ट (Dungeon Quest): एक रोबोट जो वस्तुओं को इकट्ठा करने और ड्रैगन से लड़ने के लिए भूलभुलैया में रास्ता बना रहा है।
ब्लाइंड क्राफ्ट्समैन (Blind Craftsman): एक रोबोट जो वस्तुएं बनाने के लिए संसाधन (जैसे लकड़ी या अयस्क) एकत्र कर रहा है।

निष्कर्ष:

गति: LANTERN ने पिछले तरीकों की तुलना में 40% से 60% तेजी से सीखा। इसे कार्य में महारत हासिल करने के लिए बहुत कम प्रयासों की आवश्यकता पड़ी।
मजबूती (Robustness): भले ही "शिक्षक" बहुत अलग दुनिया के थे (उदाहरण के लिए, खेती करने वाले रोबोट की सलाह का उपयोग करके खनन करने वाले रोबोट को सिखाना), LANTERN भ्रमित नहीं हुआ। इसने सफलतापूर्वक सलाह के उपयोगी हिस्सों को चुना और बाकी को अनदेखा कर दिया।
कोई मैनुअल कार्य नहीं: इसे मानचित्र बनाने के लिए मनुष्यों की आवश्यकता नहीं थी; AI ने इसे स्वचालित रूप से किया।

सारांश

LANTERN एक ऐसे छात्र की तरह है जिसके पास हजारों अलग-अलग विशेषज्ञों का पुस्तकालय है। जब छात्र के सामने कोई नई चुनौती आती है, तो वह केवल एक विशेषज्ञ की नकल नहीं करता है। इसके बजाय, वे:

एक AI से लक्ष्य का मानचित्र बनाने के लिए कहते हैं।
अपने पुस्तकालय को स्कैन करते हैं ताकि उन विशेषज्ञों को खोजा जा सके जिन्होंने समान चीजें की हैं।
उन विशेषज्ञों को केवल तभी सुनते हैं जब वे भ्रमित होते हैं, और केवल तभी जब विशेषज्ञ सही विषय पर बात कर रहे होते हैं।

यह रोबोट को जटिल, दीर्घकालिक कार्यों को पहले से कहीं अधिक तेजी से और अधिक विश्वसनीयता के साथ सीखने की अनुमति देता है, बिना किसी मानव के हर कदम को नियंत्रित करने की आवश्यकता के।

तकनीकी सारांश: LANTERN – LLM-संवर्धित न्यूरोसिंबोलिक ट्रांसफर विथ एक्सपीरियंस-गेटेड रीजनिंग नेटवर्क्स

समस्या विवरण

रीइन्फोर्समेंट लर्निंग (RL) अक्सर सैंपल इनएफिशिएंसी (नमूना अक्षमता) से जूझता है, विशेष रूप से उन कार्यों में जिनमें लंबे समय तक चलने वाले (long-horizon), गैर-मार्कोवियन उद्देश्यों के लिए संरचित टेम्पोरल रीजनिंग की आवश्यकता होती है। जबकि न्यूरोसिंबोलिक दृष्टिकोण—जो डिटर्मिनिस्टिक फाइनाइट ऑटोमेटा (DFAs) जैसे सिंबोलिक रिप्रेजेंटेशन को RL के साथ एकीकृत करते हैं—ने सैंपल इनएफिशिएंसी में सुधार किया है, मौजूदा ट्रांसफर लर्निंग विधियां तीन महत्वपूर्ण सीमाओं का सामना करती हैं:

मैनुअल स्पेसिफिकेशन: अधिकांश विधियों के लिए विशेषज्ञ-प्रदान किए गए DFAs या टेम्पोरल लॉजिक फॉर्मूला की आवश्यकता होती है, जिन्हें प्राप्त करना कठिन है। ग्रामैटिकल इन्फरेंस दृष्टिकोण मौजूद हैं लेकिन वे स्ट्रक्चर्ड ट्राजेक्टरी डेटा पर निर्भर हैं जो स्पार्स (विरल) या एक्सप्लोरेटरी RL के लिए अनुपयुक्त है।
सिंगल-सोर्स रिलायंस: वर्तमान ट्रांसफर विधियां (जैसे, ऑटोमैटन डिस्टिलेशन, पॉलिसी डिस्टिलेशन) आमतौर पर एक ही सोर्स टास्क पर निर्भर करती हैं। यह प्रभावी होने की क्षमता को सीमित करता है जब सोर्स और टारगेट टास्क के लक्ष्य विषम (heterogeneous) हों या केवल आंशिक रूप से संरेखित संरचनाएं हों।
फिक्स्ड इंटीग्रेशन मैकेनिज्म: मौजूदा फ्रेमवर्क पूर्व-निर्धारित वेटिंग स्कीम्स (जैसे, एक्सपोनेंशियल डिके) या स्टेटिक हाइपरपैरामीटर्स का उपयोग करते हैं, जो तब अनुकूलित होने में विफल रहते हैं जब सोर्स की प्रासंगिकता विभिन्न अवस्थाओं (states) या समय के साथ बदलती है।

यह शोध पत्र मल्टी-सोर्स न्यूरोसिंबोलिक ट्रांसफर की चुनौती को संबोधित करता है, जहाँ कई सोर्स टास्क के अलग-अलग, आंशिक रूप से संबंधित लक्ष्य होते हैं। ऐसे परिदृश्यों में, एकल सोर्स पॉलिसी या ऑटोमैटन का सीधा पुन: उपयोग अपर्याप्त है; इसके बजाय, सिस्टम को सिमेंटिक एलाइनमेंट और विषम कार्यों के बीच संरचित ज्ञान के एकत्रीकरण की आवश्यकता होती है।

कार्यप्रणाली: LANTERN फ्रेमवर्क

LANTERN (LLM-Augmented Neurosymbolic Transfer with Experience-Gated Reasoning Networks) एक एकीकृत फ्रेमवर्क है जिसे निम्नलिखित पांच चरणों के माध्यम से उपरोक्त सीमाओं को दूर करने के लिए डिज़ाइन किया गया है:

1. LLM-एन्हांस्ड ऑटोमैटन जनरेशन

मैनुअल स्पेसिफिकेशन के बजाय, LANTERN नेचुरल लैंग्वेज टास्क डिस्क्रिप्शन ( $T_{desc}$ ) से सीधे टारगेट DFAs ( $D_{tgt}$ ) उत्पन्न करने के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग करता है।

प्रक्रिया: एक स्ट्रक्चर्ड प्रॉम्प्ट LLM को सबगोल्स निकालने, मील के पत्थरों (milestones) को दर्शाने वाले ऑटोमैटन स्टेट्स को परिभाषित करने, डिटर्मिनिस्टिक ट्रांजिशन निर्दिष्ट करने और प्रत्येक स्टेट के लिए नेचुरल लैंग्वेज सिमेंटिक डिस्क्रिप्शन जेनरेट करने का निर्देश देता है।
आउटपुट: एक टारगेट DFA और ऑटोमैटन स्टेट्स का सिमेंटिक डिस्क्रिप्शन के साथ मैपिंग, जो क्रॉस-टास्क एलाइनमेंट के आधार के रूप में कार्य करता है।

2. सिमेंटिक एम्बेडिंग और नेबरहुड कंस्ट्रक्शन

विभिन्न लक्ष्यों वाले कार्यों के बीच ट्रांसफर सक्षम करने के लिए, LANTERN एक साझा सिमेंटिक एम्बेडिंग स्पेस का निर्माण करता है।

एम्बेडिंग: ऑटोमैटन स्टेट्स (सोर्स और टारगेट दोनों कार्यों से) के नेचुरल लैंग्वेज डिस्क्रिप्शन को एक फिक्स्ड टेक्स्ट-एम्बेडिंग मॉडल (जैसे, sentence-BERT) का उपयोग करके एक वेक्टर स्पेस $\phi(\omega) \in \mathbb{R}^d$ में मैप किया जाता है।
समानता और नेबरहुड्स: टारगेट स्टेट $\omega_{tgt}$ और सोर्स स्टेट्स $\omega_{src}^k$ के बीच सिमेंटिक समानता की गणना कोसाइन सिमिलैरिटी (cosine similarity) के माध्यम से की जाती है। प्रत्येक टारगेट स्टेट के लिए, सभी $K$ सोर्स टास्क के सबसे समान शीर्ष- $M$ सोर्स स्टेट्स द्वारा एक "सिमेंटिक नेबरहुड" ( $N_M$ ) बनाया जाता है।
वेटिंग: एकत्रीकरण वेट्स को सिमिलैरिटी स्कोर के आधार पर नॉर्मलाइज़ किया जाता है, जिससे यह सुनिश्चित होता है कि सिमेंटिक रूप से संरेखित स्टेट्स मार्गदर्शन में अधिक मजबूती से योगदान दें।

3. मल्टी-सोर्स नॉलेज एग्रीगेशन

LANTERN दो आयामों में सिमेंटिक नेबरहुड से मार्गदर्शन को एकत्रित करता है:

स्ट्रेटेजिक गाइडेंस (ऑटोमैटन-लेवल): सोर्स टास्क से हाई-लेवल टास्क प्रोग्रेशन को दर्शाने वाले डिस्टिल्ड Q-वैल्यूज ( $Q_{k,AD}$ ) को एकत्रित करता है। एग्रीगेटेड वैल्यू $Q_{agg}^{AD}$ , सोर्स स्ट्रेटेजिक वैल्यूज का एक वेटेड सम (weighted sum) है।
टैक्टिकल गाइडेंस (पॉलिसी-लेवल): एक्शन-लेवल मार्गदर्शन प्रदान करने के लिए संरेखित सोर्स स्टेट्स से टीचर पॉलिसियों ( $\pi_{teacher}^k$ ) को एकत्रित करता है।

4. ड्यूल-वोलैटिलिटी एक्सपीरियंस गेटिंग

स्टूडेंट लर्निंग और टीचर गाइडेंस के बीच अनुकूल रूप से संतुलन बनाने के लिए, LANTERN एक कंपोजिट ट्रस्ट गेट $\tau$ पेश करता है जो दो वोलैटिलिटी मापों को जोड़ता है:

एक्सपीरियंस वोलैटिलिटी ( $V^{exp}$ ): स्टूडेंट के लर्निंग के टेम्पोरल-डिफरेंस (TD) एरर वोलैटिलिटी को ट्रैक करता है। उच्च वोलैटिलिटी अस्थिरता का संकेत देती है, जो टीचर गाइडेंस को प्राथमिकता देती है।
सिमेंटिक वोलैटिलिटी ( $V^{sem}$ ): टारगेट स्टेट और उसके सबसे अच्छे मैचिंग सोर्स स्टेट्स (सिमिलैरिटी के आधार पर) के बीच मिसअलाइनमेंट को मापता है। उच्च सिमेंटिक वोलैटिलिटी खराब एलाइनमेंट का संकेत देती है, जिससे सोर्स पर विश्वास कम हो जाता है।
मैकेनिज्म: अंतिम ट्रस्ट कोएफिशिएंट $\tau = \tau^{exp} \cdot \tau^{sem}$ मल्टीप्लिकेटिव है। टीचर का प्रभाव केवल तभी मजबूत होता है जब लर्निंग अस्थिर हो और सोर्स सिमेंटिक रूप से संरेखित हो। यह खराब संरेखित क्षेत्रों में नेगेटिव ट्रांसफर को रोकता है।

5. यूनिफाइड लर्निंग अपडेट

स्टूडेंट प्रोडक्ट MDP ( $M_{tgt} \times D_{tgt}$ ) पर एक संशोधित Q-अपडेट नियम का उपयोग करके सीखता है:
$\Delta Q = \alpha [ \tau \cdot \delta_t + (1 - \tau) \cdot G_{multi} ]$
जहाँ $\delta_t$ मानक TD एरर है और $G_{multi}$ एग्रीगेटेड मल्टी-सोर्स गाइडेंस (स्ट्रेटेजिक रिवार्ड्स और टैक्टिकल पॉलिसी डिस्क्रेपेंसी को मिलाकर) है। जब $\tau \to 1$ होता है, तो अपडेट मानक TD लर्निंग पर निर्भर करता है; जब $\tau \to 0$ होता है, तो यह एग्रीगेटेड टीचर गाइडेंस पर निर्भर करता है।

मुख्य योगदान

मल्टी-सोर्स न्यूरोसिंबोलिक ट्रांसफर का फॉर्मूलेशन: पेपर एक ऐसी सेटिंग को फॉर्मुलेट करता है जहाँ सोर्स टास्क के लक्ष्य विषम होते हैं, जिसके लिए डायरेक्ट रियूज के बजाय सिमेंटिक एग्रीगेशन की आवश्यकता होती है।
LANTERN आर्किटेक्चर: LLM-आधारित ऑटोमैटन जनरेशन, सिमेंटिक मल्टी-सोर्स एग्रीगेशन और अडैप्टिव ड्यूल-वोलैटिलिटी गेटिंग को एकीकृत करने वाले एक फ्रेमवर्क का विकास।
एम्पिरिकल वैलिडेशन: विविध डोमेन (रिसोर्स मैनेजमेंट और नेविगेशन) में सिंगल-सोर्स ट्रांसफर मेथड्स (ऑटोमैटन डिस्टिलेशन, CADENT, LARM) और "नो ट्रांसफर" बेसलाइन की तुलना में सैंपल इनएफिशिएंसी में महत्वपूर्ण सुधार का प्रदर्शन।

प्रयोगात्मक परिणाम

फ्रेमवर्क का मूल्यांकन दो डोमेन पर किया गया: Dungeon Quest (सीक्वेंशियल नेविगेशन) और Blind Craftsman (इन्वेंट्री बाधाओं के साथ रिसोर्स मैनेजमेंट)। सोर्स टास्क में अलग-अलग लक्ष्यों वाले मिशन शामिल थे (जैसे, रेस्क्यू बनाम ट्रेजर हंट; माइनिंग बनाम फार्मिंग)।

सैंपल इनएफिशिएंसी: LANTERN ने सिंगल-सोर्स ट्रांसफर मेथड्स और "नो ट्रांसफर" बेसलाइन सहित बेसलाइन्स की तुलना में 40–60% सुधार हासिल किया।
रोबस्टनेस: सिस्टम तब भी मजबूत रहा जब सोर्स टास्क की संरचनाएं अलग थीं और उनमें केवल आंशिक सिमेंटिक ओवरलैप था।
एब्लेशन स्टडीज:
- मल्टी-सोर्स बनाम सिंगल-सोर्स: केवल सबसे समान सिंगल सोर्स का उपयोग करने की तुलना में कई सोर्स से आंशिक ज्ञान को एकत्रित करने से 26% का सुधार हुआ।
- ड्यूल-वोलैटिलिटी बनाम एक्सपीरियंस-ओनली: सिमेंटिक गेटिंग को शामिल करने से मिसअलाइन $\text{ed}$ क्षेत्रों में नेगेटिव ट्रांसफर को रोका गया, जिससे 18% का सुधार हुआ।
- स्ट्रेटेजिक + टैक्टिकल बनाम स्ट्रेटेजिक-ओनली: दोनों प्रकार के गाइडेंस को मिलाने से 31% का सुधार हुआ, जो कोर्स टास्क डिकंपोजिशन और फाइन एक्शन गाइडेंस के बीच तालमेल को उजागर करता है।

महत्व और दावे

पेपर दावा करता है कि LANTERN यह प्रदर्शित करता है कि मल्टी-सोर्स, अडैप्टिवली वेटेड न्यूरोसिंबोलिक ट्रांसफर सिंबोलिक RL सेटिंग्स में स्केलेबिलिटी और रोबस्टनेस को महत्वपूर्ण रूप से बढ़ा सकता है। मैनुअल स्पेसिफिकेशन और सिंगल-सोर्स रिलायंस से हटकर, यह फ्रेमवर्क एजेंटों को विषम कार्यों से पूरक ज्ञान का लाभ उठाने में सक्षम बनाता है।

लेखक इस बात पर जोर देते हैं कि ड्यूल-वोलैटिलिटी गेटिंग मैकेनिज्म नेगेटिव ट्रांसफर को रोकने के लिए महत्वपूर्ण है, जिससे सिस्टम को खराब एलाइनमेंट होने पर "ग्रेसफुली डिग्रेड" (सुचारू रूप से गिरावट) करने की अनुमति मिलती है। परिणाम बताते हैं कि एक साझा सिमेंटिक एम्बेडिंग स्पेस में ऑटोमैटन स्टेट्स को संरेखित करना, अलग-अलग रिसोर्स, लेआउट और टास्क सिमेंटिक्स वाले डोमेन में स्ट्रक्चर्ड नॉलेज को ट्रांसफर करने के लिए एक प्रभावी तंत्र प्रदान करता है।

लेखकों द्वारा नोट की गई सीमाएं:

DFA जनरेशन के लिए LLM की गुणवत्ता पर निर्भरता।
टैबुलर Q-लर्निंग के कारण स्केलेबिलिटी संबंधी बाधाएं।
एक्शन-स्पेस एलाइनमेंट की आवश्यकता।

पहचाने गए भविष्य के कार्य की दिशाओं में फीडबैक के साथ ऑटोमैटन रिफाइनमेंट, निरंतर डोमेन के लिए डीप फंक्शन एप्रोक्सिमेशन, लर्नड एक्शन मैपिंग, और कंटिनुअल मल्टी-सोर्स ट्रांसफर शामिल हैं।