🤖 AI

PEAM: Parametric Embodied Agent Memory through Contrastive Internalization of Experience in Minecraft

PEAM माइनक्राफ्ट में एम्बॉडीड एजेंट्स के लिए एक नवीन ढांचा है जो धीमी विचारशील तर्क और तेज़ रिफ्लेक्सिव निष्पादन की एक दोहरी-प्रणाली वास्तुकला का उपयोग करके स्मृति को इन्फरेंस-टाइम रिट्रीवल से पैरामीटर-रेसिडेंट कौशल में परिवर्तित करता है, जहाँ विफलताएं कंट्रास्टिव लर्निंग के लिए महत्वपूर्ण प्रशिक्षण संकेतों के रूप में कार्य करती हैं और एक स्व-ट्रिगर तंत्र स्वायत्त रूप से यह निर्णय लेता है कि कैटास्ट्रोफिक फॉरगेटिंग के बिना निरंतर शिक्षण सक्षम करने के लिए अनुभवों को कब आंतरिक रूप से आत्मसात किया जाए।

मूल लेखक: Yuchen Guo, Junli Gong, Hongmin Cai, Yiu-ming Cheung, Weifeng Su

प्रकाशित 2026-05-28

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuchen Guo, Junli Gong, Hongmin Cai, Yiu-ming Cheung, Weifeng Su

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को Minecraft खेलना सिखा रहे हैं। वर्तमान में, अधिकांश रोबोट एक ऐसे छात्र की तरह सीखते हैं जो कभी कुछ याद नहीं रखता। हर बार जब वे किसी ज़ोंबी का सामना करते हैं या भट्टी (furnace) बनाने की ज़रूरत होती है, तो उन्हें रुकना पड़ता है, पिछले अनुभवों की एक विशाल नोटबुक खोलनी पड़ती है, एक समान कहानी खोजनी पड़ती है, उसे पढ़ना पड़ता है, और फिर यह समझने की कोशिश करनी पड़ती है कि क्या करना है। यह धीमा है, बहुत अधिक "मस्तिष्क स्थान" (कंप्यूटर मेमोरी) का उपयोग करता है, और यदि नोटबुक बहुत बड़ी हो जाती है, तो वे भ्रमित हो जाते हैं।

PEAM (पैरामीट्रिक एम्बोडीड एजेंट मेमोरी) सीखने का एक नया तरीका है जो खेल बदल देता है। केवल एक नोटबुक रखने के बजाय, PEAM रोबोट को अपने अनुभवों को आंतरिक बनाने (internalize) में मदद करता है। यह "मुझे याद है कि मैंने यह कैसे किया था" को "मुझे पता है कि यह कैसे करना है" में बदल देता है।

यह यहाँ कैसे काम करता है, सरल अवधारणाओं में विभाजित है:

1. दो-मस्तिष्क प्रणाली: विचारक और कर्ता

PEAM एक "धीमे" और एक "तेज़" मस्तिष्क को एक साथ काम करते हुए उपयोग करता है:

धीमा विचारक (Deliberative LLM): यह एक विशेषज्ञ योजनाकार है। यह गहराई से सोचता है, कोड लिखता है, जटिल चरणों की योजना बनाता है, और कठिन समस्याओं को हल करने की कोशिश करता है। यदि यह विफल होता है, तो यह समझता है कि क्यों और फिर से प्रयास करता है।
तेज़ कर्ता (Parametric Skills): यह रिफ्लेक्सिव मसल मेमोरी (muscle memory) है। एक बार जब धीमा विचारक किसी समस्या को हल कर लेता है (जैसे तलवार बनाना), तो वह केवल कहानी को सहेजता नहीं है। वह सीधे तेज़ कर्ता को वह कौशल सिखाता है। अगली बार, तेज़ कर्ता धीमे विचारक से पूछे बिना तुरंत वह काम कर सकता है।

2. "आंतरिक बनाने" की प्रक्रिया: नोटबुक से मसल मेमोरी तक

साइकिल चलाना सीखने के बारे में सोचें। शुरू में, आपको संतुलन बनाने, पैडल मारने और स्टीयरिंग करने के बारे में सोचना पड़ता है (धीमा विचारक)। अंततः, आप बिना सोचे समझे इसे बस कर लेते हैं (तेज़ कर्ता)। PEAM रोबोट के लिए इसे स्वचालित करता है।

विफलता से सीखना: अधिकांश रोबोट गलतियों को अनदेखा करते हैं या उन्हें केवल टेक्स्ट नोट्स के रूप में लिख देते हैं। PEAM विफलता को एक प्रशिक्षण संकेत (training signal) के रूप में देखता है। यह एक "विफल प्रयास" और उस "सुधार" को देखता है जिसने उसे ठीक किया। यह रोबोट को सिखाता है: "X मत करो (विफलता); Y करो (सुधार)।" यह एक कोच की तरह है जो कहता है, "तुम इसलिए गिरे क्योंकि तुम बहुत बाईं ओर झुक गए थे; अगली बार, दाईं ओर झुकना।"
"योग्यता" स्कोर: रोबोट सब कुछ नहीं सीखता। इसके पास एक फ़िल्टर (जिसे Parameterization-Worthiness कहा जाता है) है जो पूछता है: "क्या यह कौशल इतना उपयोगी है कि इसे याद किया जाए? क्या यह स्थिर है? क्या यह कुछ ऐसा है जो हम अक्सर करते हैं?" यदि उत्तर हाँ है, तो इसे आंतरिक बनाया जाता है। यदि यह एक बार की घटना है, तो यह नोटबुक में ही रहता है।

3. "विशेषज्ञ जिम" (Isolated Adapters)

यह पेपर का सबसे बड़ा नवाचार है जो "भूलने" को रोकने के लिए है।
एक जिम की कल्पना करें जिसमें अलग-अलग कमरे हैं: एक क्राफ्टिंग रूम, एक कॉम्बैट रूम (लड़ाई का कमरा), और एक फार्मिंग रूम।

पुराने सिस्टम में, लड़ाई सीखना अनजाने में रोबोट के क्राफ्टिंग करने के तरीके को ओवरराइट कर सकता था (जैसे अपने जिम के कपड़ों को आपस में मिला देना)।
PEAM में, रोबोट के पास भौतिक रूप से अलग कमरे (जिन्हें adapters कहा जाता है) होते हैं। जब यह लड़ना सीखता है, तो यह केवल "कॉम्बैट रूम" को अपडेट करता है। "क्राफ्टिंग रूम" अछूता रहता है। इसका मतलब है कि रोबोट बिना पुराने को भूले हमेशा नए कौशल सीख सकता है।

4. स्वयं-ट्रिगर होने वाला अलार्म क्लॉक

रोबोट को कैसे पता चलता है कि उसे अभ्यास कब बंद करना चाहिए और याद करना कब शुरू करना चाहिए?

पुराना तरीका: "आइए 100 प्रयासों के लिए अभ्यास करें, फिर याद करें।" (यह कठोर है और शायद बहुत जल्दी या बहुत देर से याद कर लेता है)।
PEAM का तरीका: रोबोट के पास एक स्वयं-ट्रिगर होने वाला अलार्म है। यह अपनी विफलता दर पर नज़र रखता है। यदि यह किसी विशिष्ट कार्य में सामान्य से अधिक बार विफल होने लगता है, तो अलार्म बज उठता है: "हे, हम इसमें संघर्ष कर रहे हैं। आइए तुरंत समाधान को आंतरिक बनाना बंद करें और इसे याद करें।" यह बिना किसी मानव द्वारा विशिष्ट संख्या सेट किए, किसी भी कार्य के लिए काम करता है।

यह बेहतर क्यों है?

इस पेपर ने Minecraft में इसका परीक्षण किया और तीन मुख्य लाभ पाए:

गति: क्योंकि रोबोट को हर बार नोटबुक खोजने की आवश्यकता नहीं होती है, इसलिए यह बहुत तेज़ी से कार्य करता है (परीक्षणों में लगभग 40% तेज़)।
दक्षता: यह बहुत कम कंप्यूटर शक्ति का उपयोग करता है (लग लगभग 85% कम "टेक्स्ट" को प्रोसेस करना पड़ता है) क्योंकि इसे पुरानी कहानियों को फिर से पढ़ने की आवश्यकता नहीं होती है।
भूलना नहीं: क्योंकि इसके पास "विशेषज्ञ कमरे" हैं, इसलिए एक नया कॉम्बैट मूव सीखने से रोबोट घर बनाना नहीं भूल गया।

सारांश

PEAM एक ऐसे छात्र को लेने जैसा है जो हर एक सवाल के लिए पाठ्यपुस्तक पर निर्भर रहता है और उसे एक ऐसे विशेषज्ञ में बदलना है जिसने वास्तव में कौशल को आत्मसात (memorize) कर लिया है। यह करके सीखता है, गलतियों से सीखता है, विभिन्न कौशलों को अलग रखता है ताकि वे आपस में न मिलें, और इसे पता होता है कि अभ्यास कब रोकना है और याद करना कब शुरू करना है। परिणाम एक ऐसा रोबोट है जो तेज़, स्मार्ट है, और जो उसने सीखा है उसे भूलता नहीं है।

तकनीकी सारांश: PEAM - पैरामेट्रिक एम्बोडीड एजेंट मेमोरी (Parametric Embodied Agent Memory)

1. समस्या विवरण (Problem Statement)

वर्तमान लार्ज लैंग्वेज मॉडल (LLM) आधारित एम्बोडीड एजेंट, विशेष रूप से Minecraft जैसे जटिल वातावरण में, काफी हद तक नॉन-पैरामेट्रिक मेमोरी (non-parametric memory) पर निर्भर करते हैं। इन प्रणालियों में, पिछले प्रक्षेप पथ (trajectories), प्रतिबिंब (reflections) और कौशल (skills) को बाहरी रूप से (जैसे कि वेक्टर डेटाबेस या स्किल लाइब्रेरी में) संग्रहीत किया जाता है और इन्फरेंस के समय प्रॉम्प्ट में पुनः इंजेक्ट किया जाता है। हालांकि यह रिकॉल (recall) की अनुमति देता है, लेकिन यह महत्वपूर्ण सीमाएं प्रस्तुत करता है:

विलंबता और लागत (Latency and Cost): प्रत्येक निर्णय चक्र के लिए पिछले अनुभवों को पुनः प्राप्त करने और सीरियलाइज़ करने की आवश्यकता होती है, जिससे कॉन्टेक्स्ट विंडो का उपयोग और इन्फरेंस लेटेंसी बढ़ जाती है।
स्थिर नीति (Static Policy): एजेंट की अंतर्निहित पैरामेट्रिक नीति (बैकबोन मॉडल या प्रशिक्षण योग्य मॉड्यूल) कार्यों के बीच अपरिवर्तित रहती है। भले ही एक बाहरी लाइब्रेरी बढ़ती रहे, एजेंट कौशल को अधिक कुशलता से निष्पादित करने के लिए "सीखता" नहीं है; वह केवल उन्हें पुनः प्राप्त करता है।
कंसोलिडेशन का अभाव (Missing Consolidation): मौजूदा प्रणालियाँ अनुभव के अधिग्रहण (स्किल लाइब्रेरी के माध्यम से) को संभालती हैं, लेकिन उनमें कंसोलिडेशन (consolidation) के लिए तंत्र की कमी है—वह प्रक्रिया जो चयनित एपिसोडिक ट्रेसेस को टिकाऊ, आंतरिक पैरामेट्रिक सक्षमता में बदलने के लिए आवश्यक है।

यह शोध पत्र तर्क देता है कि संज्ञानात्मक प्रणालियों में टिकाऊ मेमोरी दो पूरक प्रणालियों से उत्पन्न होती है: एक तेज़ एपिसोडिक स्टोर और एक धीमा, वितरित पैरामेट्रिक स्टोर, जो ऑफलाइन कंसोलिडेशन द्वारा जुड़े होते हैं। PEAM का लक्ष्य अनुभव को बाहरी रिकॉल से एजेंट के प्रशिक्षण योग्य मापदंडों (trainable parameters) में ले जाने के मार्ग को बनाकर इसे एम्बोडीड एजेंटों के लिए क्रियान्वित करना है।

2. कार्यप्रणाली (Methodology)

PEAM (पैरामेट्रिक एम्बोडीड एजेंट मेमोरी) एक दो-स्तरीय ढांचा है जिसे अनुभवों को पैरामेट्रिक कौशलों में आंतरिक बनाने के लिए डिज़ाइन किया गया है।

आर्किटेक्चर (Architecture)

धीमा स्तर (Slow Tier - Deliberative): एक बड़ा LLM (जैसे, GPT-4o) ओपन-एंडेड रीजनिंग, कोड सिंथेसिस और परिणाम सत्यापन को संभालता है। यह वातावरण का अन्वेषण करता है, विफलताओं का पता लगाता है, और सुधारात्मक प्रक्षेप पथ (corrected trajectories) उत्पन्न करता है।
तेज़ स्तर (Fast Tier - Parametric): एक मल्टीमॉडल Mixture-of-Experts (MoE) LoRA आर्किटेक्चर जो Qwen3-VL-8B-Instruct बैकबोन पर आधारित है। यह कम लेटेंसी के साथ सुदृढ़ कौशलों को रिफ्लेक्सिव रूप से निष्पादित करता है।
एपिसोडिक स्टोर (Episodic Store): एक बाहरी मेमोरी जो सफल प्रक्षेप पथों और स्लो टियर द्वारा उत्पन्न विफलता-सुधार जोड़ों (failure-correction pairs) को स्टेज करती है।

मुख्य तंत्र (Core Mechanisms)

PEAM तीन महत्वपूर्ण प्रश्नों का समाधान करता है: क्या आंतरिक बनाना है (What), कब आंतरिक बनाना है (When), और कैसे आंतरिक बनाना है (How)।

A. कैसे: सफलता और विफलता-सुधार कंसोलिडेशन (How: Success and Failure-Correction Consolidation)

PEAM विफलता को एक प्राथमिक प्रशिक्षण संकेत (training signal) के रूप में मानता है। एपिसोडिक स्टोर में शामिल हैं:

सफलता प्रक्षेप पथ ( $D_{succ}$ ): सत्यापित सफल निष्पादन।
विफलता-सुधार जोड़े ( $D_{cpair}$ ): एक विफल प्रक्षेप पथ ( $\tau_f$ ) और उसी संदर्भ में एक बाद का सुधारा गया सफल प्रक्षेप पथ ( $\tau_c$ ) के जोड़े।

फास्ट मॉड्यूल विशिष्ट प्रति-श्रेणी पृथक एडेप्टर (per-category isolated adapters) ( $\theta_c$ ) को एक संयुक्त उद्देश्य का उपयोग करके अपडेट करता है:
$\mathcal{L}_{PEAM}(\theta_c) = \mathcal{L}_{BC}(\theta_c; D^{(c)}_{succ}) + \lambda \mathcal{L}_{PEAM-DPO}(\theta_c; D^{(c)}_{cpair})$

व्यवहार क्लोनिंग (Behavioral Cloning - BC): यह सुनिश्चित करता है कि एडेप्टर उस पूर्ण सिंटैक्टिक स्कैफोल्डिंग (जैसे, कोड रैपर्स) को सीखे जो एक्शन पार्सर के कार्य करने के लिए आवश्यक है।
PEAM-DPO (Direct Preference Optimization): एक कंट्रास्टिव लॉस जहाँ सुधारा गया प्रक्षेप पथ विफल प्रक्षेप पथ की तुलना में प्राथमिकता प्राप्त करता है। यह एजेंट को यह सिखाता है कि कार्यों को कैसे ठीक करना है, न कि केवल यह कि क्या सफल होता है।
अलगाव (Isolation): अपडेट को विशिष्ट श्रेणी एडेप्टर (जैसे, क्राफ्टिंग, कॉम्बैट) तक सीमित रखा जाता है, जिससे अन्य कौशलों के साथ हस्तक्षेप को रोका जा सके।

B. क्या: पैरामीट्राइजेशन-वर्दीनेस (PV) स्कोर (What: Parameterization-Worthiness Score)

सभी अनुभवों को आंतरिक नहीं बनाया जाना चाहिए। PEAM उम्मीदवारों को निम्नलिखित के आधार पर रैंक करने के लिए एक स्कोरिंग फंक्शन का उपयोग करता है:

लागत बचत ( $U_{cost}$ ): अनुमानित रिट्रीवल लागत बचत (आवृत्ति $\times$ कोड की लंबाई)।
स्थिरता ( $U_{stab}$ ): विभिन्न संदर्भों में सफलता की निरंतरता।
अतिरेक ( $P_{redun}$ ): पहले से आंतरिक रूप से सीखे गए कौशलों के साथ समानता के लिए दंड।
भूलने का जोखिम ( $R_{forget}$ ): एक संरचनात्मक प्रॉक्सी; यदि कोई कौशल मौजूदा मापदंडों के साथ एक ही श्रेणी साझा करता है, तो इसमें हस्तक्षेप का जोखिम होता है (हालांकि अलगाव इसे कम करता है, स्कोर श्रेणी की पहचान को ध्यान में रखता है)।

केवल वे उम्मीदवार जो PV स्कोर के शीर्ष- $q$ क्वांटाइल में आते हैं, कंसोलिडेशन के लिए विचार किए जाते हैं।

C. कब: सेल्फ-ट्रिगर कंसोलिडेशन (STC) (When: Self-Triggered Consolidation)

एक निश्चित शेड्यूल के बजाय, PEAM एक स्केल-फ्री, सेल्फ-ट्रिगर मैकेनिज्म का उपयोग करता है। कंसोलिडेशन तब ट्रिगर होता है जब किसी कौशल की हालिया विफलता दर इसके ऐतिहासिक बेसलाइन से काफी अधिक हो जाती है, जिसे कार्य-विशिष्ट पूर्ण थ्रेशोल्ड के बजाय एक सांख्यिकीय परीक्षण (Z-score) द्वारा निर्धारित किया जाता है। यह एजेंट को बिना पुन: ट्यूनिंग के विभिन्न कार्य वितरणों में स्थानांतरित होने की अनुमति देता है।

3. प्रमुख योगदान (Key Contributions)

पैरामेट्रिक मेमोरी फ्रेमवर्क: PEAM एम्बोडीड एजेंट की मेमोरी को इन्फरेंस-टाइम रिट्रीवल से बदलकर पैरामीटर-रेसिडेंट कौशलों में स्थानांतरित करता है, जिससे लेटेंसी और टोकन खपत कम होती है और लॉन्ग-होरिज़न प्रदर्शन में सुधार होता है।
प्रशिक्षण संकेत के रूप में विफलता: प्रणालियों के विपरीत जो विफलताओं को प्रॉम्प्ट के लिए टेक्स्टुअल रिफ्लेक्शन में बदल देती हैं, PEAM सीधे विफलता-सुधार प्रक्षेप पथ जोड़ों पर संयुक्त BC और DPO उद्देश्य का उपयोग करके प्रशिक्षित होता है। यह एजेंट को विफलता और सफलता के बीच के विशिष्ट व्यवहारिक अंतरों को सीखने में सक्षम बनाता है।
आर्किटेक्चरल फॉरगेटिंग रेजिस्टेंस: प्रति-श्रेणी अलग LoRA एडेप्टर का उपयोग करके, PEAM निरंतर लर्निंग (continual learning) प्राप्त करता है। एक कॉम्बैट कौशल को आंतरिक बनाने से अन्य कौशलों के मापदंडों पर ओवरराइट नहीं होता है, जो डिज़ाइन द्वारा कैटास्ट्रोफिक फॉरगेटिंग को समाप्त करता है।
स्केल-फ्री कंसोलिडेशन ट्रिगर्स: सेल्फ-ट्रिगर कंसोलिडेशन मैकेनिज्म का परिचय जो सापेक्ष विफलता सांख्यिकी पर निर्भर करता है, एजेंट को मैन्युअल, कार्य-विशिष्ट थ्रेशोल्ड ट्यूनिंग के बिना स्वयं विकसित होने की अनुमति देता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग Minecraft (1.19) में VOYAGER फ्रेमवर्क का उपयोग करके किए गए थे, जिसमें PEAM की तुलना रिट्रीवल-आधारित एजेंटों (VOYAGER, Optimus-1), नॉन-पैरामेट्रिक मेमोरी वेरिएंट्स (Reflexion), और पैरामेट्रिक बेसलाइन्स (Full Fine-Tuning, Shared LoRA, EWC) से की गई।

कार्य सफलता (Task Success): PEAM ने लॉन्ग-होरिज़न कार्यों पर 69.7% सफलता प्राप्त की, जिसने सबसे मजबूत रिट्रीवल बेसलाइन (VOYAGER @ 54.5%) को +15.2 प्रतिशत अंक (McNemar $p=0.018$ ) से पीछे छोड़ दिया।
दक्षता (Efficiency): PEML ने इन्फरेंस के समय स्किल लाइब्रेरी को पुनः इंजेक्ट करने की आवश्यकता को समाप्त करके औसत प्रति-कॉल लेटेंसी में 42% (5.5s $\to$ 3.2s) की कमी और प्रति कार्य टोकन खपत में 85% (31.2K $\to$ 4.6K) की कमी की।
भूलने के प्रति प्रतिरोध (Forgetting Resistance): अनुक्रमिक कंसोलिडेशन प्रयोगों (Craft $\to$ Gather $\to$ Combat) में, PEAM ने पहले से सीखे गए कौशलों पर 0% फॉरगेटिंग दिखाया। इसके विपरीत, शेयर्ड LoRA बेसलाइन्स ने 32.4% प्रदर्शन खो दिया, और फुल फाइन-ट्यूनिंग ने 78.5% खो दिया।
एब्लेशन अंतर्दृष्टि (Ablation Insights):
- BC + DPO: एक शुद्ध DPO एडेप्टर पार्सर-संगत कोड उत्पन्न करने में विफल रहा (0/12 मामले), जबकि संयुक्त उद्देश्य सफल रहा (12/12)। सिंटैक्टिक बाधाओं को बनाए रखने के लिए BC टर्म आवश्यक है।
- अलगाव (Isolation): प्रति-श्रेणी अलगाव को हटाने से महत्वपूर्ण फॉरगेटिंग हुई, जिससे पुष्टि हुई कि स्ट्रक्चरल आइसोलेशन ही रिटेंशन का प्राथमिक चालक है।
- ट्रिगर मजबूती (Trigger Robustness): सेल्फ-ट्रिगर मैकेनिज्म ने बिना पुन: ट्यूनिंग के विभिन्न कार्य वितरणों (craft-heavy बनाम combat-heavy) में सुसंगत प्रदर्शन बनाए रखा, जो फिक्स्ड-थ्रेशोल्ड बेसलाइन्स के विपरीत है।

5. महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि PEAM एम्बोडीड एजेंटों के लिए बाहरी इतिहास को संचित करने से लेकर चुने गए अनुभवों को उनके कोर पॉलिसी के हिस्से के रूप में आंतरिक बनाने के लिए एक व्यवहार्य मार्ग प्रदर्शित करता है।

दक्षता बनाम रिट्रीवल: परिणाम बताते हैं कि जबकि समृद्ध रिट्रीवल (जैसे, मल्टीमॉडल कॉन्टेक्स्ट) मदद करता है, कौशलों को मापदंडों में आंतरिक बनाने के परिचालन लाभ (लेटेंसी, टोकन रिडक्शन और प्रत्यक्ष निष्पादन) ऐसे लाभ प्रदान करते हैं जिन्हें केवल रिट्रीवल कैप्चर नहीं कर सकता।
स्ट्रक्चरल कंटीन्युअल लर्निंग: यह कार्य तर्क देता है कि एम्बोडीड एजेंटों में फॉरगेटिंग रेजिस्टेंस को केवल रेगुलराइजेशन तकनीकों के बजाय आर्किटेक्चर (पैरामीटर आइसोलेशन) द्वारा समर्थित किया जाना चाहिए।
मेथोडोलॉजिकल निष्कर्ष: पेपर इस बात पर प्रकाश डालता है कि फॉरवर्ड-पास प्रेफरेंस मार्जिन (DPO स्कोर) हमेशा उत्पन्न कोड की डिप्लॉयबिलिटी की भविष्यवाणी नहीं करते हैं, जो सिंटैक्टिक बाधाओं को बनाए रखने वाले संयुक्त उद्देश्यों की आवश्यकता पर जोर देता है। यह यह भी नोट करता है कि जब वास्तविक दुनिया के पेयर्ड डेटा की कमी होती है, तो प्रक्षेप पथ री-स्लाइसिंग (trajectory re-slicing) एक सुलभ विकल्प के रूप में काम कर सकती है।

लेखक निष्कर्ष निकालते हैं कि एम्बोडीड एजेंटों को केवल बाहरी मेमोरी वाले फिक्स्ड पॉलिसी के रूप में कार्य नहीं करना चाहिए; उन्हें एक कंसोलिडेशन पाथवे की आवश्यकता है जहाँ चयनित अनुभव स्वयं पॉलिसी का हिस्सा बन जाए, जिससे आत्म-विकास और कुशल निष्पादन संभव हो सके।