🤖 machine learning

MEMENTO: Memory-Guided Memetic Code-as-Policy Evolution

यह शोध पत्र MEMENTO को प्रस्तुत करता है, जो एक मेमोरी-गाइडेड मेमेटिक फ्रेमवर्क है जो लंबी अवधि के एम्बॉडीड कार्यों के लिए निष्पादन योग्य 'कोड-एज़-पॉलिसी' को विकसित करने के लिए LLM-संचालित जनरेशन को एक विकसित इवैल्यूएटर से प्राप्त संरचित फीडबैक के साथ जोड़ता है, जिससे मौजूदा बेसलाइन की तुलना में बेहतर प्रदर्शन और सिम-टू-रियल ट्रांसफर प्राप्त होता है।

मूल लेखक: Alkis Sygkounas, Victor Aregbede, Amy Loutfi, Andreas Persson

प्रकाशित 2026-07-28

📖 9 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Alkis Sygkounas, Victor Aregbede, Amy Loutfi, Andreas Persson

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक जटिल काम करना सिखाने की कोशिश कर रहे हैं, जैसे ब्लॉक्स का एक टावर बनाना या सैंडविच बनाना। यह सिर्फ एक बटन दबाने जैसा नहीं है; यह कई चरणों का एक लंबा क्रम है जहाँ हर हरकत पिछले कदम पर निर्भर करती है। यदि रोबोट गलत ब्लॉक पकड़ लेता है या गलत दरवाजा खोल देता है, तो पूरी योजना विफल हो जाती है। यह "एम्बोडीड एआई" (embodied AI) की दुनिया है, जहाँ सॉफ्टवेयर भौतिक, अव्यवस्थित दुनिया से मिलता है। यहाँ सबसे बड़ी चुनौती "क्रेडिट असाइनमेंट प्रॉब्लम" (credit assignment problem) है: जब एक लंबे कार्य के अंत में रोबोट विफल हो जाता है, तो आपको कैसे पता चलेगा कि कौन सा विशिष्ट चरण गलत हुआ? क्या वह पहला कदम था, या दसवां?

इसे हल करने के लिए, शोधकर्ता "कोड-एज़-पॉलिसी" (code-as-policy) नामक एक चतुर तकनीक का उपयोग कर रहे हैं। रोबोट को अस्पष्ट निर्देशों या परीक्षण-और-त्रुटि (trial-and-error) वाले पुरस्कारों के साथ प्रशिक्षित करने के बजाय, वे रोबोट के मस्तिष्क को वास्तविक कंप्यूटर कोड के रूप में लिखते हैं। यह रोबोट को केवल एक 'अहसास' देने के बजाय एक 'रेसिपी बुक' देने जैसा है। यदि रेसिपी विफल होती है, तो आप इसे पढ़ सकते हैं, देख सकते हैं कि कौन सा निर्देश भ्रमित करने वाला था, और उसे फिर से लिख सकते हैं। लेकिन इन रेसिपीज़ को हाथ से लिखना कठिन है, और सही कोड का अनुमान लगाना उससे भी अधिक कठिन है। यहीं पर लार्ज लैंग्वेज मॉडल्स (LLMs)—वही एआई दिमाग जो निबंध लिखते हैं और हमसे चैट करते हैं—काम आते हैं। वे कोड जेनरेट कर सकते हैं, लेकिन उन्हें अक्सर यह समझने में मदद की आवश्यकता होती है कि कोड का एक हिस्सा क्यों विफल हुआ ताकि वे इसे ठीक से सुधार सकें।

यह एक नई विधि की कहानी है जिसे MEMENTO कहा जाता है, जो रोबोट कोड के लिए एक सुपर-स्मार्ट, मेमोरी-कीपिंग एडिटर की तरह काम करता है। शोधकर्ताओं ने यह देखना चाहा कि क्या वे बेहतर रोबोट रेसिपी विकसित कर सकते हैं, ऐसा करके कि एक एआई को उन्हें लिखने, टेस्ट करने और फिर एक विशेष "मेमोरी" का उपयोग करने दिया जाए ताकि वह यह याद रख सके कि क्या काम नहीं किया, ताकि वह वही गलतियाँ दोबारा न दोहराए। उन्होंने इसे दो कठिन खेलों पर परखा: एक जहाँ एक रोबोटिक हाथ को टोवर ऑफ हनोई (Tower of Hanoi) पहेली हल करनी है (नियम तोड़े बिना ब्लॉक्स को हिलाना) और दूसरा जहाँ एक रोबोट को नाश्ता बनाने के लिए एक आभासी घर में घूमना है।

MEMENTO कैसे काम करता है, और टीम ने क्या खोजा, यहाँ दिया गया है।

"अनुमान और जाँच" (Guess and Check) के साथ समस्या

कल्पना कीजिए कि आप एक पहेली को हल करने के लिए एक प्रोग्राम लिखने की कोशिश कर रहे हैं। आप एक एआई से कोड लिखने के लिए कहते हैं। वह कुछ लिखता है, आप उसे चलाते हैं, और वह विफल हो जाता है। यदि आप बस एआई से "फिर से प्रयास करें" कहते हैं, तो वह एक नए, यादृच्छिक विचार के साथ, तो आप वास्तव में सीख नहीं रहे हैं। यह एक विशाल मैदान में अंधे आंखों से तीर चलाने की कोशिश करने जैसा है।

पिछले तरीकों ने एक साथ कोड के कई संस्करण बनाकर और उनमें से सर्वश्रेष्ठ को चुनकर इसे ठीक करने की कोशिश की। लेकिन शोधकर्ताओं ने पाया कि यह दृष्टिकोण अक्सर चूक जाता था। यह एक लीक होते पाइप को ठीक करने के लिए सौ लोगों द्वारा अलग-अलग सुझाव देने जैसा था, लेकिन उनमें से किसी ने भी उस विशिष्ट स्थान को नहीं देखा जहाँ से पानी टपक रहा था। उनमें एक अच्छे विचार को लेने, उसे सावधानी से बदलने और सर्वश्रेष्ठ हिस्सों को मिलाने का तरीका नहीं था।

MEMENTO: द मेमोरी-कीपिंग एडिटर

लेखकों ने MEMENTO पेश किया, जिसका अर्थ है मेमोरी-गाइडेड मेमेटिक कोड-एज़-पॉलिसी इवोल्यूशन (Memory-Guided Memetic Code-as-Policy Evolution)। इसका नाम सुनने में फैंसी लगता है, लेकिन विचार आश्चर्यजनक रूप से मानवीय है। MEMENTO को एक रोबोट के मस्तिष्क के एकल "स्टार" ड्राफ्ट के साथ काम करने वाले एक मास्टर एडिटर के रूप में सोचें।

प्रक्रिया दो मुख्य अंकों में होती है:

अंक 1: जज (Judge) का निर्माण
इससे पहले कि रोबोट सीखना शुरू करे, MEMENTO एक विशेष "जज" (मूल्यांकनकर्ता) बनाता है। यह जज एक कोड का हिस्सा है जो रोबोट को कार्य करते हुए देखता है और उसे एक स्कोर देता है। लेकिन यह केवल "पास" या "फेल" नहीं कहता। यह एक विस्तृत रिपोर्ट कार्ड देता है: "आपने स्कोर प्राप्त किया, लेकिन आपने यहाँ ब्लॉक गिरा दिया," या "आपने दरवाजा बहुत तेज़ी से खोला।" शोधकर्ताओं ने इस जज को पहले विकसित किया, यह सुनिश्चित करते हुए कि यह रोबोट के प्रदर्शन में ठीक से क्या गलत हुआ, इसे पहचानने में सक्षम हो।

अंक 2: तीन-शाखाओं वाली खोज (The Three-Branch Search)
एक बार जब जज तैयार हो जाता है, तो वास्तविक विकास शुरू होता है। MEMENTO केवल तीर नहीं चलाता; यह पिछले विफलताओं की "मेमोरी" रखते हुए, रोबोट के कोड को सुधारने के लिए तीन विशिष्ट रणनीतियों का उपयोग करता है:

द हिल-क्लाइंबर (सावधान कारीगर): यह शाखा वर्तमान सर्वश्रेष्ठ कोड लेती है और उसमें छोटे, सावधानीपूर्वक बदलाव करती है। यदि कोई बदलाव रोबोट को बेहतर बनाता है, तो यह उसे रखता है। यदि कोई बदलाव उसे बदतर बनाता है, तो यह याद रखता है कि वह विशिष्ट बदलाव क्यों विफल हुआ। यह "अस्वीकृत विचारों की स्मृति" एआई को एक ही गलती दोबारा करने से रोकती है। यह एक ऐसे हाइकर की तरह है जो एक रास्ता आज़माता है, एक बंद रास्ते पर पहुँचता है, उसे मानचित्र पर अंकित करता है, और फिर दूसरा रास्ता आज़माता है, यह सुनिश्चित करते हुए कि वह दोबारा उसी झाड़ी में न फँसे।
द मैक्रो-म्यूटेटर (बड़े विचार का जनरेटर): कभी-कभी, छोटे बदलाव पर्याप्त नहीं होते। यह शाखा सर्वश्रेष्ठ कोड लेती है और बड़े, साहसिक बदलाव करती है—जैसे रेसिपी का पूरा पैराग्राफ फिर से लिखना। यह "क्या होगा अगर हम पूरी तरह से अलग दृष्टिकोण आज़माएँ?" वाला क्षण है।
द क्रॉसओवर (मिश्रण): यह जादुई सामग्री है। यह सावधान कारीगर से सर्वश्रेष्ठ परिणाम और बड़े विचार जनरेटर से सर्वश्रेष्ठ परिणाम लेता है और उन्हें आपस में मिला देता है। यह दो अलग-अलग रेसिपी से सर्वश्रेष्ठ सामग्री लेकर एक नया, सुपर-डिश बनाने जैसा है।

इन तीन रास्तों को आज़माने के बाद, MEMENTO अगले दौर के लिए एकल सर्वश्रेष्ठ परिणाम को "एलिट" (Elite) के रूप में चुनता है। यह चक्र दोहराया जाता है, धीरे-धीरे कोड को परिष्कृत करता है जब तक कि रोबोट कार्य को हल करने में सक्षम न हो जाए।

परिणाम: क्या यह वास्तव में काम करता है?

शोधकर्ताओं ने MEMENTO का परीक्षण दो बहुत अलग दुनियाओं में किया:

रोबोसुइट टोवर ऑफ हनोई (Robosuite Tower of Hanoi): एक रोबोटिक हाथ चार ब्लॉक्स को स्टैक कर रहा है।
AI2-THOR: एक रोबोट आभासी रसोई में घूमकर सेब को माइक्रोवेव में और ब्रेड को फ्रिज में रख रहा है।

उन्होंने MEMENTO की तुलना दो अन्य लोकप्रिय तरीकों (Eureka और REvolve) से की। परिणाम स्पष्ट थे: MEMENTO जीत गया।

टोवर ऑफ हनोई कार्य में, MEMENTO ने 0.97 ± 0.06 की सफलता दर हासिल की (इसका मतलब है कि इसने पहेली को लगभग हर बार हल किया), जबकि अन्य तरीके संघर्ष कर रहे थे, जिनमें से एक केवल 0.53 तक पहुँचा और दूसरा पूरी तरह से विफल (0.00) रहा। किचन कार्य में, MEMENTO ने 1.00 ± 0.00 की पूर्ण सफलता दर हासिल की, जबकि अन्य केवल 0.40 और 0.00 ही कर पाए।

लेकिन असली जादू केवल ट्रेनिंग रूम में नहीं था। शोधकर्ताओं ने परीक्षण किया कि क्या रोबोट उन नई स्थितियों को संभाल सकता है जिन्हें उसने पहले कभी नहीं देखा।

नए आकार: जब उन्होंने ब्लॉक्स को क्यूब्स से बदलकर अजीब आकार के सिलेंडरों या असममित वस्तुओं में बदल दिया, तब भी MEMENTO ने 0.87 बार पहेली को हल किया। अन्य तरीके 0.23 या 0.00 पर गिर गए।
नए कमरे: जब उन्होंने किचन रोबोट को एक पूरी तरह से नए घर के लेआउट में स्थानांतरित किया जिसे उसने पहले कभी नहीं देखा था, तब भी MEMENTO 0.78 बार सफल रहा। अन्य मात्र 0.08 पर रह गए।

यह बताता है कि MEMENTO ने केवल विशिष्ट ब्लॉक्स या विशिष्ट किचन को याद नहीं किया, बल्कि इसने कार्य के तर्क (logic) को वास्तव में सीखा।

"अहा!" मोमेंट्स (एब्लेशन स्टडीज)

यह साबित करने के लिए कि उनका विशिष्ट डिज़ाइन ही असली सफलता का कारण था, शोधकर्ताओं ने MEMENTO के हिस्सों को हटाकर यह देखने की कोशिश की कि क्या होता है।

कोई मेमोरी नहीं: जब उन्होंने अस्वीकृत विचारों की "मेमोरी" को हटा दिया, तो रोबोट बार-बार एक ही गलती करने में फंस गया।
कोई बड़े बदलाव नहीं: जब उन्होंने केवल छोटे बदलाव करने की अनुमति दी (कोई "मैक्रो-म्यूटेशन" नहीं), तो वह स्थानीय बाधाओं (local traps) से बाहर नहीं निकल सका।
कोई मिश्रण नहीं: जब उन्होंने सर्वश्रेष्ठ विचारों को मिलाना बंद कर दिया (कोई "क्रॉसओवर" नहीं), तो रोबोट सही रणनीतियों को संयोजित नहीं कर सका।
कोई जज इवोल्यूशन नहीं: जब उन्होंने एक साधारण, बिना प्रशिक्षित जज का उपयोग किया, तो रोबोट यह समझ नहीं पाया कि जीतना कैसे है।

हर बार जब उन्होंने कोई हिस्सा हटाया, प्रदर्शन काफी कम हो गया, जिससे साबित हुआ कि पूरा सिस्टम आवश्यक था।

सिमुलेशन से वास्तविकता तक

सबसे रोमांचक हिस्सा? उन्होंने कंप्यूटर सिमुलेशन में विकसित किए गए सर्वश्रेष्ठ कोड को एक वास्तविक भौतिक रोबोट (एक फ्रैंका रोबोट आर्म) पर लगाया। उन्होंने इसे फिर से प्रशिक्षित नहीं किया या कोड नहीं बदला; उन्होंने बस इसे चलने दिया।

रोबोट ने वास्तविक दुनिया में टोवर ऑफ हनोई पहेली को 90% बार (10 में से 9 बार) सफलतापूर्वक हल किया। एक विफलता इसलिए नहीं थी क्योंकि कोड गलत था; बल्कि इसलिए थी क्योंकि रोबोट के कैमरे ने ब्लॉक की स्थिति को गलत पढ़ लिया था। इसने साबित कर दिया कि "कोड-एज़-पॉलिसी" दृष्टिकोण केवल एक सिमुलेशन ट्रिक नहीं है—यह वास्तविक, अव्यवस्थित भौतिक दुनिया में भी काम करता है।

इसका क्या अर्थ है

पेपर सुझाव देता है कि रोबोटों को जटिल, लंबे कार्यों को सीखने के लिए हमें केवल यादृच्छिक अनुमानों से अधिक की आवश्यकता है। हमें एक ऐसे सिस्टम की आवश्यकता है जो याद रखे कि क्या काम नहीं किया, जो छोटे और बड़े दोनों बदलाव करे, और सर्वश्रेष्ठ विचारों को एक साथ मिलाए। MEMENTO दिखाता है कि रोबोट कोड को एक ऐसी रेसिपी के रूप में मानकर जिसे पिछले विफलताओं की मेमोरी के साथ संपादित, टेस्ट और परिष्कृत किया जा सकता है, हम रोबोटों को उन पहेलियों को हल करना सिखा सकते हैं जो पहले उनके लिए बहुत कठिन थीं।

लेखक सावधानी बरतते हुए नोट करते हैं कि यह विशिष्ट कार्यों पर परीक्षण किया गया था और यह विधि उनके द्वारा उपयोग किए गए विशिष्ट लैंग्वेज मॉडल पर निर्भर करती है। उन्होंने यह दावा नहीं किया कि यह हर रोबोट समस्या को हल करता है, लेकिन उन्होंने दिखाया कि रोबोटों को कोड में सोचने के लिए सिखाने का एक बहुत ही आशाजनक मार्ग है।

तकनीकी सारांश: कोड-एज़-पॉलिसी इवोल्यूशन के लिए MEMENTO

समस्या विवरण

लॉन्ग-होराइजन एम्बॉडीड कंट्रोल टास्क (long-horizon embodied control tasks) एक महत्वपूर्ण चुनौती पेश करते हैं, जिसका कारण "लॉन्ग-होराइजन क्रेडिट-असाइनमेंट प्रॉब्लम" है। इन कार्यों में, सफलता केवल कई निर्भर क्रियाओं के अनुक्रम के बाद ही देखी जा सकती है, जहाँ शुरुआती क्रियाएं यह निर्धारित करती हैं कि बाद की क्रियाओं में किस स्थिति का सामना करना पड़ेगा। मौजूदा दृष्टिकोण, जैसे कि प्रदर्शन-आधारित लर्निंग (demonstration-based learning) या टेम्पोरल एब्स्ट्रैक्शन के साथ रिइन्फोर्समेंट लर्निंग, अक्सर विफल हो जाते हैं क्योंकि वे विफल पॉलिसी के विशिष्ट निर्णय तर्क (decision logic) को उजागर करने या यह पहचानने में असमर्थ होते हैं कि उस तर्क के किन हिस्सों में संशोधन की आवश्यकता है।

जबकि पॉलिसियों को निष्पादित करने योग्य प्रोग्रामों ("कोड-एज़-पॉलिसी") के रूप में प्रस्तुत करना निर्णय तर्क के प्रत्यक्ष निरीक्षण और संशोधन की अनुमति देता है, LLMs के माध्यम से इन प्रोग्रामों में सुधार करना कठिन है। बाइनरी टास्क सक्सेस (binary task success) इस सुधार को निर्देशित करने के लिए बहुत विरल (sparse) है, और संरचित फीडबैक (structured feedback) को मैन्युअल रूप से निर्दिष्ट करना कठिन है। इसके अलावा, मौजूदा LLM-संचालित विकासवादी विधियाँ मुख्य रूप से स्वतंत्र रूप से उत्पन्न वेरिएंट्स के बीच चयन करती हैं, जिनमें क्रमिक स्थानीय सुधार (sequential local improvement) चरण की कमी होती है और वे पिछले विफल संशोधनों की स्मृति (memory) बनाए रखने में विफल रहती हैं।

कार्यप्रणाली: MEMENTO

लेखक MEMENTO का प्रस्ताव करते हैं, जो एक मेमोरी-गाइडेड सिंगल-एलिट मेमेटिक फ्रेमवर्क (memory-guided single-elite memetic framework) है जिसे निष्पादित होने योग्य कोड-एज़-पॉलिसी प्रोग्राम विकसित करने के लिए डिज़ाइन किया गया है। यह फ्रेमवर्क दो अलग-अलग चरणों में कार्य करता है:

1. इवैल्यूएटर इवोल्यूशन (Evaluator Evolution)
पॉलिसी खोजने से पहले, MEMENTO एक विशेष इवैल्यूएटर ( $E^\star$ ) विकसित करता है।

इनपुट: एक प्रारंभिक पॉलिसी ( $p_0$ ) को $N_{roll}$ एपिसोड के लिए निष्पादित किया जाता है ताकि एक निश्चित रोलआउट सेट ( $T_0$ ) बनाया जा सके।
प्रक्रिया: उम्मीदवार इवैल्यूटर्स (LLM-जनरेटेड प्रोग्राम्स) के एक पूल को पुनरावृत्त रूप से परिष्कृत किया जाता है। प्रत्येक उम्मीदवार रोलआउट सेट को एक स्केलर फिटनेस स्कोर ( $F$ ) और संरचित फीडबैक मेट्रिक्स ( $M$ ) में मैप करता है।
चयन: उम्मीदवारों को टास्क सक्सेस के साथ सहसंबंध (correlate) बनाने की उनकी क्षमता के आधार पर स्कोर किया जाता है, और सर्वश्रेष्ठ इवैल्यूएटर का चयन LLM मेजॉरिटी वोटिंग के माध्यम से किया जाता है।
आउटपुट: एक निश्चित, विकसित इवैल्यूएटर $E^\star$ जो चयन के लिए फिटनेस सिग्नल और भविष्य के कोड संशोधनों को कंडिशन करने के लिए स्ट्रक्चर्ड मेट्रिक्स प्रदान करता है।

2. फिक्स्ड इवैल्यूएटर के तहत पॉलिसी इवोल्यूशन (Policy Evolution under Fixed Evaluator)
एक बार जब $E^\star$ स्थिर हो जाता है, तो फ्रेमवर्क एक एकल एलिट कैंडिडेट ( $C_g$ ) से शुरू होकर इष्टतम पॉलिसी प्रोग्राम की खोज करता है। प्रत्येक जनरेशन तीन अलग-अलग शाखाओं का अन्वेषण करती है, जिसमें सबसे अच्छा आउटपुट अगली जनरेशन के लिए एलिट बनता है:

सीक्वेंशियल हिल-क्लाइंबिंग (माइक्रो-म्यूटेशन): एक स्थानीय खोज शाखा जो वर्तमान स्वीकृत कैंडिडेट को पुनरावृत्त रूप से परिष्कृत करती है। महत्वपूर्ण रूप से, यह अस्वीकृत प्रस्ताव सारांशों (rejected proposal edit summaries) की एक मेमोरी ( $H$ ) बनाए रखती है। यह मेमोरी LLM को विफल संशोधनों को दोहराने से बचने के लिए कंडिशन करती है, जिससे खोज को ज्ञात लोकल मिनिमा से दूर ले जाने में मदद मिलती है।
मैक्रो-म्यूटेशन (Macro-Mutation): जनरेशन के एलिट कैंडिडेट पर सीधे लागू किए गए स्वतंत्र, बड़े पैमाने के संपादन, जो महत्वपूर्ण संरचनात्मक परिवर्तन पेश करते हैं।
क्रॉसओवर (Crossover): हिल-क्लाइंबिंग और मैक्रो-म्यूटेशन शाखाओं के सर्वश्रेष्ठ उम्मीदवारों का पुनर्संयोजन, जो आंशिक रूप से निष्पादable रणनीतियों के संयोजन की अनुमति देता है।

चयन तंत्र एलिटिस्ट (elitist) है: तीनों शाखाओं में से उच्चतम फिटनेस स्कोर ( $F$ ) वाला कैंडिडेट अगले एलिट ( $C_{g+1}$ ) के रूप में चुना जाता है।

मुख्य योगदान

पेपर चार प्राथमिक योगदानों की पहचान करता है:

सिंगल-एलिट मेमेटिक फ्रेमवर्क: निष्पादित होने योग्य पॉलिसी प्रोग्रामों के लिए एक खोज विधि जो अनूठे रूप से क्रमिक स्थानीय सुधार (रिजेक्टेड-प्रपोजल मेमोरी के साथ), मैक्रो-म्यूटेशन और क्रॉसओवर को जोड़ती है।
इवैल्यूएटर-इवोल्यूशन स्टेज: एक प्री-सर्च चरण जो एक निश्चित इवैल्यूएटर तैयार करता है जो चयन के लिए स्केलर फिटनेस और कोड संशोधनों को कंडिशन करने के लिए स्ट्रक्चर्ड रोलआउट फीडबैक दोनों प्रदान करने में सक्षम है।
अनुभवजन्य मूल्यांकन (Empirical Evaluation): दो लॉन्ग-होरिजन डोमेन (Robosuite और AI2-THOR) पर व्यापक परीक्षण, जिसमें जीरो-शॉट जनरेशन, इवैल्यूएटर इवोल्यूशन और सर्च ऑपरेटर्स पर एब्लेशन स्टडीज, साथ ही होल्ड-आउट ऑब्जेक्ट ज्योमेट्री और सीन्स पर जनरलाइजेशन टेस्ट शामिल हैं।
सिम-टू-रियल ट्रांसफर (Sim-to-Real Transfer): फ्रैंका रोबोट पर विकसित Robosuite पॉलिसी का भौतिक परिनियोजन (physical deployment), जो सिमुलेशन-इवॉल्व्ड कोड को वास्तविक दुनिया के परिवेश में स्थानांतरित करने की व्यवहार्यता को प्रदर्शित करता है।

प्रयोगात्मक परिणाम

MEMENTO का मूल्यांकन Robosuite Franka Tower-of-Hanoi और AI2-THOR हाउसहोल्ड इंटरेक्शन पर किया गया, जिसमें इसे अनुकूलित बेसलाइन्स Eureka और REvolve के विरुद्ध परखा गया।

प्रदर्शन: MEMENTO ने बेसलाइन्स को काफी पीछे छोड़ दिया। Robuste पर, इसने 0.53 ± 0.12 (REvolve के लिए) और 0.00 (Eureka के लिए) की तुलना में 0.97 ± 0.06 की सफलता दर हासिल की। AI2-THOR पर, MEMENTO ने 1.00 ± 0.00 सफलता प्राप्त की, जबकि REvolve ने 0.40 ± 0.10 और Eureka ने 0.00 प्राप्त किया।
जनरलाइजेशन: विकसित पॉलिसियों ने मजबूत जनरलाइजेशन प्रदर्शित किया। Robuste में, पॉलिसियाँ क्यूबिक ऑब्जेक्ट्स से एसिमेट्रिक और सिलिंड्रिकल ऑब्जेक्ट्स में सफलतापूर्वक ट्रांसफर हुईं। AI2-THOR में, तीन किचन पर प्रशिक्षित पॉलिसियाँ 26 अनदेखे किचनों में सफलतापूर्वक जनरलाइज हुईं।
एब्लेशन स्टडीज:
- जीरो-शॉट जनरेशन दोनों डोमेन को हल करने में विफल रहा (0% सफलता), जो इवोल्यूशनरी सर्च की आवश्यकता को सिद्ध करता है।
- अन-इवॉल्व्ड इवैल्यूटर्स (जीरो-शॉट LLM इवैल्यूटर्स) टास्क पूरा करने के लिए पॉलिसियों को गाइड करने में विफल रहे, जो लॉन्ग-होराइजन सक्सेस के साथ फीडबैक को अलाइन करने के लिए इवैल्यूएटर इवोल्यूशन की आवश्यकता को उजागर करता है।
- ऑपरेटर रिमूवल: क्रॉसओवर शाखा या मैक्रो-म्यूटेशन शाखा में से किसी एक को हटाने से कार्यों को हल करने में विफलता हुई, जो दर्शाता है कि स्थानीय परिशोधन (local refinement) और वैश्विक भिन्नता/पुनर्संयोजन (global variation/recombination) दोनों ही आवश्यक हैं।
सिम-टू-रियल: सर्वश्रेष्ठ Robuste पॉलिसी को एक भौतिक फ्रैंका रोबोट पर तैनात किया गया, जिसने 10 परीक्षणों में 0.90 की सफलता दर हासिल की, जिसमें एकमात्र विफलता धारणा त्रुटि (perception error) के कारण थी।

महत्व और दावे

पेपर दावा करता है कि MEMENTO, मेमोरी-गाइडेड लोकल सर्च को इवोल्यूशनरी वेरिएशन के साथ एकीकृत करके मौजूदा कोड-एज़-पॉलिसी इवोल्यूशन की सीमाओं को संबोधित करता है। लेखक तर्क देते हैं कि:

मेमोरी महत्वपूर्ण है: अस्वीकृत संशोधनों का इतिहास बनाए रखना LLM को एक ही विफल संशोधनों के चक्र में फंसने से रोकता है, जिससे जटिल कोड स्पेस में प्रभावी हिल-क्लाइंबिंग संभव होती है।
इवैल्यूएटर इवोल्यूशन आवश्यक है: एक निश्चित, विकसित इवैल्यूएटर एक स्थिर या जीरो-शॉट इवैल्यूएटर की तुलना में अधिक समृद्ध और अलाइन किया गया सिग्नल प्रदान करता है, जो स्पार्स-रिवॉर्ड, लॉन्ग-होराइजन वातावरण में खोज को निर्देशित करने के लिए महत्वपूर्ण है।
हाइब्रिड सर्च श्रेष्ठ है: माइक्रो-म्यूटेशन (स्थानीय परिशोधन), मैक्रो-म्यूटेशन (वैश्विक अन्वेषण), और क्रॉसओवर (पुनर्संयोजन) का संयोजन उन कार्यों को हल करने के लिए आवश्यक है जिन्हें शुद्ध स्थानीय खोज या शुद्ध जनसंख्या-आधारित विकास अकेले हल नहीं कर सकते।

कार्य यह निष्कर्ष निकालता है कि मेमोरी-गाइडेड मेमेटिक सर्च, स्पार्स रोलआउट फीडबैक का उपयोग करके निष्पादनीय एम्बॉडीड पॉलिसियों को बेहतर बनाने के लिए एक व्यवहार्य तंत्र है, जो सफलतापूर्वक सिमुलेशन और वास्तविकता के बीच के अंतर को पाटता है।