💻 computer science

Adaptation of Generalist Robot Policies with Minimal Data

यह शोध पत्र MiDAS को प्रस्तुत करता है, जो एक सरल ऑफलाइन-टू-ऑनलाइन सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो सामान्यज्ञ रोबोट नीतियों को केवल एक मानव प्रदर्शन से भी तेजी से नए कार्यों के अनुकूल होने और मजबूत स्वायत्त सुधार प्राप्त करने में सक्षम बनाता है।

मूल लेखक: Shreyas Kowshik, Sreyas Venkataraman, Leo Wang, Niharika Pant, Max Simchowitz, Aviral Kumar

प्रकाशित 2026-08-13

📖 9 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shreyas Kowshik, Sreyas Venkataraman, Leo Wang, Niharika Pant, Max Simchowitz, Aviral Kumar

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ रोबोट केवल एक मानव इंजीनियर द्वारा लिखे गए कठोर स्क्रिप्ट का पालन नहीं करते, बल्कि वे हमारी तरह खुद सीख सकते हैं और सुधार कर सकते हैं। यह रोबोटिक्स का 'होली ग्रेल' (सर्वोच्च लक्ष्य) है: ऐसी मशीनें बनाना जो एक नए कमरे में जा सकें, समझ सकें कि क्या करने की आवश्यकता है, और प्रयास और त्रुटि (trial and error) के माध्यम से इसमें बेहतर हो सकें। यह समझने के लिए कि यह कैसे काम करता है, रोबोट के मस्तिष्क को दो मुख्य भागों के रूप में सोचें। पहला, इसे एक "सामान्य ज्ञान" का आधार चाहिए, जैसे कि दुनिया कैसे काम करती है इसका एक पुस्तकालय, जिसे वह लोगों को काम करते हुए लाखों वीडियो देखकर सीखता है। दूसरा, इसे विशिष्ट कौशल सीखने की आवश्यकता है, जैसे कि एक विशिष्ट जार को खोलना या ब्लॉकों के एक विशिष्ट सेट को स्टैक करना। वैज्ञानिक जिस बड़ी चुनौती का सामना कर रहे हैं वह यह है कि जबकि रोबल्स सामान्य ज्ञान प्राप्त करने में बहुत अच्छे हो रहे हैं, वे अभी भी अपने आप नए विशिष्ट कार्यों को सीखने में बहुत खराब हैं। यदि आप एक रोबोट को कुछ ऐसा करने के लिए कहते हैं जो उसने पहले नहीं देखा है, तो वह अक्सर जम जाता है या इधर-उधर हाथ-पैर मारने लगता है क्योंकि उसे पता नहीं होता कि शुरुआत कहाँ से करनी है। यह वैसा ही है जैसे किसी व्यक्ति को पूरी दुनिया का नक्शा दे दिया जाए लेकिन उसे यह न पता हो कि वह वर्तमान में किस सड़क पर है; उसके पास नेविगेट करने के लिए सभी उपकरण हैं, लेकिन बिना थोड़ी मदद के वह पहला कदम नहीं उठा सकता।

यह MiDAS नामक एक नई विधि की कहानी है, जो उस "पहले कदम" की समस्या को हल करने की कोशिश करती है। शोधकर्ताओं ने एक सरल प्रश्न पूछा: क्या होगा यदि हम रोबोट को कार्य को सफलतापूर्वक करने वाला केवल एक वीडियो दें, और फिर रोबोट को बाकी चीजें अपने आप figuring out करने दें? आमतौर पर, एक वीडियो पर्याप्त नहीं होता है। यह ऐसा है जैसे किसी को एक बार रूबिक क्यूब सुलझाते हुए देखना और फिर उसे खुद सुलझाने के लिए कहना; आप सामान्य विचार तो जान जाएंगे, लेकिन सही होने से पहले आप शायद कई बार असफल होंगे। पेपर सुझाव देता है कि उस एकल वीडियो को गलतियों से सीखने के एक स्मार्ट तरीके के साथ जोड़कर, एक रोबोट वास्तव में उस कार्य को विश्वसनीय रूप से सीख सकता है। उन्होंने कंप्यूटर सिमुलेशन और दो हाथों वाले एक वास्तविक रोबोट पर इसका परीक्षण किया, जिससे पता चला कि केवल एक उदाहरण के साथ भी, रोबोट कुछ घंटों के अभ्यास के बाद कार्य में सफल होने में सक्षम था, जबकि अन्य विधियाँ तुरंत हार मान लेतीं।

समस्या: रोबोट की "खाली नज़र" (The Blank Stare)

कल्पना कीजिए कि आप एक रोबोट को सैंडविच बनाना सिखा रहे हैं। आपके पास एक सुपर-स्मार्ट रोबोट है जिसने इंसानों के खाना पकाने के लाखों वीडियो देखे हैं। वह जानता है कि ब्रेड कैसी दिखती है, चीज़ क्या है, और चाकू कैसे काम करता है। यह उसका "प्री-ट्रेन्ड" (पूर्व-प्रशिक्षित) मस्तिष्क है। लेकिन यदि आप रसोई में जाते हैं और कहते हैं, "मेरे लिए एक सैंडविच बनाओ जिसमें नीली चीज़ बाईं ओर हो," तो रोबोट शायद आपको बस देखता रह जाएगा। वह सामग्री को जानता है, लेकिन वह यह विशेष सैंडविच नहीं जानता।

यदि आप रोबलेट को अपने आप सीखने (ऑटोनॉमस लर्निंग) के लिए छोड़ देते हैं, तो वह बार-बार विफल होगा। वह गलत ब्रेड पकड़ सकता है, चीज़ गिरा सकता है, या चाकू को टोस्टर में डालने की कोशिश कर सकता है। रोबोटिक्स की दुनिया में, इन विफलताओं को "स्पार्स रिवार्ड्स" (sparse rewards) कहा जाता है। यह एक वीडियो गेम खेलने जैसा है जहाँ आपको अंत में केवल "You Win!" संदेश मिलता है, और करीब पहुँचने के लिए आपको कोई संकेत या अंक नहीं मिलते। यदि रोबोट 100 में से 99 बार विफल होता है, तो उसे कभी "You Win!" का संकेत नहीं मिलता, इसलिए वह कभी सीख नहीं पाता कि क्या करना है। वह विफलता के चक्र में फंसा हुआ है।

समाधान: एक वीडियो और एक "रेसिडुअल" सहायक

MiDAS (मिनिमल-डेटा अडैप्टेशन स्ट्रैटेजी) के पीछे के शोधकर्ताओं ने इस चक्र को तोड़ने के लिए एक चतुर दो-चरणीय रेसिपी तैयार की है।

चरण 1: "एंकरिंग" वीडियो
सबसे पहले, वे रोबोट को कार्य का केवल एक सफल वीडियो दिखाते हैं। वे केवल रोबोट को देखने नहीं देते; वे "बिहेवियर क्लोनिंग" नामक तकनीक का उपयोग करते हैं। इसे एक गहन अध्ययन सत्र के रूप में सोचें। वह एक वीडियो को देखता है और गतिविधियों की नकल करने की कोशिश करता है।

क्या होता है: वह बहुत बेहतर हो जाता है। वह खाली होकर देखना बंद कर देता है। उसे पता चल जाता है कि ब्रेड पकड़नी है, फिर चीज़, फिर चाकू।
चुनौती: वह अभी भी अनाड़ी है। वह ब्रेड को सही ढंग से पकड़ सकता है, लेकिन चीज़ गिरा सकता है क्योंकि उसकी पकड़ बहुत सख्त है, या वह प्लेट को मिस कर सकता है क्योंकि वह थोड़ा केंद्र से हट गया है। उसके पास कार्य का विचार है, लेकिन उसमें सटीकता की कमी है। पेपर के परीक्षणों में, यह "एक-वीडियो" वाला रोबोट लक्ष्य के करीब तो पहुँच सकता है लेकिन अक्सर काम पूरा करने में विफल रहता है।

चरण 2: "रेसिडुअल" कोच
यहीं असली जादू होता है। रोबोट को सब कुछ शुरू से फिर से सिखाने के बजाय, MiDAS रोबोट के मस्तिष्क के ऊपर एक छोटा, हल्का "कोच" जोड़ता है।

कैसे काम करता है: रोबोट का मुख्य मस्तिष्क (जो एक वीडियो से प्रशिक्षित है) कहता है, "मुझे लगता कि मुझे हाथ इस तरह से हिलाना चाहिए।" नया "कोच" (जिसे रेसिडुअल पॉलिसी कहा जाता है) उस सुझाव को सुनता है और कहता है, "वास्तव में, इसे बस थोड़ा और बाईं ओर ले जाओ।"
सीखना: रोबोट फिर इस समायोजित चाल को आजमाता है। यदि वह सफल होता है, तो कोच को एक अंक मिलता है। यदि वह विफल होता है, तो कोच अगली बार अलग तरह से समायोजन करना सीखता है।
यह विशेष क्यों है: मुख्य मस्तिष्क स्थिर रहता है (वह बदलता नहीं है), इसलिए रोबोट वह नहीं भूलता जो उसने वीडियो से सीखा था। कोच छोटा और तेज़ है, जो केवल उन छोटे सुधारों को सीखता है जो एक "अच्छे प्रयास" को "परफेक्ट सफलता" में बदलने के लिए आवश्यक हैं।

परिणाम: एक प्रयास से महारत तक

टीम ने इस विचार का दो अलग-अलग आभासी दुनियाओं (LIBERO-Long और RoboCasa) और दो हाथों वाले एक वास्तविक रोब सहित (YAM) में परीक्षण किया।

सिमुलेशन में:
परिणाम आश्चर्यजनक रूप से मजबूत थे। केवल एक प्रदर्शन के साथ:

मानक विधियाँ जिन्होंने शून्य से सीखने या केवल वीडियो की नकल करने की कोशिश की, वे लगभग पूरी तरह से विफल रहीं (0% सफलता)।
अन्य उन्नत विधियाँ जिन्होंने रोबोट के व्यवहार को बदलने की कोशिश की, वे लगभग 30% से 40% कार्यों को सही ढंग से करने में सफल रहीं।
MiDAS औसतन 91% कार्यों में सफल रहा। कुछ विशिष्ट कार्यों में, जैसे स्टोव पर बर्तन रखना, इसने 98% सफलता प्राप्त की।

वास्तविक दुनिया में:
वे इस विधि को दो हाथों वाले एक वास्तविक रोबोट पर ले गए।

कार्य 1: एक हरे रंग के ब्लॉक को एक कंटेनर में और एक नीले रंग के ब्लॉक को दूसरे में रखना। एक वीडियो देखने के बाद रोबोट की सफलता दर 40% से शुरू हुई। लगभग 6 घंटे के अभ्यास के बाद, यह बढ़कर 67% हो गई।
कार्य 2: एक प्लेट पर चाकू और डोनट रखना। यह कठिन था। रोबोट केवल 27% सफलता दर के साथ शुरू हुआ। लेकिन 5 से 6 घंटे के स्वायत्त इंटरैक्शन के बाद, यह 80% सफलता तक पहुँच गया।

पेपर बताता है कि यह इसलिए काम करता है क्योंकि रोबोट के प्री-ट्रेन्ड मस्तिष्क को पहले से ही पता है कि उसके हाथ कैसे चलाने हैं और वस्तुएं कैसी दिखती हैं। एक एकल वीडियो उसे बताता है कि क्या करना है। ऑनलाइन लर्निंग (कोच) बस इस बात की कमी को पूरा करता है कि इसे परफेक्ट तरीके से कैसे करना है।

इसका क्या अर्थ है (और क्या नहीं)

शोधकर्ता सावधानी से बताते हैं कि यह विधि क्या कर सकती है और क्या नहीं।

यह क्या अच्छी तरह करता है:

यह "शायद" को "हाँ" में बदल देता है उन कार्यों के लिए जिनके बारे में रोबोट के पास पहले से ही कुछ सामान्य ज्ञान है।
यह रोबोट को सामान्यीकरण (generalize) करने की अनुमति देता है। यदि आप वस्तुओं को थोड़ा हिलाते हैं या रोशनी बदलते हैं, तो रोबोट अभी भी इसे समझ सकता है क्योंकि उसका "मस्तिष्क" इन परिवर्तनों को संभालने के लिए पर्याप्त स्मार्ट है।
यह बहुत कम मानवीय सहायता के साथ काम करता है। आपको 100 वीडियो रिकॉर्ड करने की आवश्यकता नहीं है; एक ही शुरुआत के लिए पर्याप्त है।

यह क्या नहीं कर सकता (अभी तक):

यह रोबोट को कुछ ऐसा नया करने के लिए नहीं सिखा सकता जिसके बारे में उसके पास कोई पूर्व ज्ञान नहीं है। यदि रोबोट ने पहले कभी चाकू या डोनट नहीं देखा है, तो एक वीडियो पर्याप्त नहीं होगा।
यह तब संघर्ष करता है जब कार्य के लिए बिल्कुल अलग तरह की गति की आवश्यकता होती है। उदाहरण के लिए, यदि रोबोट को वीडियो के विपरीत तरीके से दो वस्तुओं की स्थिति बदलनी है, तो वह भ्रमित हो सकता है।
"6 घंटे" का अभ्यास अभी भी एक रोबोट के लिए लंबा समय है। पेपर सुझाव देता है कि हालांकि यह एक बड़ा कदम है, हमें अभी भी सीखने को और तेज़ और अधिक कुशल बनाने की आवश्यकता है।

बड़ी तस्वीर

MiDAS को एक पुल के रूप में देखें। इससे पहले, "सामान्य रूप से सब कुछ जानने वाले रोबोट्स" और "किसी विशिष्ट कार्य को करने वाले रोबोट्स" के बीच एक बड़ा अंतर था। या तो आपको हर एक चाल को प्रोग्राम करने के लिए एक इंसान की आवश्यकता थी, या आपको सैकड़ों घंटों के प्रयास और त्रुटि की आवश्यकता थी। MiDAS दिखाता है कि यदि आप एक रोबोट को थोड़ी सी मानवीय मार्गदर्शन (एक वीडियो) दें और उसे एक स्मार्ट, हल्के कोच के साथ अभ्यास करने दें, तो वह अपने आप इस अंतर को पाट सकता है।

लेखक सुझाव देते हैं कि यह पहली बार है जब किसी ने दिखाया है कि एक रोबोट केवल एक एकल प्रदर्शन से किसी नए कार्य के अनुकूल हो सकता है। यह कोई जादुई छड़ी नहीं है जो हर समस्या को हल करती है, लेकिन यह एक शक्तिशाली नया उपकरण है जो बताता है कि हम उन रोबोटों के करीब पहुँच रहे हैं जो वास्तव में हमसे सीख सकते हैं, बस थोड़ी सी मदद के साथ।

तकनीकी सारांश: न्यूनतम डेटा के साथ सामान्यवादी रोबोट नीतियों का अनुकूलन (Adaptation of Generalist Robot Policies with Minimal Data)

समस्या परिभाषा: न्यूनतम-डेटा अनुकूलन (Minimal-Data Adaptation: MDA)

यह शोध पत्र सामान्यवादी रोबोट नीतियों को न्यूनतम मानवीय पर्यवेक्षण के साथ नई कार्यों (tasks) के अनुकूल बनाने की चुनौती को संबोधित करता है। विविध डेटासेट पर प्री-ट्रेन किए गए हालिया विजन-लैंग्वेज-एक्शन (VLA) मॉडल व्यापक पूर्व ज्ञान (priors) तो प्रदान करते हैं, लेकिन वे नए वातावरणों में ज़ीरो-शॉट लर्नर के रूप में विफल हो जाते हैं क्योंकि उनमें रिवॉर्ड (reward) अत्यंत विरल (sparse) होते हैं और अन्वेषण (exploration) कमजोर होता है। इसके विपरीत, वर्तमान नीतियों के लिए शून्य से पूर्णतः स्वायत्त रूप से सीखना कठिन है।

लेखक न्यूनतम-डेटा अनुकूलन (MDA) को पूर्णतः स्वायत्त सुधार के एक व्यवहार्य प्रॉक्सी के रूप में प्रस्तावित करते हैं। इस सेटिंग में, एक प्री-ट्रेन की गई नीति को केवल $K$ सफल प्रदर्शनों (demonstrations) (जहाँ $K=1$ सबसे कठिन मामला है) के बाद स्वायत्त ऑनलाइन इंटरेक्शन का उपयोग करके एक नया कार्य सीखना होता है। लक्ष्य केवल प्रदर्शनों से कार्य को हल करना नहीं है, बल्कि उन्हें एक 'स्कैफोल्ड' (scaffold) के रूप में उपयोग करना है ताकि बाद में स्वायत्त शिक्षण व्यवहार्य हो सके। मुख्य चुनौती यह है कि $K=1$ के साथ, प्रारंभिक नीति अक्सर रिवॉर्ड-युक्त क्षेत्रों तक पहुँचने में बहुत कमजोर होती है, जिससे विरल रिवॉर्ड्स के कारण पॉलिसी कोलैप्स (policy collapse) हो जाता है।

कार्यप्रणाली: MiDAS

लेखक MiDAS (Minimal-Data Adaptation Strategy) पेश करते हैं, जो एक दो-चरणीय ऑफलाइन-टू-ऑनलाइन सुदृढीकरण शिक्षण (reinforcement learning) रेसिपी है, जिसे एक कमजोर प्री-ट्रेन की गई नीति और एक मजबूत, कार्य-विशिष्ट कंट्रोलर के बीच के अंतर को पाटने के लिए डिज़ाइन किया गया है।

चरण I: कार्य एंकरिंग (Task Anchoring) के लिए बिहेवियर क्लोनिंग (BC)

उद्देश्य: ज़ीरो-शॉट प्री-ट्रेन की गई नीति ( $\pi_{base}$ ) को एक कार्य-निर्देशित नीति ( $\pi^K_{base}$ ) में बदलना जो कार्य को मोटे तौर पर करने का प्रयास कर सके, भले ही उसका निष्पादन भंगुर (brittle) हो।
तंत्र: प्री-ट्रेन किए गए VLA बैकबोन को $K$ प्रदर्शनों पर लो-रैंक अडैप्टेशन (LoRA) का उपयोग करके फाइन-ट्यून किया जाता है, जबकि एक्शन हेड को मानक फ्लो मैचिंग (flow matching) का उपयोग करके फाइन-ट्यून किया जाता है।
परिणाम: यह चरण मोटे तौर पर कार्य-प्रासंगिक व्यवहार (जैसे, सही वस्तु के पास पहुँचना) को पुनः प्राप्त करता है, लेकिन विश्वसनीय नियंत्रण (जैसे, सटीक पकड़ या संरेखण) प्राप्त करने में विफल रहता है। यह नीति को कार्य के लिए "एंकर" करने का कार्य करता है, जिससे ऑनलाइन लर्निंग के लिए सर्च स्पेस सीमित हो जाता है।

चरण II: रेसिडुअल RL के माध्यम से ऑनलाइन सुधार

उद्देश्य: स्वायत्त इंटरेक्शन का उपयोग करके $\pi^K_{base}$ की भंगुरता को दूर करने के लिए सूक्ष्म सुधार (fine-grained corrections) सीखना।
तंत्र:
- फ्रोजन बैकबोन (Frozen Backbone): कार्य-एंकरित नीति $\pi^K_{base}$ को फ्रीज (स्थिर) कर दिया जाता है।
- रेसिडुअल एक्टर (Residual Actor): एक हल्का रेसिडुअल पॉलिसी ( $\pi^{res}_{\theta}$ ) फ्रोजन रिप्रजेंटेशन के ऊपर प्रशिक्षित किया जाता है। एडिटिव रेसिडुअल फॉर्मुलेशन (जो छोटे ऑफसेट्स का अनुमान लगाते हैं) के विपरीत, MiDAS बेस पॉलिसी के प्रस्ताव (proposal) पर आधारित होकर सीधे निष्पादित क्रिया (executed action) का अनुमान लगाता है ( $a_{exec} \sim \pi^{res}_{\theta}(\cdot | s, a_{base})$ )। यह नीति को आवश्यकता पड़ने पर बेस प्रपोजल के तत्काल परिवेश से परे क्रिया वितरण (action distribution) को स्थानांतरित करने की अनुमति देता है।
- वैल्यू-आधारित लर्निंग: सिस्टम टेम्पोरल डिफरेंस (TD) लर्निंग के माध्यम से प्रशिक्षित क्रिटिक एन्सेम्बल के साथ पॉलिसी-एग्नोस्टिक RL (PA-RL) का उपयोग करता है। एक्टर को "बेस्ट-ऑफ-N" डिस्टिलेशन ऑब्जेक्टिव का उपयोग करके अपडेट किया जाता है, जहाँ कैंडिडेट एक्शन्स को Q-फंक्शन पर ग्रेडिएंट एसेंट के माध्यम से परिष्कृत किया जाता है और फिर वापस पॉलिसी में डिस्टिल किया जाता है।
स्थिरीकरण तकनीकें:
1. ऑफलाइन वार्मअप (Offline Warmup): रेसिडुअल एक्टर और क्रिटिक को $K$ प्रदर्शनों और $\pi^K_{base}$ के कुछ रोलआउट्स वाले बफर का उपयोग करके इनिशियलाइज़ किया जाता है। एक्टर को बेस पॉलिसी की क्रियाओं को दोहराने के लिए इनिशियलाइज़ किया जाता है ( $\mathcal{L}_{warm}$ ), जिससे यह सुनिश्चित होता है कि प्रारंभिक अन्वेषण कार्य-प्रासंगिक बना रहे।
2. सक्सेस बैलेंसिंग (Success Balancing): रिवॉर्ड की विरलता (जहाँ सफलता दर 2-5% जितनी कम हो सकती है) से निपटने के लिए, रिप्ले बफर को एक जनरल बफ़र ( $\mathcal{B}$ ) और एक सक्सेस बफ़र ( $\mathcal{B}_{succ}$ ) में विभाजित किया जाता है। क्रिटिक अपडेट इन बफ़र्स के मिश्रण से सैंपल लेते हैं, जिसमें सफल ट्राजेक्टरीज का ओवरसैंपलिंग किया जाता है ताकि वैल्यू फंक्शन विफलताओं (failures) द्वारा हावी न हो जाए।

मुख्य योगदान

MDA की परिभाषा: शोध पत्र MDA रिजीम को औपचारिक रूपता प्रदान करता है, यह पहचानते हुए कि यह वह महत्वपूर्ण सीमा है जहाँ न्यूनतम पर्यवेक्षण ( $K=1$ ) सामान्यवादी नीतियों के लिए स्वायत्त ऑनलाइन लर्निंग को व्यवहार्य बनाता है।
MiDAS एल्गोरिदम: एक नवीन रेसिपी जो फ्यू-शॉट बिहेवियर क्लोनिंग को फ्रोजन-बैकबोन रेसिडुअल RL के साथ जोड़ती है। यह प्रदर्शित करता है कि एक एकल प्रदर्शन, प्री-ट्रेन्ड रिप्रजेंटेशन और वैल्यू-गाइडेड करेक्शन के साथ मिलकर, स्वायत्त लर्निंग को बूस्टस्ट्रैप कर सकता है।
अनुभवजन्य सत्यापन (Empirical Validation):
- सिमुलेशन: LIBERO-Long और RoboCasa पर, MiDAS एक एकल प्रदर्शन से उच्च सफलता दर (जैसे, LIBERO पर ~91%) प्राप्त करता है, जो फ़िल्टर्ड BC, डिफ्यूजन-स्टीयरिंग RL (DSRL), और DICE-RL जैसे बेसलाइन को काफी पीछे छोड़ देता है।
- वास्तविक दुनिया: विधि को सफलतापूर्वक एक बाइमैनुअल YAM प्लेटफॉर्म पर स्थानांतरित किया गया। एक जटिल कार्य (चाकू और डोनट रखना) पर ~27% सफलता से शुरू होकर, MiDAS ने लगभग 6 घंटे के स्वायत्त इंटरेक्शन के बाद मजबूती को 80% तक सुधार लिया।
मैकेनिस्टिक अंतर्दृष्टि (Mechanistic Insights): लेखक अनुभवजन्य रूप से पुष्टि करते हैं कि:
- सैंपल दक्षता के लिए प्री-ट्रेन किए गए VLA रिप्रजेंटेशन आवश्यक हैं; जेनेरिक विजुअल प्रीट्रेनिंग (जैसे, DINO) या शून्य से प्रशिक्षण $K=1$ के साथ अभिसरण (converge) करने में विफल रहता है।
- बिहेवियर क्लोनिंग मोटे तौर पर कार्य ग्राउंडिंग प्रदान करती है लेकिन विश्वसनीय नियंत्रण नहीं।
- ऑनलाइन रेसिडुअल RL उन क्रियाओं को सीखने के लिए आवश्यक है जो फ्यू-शोट पॉलिसी के प्रभावी सपोर्ट (effective support) के बाहर स्थित होती हैं, जो DSRL जैसे बेसलाइन में मौजूद नहीं है।

परिणाम और सामान्यीकरण (Generalization)

प्रदर्शन: MiDAS विविध लॉन्ग-होरिज़न कार्यों में निरंतर मजबूत प्रदर्शन प्राप्त करता है। "वन डेमोंस्ट्रेशन" सेटिंग में, यह कई LIBERO कार्यों पर लगभग पूर्ण सफलता प्राप्त करता है जहाँ ज़ीरो-शॉट और मानक बेसलाइन पूरी तरह विफल हो जाते हैं।
सामान्यीकरण:
- ऑब्जर्वेशन शिफ्ट्स: विधि फ्रोजन VLM बैकबोन से विजुअल (रंग, बनावट) और लैंग्वेज शिफ्ट्स के प्रति मजबूती विरासत में प्राप्त करती है।
- स्टेट शिफ्ट्स: ऑनलाइन RL मध्यम स्टेट शिफ्ट्स (जैसे, वस्तु की स्थिति, आकार परिवर्तन) के प्रति मजबूती में सुधार करता है, जहाँ आवश्यक हेरफेर रणनीति समान रहती है। हालांकि, प्रदर्शन उन शिफ्ट्स पर गिर जाता है जिनमें मौलिक रूप से नई रणनीतियों की आवश्यकता होती है (जैसे, वस्तु का बदलना या श्रेणी परिवर्तन), जो एकल प्रदर्शन की सीमाओं को दर्शाता है।
- करिकुलम लर्निंग: शोध पत्र दिखाता है कि ऑनलाइन RL के दौरान रिसेट डिस्ट्रीब्यूशन को धीरे-धीरे विस्तृत करके, अतिरिक्त मानव डेटा की आवश्यकता के बिना 50 प्रदर्शनों पर प्रशिक्षित नीतियों के समान सामान्यीकरण प्रदर्शन प्राप्त किया जा सकता है।

महत्व और दावे

शोध पत्र दावा करता है कि यह एक सामान्यवादी प्री-ट्रेन की गई नीति का उपयोग करके एकल कार्य प्रदर्शन (single task demonstration) से विश्वसनीय रोबोट पॉलिसी अनुकूलन का पहला प्रदर्शन प्रदान करता है।

लेखक तर्क देते हैं कि MDA एक ऐसा महत्वपूर्ण रिजीम है जहाँ तीन घटकों का मेल स्वायत्त सुधार को सक्षम बनाता है:

प्रीट्रेनिंग: पुन: प्रयोज्य फीचर्स और व्यापक एक्शन प्रायर्स प्रदान करती है।
डेमोंस्ट्रेशन: नीति को विशिष्ट कार्य के लिए एंकर करते हैं, जिससे कार्य-प्रासंगिक व्यवहार सुलभ हो जाता है।
स्वायत्त इंटरेक्शन: मजबूती प्राप्त करने और डिस्ट्रीब्यूशन शिफ्ट्स को संभालने के लिए आवश्यक सुधार प्रदान करता है।

यह कार्य सुझाव देता है कि आधुनिक प्री-ट्रेन की गई रोबोट नीतियां एक ऐसे परिपक्वता स्तर पर पहुंच गई हैं जहां वे कार्य की सफलता के इतने "करीब" हैं कि एक एकल प्रदर्शन उन्हें सीखने योग्य बना सकता है, बशर्ते अनुकूलन रणनीति (MiDAS) लर्निंग प्रक्रिया को स्थिर करने और शुरुआती फ्यू-शॉट पॉलिसी के सपोर्ट से परे एक्शन डिस्ट्रीब्यूशन को विस्तारित करने के लिए डिज़ाइन की गई हो। यह कार्य विनम्र रहते हुए स्वीकार करता है कि जबकि MDA उन व्यवहारों के लिए काम करता है जो प्रीट्रेनिंग डिस्ट्रीब्यूशन में अच्छी तरह से दर्शाए गए हैं, पूरी तरह से नए व्यवहार मोड या सूक्ष्म हेरफेर (dexterous manipulation) वाले कार्यों के अनुकूल होने के लिए अभी भी अधिक पर्यवेक्षण या भिन्न तंत्रों की आवश्यकता हो सकती है।