🤖 machine learning

Robotic Policy Adaptation via Weight-Space Meta-Learning

यह शोध पत्र WIZARD का प्रस्ताव करता है, जो एक वेट-स्पेस मेटा-लर्निंग फ्रेमवर्क है जो केवल एक भाषा निर्देश और एक लघु वीडियो से कार्य-विशिष्ट LoRA पैरामीटर उत्पन्न करके फ्रोजन विजन-लैंग्वेज-एक्शन (VLA) मॉडल्स को नई रोबोटिक टास्क के लिए कुशल अनुकूलन सक्षम बनाता है, जिससे लक्षित-कार्य एक्शन लेबल्स या टेस्ट-टाइम फाइन-ट्यूनिंग की आवश्यकता समाप्त हो जाती है।

मूल लेखक: Christian Bianchi, Siamak Yousefi, Alessio Sampieri, Andrea Roberti, Luca Rigazio, Fabio Galasso, Luca Franco

प्रकाशित 2026-06-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Christian Bianchi, Siamak Yousefi, Alessio Sampieri, Andrea Roberti, Luca Rigazio, Fabio Galasso, Luca Franco

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट शेफ है जिसने दुनिया की हर कुकबुक पढ़ ली है और लाखों कुकिंग वीडियो देख लिए हैं। यह रोबोट, जो एक विशाल AI मॉडल जिसे VLA (Vision-Language-Action) कहा जाता है, द्वारा संचालित है, सैद्धांतिक रूप से लगभग कुछ भी बनाना जानता है।

हालाँकि, एक समस्या है: यदि आप इस रोबोट को कोई विशिष्ट नई डिश बनाने के लिए कहते हैं, जैसे कि "ट्विस्ट के साथ ग्रिल्ड चीज़," तो यह अक्सर रुक जाता है या विफल हो जाता है। इसे काम करने के योग्य बनाने के लिए, आपको आमतौर पर इसे उस विशिष्ट डिश को करने का सटीक तरीका दिखाने में घंटों बिताने पड़ते हैं, जिसमें हर एक हरकत को लेबल करना होता है (जैसे ब्रेड उठाना, मक्खन लगाना, पलटना), और फिर रोबोट के दिमाग को फिर से प्रशिक्षित (retrain) करना होता है। यह धीमा, महंगा और स्केल करने में कठिन है।

WIZARD से मिलिए।

WIZARD को एक नए शेफ के रूप में नहीं, बल्कि एक जादुई "इंस्टेंट अडैप्टर" मशीन के रूप में सोचें। रोबोट के पूरे दिमाग को फिर से प्रशिक्षित करने के बजाय, WIZARD एक कस्टमाइज़ेबल लेंस की तरह काम करता है जिसे आप केवल एक विशिष्ट कार्य के लिए रोबोट की आँखों और मस्तिष्क पर लगा सकते हैं।

यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. समस्या: "एक-आकार-सबके-लिए-नहीं" वाला रोबोट

वर्तमान रोबट सामान्य-उद्देश्य वाले उपकरणों की तरह हैं। वे कई चीजों में बहुत अच्छे हैं लेकिन बिना मदद के विशिष्ट नए कामों में खराब हैं। आमतौर पर, उन्हें नया काम सिखाने के लिए आपको चाहिए:

किसी व्यक्ति द्वारा वह काम करने का एक वीडियो।
एक विस्तृत स्क्रिप्ट जो बताती है कि हाथों की गति बिल्कुल कैसी होनी चाहिए (एक्शन लेबल्स)।
रोबोट को फिर से प्रशिक्षित करने के लिए कंप्यूटर के घंटों का समय।

2. समाधान: "जादुई लेंस" (LoRA)

शोधकर्ताओं ने एक सिस्टम बनाया जिसे WIZARD (Weight-space Inference for Zero-shot Adaptation from Robotic Demonstration) कहा जाता है।

कल्पना कीजिए कि रोबोट का दिमाग ज्ञान का एक विशाल, जमा हुआ पुस्तकालय है। आप पुस्तकालय की किताबों को दोबारा नहीं लिख सकते (वह बहुत धीमा है)। इसके बजाय, WIZARD एक छोटा, कस्टम चीट शीट (जिसे LoRA अडैप्टर कहा जाता है) लिखता है जो रोबोट को उसके मौजूदा ज्ञान का उपयोग करने के तरीके के बारे में बताता है।

पुराना तरीका: हर नई रेसिपी के लिए पूरा पुस्तकालय फिर से लिखना।
WIZARD का तरीका: एक छोटा, 2-पेज का चीट शीट लिखना जो उस एक रेसिपी के लिए पुस्तकालय में पूरी तरह फिट बैठता है।

3. WIZARD कैसे सीखता है ("मेटा-लर्निंग" वाला भाग)

इन चीट शीट्स को लिखना सीखने के लिए, WIZARD एक विशेष प्रशिक्षण चरण से गुजरता है:

ट्रेनिंग कैंप: शोधकर्ता WIZARD को हजारों अलग-अलग रोबोट कार्यों के माध्यम से दिखाते हैं। प्रत्येक कार्य के लिए, वे पहले एक रोबोट को इसे पूरी तरह से करने के लिए सिखाते हैं (एक "परफेक्ट एक्सपर्ट" बनाना)।
पैटर्न मैच: WIZARD निर्देशों (भाषा) और कार्य के वीडियो को देखता है, और फिर वह "परफेक्ट एक्सपर्ट" के चीट शीट को देखता है।
सबक: WIZARD पैटर्न सीखता है: "जब मैं ब्लॉक्स को स्टैक करने के वीडियो को देखता हूँ और 'ब्लॉक्स को स्टैक करें' शब्द सुनता हूँ, तो चीट शीट ऐसी दिखनी चाहिए।"

यह सीधे टास्क एविडेंस (भाषा + वीडियो) को टास्क वेट्स (चीट शीट) में मैप करना सीखता है।

4. जादुई ट्रिक: ज़ीरो-शॉट इन्फरेंस (Zero-Shot Inference)

यह सबसे शानदार हिस्सा है। एक बार प्रशिक्षित होने के बाद, आप WIZARD को एक बिल्कुल नया कार्य दे सकते हैं जिसे उसने पहले कभी नहीं देखा है।

इनपुट: आप इसे एक भाषा प्रॉम्प्ट ("लाल कप उठाएं") और किसी के कार्य करने का एक छोटा वीडियो देते हैं।
लेबल्स की जरूरत नहीं: आपको रोबोट को यह बताने की आवश्यकता नहीं है कि अपनी उंगलियों को कैसे हिलाना है। आपको बस उसे यह दिखाना है कि क्या करना है।
तत्काल परिणाम: एक ही सेकंड के भीतर (एक फॉरवर्ड पास में), WIZARD परफेक्ट "चीट शीट" (अडैप्टर वेट्स) तैयार करता है और उसे फ्रीज किए गए रोबोट ब्रेन पर चिपका देता है।
कोई रिट्रेनिंग नहीं: रोबोट अब बिना किसी और लर्निंग या ऑप्टिमाइज़ेशन के, तुरंत उस विशिष्ट कार्य के लिए विशेषज्ञ बन जाता है।

5. वास्तविक दुनिया के परिणाम

शोधकर्ताओं ने इसका परीक्षण एक सिम्युलेटेड रोबोट और एक वास्तविक रोबोट आर्म (फ्रैंका एमिका पांडा) पर किया।

सिमुलेशन में: जब पूरी तरह से नए कार्यों का सामना करने पर, WIZARD बिना रिट्रेनिंग के काम पूरा करने में मानक तरीकों की तुलना में 14 गुना बेहतर था।
वास्तविक दुनिया में: एक वास्तविक रोबोट आर्म पर, WIZARD ने लगातार बेसलाइन को पछाड़ दिया, और अन-अडैप्टेड रोबोट की तुलना में केले, सेब और कप को बहुत अधिक बार सफलतापूर्वक उठाया।

सारांश उपमा (Analogy)

सोचिए कि रोबोट का दिमाग एक यूनिवर्सल रिमोट कंट्रोल है जिसमें हर चीज के बटन हैं, लेकिन वे सभी बिखरे हुए हैं।

स्टैंडर्ड फाइन-ट्यूनिंग: आप हर नया टीवी खरीदने के लिए रिमोट को खोलते हैं और उसके सर्किट को फिर से वायर करते हैं।
WIZARD: आपके पास एक स्मार्ट डिवाइस है जो टीवी मॉडल और मैनुअल को देखता है, और फिर तुरंत एक स्टिकर प्रिंट करता है जिसे आप बिखरे हुए बटनों के ऊपर लगाते हैं। स्टिकर उन बटनों को उस विशिष्ट टीवी के लिए पूरी तरह से व्यवस्थित कर देता है। आपको रिमोट को फिर से वायर करने की आवश्यकता नहीं है; आप बस स्टिकर चिपकाते हैं, और यह काम करता है।

मुख्य बात: WIZARD आपको केवल एक वाक्य और एक छोटे वीडियो से रोबोट को नए कार्य तुरंत सिखाने की अनुमति देता है, जिससे पूरे सिस्टम को फिर से प्रशिक्षित करने की धीमी और महंगी प्रक्रिया बच जाती है। यह एक सामान्य-उद्देश्य वाले रोबोट को पलक झपकते ही एक विशिष्ट विशेषज्ञ में बदल देता है।

तकनीकी सारांश: WIZARD – वेट-स्पेस मेटा-लर्निंग के माध्यम से रोबोटिक पॉलिसी अनुकूलन

समस्या विवरण

विज़न-लैंग्वेज-एक्शन (VLA) मॉडल रोबोटिक मैनिपुलेशन के लिए एक आशाजनक प्रतिमान के रूप में उभरे हैं, जो प्रदर्शनों (demonstrations) के विशाल संग्रह पर बड़े पैमाने पर प्रीट्रेनिंग का लाभ उठाते हैं। हालाँकि, उनके परिनियोजन (deployment) में एक महत्वपूर्ण बाधा बनी हुई है: इन सामान्य-उद्देश्य वाले मॉडलों को नई, अनदेखी कार्यों (unseen tasks) के लिए अनुकूलित करने हेतु आमतौर पर एक्शन लेबल के साथ कार्य-विशिष्ट प्रदर्शनों और अतिरिक्त फाइन-ट्यूनिंग की आवश्यकता होती है। यह प्रक्रिया महंगी है, इसे स्केल करना कठिन है, और अक्सर वितरण बदलाव (distribution shifts) के दौरान गंभीर प्रदर्शन गिरावट का परिणाम देती है (उदाहरण के लिए, स्टेट-ऑफ-द-आर्ट $\pi0.5$ मॉडल अनदेखे LIBERO-Spatial डेटासेट पर 0% सफलता प्राप्त करता है)।

जबकि लो-रैंक एडेप्टेशन (LoRA) मॉडलों को विशिष्ट बनाने का एक पैरामीटर-कुशल तरीका प्रदान करता है, मानक LoRA फाइन-ट्यूनिंग के लिए अभी भी प्रत्येक नए लक्षित कार्य के लिए एक्शन-लेबल वाले डेटा और ग्रेडिएंट-आधारित अनुकूलन की आवश्यकता होती है। मौजूदा विकल्प, जैसे कि इन-कॉन्टेक्स्ट प्रॉम्प्टिंग या पैरामीटर जनरेशन विधियाँ, अक्सर विशेषाधिकार प्राप्त जानकारी (जैसे लक्ष्य चित्र), एक्शन-स्पेस सुपरविजन पर निर्भर करते हैं या बड़े VLA बैकबोन तक स्केल करने में विफल रहते हैं। संबोधित किया गया केंद्रीय प्रश्न यह है: क्या VLA पॉलिसियों को टेस्ट के समय कार्य-विशिष्ट अनुकूलन के बिना, केवल भाषा निर्देशों और लघु प्रदर्शन वीडियो के आधार पर नए कार्यों के लिए अनुकूलित किया जा सकता है?

कार्यप्रणाली: WIZARD

लेखक WIZARD (वेट-स्पेस इन्फरेंस फॉर ज़ीरो-शॉट एडेप्टेशन फ्रॉम रोबोटिक डेमोंस्ट्रेशन) प्रस्तावित करते हैं, जो एक वेट-स्पेस मेटा-लर्निंग फ्रेमवर्क है। इन्फरेंस के दौरान पॉलिसी पैरामीटर्स को अनुकूलित करने के बजाय, WIZARD अनुकूलन को एक पैरामीटर इन्फरेंस समस्या के रूप में मानता है जहाँ एक मेटा-नेटवर्क सीधे कार्य-विशिष्ट LoRA अपडेट्स की भविष्यवाणी करता है।

1. फॉर्मूलेशन और मेटा-डेटासेट निर्माण

यह फ्रेमवर्क एक फ्रोजन (frozen) VLA बैकबोन ( $G_W$ जिसके पैरामीटर्स $W$ हैं) पर कार्य करता है।

कार्य साक्ष्य (Task Evidence - $z$ ): प्रत्येक कार्य $\tau^{(k)}$ के लिए, एक टास्क एम्बेडिंग जेनरेट की जाती है जो एक भाषा प्रॉम्प्ट ( $p$ ) और विजुअल ऑब्जर्वेशन ( $v$ ) को फ्रोजन VLA एनकोडर का उपयोग करके एनकोड करती है। इसे एपिसोड के एक उपसमुच्चय (subset) से एकत्रित किया जाता है।
एक्सपर्ट अपडेट्स ( $\Delta W$ ): मेटा-ट्रेनिंग सेट में प्रत्येक कार्य के लिए, एक एक्सपर्ट LoRA एडेप्टर ( $\Delta W^{(k)}$ ) को एक्शन-लेबल वाले डेटा पर मानक फाइन-ट्यूनिंग के माध्यम से प्रशिक्षित किया जाता है।
मेटा-ट्रेनिंग डेटा: डेटासेट $(z^{(k)}, \Delta W^{(k)})$ के जोड़ों से बना है, जो कार्य साक्ष्य को संबंधित एक्सपर्ट वेट अपडेट्स के साथ मैप करता है। महत्वपूर्ण रूप से, मेटा-नेटवर्क को केवल साक्ष्य ( $p, v$ ) और परिणामी वेट्स पर प्रशिक्षित किया जाता है; यह उन स्टेट-एक्शन ट्रेजेक्टरीज ( $s, a$ ) को नहीं देखता जिनका उपयोग एक्सपर्ट्स को प्रशिक्षित करने के लिए किया गया था।

2. मेटा-नेटवर्क आर्किटेक्चर और ट्रेनिंग

एक मेटा-नेटवर्क $f$ सीखता है कि $z \to \Delta \tilde{W}$ को कैसे मैप किया जाए, जो एक सिंगल फॉरवर्ड पास में नए कार्य के लिए LoRA पैरामीटर्स की भविष्यवाणी करता है। रोबोटिक कंट्रोल में स्थिरता और प्रभावशीलता सुनिश्चित करने के लिए, तीन विशिष्ट डिज़ाइन सिद्धांत पेश किए गए हैं:

मल्टीमॉडल वेट स्ट्रक्चर: यह पहचानते हुए कि VLAs धारणा (perception), तर्क (reasoning) और नियंत्रण (control) मॉड्यूल को जोड़ते हैं, LoRA अपडेट्स को टेंसर ( $\mathbb{R}^{L \times 3 \times r \times H}$ ) के रूप में संरचित किया गया है जो आर्किटेक्चरल सीमाओं को सुरक्षित रखते हुए विजन, लैंग्वेज और एक्शन घटकों को स्पष्ट रूप से अलग करता है।
स्केल-अवेयर पैरामीटर जनरेशन: रोबोटिक पॉलिसियाँ पैरामीटर मैग्नीट्यूड के प्रति संवेदनशील होती हैं। नेटवर्क संयुक्त रूप से नॉर्मलाइज्ड वेट अपडेट्स और प्रति-लेयर स्टैटिस्टिक्स (मीन और स्टैंडर्ड डेविएशन) की भविष्यवाणी करता है। अंतिम वेट्स को इन प्रेडिक्टेड स्टैटिस्टिक्स का उपयोग करके रीस्केल किया जाता है ताकि हेट्रोजेनियस पैरामीटर मैग्नीट्यूड के कारण होने वाले विचलन (divergence) को रोका जा सके।
अलाइनमेंट-ओरिएंटेड सुपरविजन: स्टैंडर्ड मीन स्क्वेर्ड एरर (MSE) रिकंस्ट्रक्शन के अलावा, ट्रेनिंग ऑब्जेक्टिव में एक कोसाइन सिमिलैरिटी लॉस शामिल है। यह वेट स्पेस में जेनरेटेड और एक्सपर्ट अपडेट्स के बीच दिशात्मक निरंतरता (directional consistency) को लागू करता है, जिससे पॉलिसी की कार्यात्मक दिशा सुरक्षित रहती है।

कुल लॉस फंक्शन MSE, स्केल रिकंस्ट्रक्शन और कोसाइन अलाइनमेंट टर्म्स को जोड़ता है:
$\mathcal{L} = \mathcal{L}_{\text{MSE}} + \lambda_{\text{scale}} \mathcal{L}_{\text{scale}} + \lambda_{\text{cos}} \mathcal{L}_{\text{cos}}$

3. ज़ीरो-शॉट इन्फरेंस

एक नए प्रॉम्प्ट और वीडियो ( $p_{\text{new}}, v_{\text{new}}$ ) के साथ एक अनदेखे कार्य के लिए, सिस्टम:

कार्य एम्बेडिंग $z_{\text{new}}$ की गणना करता है।
एक सिंगल फॉरवर्ड पास में एडेप्टर $\Delta \tilde{W}_{\text{new}} = f(z_{\text{new}})$ जेनरेट करता है।
एडेप्टर को फ्रोजन बैकबोन ( $W + \Delta \tilde{W}_{\text{new}}$ ) में इंजेक्ट करता है।
इस प्रक्रिया के लिए टेस्ट के समय कोई एक्शन लेबल, कोई विशेषाधिकार प्राप्त गोल इंफॉर्मेशन, और कोई ग्रेडिएंट-आधारित ऑप्टिमाइजेशन की आवश्यकता नहीं है।

मुख्य योगदान

VLAs के लिए वेट-स्पेस मेटा-लर्निंग: WIZARD फ्रोजन VLA पॉलिसियों के लिए सीधे कार्य-साक्ष्य से कार्य-विशिष्ट LoRA एडेप्टर जेनरेट करने वाला पहला फ्रेमवर्क है, जो प्रति-कार्य फाइन-ट्यूनिंग की आवश्यकता को समाप्त करता है।
फाइन-ट्यूनिंग-मुक्त अनुकूलन: यह विधि केवल एक भाषा प्रॉम्प्ट और एक लघु प्रदर्शन वीडियो का उपयोग करके ज़ीरो-शॉट अनुकूलन सक्षम करती है, जिससे एक्शन एनोटेशन या टेस्ट-टाइम ऑप्टिमाइजेशन की आवश्यकता समाप्त हो जाती है।
मजबूत प्रशिक्षण तंत्र: पेपर रोबोटिक वेट जनरेशन के लिए विशिष्ट तकनीकें पेश करता है, जिसमें मल्टीमॉडल वेट स्ट्रक्चरिंग, स्केल-अवेयर प्रेडिक्शन और डायरेक्शनल सुपरविजन शामिल है, जो निरंतर नियंत्रण डोमेन (continuous control domains) में स्थिर अभिसरण (stable convergence) के लिए महत्वपूर्ण हैं।

प्रयोगात्मक परिणाम

फ्रेमवर्क का मूल्यांकन LIBERO बेंचमार्क सुइट (Goal, Object, Spatial, और 10 डेटासेट्स) पर और एक वास्तविक फ्रैंका एमिका पांडा (Franka Emika Panda) रोबोट पर किया गया।

सिमुलेशन बेंचमार्क (LIBERO)

अनदेखे डेटासेट्स: अनदेखे डेटासेट कलेक्शंस (जैसे, Object/Goal/10 पर ट्रेनिंग, Spatial पर टेस्टिंग) पर, WIZARD ने MT-VLA बेसलाइन्स की तुलना में प्रदर्शन में लगभग 2 $\times$ सुधार किया।
अनदेखे कार्य: होल्ड-आउट डिस्ट्रीब्यूशंस के भीतर विशिष्ट अनदेखे कार्यों पर, WIZARD ने बेसलाइन्स की तुलना में 14 $\times$ तक का सुधार दिखाया।
तुलना: जबकि बेस $\pi0.5$ मॉडल अनदेखे कार्यों पर 0% सफलता प्राप्त करता है और MT-VLA बेसलाइन्स मामूली लाभ (जैसे, Spatial पर 19%) प्राप्त करते हैं, WIZARD ने LIBERO-Spatial पर 40% की औसत सफलता दर हासिल की और रिट्रीवल-आधारित (Nearest-Neighbor) और मानक फाइन-ट्यूनिंग बेसलाइन्स को काफी पीछे छोड़ दिया।
वास्तविक दुनिया का प्रदर्शन: फ्रैंका एमिका पांडा पर, WIZARD ने रियल-डोमेन एडेप्टेड बेसलाइन (DROID पर प्रीट्रेन और हल्का एडेप्टेड) को लगातार पछाड़ते हुए, पांच मैनिपुलेशन कार्यों में औसत सफलता दर को 0.22 से बढ़ाकर 0.41 कर दिया।

दक्षता और वार्म-स्टार्ट

डेटा दक्षता: WIZARD ने बिना किसी कार्य-विशिष्ट ग्रेडिएंट अपडेट के उपयोग के, 25 प्रदर्शनों के साथ फाइन-ट्यून की गई MT-VLA पॉलिसी के प्रदर्शन के बराबर प्रदर्शन किया।
वार्म-स्टार्ट: जब बाद में फाइन-ट्यूनिंग की अनुमति दी गई, तो WIZARD-जेनरेटेड वेट्स से शुरू करने से अभिसरण (convergence) तेज हुआ, जो मानक इनिशियलाइजेशन के 90 स्टेप्स की तुलना में 70 स्टेप्स में एक्सपर्ट परफॉरमेंस तक पहुँच गया।

महत्व और दावे

पेपर दावा करता है कि WIZARD यह प्रदर्शित करता है कि रोबोटिक पॉलिसी पैरामीटर्स एक स्ट्रक्चर्ड, सीखने योग्य वेट मैनिफोल्ड (weight manifold) पर स्थित होते हैं। मेटा-लर्निंग के माध्यम से इस स्पेस को पार करके, टेस्ट-टाइम फाइन-ट्यूनिंग के बिना नवीन स्थानिक कॉन्फ़िगरेशन और कार्यों के लिए ज़ीरो-शॉट जनरलाइजेशन प्राप्त करना संभव है।

लेखक WIZARD को बड़े VLA मॉडल्स के परिनियोजन संबंधी बाधा के समाधान के रूप में देखते हैं। मल्टीमॉडल साक्ष्य से ऑन-डिमांड एडेप्टर जेनरेट करके, यह फ्रेमवर्क प्रीट्रेन फाउंडेशन मॉडल्स और कार्य-विशिष्ट एक्सपर्ट्स के बीच के अंतर को पाटता है। यह कार्य दर्शाता है कि वेट-स्पेस जनरेशन उन कार्य-विशिष्ट संरचनाओं और क्षमताओं को पुनः प्राप्त कर सकता है जिन्हें मानक ज़ीरो-शॉट बेसलाइन्स मिस कर देते हैं, जो हर नए परिदृश्य के लिए लेबल किए गए एक्शन डेटा एकत्र करने के ओवरहेड के बिना अनुकूलन योग्य रोबोटिक पॉलिसियों को तैनात करने का मार्ग प्रशस्त करता है।

स्वीकृत सीमाएँ: लेखक नोट करते हैं कि WIZARD का प्रदर्शन कार्य साक्ष्य की गुणवत्ता पर निर्भर करता है (अस्पष्ट प्रदर्शन अविश्वसनीय एडेप्टर दे सकते हैं) और वर्तमान में यह सिंगल-टास्क एक्सपर्ट जनरेशन को लक्षित करता है, जो LIBERO-10 जैसे लॉन्ग-होराइजन कंपोजिशनल कार्यों के लिए इसकी प्रभावशीलता को सीमित करता है।