Generalizable VLA Finetuning via Representation Anchoring and Language-Action Alignment
यह शोध पत्र एंकर-अलाइन (Anchor-Align) का प्रस्ताव करता है, जो एक फाइनट्यूनिंग विधि है जो विजन-लैंग्वेज रिप्रेजेंटेशन एंकरिंग और लैंग्वेज-एक्शन अलाइनमेंट को जोड़ती है ताकि VLA पॉलिसियों में प्रीट्रेंड ज्ञान के ओवरराइट होने को रोका जा सके, जिससे विविध बेंचमार्क पर जनरलाइजेशन और रियल-रोबोट सफलता दर में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
रोबोट का मस्तिष्क: स्मृति, भाषा और काम पूरा करने की एक कहानी
कल्पना कीजिए कि आप एक रोबोट को घर के काम सिखा रहे हैं। आप हर एक हरकत को हाथ से प्रोग्राम नहीं करना चाहते; इसमें बहुत समय लगेगा। इसके बजाय, आप रोबोट को एक ऐसा "मस्तिष्क" देते हैं जिसने पहले से ही पूरे इंटरनेट को पढ़ लिया है। यह मस्तिष्क एक विज़न-लैंग्वेज मॉडल (VLM) है। इसे एक बहुत ही बुद्धिमान छात्र की तरह समझें जिसने लाखों तस्वीरें देखी हैं और लाखों किताबें पढ़ी हैं। वह जानता है कि "कप" (cup) कैसा दिखता है, कि "हरा" (green) एक रंग है, और "उठाना" (pick up) का अर्थ है किसी चीज़ को ऊपर उठाना। वह दुनिया को एक सामान्य तरीके से समझता है।
हालाँकि, दुनिया को जानना, उसमें काम करने जैसा नहीं है। इस मस्तिष्क को एक रोबोट बनाने के लिए, वैज्ञानिक बिहेवियर क्लोनिंग (Behavior Cloning) नामक तकनीक का उपयोग करते हैं। यह एक इंसान को कार्य करते हुए (जैसे लाल मग उठाना) दिखाने जैसा है और रोबोट को यह निर्देश देने जैसा है, "बिल्कुल इसी की नकल करो।" रोबोट वीडियो से मेल खाने के लिए अपने हाथ की गति को नियंत्रित करना सीखता है। बड़ी समस्या यह है कि जब रोबोट इस नए कौशल को सीखने की कोशिश करता है, तो वह अक्सर नकल करने में इतना डूब जाता है कि वह इंटरनेट से सीखी गई अपनी सारी बातें भूल जाता है। वह यह समझना बंद कर सकता है कि "लाल" का अर्थ एक विशिष्ट रंग है, या "मग" एक विशिष्ट वस्तु है। वह एक बिना दिमाग वाला नकलची बन जाता है जो दृश्य में थोड़ा सा भी बदलाव होने पर विफल हो जाता है। यही वह चुनौती है जिसे यह शोध पत्र संबोधित करता है: हम रोबोट को हिलना-डुलना कैसे सिखाएं बिना उसकी सोचने की क्षमता को खोए?
समाधान: अतीत को थामना और भविष्य को संरेखित करना
इस शोध पत्र के पीछे के शोधकर्ताओं ने, कंप्यूटर सिमुलेशन और एक वास्तविक भौतिक हाथ (physical arm) दोनों में रोबोटों के साथ काम करते हुए पाया कि रोबोटों को प्रशिक्षित करने का मानक तरीका दोषपूर्ण है। उन्होंने पाया कि जब आप केवल रोबोट को क्रियाओं की नकल करना सिखाते हैं, तो वह धीरे-धीरे भाषा और दृष्टि की अपनी समझ को मिटा देता है। इसे ठीक करने के लिए, उन्होंने एंकर-अलाइन (Anchor-Align) नामक एक नया प्रशिक्षण नुस्खा बनाया।
रोबोट के मस्तिष्क को एक नया, कठिन टेस्ट देने वाले छात्र के रूप में सोचें। मानक विधि (जिसे बिहेवियर क्लोनिंग कहा जाता है) उस छात्र को यह बताने जैसी है कि, "इतिहास और गणित के बारे में जो कुछ भी तुम जानते हो उसे भूल जाओ; बस इन विशिष्ट अभ्यास प्रश्नों के उत्तर याद कर लो।" अंततः, छात्र इतिहास और गणित को पूरी तरह भूल जाता है। यदि आप फिर उससे पूछते हैं, "फ्रांस की राजधानी क्या है?" तो वह शायद "न्यूयॉर्क" कह देगा क्योंकि उसने अभ्यास परीक्षण के लिए यही याद किया था, भले ही वह वास्तव में जानता हो।
एंकर-अलाइन इस टेस्ट के नियमों को दो चतुर तरीकों से बदलता है:
विज़न-लैंग्वेज एंकरिंग (मेमोरी एंकर - "स्मृति का लंगर"):
कल्पना कीजिए कि रोबोट का एक जुड़वां है, उसका एक "फ्रीज़्ड" (frozen) संस्करण जो कभी नहीं बदलता और जो इंटरनेट प्रशिक्षण से सीखी गई हर चीज़ को याद रखता है। जैसे-जैसे रोबोट हिलना-डुलना सीखता है, यह जुड़वां उस पर नज़र रखता है। हर बार जब रोबोट "कप" या "हरा" दिखने की अपनी समझ को बदलने की कोशिश करता है, तो जुड़वां कहता है, "एक मिनट रुको! तुम पहले जानते थे कि यह एक कप है। इसे मत भूलो!" इसे डिस्टिलेशन (distillation) कहा जाता है। यह एक सख्त ट्यूटर रखने जैसा है जो यह सुनिश्चित करता है कि छात्र विशिष्ट कौशल सीखते समय अपना सामान्य ज्ञान न खो दे। शोध पत्र दिखाता है कि इस "एंकर" के बिना, रोबोट अपनी विज़ुअल और भाषाई कौशल को लगभग पूरी तरह से भूल जाता है।लैंग्वेज-एक्शन अलाइनमेंट (कंसिस्टेंसी चेक - "संगति की जाँच"):
दूसरा मुद्दा जो इस शोध पत्र ने पाया है वह यह है कि रोबोट अक्सर इस बात को लेकर भ्रमित हो जाते हैं कि वे क्या कह रहे हैं और वे क्या कर रहे हैं। मानक प्रशिक्षण में, रोबलेट "गुलाबी मग उठाओ" कह सकता है लेकिन वास्तव में हरे रंग के मग की ओर हाथ बढ़ा सकता है क्योंकि उसने प्रशिक्षण वीडियो में वही देखा था। यह एक ऐसे व्यक्ति की तरह है जो कहता है, "मैं पार्क जा रहा हूँ," जबकि वह किराने की दुकान की ओर चल रहा है।
एंकर-अलाइन इसे इस प्रकार ठीक करता है कि रोबोट खुद से सहमत होने के लिए मजबूर होता है। यह रोबोट की क्रिया (हाथ को दाईं ओर ले जाना) को लेता है और उसे एक सरल शब्द लेबल (जैसे "दाएं" - Right) में बदल देता है। फिर, यह रोबोट के भाषाई मस्तिष्क से पूछता है कि क्या वह देखी गई तस्वीर के आधार पर उसी शब्द ("दाएं") की भविष्यवाणी कर सकता है। यदि रोबोट "बाएं" कहता है लेकिन "दाएं" चलता है, तो उसे दंड (penalty) मिलता है। यह रोबोट के शब्दों और उसकी गतिविधियों को एक ही पृष्ठ पर रहने के लिए मजबूर करता है।
उन्होंने क्या पाया: असली रोबोट, असली परिणाम
टीम ने इस पद्धति का परीक्षण दो अलग-अलग प्रकार के रोबोट मस्तिष्क और दो अलग-अलग दुनियाओं में किया: एक जटिल कंप्यूटर सिमुलेशन और एक वास्तविक भौतिक रोबोट आर्म (xArm7)।
कंप्यूटर सिमुलेशन में, उन्होंने ऐसे कठिन परीक्षणों का उपयोग किया जहाँ उन्होंने रोबोट के आसपास के दृश्य को बदल दिया। उदाहरण के लिए, उन्होंने वस्तुओं की स्थिति बदल दी या रोशनी बदल दी।
- पुराना तरीका: जब वस्तुओं को बदला गया, तो मानक रोबोट लगभग 100% बार विफल रहे। उन्होंने पुराने लेआउट को याद कर लिया था और वे अनुकूलन नहीं कर सके।
- नया तरीका: एंकर-अलाइन वाले रोबोट इन "बदले हुए" परिदृश्यों में 22.6% बार सफल रहे, जबकि सबसे अच्छे पिछले तरीकों का स्कोर 0% था।
- उन्होंने यह भी परीक्षण किया कि रोबोट अव्यवस्थायुक्त वातावरण (जैसे सेंसर शोर या अजीब रोशनी) को कितनी अच्छी तरह संभालते हैं। नए तरीके ने सफलता दर में उल्लेखनीय सुधार किया, बदलते बैकग्राउंड टेक्सचर में 99.6% सफलता और बदलती रोशनी की स्थिति में 99.0% सफलता प्राप्त की, जबकि अन्य तरीकों के स्कोर कम थे।
लेकिन सबसे रोमांचक हिस्सा वास्तविक दुनिया में हुआ। शोधकर्ताओं ने इस पद्धति को एक भौतिक रोबोट आर्म पर लगाया।
- परीक्षण: उन्होंने रोबोट को एक हरे मग को उठाने के लिए प्रशिक्षित किया। फिर, उन्होंने एक नए, अव्यवस्थायुक्त सेटअप में उसे एक गुलाबी मग उठाने के लिए कहकर इसका परीक्षण किया।
- परिणाम: पुराने तरीके से प्रशिक्षित मानक रोबोट ने निर्देश को अनदेखा कर दिया और 90% बार हरे मग की ओर बढ़ा। वह भूल गया था कि "गुलाबी" का क्या अर्थ है। हालाँकि, एंकर-अलाइन रोबोट ने निर्देश सुना और 100% बार गुलाबी मग उठाया।
- कुल मिलाकर, वास्तविक रोबोट पर, नए तरीके ने कठिन कार्यों की सफलता दर को एक प्रकार के रोबोट मस्तिष्क के साथ 28% से बढ़ाकर 54% और दूसरे के साथ 37% से बढ़ाकर 60% कर दिया।
यह क्यों महत्वपूर्ण है
यह शोध पत्र सुझाव देता है कि हमें एक ऐसे रोबोट के बीच चुनाव करने की आवश्यकता नहीं है जो स्मार्ट हो (भाषा और दृष्टि समझता हो) और एक ऐसे रोबोट के बीच जो कुशल हो (अपने हाथ को हिला सके)। पुराने तरीके के प्रशिक्षण ने एक समझौता (trade-off) थोप दिया था: अच्छा हिलने-डुलने के लिए, रोबोट को सोचना छोड़ना पड़ता था। एंकर-अलाइन साबित करता है कि आपके पास दोनों हो सकते हैं।
रोबोट की स्मृति को उसके मूल ज्ञान से "एंकर" करके और उसके शब्दों को उसकी क्रियाओं के साथ "अलाइन" करके, रोबोट बहुत अधिक लचीला हो जाता है। वह केवल एक वीडियो को याद नहीं करता; वह अपने सामने के दृश्य को समझने के लिए सीखता है, चाहे वस्तुएं कैसी भी व्यवस्थित हों या उनका रंग कुछ भी हो। लेखक बताते हैं कि इस पद्धति के लिए किसी नए डेटा या महंगे हार्डवेयर परिवर्तन की आवश्यकता नहीं है; यह केवल इस बात को बदलता है कि रोबोट को कैसे सिखाया जाता है। यह एक सरल नुस्खा है जो रोबोटों को वास्तविक, अप्रत्याशित दुनिया को संभालने में काफी बेहतर बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।