Fine-Tuning VLAs with Self-Demonstrated Generative Control for Multi-Task Manipulation
यह शोध पत्र एक स्व-पर्यवेक्षित फाइन-ट्यूनिंग पद्धति प्रस्तावित करता है जो ज़ीरो-शॉट विज़न-लैंग्वेज-एक्शन (VLA) मॉडलों से ऑनलाइन इंटरेक्शन रोलआउट्स का लाभ उठाती है ताकि नए रोबोटिक स्वरूपों को उनकी मूल निर्देश-अनुपालन क्षमताओं और पूर्व कार्य ज्ञान को सुरक्षित रखते हुए विशेषज्ञ डेटा से नए कौशल सीखने में सक्षम बनाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
रोबोट लंबे समय से एक कमांड और वास्तविकता के बीच के अंतर को समझने के लिए संघर्ष करते रहे हैं। दशकों तक, इंजीनियर एक मशीन को उसके हाथ को पूर्ण सटीकता के साथ चलाने के लिए प्रोग्राम कर सकते थे, लेकिन वह मशीन "लाल कप उठाओ" जैसे एक सरल वाक्य को नहीं समझ सकती थी। हाल के वर्षों में, इस अंतर को पाटने के लिए एक नए प्रकार का आर्टिफिशियल इंटेलिजेंस उभरा है। ये सिस्टम, जिन्हें विजन-लैंग्वेज-एक्शन मॉडल के रूप में जाना जाता है, भारी मात्रा में डेटा पर प्रशिक्षित किए जाते हैं ताकि वे समझ सकें कि शब्द, चित्र और शारीरिक गतिविधियाँ कैसे जुड़ती हैं। वे एक दृश्य को देख सकते हैं, एक अनुरोध पढ़ सकते हैं, और निर्णय ले सकते हैं कि क्या करना है, जो एक ऐसे भविष्य की झलक देता है जहाँ रोबोट को कोडेड निर्देशों के बजाय साधारण अंग्रेजी में बताया जा सकता है कि क्या करना है। हालाँकि, एक जिद्दी समस्या बनी हुई है: ये मॉडल अक्सर एक नियंत्रित सेटिंग में एक विशिष्ट रोबोट पर प्रशिक्षित होते हैं, और जब शोधकर्ता उन्हें किसी अन्य मशीन पर, यहाँ तक कि थोड़ी अलग मशीन पर भी उपयोग करने की कोशिश करते हैं, तो रोबोट अक्सर विफल हो जाता है। यह शब्दों को पूरी तरह से समझ सकता है लेकिन किसी वस्तु को पकड़ने के भौतिक कार्य में लड़खड़ा सकता है, या इससे भी बुरा, यदि इसे एक नया कार्य सीखने के लिए मजबूर किया जाए तो यह निर्देशों का पालन करना पूरी तरह से भूल सकता है।
इलिनोइस विश्वविद्यालय अर्बाना-शैंपेन के शोधकर्ताओं की एक टीम ने इसे बिना हजारों घंटों के नए मानव प्रदर्शनों (human demonstrations) को एकत्र किए ठीक करने का एक तरीका खोज लिया है। उन्होंने पाया कि जब एक रोबोट किसी कार्य को करने में विफल होता है, तो उसके असफल प्रयास अभी भी मूल्यवान जानकारी रखते हैं। रोबोट को अपने आप चीजें करने देने और उन प्रयासों से सीखने देकर, वे उसे नए कौशल सिखा सकते हैं जबकि उसकी भाषा समझने की क्षमता को बरकरार रख सकते हैं। उनका दृष्टिकोण एक दो-चरणीय प्रक्रिया शामिल करता है। पहले, वे एक पूर्व-प्रशिक्षित रोबोट मस्तिष्क लेते हैं और उसे थोड़े से विशेषज्ञ डेटा के साथ दिखाते हैं—केवल चौदह मिनट का मानव मार्गदर्शन जिसमें रोबोट को एक विशिष्ट कार्य, जैसे कि एक क्यूब उठाना, सिखाया गया हो। यह रोबोट को उस विशिष्ट मशीन के लिए आवश्यक सूक्ष्म मोटर कौशल सिखाता है। लेकिन यदि वे यहीं रुक जाते हैं, तो रोबोट वह सब कुछ भूल जाता है जो वह पहले से जानता था, जैसे कि किसी वस्तु को कहीं और रखना या विभिन्न प्रकार की वस्तुओं को संभालना। इसे हल करने के लिए, शोधकर्ताओं ने रोबोट को उन निर्देशों का उपयोग करके अपने आप अभ्यास करने दिया जिन्हें वह पहले से समझता है। उन्होंने रोबोट को उन विभिन्न कार्यों को करने के लिए कहा जो उसने पहले देखे थे, उसके द्वारा किए गए कार्यों को रिकॉर्ड किया, और उन रिकॉर्डिंग्स को अतिरिक्त प्रशिक्षण डेटा के रूप में उपयोग किया। यह विधि, जिसे वे स्व-पर्यवेक्षित शिक्षण (self-supervised learning) कहते हैं, रोबोट को अपने पुराने कौशल का अभ्यास करने की अनुमति देती है जबकि वह नए कौशल सीख रहा होता है, जो प्रभावी रूप से उसे वह सब भूलने से रोकता है जो वह पहले से जानता था।
इस प्रयोग के परिणाम आश्चर्यजनक थे। जब टीम ने अपने तरीके का परीक्षण दो हाथों वाले एक वास्तविक रोबोट पर किया, तो रोबोट ने उच्च सफलता दर के साथ वस्तुओं को उठाने और उन्हें टोकरियों में रखने का कौशल सीखा, यहाँ तक कि उन कार्यों के लिए भी जिन्हें उसे मानव द्वारा स्पष्ट रूप से नहीं सिखाया गया था। एक परीक्षण सेट में, केवल वस्तुओं को उठाने के मानव प्रदर्शनों पर प्रशिक्षित एक रोबोट ने उन्हें रखने का कौशल पूरी तरह से खो दिया, और वस्तु को कंटेनर में ले जाने में 100% बार विफल रहा। जब शोधकर्ताओं ने प्रशिक्षण में रोबोट के अपने स्वयं के जनित अभ्यास डेटा को जोड़ा, तो वस्तुओं को रखने की सफलता दर बढ़कर 55% हो गई, और वस्तुओं को रखने की रोबोट की क्षमता में काफी सुधार हुआ। रोबोट ने केवल चीजों को पकड़ना ही नहीं सीखा; उसने पूरे वाक्य को समझना सीखा, यह जानते हुए कि कब कुछ उठाने के बाद रुकना है और कब उसे रखने के लिए दूसरी जगह ले जाना है। यह तब भी सच था जब वस्तुएं नई थीं या कमरे में वस्तुओं की व्यवस्था उस दृश्य से अलग थी जो रोबोट ने पहले देखा था।
शोधकर्ताओं ने इस विचार का परीक्षण एक सिम्युलेटेड वातावरण में भी किया, जो एक डिजिटल दुनिया है जहाँ रोबोट हार्डवेयर टूटने के जोखिम के बिना तेजी से सीख सकते हैं। इन सिमुलेशन में, उन्होंने पाया कि केवल मानव डेटा का उपयोग करके नए कार्यों पर प्रशिक्षण देने से रोबोट की पुराने कार्यों को करने की क्षमता कम हो गई, जिससे सफलता दर 90% से अधिक से गिरकर 17% से भी कम रह गई। अपने स्वयं के जनित अभ्यास डेटा को मिलाने के बाद, उन्होंने पुराने कार्यों को करने की क्षमता को पुनः प्राप्त किया, जिससे सफलता दर वापस 70% से ऊपर पहुँच गई, और साथ ही नए कार्यों पर प्रदर्शन में भी सुधार हुआ। यह सुझाव देता है कि रोबोट के अपने प्रयास, भले ही वे विफल हों, भौतिक दुनिया की एक प्रकार की स्मृति रखते हैं जो उसे लचीला रहने में मदद करती है। टीम ने नोट किया कि यह दृष्टिकोण विशेष रूप से उपयोगी है क्योंकि इसके लिए उस मूल, विशाल डेटासेट तक पहुँचने की आवश्यकता नहीं है जिसका उपयोग रोबोट को प्रशिक्षित करने के लिए किया गया था, जो अक्सर उन कंपनियों द्वारा गुप्त रखे जाते हैं जो उन्हें बनाती हैं। इसके बजाय, रोबोट अपने स्वयं के सीखने की सामग्री को सीधे फैक्ट्री फ्लोर या घर पर ही उत्पन्न करता है।
सबसे आश्चर्यजनक निष्कर्षों में से एक यह था कि इस पद्धति ने रोबв की उन कार्यों को संभालने की क्षमता को कितनी अच्छी तरह से संरक्षित किया जिनके लिए उसे प्रशिक्षित नहीं किया गया था। शोधकर्ताओं ने "धकेलने" (pushing) नामक एक कौशल का परीक्षण किया, जो न तो मानव प्रदर्शनों और न ही स्व-जनित अभ्यास के लिए प्रशिक्षण का हिस्सा था। वस्तुओं को उठाने और रखने के लिए मानव प्रदर्शनों पर प्रशिक्षित एक रोबोट वस्तुओं को धकेलने के निर्देश को अनदेखा करने लगा और इसके बजाय वस्तु को उठाने की कोशिश करने लगा, जिससे वह कार्य विफल हो गया। हालाँकि, स्व-पर्यवेक्षित पद्धति के साथ प्रशिक्षित रोबोट ने धकेलने के निर्देश को सही ढंग से समझा और 70% बार उस गति को निष्पादित किया। यह इंगित करता है कि स्व-पर्यवेक्षित दृष्टिकोण रोबोट को संकीर्ण आदतों के साथ अपनी व्यापक समझ को ओवरराइट करने के बजाय, उसके व्यापक संचालन को बनाए रखने में मदद करता है। शोधकर्ताओं ने देखा कि रोबोट जटिल स्थितियों को भी संभाल सकता था, जैसे कि किसी वस्तु के दृष्टि से ओझल होने पर पीछे मुड़कर देखना, एक ऐसा व्यवहार जो केवल मानव डेटा पर प्रशिक्षित रोबोट में प्रदर्शित नहीं हुआ।
यह अध्ययन रोबोट को नए वातावरण में अनुकूलित करने के तरीके में एक मौलिक बदलाव को रेखांकित करता है। रोबोट के विफलताओं को बेकार शोर के रूप में देखने के बजाय, शोधकर्ताओं ने उन्हें एक संसाधन के रूप में माना। रोबोट के अपने कार्यों को पुनरावृत्ति (rehearsal) के एक रूप के रूप में उपयोग करके, उन्होंने एक ऐसा सिस्टम बनाया जो अनुकूलन योग्य और मजबूत है। टीम ने प्रदर्शित किया कि केवल थोड़े से मानव मार्गदर्शन के साथ, रोबोट के अपने अभ्यास के संयोजन से, एक एकल पॉलिसी एक नई मशीन पर विभिन्न प्रकार के कार्य करने के लिए सीख सकती है। यह दृष्टिकोण "विनाशकारी विस्मृति" (catastrophic forgetting) की समस्या को हल करता है, जहाँ कुछ नया सीखने से एक सिस्टम वह सब खो देता है जो वह पहले जानता था। शोधकर्ताओं ने पाया कि यह विधि न केवल ब्लॉक स्टैकिंग जैसे सरल कार्यों के लिए काम करती है, बल्कि गियर को चलते हुए बोर्ड में डालने जैसे जटिल, संपर्क-प्रधान कार्यों के लिए भी काम करती है, जहाँ सफलता दर 30% से बढ़कर 90% हो गई।
हालाँकि यह पद्धति शक्तिशाली है, शोधकर्ता स्वीकार करते हैं कि यह पूर्ण नहीं है। रोबोट कभी-कभी अपने स्वयं के जनित डेटा से छोटी खामियां भी विरासत में प्राप्त करता है, जैसे कि किसी वस्तु को उठाने और रखने के लूप में फंस जाना, या कपड़े रखने की कोशिश करते समय टोकरी के किनारे को घसीटना। ये मुद्दे इसलिए उत्पन्न होते हैं क्योंकि रोबोट अपने स्वयं के अपूर्ण प्रयासों से सीख रहा है। असुरक्षित व्यवहार को रोकने के लिए, शोधकर्ताओं ने प्रशिक्षण के लिए उपयोग करने से पहले सबसे खराब उदाहरणों को मैन्युअल रूप से फ़िल्टर किया, लेकिन उन्होंने उल्लेख किया कि इस तकनीक को बड़े पैमाने पर लागू करने के लिए इस प्रक्रिया को स्वचालित करना एक आवश्यक कदम होगा। इन सीमाओं के बावजूद, यह कार्य रोबोट को अधिक व्यावहारिक और आसानी से तैनात करने योग्य बनाने के लिए एक आशाजनक मार्ग प्रदान करता है। यह सुझाव देता है कि एक बहुमुखी रोबोट की कुंजी केवल अधिक मानव डेटा एकत्र करने में नहीं है, बल्कि मशीन को उसके अपने अनुभवों से सीखने में सक्षम बनाने में है, जिससे वह एक कार्य से दूसरे कार्य में जाने के दौरान अपने ज्ञान को अपने साथ ले जा सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।