TEMPO: Semantic-Action Decoupled RL Post-Training for Vision-Language-Action Models
यह शोध पत्र TEMPO का प्रस्ताव करता है, जो एक सिमेंटिक-एक्शन डिकपल्ड सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो विजन-लैंग्वेज बैकबोन को फ्रीज करता है और उच्च-स्तरीय निरूपणों (representations) को स्थिर करने और निम्न-स्तरीय नियंत्रण सीखने में तेजी लाने के लिए सिमेंटिक प्रोजेक्शन लेयर और एक्शन एक्सपर्ट के लिए अलग-अलग, टू-टाइमस्केल अपडेट रणनीतियों का उपयोग करता है, जिससे यह बेंचमार्क और वास्तविक दुनिया के हेरफेर (manipulation) कार्यों दोनों पर मौजूदा सुपरवाइज्ड और आरएल पोस्ट-ट्रेनिंग विधियों से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट को घर के काम करना सिखाने की कोशिश कर रहे हैं, जैसे कपड़े तह करना या सैंडविच बनाना। आप रोबोट के हर एक मूवमेंट को हाथ से प्रोग्राम नहीं करना चाहते; इसके बजाय, आप चाहते हैं कि रोबोट आपको देखकर सीखे और फिर खुद इसे आजमाए। यह विज़न-लैंग्वेज-एक्शन (VLA) मॉडल की दुनिया है। इन मॉडल्स को रोबोट के मस्तिष्क के रूप में सोचें जो तीन सुपरपावर्स को जोड़ता है: विज़न (कैमरों के माध्यम से दुनिया को देखना), लैंग्वेज (आपके द्वारा दिए गए निर्देशों जैसे "कप को मेज पर रख दो" को समझना), और एक्शन (इसे करने के लिए अपने हाथों को वास्तव में हिलाना)।
इससे पहले कि एक रोबोट अपने आप सीख सके, उसे आमतौर पर डेटा के एक विशाल पुस्तकालय पर एक बड़ा "प्री-ट्रेनिंग" मिलता है, जो बिल्कुल वैसा ही है जैसे एक छात्र किसी विशिष्ट काम को शुरू करने से पहले लाइब्रेरी की हर किताब पढ़ लेता है। यह रोबोट को दुनिया की एक सामान्य समझ देता है। हालाँकि, जब आप उससे कोई विशिष्ट नया कार्य करने के लिए कहते हैं, तो उसे अक्सर थोड़ी अतिरिक्त मदद की आवश्यकता होती है। पारंपरिक रूप से, वैज्ञानिक उसे वह मदद देने के लिए दो मुख्य तरीकों का उपयोग करते हैं: सुपरवाइज्ड फाइन-ट्यूनिंग (SFT), जो रोबोट को एक आदर्श मूव का वीडियो दिखाने और उससे बिल्कुल वैसा ही कॉपी करने के लिए कहने जैसा है, और रीइन्फोर्समेंट लर्निंग (RL), जो रोबोट को कार्य करने देने, विफल होने, "थम्स डाउन" मिलने, फिर से प्रयास करने और अंततः "थम्स अप" मिलने जैसा है जब वह सफल हो जाता है। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: हम इन रोबोटों को उनके पास मौजूद स्मार्ट, सामान्य ज्ञान को खोए बिना वास्तविक दुनिया के कार्यों में बेहतर होने के लिए कैसे सिखा सकते हैं?
यहाँ TEMPO आता है, जो शोधकर्ताओं ज़ीहेंग लियू और क्वांटाओ यांग द्वारा प्रस्तावित एक नई विधि है। कल्पना कीजिए कि रोबोट का मस्तिष्क दो-भागों वाली एक टीम है: एक विद्वान (Scholar) जो बड़े परिदृश्य और निर्देशों को समझता है, और एक मिस्त्री (Handyman) जो यह पता लगाता है कि काम पूरा करने के लिए विशिष्ट मांसपेशियों की गतिविधियों को कैसे नियंत्रित किया जाए। कई मौजूदा तरीकों में, जब रोबोट अपनी गलतियों से सीखने की कोशिश करता है, तो वैज्ञानिक पूरी टीम को बिल्कुल एक ही गति से अपडेट करते हैं। समस्या यह है कि यदि आप विद्वान को एक एकल गलती के आधार पर बहुत तेज़ी से अपना विचार बदलने के लिए कहते हैं, तो वे दुनिया के सामान्य नियमों को भूल सकते हैं, जिससे मिस्त्री भ्रमित हो सकता है और विफल हो सकता है।
TEMPO इस टीम के सीखने के शेड्यूल को अलग करके इस समस्या को हल करता है। यह विद्वान के मूल ज्ञान (इसके "प्री-ट्रेनड विजन-लैंग्वेज बैकबोन") को फ्रीज कर देता है ताकि वे बुनियादी बातें कभी न भूलें। फिर, यह दो अलग-अलग ट्रेनिंग लूप बनाता है। विद्वान (विशेष रूप से वह हिस्सा जो भाषा को एक योजना में अनुवाद करता है) को बहुत विरल रूप से (infrequently) अपडेट किया जाता है। यह रोबोट की कार्य संबंधी समझ को स्थिर रखता है। दूसरी ओर, मिस्त्री (वह "एक्शन एक्सपर्ट" जो मांसपेशियों को नियंत्रित करता है) को बहुत बार-बार (frequently) अपडेट किया जाता है। यह रोबोट को अपनी तत्काल बातचीत से जल्दी सीखने की अनुमति देता है, जैसे "ओह, मैं दीवार से टकरा गया, मुझे बाईं ओर मुड़ना चाहिए।"
शोधकर्ताओं ने एक आभासी दुनिया में इस विचार का परीक्षण किया जिसे CALVIN कहा जाता है, जहाँ रोबots को कार्यों की लंबी श्रृंखलाएँ पूरी करनी होती हैं, जैसे "दराज खोलें, ब्लॉक पकड़ें और उसे बॉक्स में रखें।" उन्होंने पाया कि लंबी श्रृंखलाओं के लिए TEMPO सबसे अच्छा था। सिमुलेशन में, TEMPO लगातार पाँच चरणों को 81.7% बार पूरा करने में सफल रहा, जिसने पिछले सर्वश्रेष्ठ तरीके को पछाड़ दिया जो केवल 81.2% ही कर पाया था। इससे भी महत्वपूर्ण बात यह है कि जब उन्होंने एक भौतिक लैब में एक वास्तविक रोबोटिक आर्म पर इसका परीक्षण किया, तो TEMPO जटिल स्थितियों को बेहतर ढंग से संभालने में सक्षम रहा। उदाहरण के लिए, यदि दराज केवल थोड़ी सी खुली थी, तो पुराना तरीका ब्लॉक को उस छोटे से गैप में धकेलने की कोशिश करेगा और विफल हो जाएगा। TEMPO, अपने स्थिर "विद्वान" की मदद से, यह समझ गया कि उसे पहले दराज को और चौड़ा खोलने की आवश्यकता है, फिर ब्लॉक को हिलाना चाहिए।
पेपर ने इस बात की भी जांच की कि मिस्त्री को विद्वान की तुलना में कितनी तेज़ी से सीखना चाहिए। उन्होंने पाया कि विद्वान के 1 बार अपडेट होने के लिए मिस्त्री को 5 बार अपडेट करना सबसे अच्छा काम करता है। यदि वे दोनों को एक ही गति से अपडेट करते, तो रोबोट वास्तव में बदतर हो जाता, जो यह साबित करता है कि "दो-गति" वाला दृष्टिकोण अत्यंत महत्वपूर्ण है। हालाँकि सिमुलेशन और वास्तविक दुनिया के परीक्षणों में परिणाम बहुत आशाजनक हैं, लेखक सुझाव देते हैं कि भविष्य के कार्य में रोबोट को यह समझने में सक्षम बनाना शामिल हो सकता है कि वह क्यों विफल हुआ, न कि केवल यह जानना कि वह सफल हुआ या विफल। फिलहाल, TEMPO दिखाता है कि कभी-कभी, रोबोट को सिखाने का सबसे अच्छा तरीका यह है कि उसके हाथों को तेज़ी से चलने दें जबकि उसके दिमाग को स्थिर रखें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।