EXPO-FT: Sample-Efficient Reinforcement Learning Finetuning for Vision-Language-Action Models
EXPO-FT एक नवीन प्रणाली है जो पूर्व-प्रशिक्षित विजन-लैंग्वेज-एक्शन मॉडल्स के स्थिर और अत्यधिक सैंपल-कुशल सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) फाइन-ट्यूनिंग को सक्षम बनाती है, जो न्यूनतम ऑनलाइन रोबोट डेटा के साथ जटिल हेरफेर कार्यों पर पूर्ण सफलता दर प्राप्त करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ EXPO-FT पेपर का सरल, रोज़मर्रा की भाषा में अनुवाद दिया गया है, जिसमें उपमाओं (analogies) का उपयोग किया गया है।
बड़ी समस्या: "होशियार लेकिन अनाड़ी" रोबोट
कल्पना कीजिए कि आपने एक ऐसा रोबोट काम पर रखा है जिसने लाइब्रेरी की हर किताब पढ़ ली है और घर के कामों के लाखों वीडियो देख लिए हैं। यह रोबोट (जिसे VLA या विजन-लैंग्वेज-एक्शन मॉडल कहा जाता है) अविश्वसनीय रूप से बुद्धिमान है। वह जानता है कि "कप" क्या है, "डालने" (pouring) का क्या मतलब है, और चम्मच को सामान्य रूप से कैसे पकड़ना है।
हालाँकि, जब आप इस रोबोट को आपकी रसोई में कोई विशिष्ट, कठिन कार्य करने के लिए कहते हैं—जैसे कि एक नाजुक अंडे को बिना तोड़े पलटना या एक छोटी सुई में धागा डालना—तो यह अक्सर असफल हो जाता है। यह एक ऐसे शानदार शेफ की तरह है जिसने हर रेसिपी पढ़ ली है लेकिन वास्तव में कभी असली रसोई में खाना नहीं बनाया; उसे सिद्धांत पता है, लेकिन उसके हाथ अनाड़ी हैं।
वास्तविक दुनिया में, यदि रोबोट एक फूलदान गिरा देता है या सूप गिरा देता है, तो यह एक महंगी गलती है। हमें एक ऐसा तरीका चाहिए जिससे हम इस "होशियार लेकिन अनाड़ी" रोबोट को महीनों के परीक्षण और त्रुटि (trial and error) के बिना तेज़ी से विश्वसनीय बनाना सीख सकें।
समाधान: EXPO-FT (द "ट्यूटर" सिस्टम)
शोधकर्ताओं ने EXPO-FT नामक एक सिस्टम बनाया है। इसे एक पर्सनल ट्यूटर (निजी शिक्षक) के रूप में समझें जो रोबोट के अभ्यास करते समय उसके बगल में बैठा रहता है।
यह कैसे काम करता है, इसके लिए कुछ रूपकों (metaphors) का उपयोग किया गया है:
1. "एडिट" मैकेनिज्म (मशीन में मौजूद आत्मा/Ghost in the Machine)
आमतौर पर, जब आप एक सुपर-स्मार्ट रोबोट को नए करतब सिखाने की कोशिश करते हैं, तो आपको उसके पूरे मस्तिष्क को फिर से प्रशिक्षित (retrain) करना पड़ता है, जो धीमा और जोखिम भरा है। यह एक टाइपो (typo) को ठीक करने के लिए पूरी विश्वकोश (encyclopedia) को फिर से लिखने जैसा है।
EXPO-FT कुछ अधिक स्मार्ट करता है। यह रोबोट के "मस्तिष्क" (प्री-ट्रेंड मॉडल) को बिल्कुल वैसा ही रखता है जैसा वह है। इसके बजाय, यह इसके ऊपर एक छोटा, हल्का "घोस्ट" (ghost) लेयर जोड़ देता है।
- उपमा: कल्पना कीजिए कि रोबोट कार चला रहा है। रोबोट का मस्तिष्क जानता है कि हाईवे पर कैसे गाड़ी चलानी है। वह "घोस्ट" एक यात्री है जिसने एक छोटा स्टीयरिंग व्हील पकड़ा हुआ है। यदि रोबто बहुत तेज़ी से मुड़ने की कोशिश करता है, तो वह "घोस्ट" रास्ते को सही करने के लिए धीरे से पहिए को धक्का देता है।
- परिणाम: रोबोट शून्य से ड्राइविंग सीखने के बजाय सूक्ष्म, सटीक सुधार करना सीख जाता है। यह सीखने की प्रक्रिया को अविश्वसनीय रूप से तेज़ बनाता है।
2. "ह्यूमन-इन-द-लूप" (द स्पॉटर/सहारा देने वाला)
कभी-कभी रोबोट अटक जाता है या कुछ खतरनाक करने की कोशिश करता है। अतीत में, रोबोटों को यह सब पूरी तरह से खुद ही समझना पड़ता था, जिसमें बहुत समय लगता था।
- उपमा: कल्पना कीजिए कि एक जिम्नास्ट एक नया फ्लिप (कूद) का अभ्यास कर रहा है। यदि वह गिरने लगता है, तो एक स्पॉटर (मानव कोच) उसे पकड़ लेता है या सुरक्षित लैंडिंग में मदद करने के लिए एक त्वरित धक्का देता है।
- परिणाम: EXPO-FT में, एक इंसान वास्तविक समय में रोबोट की गति को मैन्युअल रूप से ठीक करने के लिए बीच में आ सकता है। रोबोट इस सुधार से तुरंत सीखता है। यह रोबोट को बुरे विचारों को आज़माने में समय बर्बाद करने से रोकता है और सीखने की प्रक्रिया को काफी तेज़ कर देता है।
3. "एक्शन चंक्स" (डांस मूव्स/नृत्य की मुद्राएँ)
आधुनिक रोबोट केवल एक बार में एक जोड़ (joint) नहीं हिलाते; वे गतिविधियों के एक क्रम की योजना बनाते हैं (जैसे एक डांस रूटीन)।
- उपमा: रोबोट को "बाएं जाओ, फिर दाएं जाओ, फिर ऊपर उठाओ" सिखाने के बजाय, EXPO-FT उसे गति के पूरे "चंक" (हिस्से) सिखाता है, जैसे कि एक पूरा डांस स्टेप।
- परिणाम: यह इस तरह से काम करता है जैसे रोबोट स्वाभाविक रूप से सोचता है, जिससे प्रशिक्षण अधिक सहज और कुशल हो जाता है।
परिणाम: "शायद" से "परफेक्ट" तक
शोधकर्ताओं ने इस सिस्टम का परीक्षण 8 बहुत कठिन कार्यों पर किया, जैसे कि:
- पैन में बिना तोड़े अंडा पलटना।
- पूल बॉल को पॉकेट में मारना।
- एक संकीर्ण वाइन की बोतल में फूल का डंठल डालना।
- स्ट्रिंग लाइट्स को लगाना और उन्हें प्लग इन करना।
परिणाम:
- पहले: अन्य तरीके (जैसे रोबोट को शुरू से सिखाना या केवल उसे वीडियो दिखाना) संघर्ष करते थे। वे 50% से 70% बार सफल होते थे, या वहां तक पहुँचने के लिए उन्हें घंटों के डेटा की आवश्यकता होती थी।
- EXPO-FT के साथ: रोबोट ने हर एक कार्य पर 100% सफलता (30 में से 30 प्रयास) प्राप्त की।
- गति: इसने वास्तविक दुनिया के अभ्यास के मात्र औसतन 19 मिनट में यह हासिल कर लिया।
यह क्यों महत्वपूर्ण है
पेपर का दावा है कि EXPO-FT "उस AI जो सिद्धांत जानता है" और "उन रोबोटों जो काम कर सकते हैं" के बीच के अंतर को पाटता है। रोबोट के मौजूदा ज्ञान को एक स्मार्ट, हल्के सुधार तंत्र और मनुष्यों की थोड़ी मदद के साथ जोड़कर, वे एक अनाड़ी रोबोट को 20 मिनट से भी कम समय में एक कुशल शिल्पकार में बदल सकते हैं।
उन्होंने अपना कोड भी मुफ्त में रिलीज़ किया है, इस उम्मीद में कि अन्य शोधकर्ता अपने रोबोट को अधिक विश्वसनीय बनाने के लिए इस "ट्यूटर" सिस्टम का उपयोग कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।