Leveraging Offline Supervision for Efficient and Generalizable Reinforcement Learning in Large-Scale Vision-Language-Action Models
यह शोध पत्र प्रदर्शित करता है कि हाइब्रिड प्रशिक्षण विधियाँ, जो ऑफलाइन पर्यवेक्षण के साथ ऑनलाइन सुदृढीकरण लर्निंग (reinforcement learning) को नियमित करती हैं, मानक आरएल (RL) के आउट-ऑफ-डिस्ट्रीब्यूशन प्रदर्शन के करीब पहुँचते हुए प्रशिक्षण दक्षता में महत्वपूर्ण सुधार करती हैं, जिसके लिए प्रभावी रूप से केवल आधे प्रशिक्षण बजट की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कोई जटिल कार्य करना सिखाने की कोशिश कर रहे हैं, जैसे कि सैंडविच बनाना या कपड़े तह करना। आर्टिफिशियल इंटेलिजेंस की दुनिया में, रोबोट को सिखाने के दो मुख्य तरीके हैं। पहला तरीका इमिटेशन लर्निंग (Imitation Learning) है, जो बिल्कुल वैसा ही है जैसे आप रोबोट को किसी इंसान द्वारा कार्य को पूरी तरह से करने का वीडियो थमा दें और कहें, "इसे बिल्कुल ऐसे ही कॉपी करो।" यह सस्ता और आसान है, लेकिन रोबोट तब भ्रमित हो जाता है जब स्थिति थोड़ी भी बदल जाती है—जैसे कि अगर ब्रेड दाईं के बजाय बाईं ओर रखी हो। दूसरा तरीका रीइन्फोर्समेंट लर्निंग (Reinforcement Learning - RL) है, जो ऐसा है जैसे आप रोबोट को बार-बार प्रयास करने देते हैं, जब वह अच्छा करता है तो उसे एक 'हाई-फाइव' (पुरस्कार) देते हैं और जब वह असफल होता है तो धीरे से कहते हैं, "फिर से कोशिश करो।" यह तरीका रोबोट को नई और अजीब स्थितियों को संभालने के लिए सिखाने में अद्भुत है, लेकिन यह अविश्वसनीय रूप से महंगा और धीमा है क्योंकि रोबोट को एक आभासी दुनिया में माहिर होने के लिए लाखों बार अभ्यास करना पड़ता है।
बड़ा सवाल जो वैज्ञानिक अभी पूछ रहे हैं वह यह है: क्या हम दोनों दुनियाओं का सबसे अच्छा हिस्सा प्राप्त कर सकते हैं? क्या हम रोबोट को शुरुआत करने के लिए सस्ते, आसान वीडियो का उपयोग कर सकते हैं, और फिर बिना समय और पैसा बर्बाद किए, उसे बेहतर बनाने के लिए महंगे, धीमे अभ्यास सत्रों का उपयोग कर सकते हैं? यह शोध पत्र ठीक इसी समस्या में गहराई से उतरता है, विशेष रूप से एक नए प्रकार के सुपर-स्मार्ट रोबोट ब्रेन के लिए जिसे "विज़न-लैंग्वेज-एक्शन" (Vision-Language-Action) मॉडल कहा जाता है। ये मॉडल चित्र देख सकते हैं, वाक्यों को समझ सकते हैं और निर्णय ले सकते हैं कि क्या करना है। शोधकर्ता यह देखना चाहते थे कि क्या "नकल करने वाले" स्टाइल और "गलती से सीखने वाले" स्टाइल को मिलाने से रोब melalui तेजी से सीख सकता है बिना अपनी आश्चर्यजनक स्थितियों को संभालने की क्षमता खोए।
द "कोच" बनाम द "सोलो प्रैक्टिशनर"
इस शोध पत्र में शोधकर्ताओं ने एक चतुर प्रयोग स्थापित किया यह परीक्षण करने के लिए कि क्या एक रोबोट बेहतर सीख सकता है यदि उसके पास अभ्यास करते समय निगरानी करने वाला एक "कोच" हो। उन्होंने एक विशिष्ट प्रकार के रोबोट ब्रेन का उपयोग किया जिसे OpenVLA कहा जाता है, जो दुनिया के बारे में ज्ञान के एक विशाल, पूर्व-प्रशिक्षित पुस्तकालय की तरह है।
सबसे पहले, उन्होंने रोबोट को "नकल करने वाले" तरीके (जिसे सुपरवाइज्ड फाइन-ट्यूनिंग या SFT कहा जाता है) से सिखाया। उन्होंने इसे इंसानों द्वारा कार्य करने के 2,000 उदाहरण दिखाए। इसने रोबोट को एक ठोस आधार दिया, जैसे कि एक छात्र जिसने पाठ्यपुस्तक को रट लिया हो। लेकिन, जैसा कि अपेक्षित था, यह रोबोट थोड़ा सख्त था। यदि आप कमरे या उपकरणों को बदलते हैं, तो यह संघर्ष करता है।
इसके बाद, उन्होंने "गलती से सीखने वाले" तरीके (जिसे रीइन्फोर्समेंट लर्निंग या RL कहा जाता है) को आजमाया। उन्होंने रोबोट को एक सिम्युलेटेड दुनिया में अपने आप अभ्यास करने दिया। यह रोबोट अंततः अजीब स्थितियों (जैसे कि एक नया कप या अलग रोशनी) को संभालने में बहुत अच्छा हो गया, लेकिन वहां तक पहुँचने में इसे बहुत समय लगा। इसे अपने शिखर प्रदर्शन तक पहुँचने के लिए लगभग 20 लाख (2 मिलियन) अभ्यास चरणों की आवश्यकता थी।
बड़ी खोज: हाइब्रिड दृष्टिकोण
टीम ने फिर पूछा: क्या होगा यदि हम रोबोट को अपने आप अभ्यास करने दें, लेकिन हम उसे संकेत देने के लिए एक "कोच" भी दें? उन्होंने दो प्रकार के कोचों का परीक्षण किया:
- द रेफरेंस कोच (The Reference Coach): "नकल करने वाले" रोबोट का एक फ्रीज किया हुआ संस्करण जो कभी नहीं बदलता। अभ्यास करने वाले रोबोट को बताया जाता है, "मेरी तरह बनने की कोशिश करो, लेकिन यदि तुम्हें आवश्यकता हो तो तुम बदल सकते हो।"
- द डेटा कोच (The Data Coach): अभ्यास करते समय रोबोट को मूल वीडियो उदाहरणों को बार-बार दिखाया जाता है, और उसे बताया जाता है, "याद है कि इंसान ने यहाँ क्या किया था?"
परिणाम क्रांतिकारी थे। कोच वाले रोबोट अकेले अभ्यास करने वाले रोबोट की तुलना में दोगुनी तेजी से सीखे।
यहाँ वह जादुई संख्या है: "कोच वाले" रोबोटों ने केवल 10 लाख (1 मिलियन) चरणों के बाद "सोलो" (अकेले अभ्यास करने वाले) रोबोट के समान कौशल स्तर प्राप्त कर लिया। अकेले अभ्यास करने वाले रोबोट को वहां तक पहुँचने के लिए 20 लाख चरणों की आवश्यकता थी। और भी प्रभावशाली बात यह है कि कोच वाले रोबोट अजीब, नई स्थितियों (आउट-ऑफ-डिस्ट्रीब्यूशन या OOD कार्यों) को संभालने में सोलो रोबोट जितने ही सक्षम थे, लेकिन वे आधे समय में वहां पहुँच गए।
क्यों "रेफरेंस कोच" सबसे अच्छा था
शोधकर्ताओं ने पाया कि एक प्रकार का कोच दूसरे की तुलना में बेहतर काम करता है। रेफरेंस कोच (फ्रीज किया हुआ मॉडल) सबसे प्रभावी था। इसने रोबोट के शुरुआती कदमों को निर्देशित करने के लिए एक स्थिर हाथ की तरह काम किया। इसने रोबोट को बुरी आदतों में भटकने से रोका जब वह खेल के नए नियमों को समझने की कोशिश कर रहा था।
डेटा कोच (वीडियो को दोबारा पढ़ना) ने भी मदद की, लेकिन यह थोड़ा अधिक कठोर था। ऐसा लगा कि यह रोबोट को पुराने वीडियो की नकल करने पर बहुत अधिक केंद्रित बना देता है, जिससे जब चीजें वास्तव में अजीब होती हैं तो अनुकूलित होना थोड़ा कठिन हो जाता है।
दिलचस्प बात यह है कि उन्होंने बिना किसी अतिरिक्त कोचिंग के "नकल करने वाले" रोबोट के दिमाग से ही "सोलो" अभ्यास शुरू करने का भी प्रयास किया। यह रोबोट शुरुआत में मजबूत था, लेकिन यह अटक गया। यह एक ऐसे छात्र की तरह था जिसने पाठ्यपुस्तक को इतना अच्छी तरह से जान लिया था कि वह समस्या को हल करने का नया तरीका आज़माने से डर रहा था। यह कोच वाले रोबोटों की तुलना में बहुत धीरे सुधार कर रहा था।
यह भविष्य के लिए क्या मायने रखता है
शोध पत्र सुझाव देता है कि हमें "सस्ता और अनुकूलन में धीमा" या "महंगा और अनुकूलन में तेज़" के बीच चयन करने की आवश्यकता नहीं है। एक हाइब्रिड दृष्टिकोण का उपयोग करके—एक अच्छा आधार बनाकर और फिर महंगे अभ्यास को निर्देशित करने के लिए एक "कोच" का उपयोग करके—हम दोनों दुनियाओं का सर्वश्रेष्ठ हिस्सा प्राप्त कर सकते हैं।
शोधकर्ता सावधानीपूर्वक नोट करते हैं कि यह एक विशिष्ट, नियंत्रित वातावरण (विशिष्ट कार्यों के साथ एक सिमुलेशन) में परीक्षण किया गया था। उन्होंने यह दावा नहीं किया कि उन्होंने ब्रह्मांड की हर रोबोट समस्या को हल कर लिया है, लेकिन उन्होंने एक बहुत ही आशाजनक मार्ग दिखाया है। उन्होंने पाया कि ऑफलाइन पर्यवेक्षण (कोच) न केवल एक बेहतर शुरुआत देता है; यह सीखने की प्रक्रिया को सक्रिय रूप से स्थिर भी करता है, जिससे रोबोट यह भूलने से बच जाता है जो वह जानता था जबकि वह लचीला होना सीख रहा है।
संक्षेप में, यदि आप एक ऐसा रोबोट चाहते हैं जो स्मार्ट और अनुकूलनीय दोनों हो, तो उसे अंधेरे में केवल हाथ-पैर मारने न दें। उसे एक अच्छा शिक्षक दें, उसे अभ्यास करने दें, और उसके कंधे पर एक स्थिर हाथ रखें जब तक कि वह अपनी खुद की लय न ढूंढ ले। यह तरीका उन्नत रोबोटों को प्रशिक्षित करना बहुत सस्ता और तेज़ बना सकता है, जो हमें हमारे घरों और कार्यस्थलों में सहायक रोबोटों के करीब लाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।