EXIMO: VLM Guided Exploration of VLA Policies
यह शोध पत्र EXIMO को प्रस्तुत करता है, जो एक तीन-चरणीय एल्गोरिदम है जो नए रोबोटिक कार्यों के लिए बड़े विजन-लैंग्वेज-एक्शन (VLA) पॉलिसियों को कुशलतापूर्वक फाइनट्यून करने के लिए कार्य अपघटन (task decomposition) और डेटा संग्रह के लिए एक विजन-लैंग्वेज मॉडल (VLM) प्लानर के साथ बाद के इमिटेशन लर्निंग (imitation learning) और रेसिडुअल रीइन्फोर्समेंट लर्निंग (residual reinforcement learning) को जोड़ता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
रोबोट लंबे समय से तब तक नए कार्य सीखने के लिए संघर्ष कर रहे हैं जब तक कि उनके ठीक बगल में कोई इंसान खड़ा होकर उनकी हर हरकत का मार्गदर्शन न कर रहा हो। वर्षों से, सबसे सफल दृष्टिकोण एक रोबोट को हजारों घंटों के मानव प्रदर्शन दिखाना रहा है, जिससे उसे उन विशिष्ट गतियों की नकल करना सिखाया जा सके। यह सरल, दोहराव वाले कार्यों के लिए तो अच्छा काम करता है, लेकिन यह तब विफल हो जाता है जब रोबट को ऐसी स्थिति का सामना करना पड़ता है जो उसने पहले कभी नहीं देखी हो, जैसे कि किसी पहेली के आधार पर एक विशिष्ट फल को कटोरे में डालने का तरीका पता लगाना कि बंदर को क्या खाना पसंद है। दूसरा विकल्प, रोबोट को प्रयास और त्रुटि (ट्रायल एंड एरर) के माध्यम से सीखने देना, अक्सर वास्तविक दुनिया के लिए बहुत धीमा और खतरनाक होता है, क्योंकि रोबोट को सफल होने के लिए लाखों प्रयासों की आवश्यकता हो सकती है। वैज्ञानिकों के लिए चुनौती रोबोट को एक समस्या के बारे में सोचने और तेजी से सीखने की क्षमता देने का तरीका खोजने की है, बिना किसी इंसान द्वारा हर एक कदम रिकॉर्ड किए।
गूगल डीपमाइंड के शोधकर्ताओं की एक टीम ने इस समस्या को हल करने के लिए 'एक्सिमो' (Eximo) नामक एक नई विधि विकसित की है। उन्होंने एक ऐसे रोबोट से शुरुआत की जो पहले से ही बुनियादी कौशल जानता था, जैसे कि केला उठाना या कप रखना, लेकिन वह इन कौशलों को जटिल, बहु-चरणीय लक्ष्यों के लिए कैसे संयोजित किया जाए, यह नहीं समझ पाता था। इस अंतर को पाटने के लिए, उन्होंने एक दूसरा, अत्यधिक बुद्धिमान कंप्यूटर प्रोग्राम पेश किया जो एक रणनीतिक योजनाकार (स्ट्रैटेजिक प्लानर) के रूप में कार्य करता है। यह योजनाकार, जिसे विजन-लैंग्वेज मॉडल के रूप में जाना जाता है, रोबोट के परिवेश को देख सकता है और समग्र लक्ष्य को समझ सकता है, जैसे कि "प्लेट और कटोरे को रैक पर रखें।" रोबोट के हाथों को सीधे चलाने के बजाय, यह योजनाकार बड़े लक्ष्य को सरल, प्राकृतिक भाषा के निर्देशों की एक श्रृंखला में तोड़ देता है, जैसे कि "अपने बाएं हाथ से नीली प्लेट उठाएं," और उन्हें रोबोट को सौंप देता है।
यह प्रक्रिया तीन अलग-अलग चरणों में होती है। पहले, शोधकर्ता रोबोट और योजनाकार को नए कार्यों का पता लगाने के लिए मिलकर काम करने देते हैं। योजनाकार कैमरा फीड के माध्यम से रोबोट की प्रगति को देखता है और लगातार अपने निर्देशों को अपडेट करता है, जिससे रोबोट को उन चरणों के माध्यम से निर्देशित किया जाता है जिन्हें उसे सफल होने के लिए पूरा करने की आवश्यकता है। जब रोबोट किसी कार्य को सफलतापूर्वक पूरा कर लेता है, तो टीम उन घटनाओं के क्रम को सहेज लेती है। दूसरे चरण में, वे रोबोट को सीधे सिखाने के लिए इन सफल उदाहरणों का उपयोग करते हैं। वे रोबोट के मूल मस्तिष्क को लेते हैं और सफल उदाहरणों का उपयोग करके इसे फाइन-ट्यून करते हैं, प्रभावी रूप से इसे दिखाते हुए कि बिना योजनाकार के निर्देश सुने यह समस्या को स्वयं कैसे हल किया जाए। अंत में, तीसरे चरण में, वे रोबोट को फिर से अभ्यास करने देते हैं, इस बार एक ऐसी सीखने की विधि का उपयोग करते हुए जो उसे अपनी गतिविधियों में छोटे समायोजन करने की अनुमति देती है ताकि वह और भी सटीक और विश्वसनीय बन सके।
इस दृष्टिकोण के परिणामों का परीक्षण बीस-दोдцать विभिन्न कार्यों के साथ एक सिम्युलेटेड वातावरण में किया गया था, जिसमें बर्तनों को रैक पर रखने से लेकर उपकरणों को विशिष्ट खानों में छाँटने तक शामिल थे। शोधकर्ताओं ने पाया कि जब प्रारंभिक अन्वेषण के दौरान योजनाकार द्वारा निर्देशित किया गया, तो रोबोट अकेले प्रयास करने वाले रोबोट की तुलना में इन जटिल कार्यों को बहुत अधिक बार हल करने में सक्षम था। इससे भी महत्वपूर्ण बात यह है कि जब रोबोट को योजनाकार के उपयोग किए गए सफल उदाहरणों से सिखाया गया, तो वह वर्तमान में उपलब्ध सबसे उन्नत रोबोटों से भी काफी बेहतर हो गया। रोबोट ने उन समस्याओं को हल करना सीखा जिनमें तर्क की आवश्यकता होती है, जैसे कि नाम के बजाय उसके विवरण द्वारा किसी वस्तु की पहचान करना, और उसने यह पारंपरिक तरीकों की तुलना में बहुत कम प्रयासों के साथ किया।
यह कार्य दर्शाता है कि एक रोबोट के भौतिक कौशल को एक शक्तिशाली, सोचने वाले कंप्यूटर प्रोग्राम के साथ जोड़ने से एक बहुत अधिक सक्षम शिक्षिका बनाई जा सकती है। मुख्य अंतर्दृष्टि यह है कि रोबोट को उस सोचने वाले प्रोग्राम को हमेशा के लिए चलाने की आवश्यकता नहीं है; इसके बजाय, वह प्रोग्राम के मार्गदर्शन से सीख सकता है और फिर स्वतंत्र रूप से कार्य कर सकता है। इस पद्धति का उपयोग करके, शोधकर्ताओं ने दिखाया कि रोबोट को नए, जटिल व्यवहारों को तेजी से और कुशलता से सिखाया जा सकता है, जो मशीनों को निरंतर मानव पर्यवेक्षण के बिना वास्तविक दुनिया की अनिश्चित प्रकृति के अनुकूल बनाने की दिशा में एक कदम करीब ले जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।