CLIFT: Turning Gemini Robotics On-Device into Humanoid Specialists via Non-Invasive Closed-Loop Iterative Fine-Tuning
यह शोध पत्र CLIFT को प्रस्तुत करता है, जो एक गैर-आक्रामक क्लोज्ड-लूप इटरेटिव फाइन-ट्यूनिंग विधि है जो क्लोज्ड-वेट फाउंडेशन मॉडल्स (जैसे Gemini Robotics On-Device) का उपयोग करने वाले ह्यूमनॉइड रोबॉट्स को, डिप्लॉयमेंट-टाइम रिवॉर्ड फीडबैक को API-आधारित पॉलिसी इम्प्रूवमेंट के लिए सुपरवाइज्ड डेटा में बदलकर, कार्य में लगभग पूर्ण महारत हासिल करने में सक्षम बनाती है, जिससे मॉडल के इंटरनल्स तक पहुंच की आवश्यकता के बिना शुद्ध इमिटेशन लर्निंग की सीमाओं को दूर किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक जटिल नृत्य करना सिखाने की कोशिश कर रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे करने के दो मुख्य तरीके हैं। पहला है "ओपन-सोर्स" (open-source), जहाँ आपको रोबोट का पूरा मस्तिष्क, उसका कोड और उसकी आंतरिक वायरिंग मिल जाती है, और आप अपने आप हर एक पेंच को बदल सकते हैं। दूसरा है "क्लोज्ड-सोस" (closed-source), जहाँ रोबोट एक ब्लैक बॉक्स की तरह होता है। आप इसके अंदर नहीं देख सकते, आप इसके तारों को छू नहीं सकते, और आप कोड को बदल नहीं सकते। आप केवल इसे निर्देशों की एक सूची दे सकते हैं (जैसे "इस तरह नाचो") और इसे सीखने के लिए कह सकते हैं। आज उपलब्ध सबसे शक्तिशाली रोबोटिक मस्तिष्कों के लिए यही मानक बनता जा रहा है: वे अविश्वसनीय रूप से बुद्धिमान हैं, लेकिन एक डिजिटल दरवाजे के पीछे बंद हैं।
बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं वह यह है: यदि आप रोबोट के मस्तिष्क के अंदर झाँक नहीं सकते, तो क्या आप अभी भी उसे कठिन, वास्तविक दुनिया के कार्यों में महारत हासिल करने के लिए सिखा सकते हैं? आमतौर पर, जब आप अंदर नहीं देख पाते, तो आप केवल वही करने तक सीमित रह जाते हैं जो आप देखते हैं (अनुकरण/imitation)। लेकिन वास्तविक जीवन अव्यवस्थित है। एक रोबट वीडियो में इंसान को देखकर उसकी हूबहू नकल कर सकता है, लेकिन जब वह एक डगमगाते फर्श या फिसलन भरे कप के साथ इसे करने की कोशिश करता है, तो वह विफल हो सकता है क्योंकि उसने सूक्ष्म देरी या भौतिकी (physics) का हिसाब नहीं लगाया था। वास्तव में अच्छा होने के लिए, एक रोबोट को अभ्यास करने, विफल होने, यह समझने की आवश्यकता होती है कि क्या गलत हुआ, और फिर से प्रयास करने की आवश्यकता होती है—यह एक प्रक्रिया है जिसे "क्लोज्ड-लूप लर्निंग" (closed-loop learning) कहा जाता है। चुनौती यह है: आप रोबोट को अपनी गलतियों से सीखना कैसे सिखा सकते हैं जब आपको उसके आंतरिक सीखने के तंत्र (learning mechanisms) को छूने की अनुमति नहीं है?
यह शोध पत्र, जिसका शीर्षक CLIFT है, ठीक इसी समस्या का समाधान करता है। शोधकर्ता यह देखना चाहते थे कि क्या वे "जेमिनी रोबोटिक्स ऑन-डिवाइस" (Gemini Robotics On-Device) नामक एक शक्तिशाली, लॉक-डाउन रोबोट मॉडल को बिना "मॉडल बॉक्स" खोले, संपर्क-प्रधान कठिन कार्यों (जैसे प्लेटें स्टैक करना या बक्से पैक करना) का उस्ताद बना सकते हैं। उन्होंने पाया कि केवल मानव वीडियो की नकल करने की विधि (जिसे सुपरवाइज्ड फाइन-ट्यूनिंग कहा जाता है) ने रोबोट को अन्य ओपन-सोर्स रोबोटों की तुलना में बहुत बेहतर बनाया, लेकिन यह वास्तविक दुनिया की चपलता के लिए अभी भी पर्याप्त नहीं था। रोबोट अक्सर चीजें गिरा देता या अंतिम चरणों में लड़खड़ा जाता था।
इसे ठीक करने के लिए, टीम ने एक चतुर तकनीक खोजी जिसे CLIFT (क्लोज्ड-लूप इटरेटिव फाइन-ट्यूनिंग) कहा जाता है। इसे एक ऐसे वीडियो गेम कोच की तरह समझें जो गेम का कोड तो नहीं बदल सकता लेकिन फिर भी खिलाड़ी को सिखा सकता है। यह इस प्रकार काम करता है:
- अभ्यास का दौर (The Practice Run): रोबोट वास्तविक दुनिया में एक कार्य करने का प्रयास करता है। वह सफल हो सकता है, या विफल हो सकता है।
- स्कोरकार्ड (The Scorecard): केवल "अच्छा काम किया" या "बुरा काम किया" कहने के बजाय, एक विशेष AI जज (एक रिवॉर्ड मॉडल) वीडियो को देखता है और गति के हर छोटे हिस्से को एक स्कोर देता है। यह पहचानता है कि कौन से हिस्से सुचारू और सहायक थे, और कौन से हिस्से अनाड़ी या खतरनाक थे।
- जादुई लेबल (The Magic Label): टीम इन स्कोर किए गए वीडियो को एक नए प्रशिक्षण पाठ में बदल देती है। वे अच्छे हिस्सों में एक विशेष "बैज" (जैसे स्वर्ण स्टार) जोड़ते हैं और बुरे हिस्सों के लिए एक "चेतावनी" जोड़ते हैं।
- पाठ (The Lesson): वे इस नए, लेबल किए गए पाठ को एक API (एक डिजिटल मेनू) के माध्यम से रोबोट के बंद-अप मस्तिष्क के पास वापस भेजते हैं। रोबोट इस नए डेटा पर खुद को फिर से प्रशिक्षित करता है, जिससे वह "स्वर्ण सितारों" की तलाश करना और "चेतावनी" से बचना सीखता है।
शोधकर्ताओं ने इस चक्र को दो बार चलाया, जैसे एक फ्लाईव्हील तेजी से घूम रहा हो। परिणाम प्रभावशाली थे। अंत तक, रोबोट अब केवल इंसानों की नकल ही नहीं कर रहा था; वह अपने स्वयं के चतुर मूव्स (moves) बनाने लगा था। उदाहरण के लिए, बक्सा पैक करते समय, रोबोट ने उठाने से पहले बेहतर पकड़ बनाने के लिए अपनी उंगलियों से बक्से को धकेलना और घुमाना सीखा—एक ऐसा मूव जो उसके मानव शिक्षकों ने उसे कभी नहीं दिखाया था। जब बोतल को कप में डालने की कोशिश की गई, तो यदि वह पहली बार में चूक गया, तो उसने हार मानने के बजाय फिर से प्रयास करना सीखा।
यह शोध पत्र दिखाता है कि यह "गैर-आक्रामक" (non-invasive) तरीका चमत्कार कर गया। कठिन कार्यों जैसे प्लेटों को स्टैक करने और बोतलों को डालने में रोबोट की सफलता दर लगभग 50-70% से बढ़कर लगभग 100% हो गई। इससे भी अधिक आश्चर्यजनक बात यह है कि जब उन्होंने एक अलग, ओपन-सोर्स रोबोट (एक ऐसा जहाँ वे कोड को छू सकते थे) पर यही तकनीक आजमाई, तो लॉक-डाउन वाला रोबोट फिर भी बेहतर प्रदर्शन करता रहा। यह सुझाव देता है कि एक बहुत मजबूत, प्री-ट्रेंड "मस्तिष्क" होना कोड तक पूर्ण पहुंच होने से अधिक महत्वपूर्ण है।
संक्षेप में, यह पेपर साबित करता है कि रोबोट के मस्तिष्क को सिखाने के लिए आपको उसे तोड़ने की आवश्यकता नहीं है। वास्तविक दुनिया के अभ्यास सत्रों को स्मार्ट, लेबल किए गए पाठों में बदलकर, आप एक लॉक-डाउन रोबोट को विशेषज्ञ बनाने के लिए निर्देशित कर सकते हैं, जो प्रयास, स्कोर और पुनः सीखने के एक सरल, पुनरावृत्ति लूप के माध्यम से जटिल भौतिक कार्यों में महारत हासिल करता है। लेखकों ने पाया कि यह दृष्टिकोण केवल दो चक्रों के बाद रोबोट को लगभग पूर्ण महारत तक पहुँचा देता है, और वह भी बिना कभी "मॉडल बॉक्स खोलने" के।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।