A Few Words Go a Long Way: Language Guided Robot Policy Synthesis
यह शोधपत्र ARCHITECT को प्रस्तुत करता है, जो एक ऐसा फ्रेमवर्क है जो पुनरावृत्ति प्राकृतिक भाषा सुधारों के माध्यम से मॉड्यूलर, व्याख्या योग्य रोबोट नीतियों को संश्लेषित करने के लिए LLM कोडिंग एजेंटों का लाभ उठाता है, जिससे एक निरंतर कौशल लाइब्रेरी (skill library) सक्षम होती है जो जटिल, दीर्घकालिक हेरफेर कार्यों में ब्लैक-बॉक्स विजन-लैंग्वेज-एक्शन मॉडलों से बेहतर प्रदर्शन करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कोई काम करना सिखाने की कोशिश कर रहे हैं, जैसे शर्ट मोड़ना या दराज बंद करना। रोबोटिक्स की दुनिया में, इसे करने के दो मुख्य तरीके हैं। पहला तरीका एक पिल्ले (puppy) को प्रशिक्षित करने जैसा है: आप रोबोट को काम करने वाले लोगों के हजारों वीडियो दिखाते हैं और वह उस पैटर्न को याद करने की कोशिश करता है। इसे "डेटा से सीखना" (learning from data) कहा जाता है, और कई आधुनिक रोबोट इसी तरह काम करते हैं। लेकिन इसमें एक पेंच है: यदि रोबोट कुछ थोड़ा अलग देखता है—जैसे कि किसी अलग रंग की शर्ट या थोड़ी फंसी हुई दराज—तो वह अक्सर भ्रमित हो जाता है और असफल हो जाता है, और कोई नहीं जानता कि वह क्यों असफल हुआ क्योंकि रोबोट का मस्तिष्क एक "ब्लैक बॉक्स" (एक रहस्य) है। दूसरा तरीका एक इंसान को रेसिपी देने जैसा है। आप विशिष्ट चरण लिखते हैं: "कप उठाओ," "मेज की ओर बढ़ो," "इसे नीचे रखो।" इसे "प्रोग्राम सिंथेसिस" (program synthesis) कहा जाता है। यह स्पष्ट और तार्किक है, लेकिन यदि रेसिपी थोड़ी भी गलत है, तो रोबमाट अभी भी चीजों से टकरा सकता है, और आपको पूरी रेसिपी फिर से लिखनी होगी।
बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं वह यह है: क्या हम दोनों दुनियाओं की सर्वश्रेष्ठ विशेषताओं को मिला सकते हैं? क्या हमारे पास एक ऐसा रोबोट हो सकता है जो हमारी भाषा समझता हो, स्पष्ट निर्देशों का पालन करता हो, लेकिन बिना दोबारा प्रशिक्षित हुए वास्तविक समय में हमारी गलतियों से सीख सके? यह रोबोट को न केवल स्मार्ट, बल्कि "स्टीयरेबल" (steerable) बनाने की चुनौती है—यानी हम उन्हें आसानी से निर्देशित कर सकें जब वे गलतियाँ करें, ठीक वैसे ही जैसे हम एक दोस्त का मार्गदर्शन करते हैं।
"रोबोट आर्किटेक्ट" जो आपके शब्दों से सीखता है
मिलिए ARCHITECT से, एक नया रोबोट मस्तिष्क जिसे वॉशिंगटन विश्वविद्यालय, माइक्रोसॉफ्ट रिसर्च और एमआईटी के शोधकर्ताओं द्वारा विकसित किया गया है। ARCHITECT को एक ऐसे रोबोट के रूप में न सोचें जो वीडियो रटता है, बल्कि एक अति-बुद्धिमान रोबोट आर्किटेक्ट के रूप में सोचें जो अपनी निर्देश पुस्तिका खुद बनाता है।
लाखों तस्वीरों को देखकर अनुमान लगाने के बजाय, ARCHITECT रोबोट के कार्यों को कंप्यूटर प्रोग्राम लिखने की तरह मानता है। जब आप रोबोट को कहते हैं, "तौलिया मोड़ो," तो वह केवल अनुमान नहीं लगाता; वह उन बिल्डिंग ब्लॉक्स का उपयोग करके, जो वह पहले से जानता है (जैसे "पकड़ना", "हिलाना", और "देखना"), चरण-दर-चरण कोड का एक छोटा सा हिस्सा लिखता है।
यहाँ जादू का नुस्खा है: यदि रोबोट गलती करता है, तो आपको उसे फिर से प्रशिक्षित करने की आवश्यकता नहीं है। आपको बस उससे बात करनी है।
कल्पना कीजिए कि आप एक रोबोट को दराज बंद करना सिखा रहे हैं।
- प्रयास (The Attempt): रोबोट एक योजना लिखता है और दराज को धक्का देने की कोशिश करता है।
- विफलता (The Fail): वह धक्का देता है, लेकिन दराज फंसी हुई है, या वह बहुत ज़ोर से धक्का देता है और रोबोट का हाथ हिलने लगता है।
- सुधार (The Correction): आप कहते हैं, "हे, दराज फंसी हुई है। सामने से नहीं, बल्कि बगल से धीरे से धक्का देने की कोशिश करो।"
- समाधान (The Fix): ARCHITECT केवल उस एक बार के लिए ठीक नहीं करता है। यह उस विशिष्ट चरण के लिए कोड को फिर से लिखता है, नए नियम को अपने स्किल लाइब्रेरी (Skill Library) में सहेजता है, और इसे हमेशा के लिए याद रखता है।
यह स्किल लाइब्रेरी रोबोट के लिए एक स्थायी नोटबुक की तरह है। हर बार जब आप सुधार देते हैं, तो रोबोट अपनी नोटबुक में एक नया "कौशल" (skill) लिखता है। अगली बार जब वह किसी समान समस्या का सामना करता है, तो वह पहले अपनी नोटबुक चेक करता है। यह एक ऐसे रोबोट की तरह है जो आपकी मदद से सुधारी गई हर गलती से सीखता है, और हर दिन कम सुधारों के साथ स्मार्ट होता जाता है।
यह एक बड़ी बात क्यों है
शोधकर्ताओं ने इसका परीक्षण एक वास्तविक रोबोटिक हाथ (फ्रंका पांडा) पर 8 कठिन कार्यों के साथ किया, जिसमें कपड़ा मोड़ना, दराज बंद करना और कपड़े के नीचे छिपे केले को उठाना शामिल था।
उन्होंने ARCHITECT की तुलना वर्तमान "सुपरस्टार" रोबलेट लर्निंग मॉडल्स (जिन्हें और कहा जाता है) और अन्य कोडिंग विधियों से की। परिणाम स्पष्ट थे:
- ब्लैक बॉक्स मॉडल विफल रहे: शीर्ष-स्तरीय AI मॉडल अक्सर अटक जाते हैं। उदाहरण के लिए, कपड़ा मोड़ने के लिए कहे जाने पर, वे इसे उठा तो सकते हैं लेकिन मोड़ नहीं पाते, या वे भ्रमित हो सकते हैं यदि आप अपने वाक्य की शब्दावली बदल देते हैं। वे सबसे कठिन कार्यों पर 0% से 40% तक विफल हुए।
- ARCHITECT सफल रहा: ARCHITECT, मानव सहायता के साथ, 80% से 100% कार्यों में सफल रहा। इसने जटिल कपड़ा मोड़ने और छिपे हुए केले को संभालने में बहुत बेहतर प्रदर्शन किया।
लेकिन असली जादू तब हुआ जब उन्होंने प्रयास (effort) को देखा।
- शुरुआत में, एक कार्य को सही ढंग से करने के लिए रोबोट को मानव से लगभग 4.7 सुधारों की आवश्यकता थी।
- लेकिन एक बार जब रोबोट ने पिछले कार्यों से अपनी स्किल लाइब्रेरी बना ली, तो उसे नए, समान कार्यों के लिए केवल 0.8 सुधारों की आवश्यकता थी। वास्तव में, अध्ययन में शामिल 6 में से 3 लोगों को दूसरे कार्य के लिए कोई भी सुधार देने की आवश्यकता नहीं पड़ी क्योंकि रोबोट ने पहले कार्य से ही वह ट्रिक सीख ली थी।
जो रोबोट नहीं कर सकता (अभी तक)
पेपर सावधानी से यह स्पष्ट करता है कि ARCHITECT परफेक्ट नहीं है। यह अपने "उपकरणों" पर निर्भर करता है, जैसे उसकी आँखें (कैमरे) और उसके हाथ (ग्रिपर्स)। यदि कैमरा ठीक से नहीं देख पाता, या यदि रोबोट का हाथ फिसलन भरी गेंद को पकड़ने के लिए बहुत अनाड़ी है, तो ARCHITECT अभी भी संघर्ष कर सकता है। शोधकर्ताओं ने पाया कि रोबोट का सबसे बड़ा विफलता बिंदु चीजों को पकड़ना था—यदि रोबोट शुरू में ही वस्तु को सही ढंग से नहीं पकड़ पाता, तो बात करने से भी कुछ नहीं बदल सकता था।
साथ ही, रोबोट को इंसानों की मदद की जरूरत होती है। वह हर समस्या को अपने आप ठीक नहीं कर सकता। अध्ययन से पता चला कि यदि कोई इंसान केवल एक सुधार देता है, तो शायद रोबोट नई स्थिति को संभालने के लिए पर्याप्त नहीं सीख पाएगा। उसे एक मजबूत "नोटबुक" बनाने के लिए कुछ अच्छे सुधारों की आवश्यकता होती है।
निष्कर्ष
यह पेपर सुझाव देता है कि रोबोट का भविष्य उन्हें लाखों वीडियो दिखाने के बारे में नहीं हो सकता है। इसके बजाय, यह बातचीत के बारे में हो सकता है। रोबोट नियंत्रण को कोड लिखने की तरह मानकर और इंसानों को सरल शब्दों के साथ गलतियाँ ठीक करने देकर, हम ऐसे रोबोट बना सकते हैं जो:
- व्याख्या योग्य (Interpretable) हैं: हम जानते हैं कि वे क्या कर रहे हैं क्योंकि वे अपनी योजना खुद लिखते हैं।
- अनुकूलनीय (Adaptable) हैं: वे महंगे पुन: प्रशिक्षण के बिना नए करतब सीख सकते हैं।
- कुशल (Efficient) हैं: वे हमारे द्वारा बोले गए हर शब्द के साथ बेहतर होते जाते हैं।
जैसा कि लेखकों ने कहा है, "कुछ शब्द बहुत दूर तक जाते हैं।" ARCHITECT के साथ, आज का एक साधारण सुधार कल की घंटों की परेशानी को बचा सकता है, जिससे एक अनाड़ी रोबोट एक मददगार साथी में बदल जाता है जो वास्तव में आपकी बात सुनता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।