WAM-OPD: On-Policy Distillation for World Action Models
यह शोध पत्र WAM-OPD को प्रस्तुत करता है, जो एक पोस्ट-ट्रेनिंग विधि है जो वीडियो-फर्स्ट वर्ल्ड एक्शन मॉडल्स (World Action Models) को सुधारने के लिए ऑन-पॉलिसी डिस्टिलेशन का उपयोग करती है, जिसमें उन्हें सघन शिक्षक पर्यवेक्षण (dense teacher supervision) के साथ उनके अपने जनरेट किए गए इतिहास पर प्रशिक्षित किया जाता है, जिससे बिना स्पार्स-रिवॉर्ड सुदृढीकरण शिक्षण (sparse-reward reinforcement learning) की आवश्यकता के कार्य सफलता दरों में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
रोबोट एक नए प्रकार की बुद्धिमत्ता के साथ देखना और हिलना-डुलना सीख रहे हैं, जो केवल इस बात पर प्रतिक्रिया देने की कोशिश नहीं करती कि अभी क्या हो रहा है, बल्कि यह कल्पना करने की भी कोशिश करती है कि आगे क्या होगा। वर्षों से, शोधकर्ताओं ने रोबोट को वीडियो और निर्देश डेटा की विशाल मात्रा का उपयोग करके प्रशिक्षित किया है, जिससे उन्हें यह सिखाया जा सके कि वे जो देखते हैं उसे अपने हाथों की गति से कैसे जोड़ें। इन प्रणालियों को अक्सर विजन-लैंग्वेज-एक्शन मॉडल कहा जाता है, जो शक्तिशाली तो हैं, लेकिन जब उन्हें वास्तविक समय में जटिल कार्य करने के लिए कहा जाता है, तो वे धीमी और अनाड़ी हो सकती हैं। उन्हें तेज़ बनाने के लिए, वैज्ञानिकों ने 'डिस्टिलेशन' (distillation) नामक एक तकनीक विकसित की है, जो एक धीमे, बुद्धिमान शिक्षक को लेकर उसके व्यवहार की नकल करने के लिए एक त्वरित, छात्र संस्करण को प्रशिक्षित करने जैसा है। लक्ष्य एक ऐसा रोबोट बनाना है जो एक ही, सहज गति में सोच सके और कार्य कर सके। हालाँकि, इसमें एक पेंच है: जब आप रोबोट के मस्तिष्क को तेज़ करते हैं, तो वह कभी-कभी कठिन स्थितियों को संभालना भूल जाता है या उन अवस्थाओं में खो जाता है जिन्हें उसने अपने प्रारंभिक प्रशिक्षण के दौरान कभी नहीं देखा था। रोबोट तेज़ तो हो जाता है, लेकिन वह काम पूरा करने की क्षमता खो देता है।
यहीं पर WAM-OPD नामक एक नया दृष्टिकोण आता है, जो एक ऐसी विधि है जिसे इन तेज़ रोबोटों को बिना उन्हें शून्य से सीखने के लिए ट्रायल और एरर (प्रयास और त्रुटि) के माध्यम से बाहर भेजने के, ठीक करने के लिए डिज़ाइन किया गया है। शोधकर्ता, एक ऐसी प्रणाली के साथ काम कर रहे थे जो अपनी चालों की योजना बनाने के लिए भविष्य के वीडियो फ्रेम की भविष्यवाणी करती है, उन्होंने महसूस किया कि इन त्वरित रोबोटों को प्रशिक्षित करने का मानक तरीका त्रुटिपूर्ण था। समस्या यह थी कि तेज़ रोबोट को धीमे शिक्षक की सटीक भविष्यवाणियों के आधार पर कार्य करने के लिए सिखाया जा रहा था, लेकिन वास्तविक दुनिया में, तेज़ रोबोट को अपनी स्वयं की, थोड़ी अपूर्ण भविष्यवाणियों के आधार पर कार्य करना था। यह एक छात्र को एक आदर्श ड्राइवर का वीडियो दिखाकर गाड़ी चलाना सिखाने जैसा था, लेकिन फिर उन्हें स्टीयरिंग थमा देना और उनसे उम्मीद करना कि वे सड़क पर ठीक वैसे ही प्रतिक्रिया दें जैसे शिक्षक देंगे, भले ही छात्र की कार अलग तरह से चल रही हो। रोबोट जो देखने की उम्मीद करता था और जो उसने वास्तव में देखा, उसके बीच के अंतर ने उसे विफल कर दिया।
इसे हल करने के लिए, टीम ने एक प्रशिक्षण लूप बनाया जहाँ तेज़ रोबोट वास्तव में एक सिम्युलेटेड वातावरण में जाता है और अपने आप इधर-उधर घूमता है। जैसे-जैसे वह चलता है, वह जो देखता है और जो करता है उसका एक इतिहास बनाता है। एक स्थिर, धीमा और अत्यधिक सटीक शिक्षक रोबोट फिर इन विशिष्ट क्षणों को देखता है और बताता है कि आगे क्या होना चाहिए। महत्वपूर्ण रूप से, तेज़ रोबोट को भविष्य की भविष्यवाणी करने और दुनिया के अपने अपूर्ण दृश्य के आधार पर अपने कार्यों को चुनने के लिए सिखाया जाता है, जबकि वह अभी भी शिक्षक के सही उत्तरों से मेल बिठाने की कोशिश करता है। यह सुनिश्चित करता है कि रोबोट उन विशिष्ट स्थितियों को संभालने के लिए सीखता है जिनका वह वास्तव में सामना करता है, न कि केवल उन परिदृश्यों की एक पाठ्यपुस्तक सूची को याद करने के लिए जिन्हें वह शायद कभी न देखे। शोधकर्ताओं ने सिमुलेशन में दो विशिष्ट कार्यों पर इस पद्धति का परीक्षण किया: एक रोबोटिक हाथ से दूसरे हाथ में माइक्रोफ़ोन पास करना, और किसी वस्तु को कैबिनेट दराज में रखना।
परिणामों ने दिखाया कि यह विधि इन कार्यों को पूरा करने की रोबोट की क्षमता में महत्वपूर्ण सुधार कर सकती है। माइक्रोफ़ोन हैंडओवर के लिए, एक ऐसा कार्य जहाँ तेज़ रोबोट शुरू में पूरी तरह से विफल रहा था, नई प्रशिक्षण पद्धति ने इसे आधे से अधिक प्रयासों में सफल होने में मदद की। कैबिनेट कार्य के लिए, जहाँ रोबotong पहले से ही कुछ हद तक सफल था, सुधार छोटा लेकिन ध्यान देने योग्य था, जिसने सफलता दर को लगभग छह में से एक प्रयास से बढ़ाकर तीन में से एक कर दिया। ये संख्याएँ सिम्युलेटेड दृश्यों की एक छोटी संख्या का उपयोग करके किए गए बहुत विशिष्ट परीक्षणों से आती हैं, इसलिए शोधकर्ता सावधानी से कहते हैं कि यह एक सार्वभौमिक समाधान के बजाय एक 'प्रूफ ऑफ कॉन्सेप्ट' (concept का प्रमाण) है। उन्होंने पाया कि यह विधि इन विशिष्ट चुनौतियों के लिए अच्छी तरह से काम करती है, जो यह सुझाव देती है कि रोबोट को उसके अपने वास्तविक समय के अनुभवों से सीखने के लिए प्रशिक्षित करना, एक बुद्धिमान लेकिन स्थिर शिक्षक के मार्गदर्शन में, तेज़, त्वरित AI की कमजोरियों को ठीक करने का एक आशाजनक तरीका है। यह कार्य यह दावा नहीं करता है कि इसने सभी स्थितियों के लिए रोबोट लर्निंग को हल कर दिया है, लेकिन यह वास्तव में काम में आने वाले उच्च-गति प्रणालियों को अधिक विश्वसनीय बनाने के लिए एक स्पष्ट मार्ग प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।