WCM: A World Critic Model for Vision-Language-Action Reinforcement Learning
यह शोध पत्र वर्ल्ड क्रिटिक मॉडल (WCM) प्रस्तुत करता है, जो विजन-लैंग्वेज-एक्शन सुदृढीकरण शिक्षण (reinforcement learning) के लिए एक नवीन दृष्टिकोण है जो भविष्य के लेटेंट स्टेट्स (latent states) की संयुक्त रूप से भविष्यवाणी करने और मूल्यों का अनुमान लगाने के लिए एक हल्के LeJEPA आर्किटेक्चर का लाभ उठाता है, जिससे सिंगल-फ्रेम क्रिटिक्स की सीमाओं को दूर करते हुए विविध रोबोटिक मैनिपुलेशन कार्यों में अत्याधुनिक प्रदर्शन और सामान्यीकरण प्राप्त किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को सैंडविच बनाना सिखा रहे हैं। आप उसे सामग्री की एक तस्वीर दिखाते हैं और कहते हैं, "सैंडविच बनाओ।" एक साधारण रोबोट उस एकल तस्वीर को देख सकता है, क्या करना है इसका अनुमान लगा सकता है, और ब्रेड को पकड़ने की कोशिश कर सकता है। लेकिन यहाँ एक पेंच है: रोबोट भविष्य नहीं देख सकता। उसे नहीं पता कि ब्रेड मेज से फिसल रही है, चाकू फिसलने वाला है, या टोस्टर ऊपर आने वाला है। वास्तविक दुनिया में, रोबोट एक धुंधले कमरे में चलने वाले लोगों की तरह होते हैं; वे केवल वर्तमान क्षण के एक छोटे से हिस्से को देख सकते हैं। इसे "पार्शियल ऑब्जर्वेबिलिटी" (आंशिक दृश्यता) कहा जाता है। अच्छे निर्णय लेने के लिए, एक रोबोट को यह याद रखने की आवश्यकता है कि एक सेकंड पहले क्या हुआ था और एक सेकंड बाद क्या होने वाला है।
लंबे समय से, वैज्ञानिक रोबड़ों को सिखाने के लिए "रीइन्फोर्समेंट लर्निंग" (RL) नामक एक विधि का उपयोग कर रहे हैं। इसे एक वीडियो गेम की तरह समझें जहाँ रोबोट अलग-अलग क्रियाएं करता है, अच्छा करने पर अंक प्राप्त करता है, और विफल होने पर अंक खो देता है। जल्दी सीखने के लिए, रोबोट को एक "कोच" (जिसे क्रिटिक कहा जाता है) की आवश्यकता होती है जो गेम की स्थिति को देखता है और कहता है, "हे, वह चाल अच्छी थी!" या "बुरा विचार है!" समस्या यह है कि इनमें से अधिकांश कोच केवल एक स्थिर फ्रेम को देख रहे होते हैं। वे एक खिलाड़ी की केवल एक फोटो देखकर निर्देश देने वाले कोच की तरह हैं, जो दौड़ के मोमेंटम (गति) या गेंद की गति को भूल जाते हैं। यह पेपर, जिसका शीर्षक "WCM: ए वर्ल्ड क्रिटिक मॉडल फॉर विजन-लैंग्वेज-एक्शन रीइन्फोर्समेंट लर्निंग" है, ठीक इसी समस्या का समाधान करता है। यह एक नए प्रकार के कोच का प्रस्ताव देता है जो केवल वर्तमान को नहीं देखता; यह अतीत को समझने के लिए भविष्य की कल्पना भी करता है।
समस्या: भूलने वाली याददाश्त वाला कोच
रोबोट लर्निंग की दुनिया में, विजन-लैंग्वेज-एक्शन (VLA) मॉडल होते हैं। ये वे मस्तिष्क हैं जो रोबोट को एक छवि देखने, "कप उठाओ" जैसे वाक्य को समझने और फिर अपने हाथ को चलाने की अनुमति देते हैं। इन कार्यों में वास्तव में कुशल होने के लिए, शोधकर्ता इन मस्तिष्कों को फाइन-ट्यून करने के लिए रीइन्फोर्समेंट लर्निंग का उपयोग करते हैं। लेकिन प्रभावी ढंग से प्रशिक्षित होने के लिए, उन्हें एक "क्रिटिक" मॉडल की आवश्यकता होती है। यह क्रिटिक एक स्कोरकीपर की तरह कार्य करता है, जो यह अनुमान लगाता है कि वर्तमान स्थिति कितनी अच्छी है।
करने का पुराना तरीका यह था कि क्रिटिक को केवल एक छवि (या कुछ छवियों का एक स्टैक) दी जाए और पूछा जाए, "यह कितना अच्छा है?" पेपर का तर्क है कि यह एक मौलिक गलती है। यह एक फुटबॉल खेल का निर्णय लगाने के लिए खिलाड़ियों की एक एकल तस्वीर देखने जैसा है। आप गेंद की गति, हवा की दिशा और यह कि क्या कोई खिलाड़ी फिसलने वाला है, सब कुछ मिस कर देते हैं। क्योंकि रोबलेट सब कुछ नहीं देख सकता (जैसे मेज का घर्षण या किसी चलती वस्तु का सटीक मोमेंटम), इसलिए एक एकल स्नैपशॉट अक्सर भ्रामक होता है।
लेखकों ने पाया कि केवल क्रिटिक को अधिक इतिहास देना—जैसे कि उसे वीडियो के पिछले पांच फ्रेम दिखाना—भी अच्छी तरह काम नहीं आया। यदि आप केवल एक मानक क्रिटिक को एक लंबा वीडियो देते हैं और उससे एक स्कोर का अनुमान लगाने को कहते हैं, तो वह वीडियो को एक कहानी के बजाय पिक्सेल के एक विशाल, स्थिर ढेर के रूप रूप में देखने लगता है। यह यह सीखने में विफल रहता है कि दुनिया समय के साथ कैसे बदलती है। पेपर सुझाव देता है कि मूल कारण यह है कि क्रिटिक स्थिति के "फिजिक्स" (भौतिकी) को समझने की कोशिश नहीं कर रहा है; यह केवल एक संख्या का अनुमान लगाने के लिए पैटर्न को याद कर रहा है।
समाधान: "वर्ल्ड" क्रिटिक
यहाँ वर्ल्ड क्रिटिक मॉडल (WCM) आता है। लेखकों ने एक नया प्रकार का कोच बनाया है जो एक साथ दो काम करता है, न कि केवल एक।
- यह स्कोर का अनुमान लगाता है: एक सामान्य क्रिटिक की तरह, यह अनुमान लगाता है कि वर्तमान स्थिति कितनी अच्छी है।
- यह भविष्य की भविष्यवाणी करता है: यह यह भी अनुमान लगाने की कोशिश करता है कि अगला क्षण कैसा होगा (एक लेटेंट स्टेट के रूप में)।
WCM को एक शतरंज खिलाड़ी के रूप में सोचें जो केवल बोर्ड को देखकर यह नहीं कहता कि, "मैं जीत रहा हूँ।" इसके बजाय, वे लगातार मानसिक सिमुलेशन चलाते हैं: "यदि मैं यहाँ चलता हूँ, तो प्रतिद्वंद्वी वहाँ चलेगा, और फिर मैं इस नई स्थिति में होऊँगा।" मॉडल को यह बताने के लिए मजबूर करके कि आगे क्या होगा, इसे दुनिया के नियमों को समझने के लिए मजबूर किया जाता है। यह सीखता है कि यदि कप फिसल रहा है, तो वह जल्द ही किनारे से गिर जाएगा। यह "भविष्य की भविष्यवाणी" एक सुपर-चार्ज्ड शिक्षक के रूप में कार्य करती है, जिससे मॉडल को केवल वर्तमान फ्रेम को ही नहीं, बल्कि रोबोट की गति की पूरी कहानी को समझने में मदद मिलती है।
यह पेपर इसे करने के लिए LeJEPA नामक एक हल्के आर्किटेक्चर का उपयोग करता है। यह शून्य से प्रशिक्षित करने के लिए पर्याप्त कुशल है और मौजूदा रोबोट प्रशिक्षण पाइपलाइनों में सहजता से फिट बैठता है।
उन्होंने क्या पाया: "जीरो" से "हीरो" तक
शोधकर्ताओं ने इस नए वर्ल्ड क्रिटिक का बड़े पैमाने पर परीक्षण किया। उन्होंने चार अलग-अलग सिमुलेशन बेंचमार्क में 149 विभिन्न कार्यों पर प्रयोग चलाए। ये कार्य सरल "पिक-एंड-प्लेस" खेलों से लेकर तौलिया मोड़ने या स्टोव साफ करने जैसी जटिल, लंबे समय तक चलने वाली चुनौतियों तक थे।
परिणाम आश्चर्यजनक थे। सिमुलेशन में, WCM ने सभी पिछले तरीकों को लगातार पीछे छोड़ दिया, जिसमें सबसे अच्छे मौजूदा "कोच" भी शामिल थे।
- इन-डिस्ट्रीब्यूशन (IND): जब रोबोट ने उन कार्यों का सामना किया जिन्हें उसने पहले देखा था, तो WCM ने सफलता दर में उल्लेखनीय सुधार किया। उदाहरण के लिए, एक विशिष्ट रोबोट मॉडल (OpenVLA-OFT) के साथ, सफलता दर WCM के साथ प्रशिक्षण के बाद 0.78% (लगतः हर बार विफल होना) से बढ़कर 98.7% हो गई। यह एक बहुत बड़ी छलांग है।
- आउट-ऑफ-डिस्ट्रीब्यूशन (OOD): यह असली परीक्षा है। क्या रोबोट एक नई मेज, अलग रोशनी की स्थिति या थोड़े अलग ऑब्जेक्ट को संभाल सकता है? WCM ने यहाँ पुराने तरीकों की तुलना में बहुत मजबूत सामान्यीकरण (generalization) दिखाया। इसने केवल प्रशिक्षण डेटा को याद नहीं किया; इसने वस्तुओं के हिलने और परस्पर क्रिया करने के अंतर्निहित नियमों को सीखा।
पेपर ने इसे वास्तविक दुनिया में भी परखा। उन्होंने एक भौतिक रोबोट आर्म (WidowX-250S) का उपयोग करके सात वास्तविक दुनिया के कार्यों पर WCM का परीक्षण किया। इनमें घूमते हुए कन्वेयर बेल्ट से सुशी उठाना, तौलिया मोड़ना और स्टोव साफ करना जैसे कठिन काम शामिल थे।
- वास्तविक दुनिया में, जहाँ चीजें अव्यवस्थित और अप्रत्याशित होती हैं, WCM फिर भी जीत गया। इसने रोबोट को मानक तरीकों की तुलना में अधिक सुचारू रूप से और सफलतापूर्वक कार्य करने में मदद की।
- उदाहरण के लिए, "रोटेटिंग सुशी" कार्य में, मानक तरीका सुशी के दूर जाने से पहले उसे पकड़ने में संघर्ष करता था। WCM ने रोबोट को अपनी पकड़ को सही समय पर सेट करने में मदद की, जिससे वह 50 में से 22 प्रयासों में सफल रहा, जबकि बेसलाइन के लिए यह संख्या बहुत कम थी।
यह क्यों मायने रखता है
पेपर का तर्क है कि बेहतर रोबोट की कुंजी केवल उन्हें अधिक डेटा या बड़ा मस्तिष्क देना नहीं है; बल्कि उन्हें समय को समझने का एक बेहतर तरीका देना है। रोबोट के "कोच" को भविष्य की भविष्यवाणी करने के लिए सिखाकर, रोबोट दुनिया को असंबद्ध तस्वीरों की एक श्रृंखला के बजाय एक बहती हुई कहानी के रूप में देखना सीखता है।
लेखक सावधानी से नोट करते हैं कि हालांकि परिणाम प्रभावशाली हैं, लेकिन वे विशिष्ट सिमुलेशन और वास्तविक दुनिया के कार्यों के एक सीमित सेट पर आधारित हैं। उन्होंने यह दावा नहीं किया कि उन्होंने सभी रोबोट समस्याओं को हल कर दिया है, लेकिन उन्होंने यह दिखाया है कि क्रिटिक में "वर्ल्ड मॉडल" जोड़ना रोबोटों को स्मार्ट, तेज़ और अधिक अनुकूलन योग्य बनाने का एक शक्तिशाली तरीका है। चाहे कपड़े मोड़ना हो या सुशी उठाना, रोबोट लर्निंग का भविष्य शायद उन्हें यह कल्पना करने के लिए सिखाने पर निर्भर करता है कि आगे क्या होने वाला है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।