कल्पना कीजिए कि आप एक रोबोट को एक जटिल कार्य करना सिखाने की कोशिश कर रहे हैं, जैसे ब्लॉकों को एक के ऊपर एक रखना या ड्रिंक डालना। आप रोबोट को यह सीखने के लिए अपने घर में लाखों बार इधर-उधर दौड़ने नहीं दे सकते; इससे चीजें टूट सकती हैं, वह थक सकता है, या इसमें बहुत अधिक समय लग सकता है। इसके बजाय, वैज्ञानिक "वर्ल्ड मॉडल्स" (world models) बनाते हैं। इन्हें एक सुपर-स्मार्ट वीडियो गेम इंजन की तरह समझें जो बिल्कुल सटीक भविष्यवाणी कर सकता है कि यदि रोबोट अपने हाथ को एक निश्चित तरीके से हिलाता है तो आगे क्या होगा। यह एक क्रिस्टल बॉल रखने जैसा है जो वास्तविक रोबोट की आवश्यकता के बिना, रोबोट के कार्यों के भविष्य को दिखा सकता है। लेकिन पेच यह है कि इन क्रिस्टल बॉल्स के उपयोगी होने के लिए, उन्हें "परफेक्ट" होना चाहिए। उन्हें भौतिकी के नियमों का पालन करना चाहिए (ताकि वस्तुएं हवा में न तैरें), उन्हें दिए गए निर्देशों को ठीक से सुनना चाहिए (यदि आप कहें "बाएं मुड़ो," तो उसे दाएं नहीं मुड़ना चाहिए), और जो वीडियो वे दिखाते हैं उसे इतना वास्तविक दिखना चाहिए कि एक इंसान उसे समझ सके। यदि मॉडल इनमें से किसी भी चीज़ में गलती करता है, तो यह एक ऐसे GPS की तरह है जो आपको खाई में गाड़ी चलाने के लिए कहता है क्योंकि वह गुरुत्वाकर्षण के अस्तित्व को भूल गया है।

सबसे बड़ी समस्या यह है कि अधिकांश मॉडल केवल "परफेक्ट" उदाहरणों पर प्रशिक्षित होते हैं—रोबोट द्वारा कार्य को बिल्कुल सही तरीके से करने वाले वीडियो। वे उन विशिष्ट चालों की नकल करने में बहुत अच्छे हो जाते हैं, लेकिन यदि आप उन्हें कुछ थोड़ा अलग करने के लिए कहते हैं, तो वे बेतुकी चीजें दिखाने लगते हैं (hallucinate)। उन्होंने वास्तविक दुनिया के अव्यवस्थित और अप्रत्याशित हिस्सों को नहीं सीखा है। यह पेपर, जिसका शीर्षक PAVXploreRL है, इन वर्ल्ड मॉडल्स को प्रशिक्षित करने का एक नया तरीका पेश करता है ताकि वे अधिक मजबूत, स्मार्ट और विश्वसनीय बन सकें। शोधकर्ताओं ने एक ऐसा सिस्टम बनाया है जो केवल परफेक्ट वीडियो की नकल नहीं करता; यह एक सुरक्षित, सिम्युलेटेड वातावरण में "अजीब" या अपूर्ण चालों को आजमाकर सक्रिय रूप से अभ्यास करता है। उन्हें भौतिक रूप से यथार्थवादी होने, निर्देशों का पालन करने और दिखने में स्पष्ट होने के लिए पुरस्कृत करके, उन्होंने एक ऐसा टूल बनाया है जो यह अनुमान लगाने में बहुत बेहतर है कि रोबोट वास्तव में क्या करेगा, तब भी जब चीजें योजना के अनुसार नहीं होती हैं।

द PAVXploreRL एडवेंचर

इस पेपर के लेखक, हान वांग और उनकी टीम ने यह ठीक करने का लक्ष्य रखा कि हम रोबोट को भविष्य की कल्पना करना कैसे सिखाते हैं। वे अपने समाधान को PAVXploreRL कहते हैं, जिसका अर्थ है Physical, Action, and Visual Exploration Reinforcement Learning। इसे रोबोट की कल्पना के लिए एक ट्रेनिंग कैंप की तरह समझें।

अतीत में, इन मॉडल्स को प्रशिक्षित करना केवल उन्हें उत्तर कुंजी (answer key) दिखाकर पढ़ाने जैसा था। मॉडल रोबोट द्वारा कार्यों को पूरी तरह से करने वाले हजारों वीडियो देखते थे और उनकी नकल करने की कोशिश करते थे। समस्या क्या थी? यदि आप मॉडल को कुछ थोड़ा अलग करने के लिए कहते—जैसे थोड़ा तेज़ चलना या कोई वस्तु गिरा देना—तो वे अक्सर विफल हो जाते, ऐसे वीडियो दिखाते जो नकली लगते या भौतिकी के नियमों को तोड़ देते। शोधकर्ताओं का तर्क है कि एक वास्तव में उपयोगी "क्रिस्टल बॉल" बनाने के लिए, मॉडल को तीन विशिष्ट चीजों को समझना चाहिए, जिन्हें वे PAV लक्ष्य कहते हैं:

1. भौतिक संभाव्यता (Physical Plausibility - P): वीडियो को भौतिकी के नियमों का पालन करना चाहिए। यदि एक रोबोट कप छोड़ता है, तो कप नीचे गिरना चाहिए, ऊपर नहीं तैरना चाहिए।
2. क्रिया अनुपालन (Action Adherence - A): वीडियो को ठीक वही करना चाहिए जो रोबोट को बताया गया है। यदि कमांड है "लाल ब्लॉक पकड़ो," तो वीडियो में रोबोट को नीला ब्लॉक पकड़ते हुए नहीं दिखाना चाहिए।
3. दृश्य निष्ठा (Visual Fidelity - V): वीडियो को स्पष्ट और वास्तविक दिखना चाहिए, धुंधला या अजीब नहीं, ताकि इंसान उस पर भरोसा कर सकें।

पेपर का तर्क है कि पिछले तरीके इसलिए विफल रहे क्योंकि वे केवल "इन-डिस्ट्रीब्यूशन" (ID) डेटा देखते थे—यानी, वे केवल विशेषज्ञ वीडियो पर प्रशिक्षित थे। उन्होंने मॉडल को यह नहीं सिखाया कि जब चीजें गलत होती हैं या जब रोबोट कुछ नया करने की कोशिश करता है तो क्या होता है। इसे ठीक करने के लिए, PAVXploreRL एक "खेलपूर्ण" प्रशिक्षण पद्धति पेश करता है। केवल परफेक्ट वीडियो की नकल करने के बजाय, सिस्टम उन परफेक्ट वीडियो में थोड़ी सी गड़बड़ी करता है। यह रोबोट के कमांड में "शोर" (noise) जोड़ता है, जिससे आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) क्रियाएं पैदा होती हैं। ये "क्या होगा अगर" वाले परिदृश्य हैं: क्या होगा अगर रोबोट बहुत तेज़ चला? क्या होगा अगर वह फिसल गया?

जादू इसलिए होता है क्योंकि सिस्टम को इन अव्यवस्थित परिदृश्यों को सीखने के लिए वास्तविक वीडियो की आवश्यकता नहीं होती है। यह एक विशेष "जज" (जो VJEPA-2 नामक मॉडल पर आधारित है) का उपयोग करता है जो अनुमानित भविष्य को देख सकता है और कह सकता है, "हे, यह भौतिक रूप से संभव नहीं लग रहा है," या "यह कमांड से मेल नहीं खाता।" सिस्टम फिर इन स्कोर का उपयोग रिवॉर्ड के रूप रूप में करता है, ठीक वैसे ही जैसे एक वीडियो गेम अच्छे मूव्स के लिए अंक देता है। यदि मॉडल एक ऐसा भविष्य बताता है जो यथार्थवादी दिखता है और नियमों का पालन करता है, तो उसे उच्च स्कोर मिलता है। यदि वह एक तैरता हुआ कप या कमांड को अनदेखा करने वाला रोबोट दिखाता है, तो उसे कम स्कोर मिलता है और वह फिर से प्रयास करता है।

इसके परिणाम काफी उत्साहजनक हैं। शोधकर्ताओं ने अपने नए तरीके का परीक्षण दो अलग-अलग रोबोट डेटासेट्स पर किया: Agibot (एक डुअल-हैंड रोबोट) और Droid (एक सिंगल-हैंड रोबोट)। उन्होंने पाया कि उनके नए मॉडल ने, इस विशेष प्रशिक्षण के बाद, मानक मॉडल्स को लगातार पीछे छोड़ दिया। औसतन, उन्होंने विभिन्न बेंचमार्क में 5.6% का सुधार देखा। यह सुनने में छोटा लग सकता है, लेकिन रोबोट ट्रेनिंग की दुनिया में, यह एक महत्वपूर्ण छलांग है। नया मॉडल वस्तुओं को जमीन पर रखने (Physical Plausibility), निर्देशों का पालन करने (Action Adherence), और वास्तविक दिखने (Visual Fidelity) में बेहतर था।

शायद सबसे महत्वपूर्ण निष्कर्ष यह है कि मॉडल "पॉलिसी इवैल्यूएशन" (policy evaluation) को कैसे संभालता है। यह एक फैंसी तरीका है यह कहने का कि: "क्या हम वास्तविक दुनिया में रोबोट को चलाने से पहले यह परीक्षण करने के लिए इस मॉडल का उपयोग कर सकते हैं कि रोबोट का दिमाग कितना अच्छा है?" पेपर दिखाता है कि पुराने मॉडल अक्सर बहुत अधिक आत्मविश्वासी हो जाते हैं, और इस बात का अतिरंजित अनुमान लगाते हैं कि रोबोट कितनी अच्छी तरह कार्य करेगा। वे सोच सकते हैं कि एक रोबोट किसी कार्य में 90% बार सफल होगा जबकि वास्तव में वह केवल 60% बार सफल होता है। हालाँकि, PAVXploreRL अधिक ईमानदार और विश्वसनीय अनुमान देता है। यह रोबोट की सफलता के "सपनों" से धोखा नहीं खाता; यह सच बताता है कि वास्तव में क्या होने की संभावना है।

टीम ने "एब्लेशन स्टडीज" (ablation studies) भी कीं, जो मशीन के पुर्जों को अलग करके यह देखने जैसा है कि कौन से गियर सबसे अधिक काम कर रहे हैं। उन्होंने अपने सिस्टम का परीक्षण विभिन्न हिस्सों को हटाकर किया, जैसे कि "एम्बॉडीमेंट-फोकस्ड" रिवॉर्ड्स (जो विशेष रूप से रोबोट के शरीर पर ध्यान केंद्रित करते हैं) या "स्टैटिक रेगुलराइजेशन" (जो मॉडल को केवल एक स्थिर, परफेक्ट इमेज की भविष्यवाणी करने से रोकता है)। उन्होंने पाया कि उनके रेसिपी का हर हिस्सा आवश्यक था। जब उन्होंने भौतिक संभाव्यता की जांच करने वाले हिस्से को हटाया, तो मॉडल खराब हो गया। जब उन्होंने अव्यवस्थित, आउट-ऑफ-डिस्ट्रीब्यूशन क्रियाओं को संभालने वाले हिस्से को हटाया, तो मॉडल कम विश्वसनीय हो गया। यह सुझाव देता है कि इन सभी तत्वों का संयोजन ही है जो इस सिस्टम को इतना प्रभावी बनाता है।

अंत में, PAVXploreRL केवल सुंदर रोबोट वीडियो बनाने के बारे में नहीं है। यह रोबोट को प्रशिक्षित करने का एक सुरक्षित, अधिक विश्वसनीय तरीका बनाने के बारे में है। मॉडल को "क्या होगा अगर" वाले परिदृश्यों को एक्सप्लोर करने के लिए शिक्षित करके और उन्हें भौतिक रूप से सटीक और आज्ञाकारी होने के लिए पुरस्कृत करके, शोधकर्ताओं ने एक ऐसा टूल बनाया है जो रोबोट को वास्तविक दुनिया में तेजी से और सुरक्षित रूप से सीखने में मदद कर सकता है। पेपर सुझाव देता है कि यह दृष्टिकोण एम्बॉडीड एआई (embodied AI) के लिए एक बड़ा कदम हो सकता है, जिससे जटिल रोबोटों को प्रशिक्षित करना संभव हो जाएगा बिना उन्हें वास्तविक लैब में लाखों बार क्रैश किए। हालांकि पेपर यह दावा नहीं करता है कि उसने रोबोटिक्स की हर समस्या को हल कर दिया है, लेकिन यह सिमुलेशन को विश्वसनीय बनाने की दिशा में एक मजबूत और संतुलित कदम प्रदान करता है।