The Objective Is the Bottleneck: Latent World Models Encode What Their Planners Cannot Use

कल्पना कीजिए कि आप एक रोबोट को भूलभुलैया (maze) में रास्ता खोजने के लिए सिखा रहे हैं। इसे करने के लिए, रोबोट अपने मस्तिष्क के भीतर दुनिया का एक "मानसिक मानचित्र" (mental map) बनाता है। यह मानचित्र कोई चित्र नहीं है; यह इस बात का एक संकुचित, गणितीय सारांश है कि किसी दिए गए क्षण में दुनिया कैसी दिखती है। वैज्ञानिक इसे "लेटेंट वर्ल्ड मॉडल" (latent-world model) कहते हैं। रोबोट खुद को चलते हुए देखने वाले वीडियो देखकर इस मानचित्र को सीखता है और यह अनुमान लगाने की कोशिश करता है कि आगे क्या होगा। यदि वह भविष्य की सटीक भविष्यवाणी कर सकता है, तो हम मान लेते हैं कि वह दुनिया को समझता है। एक बार जब उसके पास यह मानचित्र आ जाता है, तो रोबोट एक "प्लैनर" (planner)—एक निर्णय लेने वाला एल्गोरिदम—का उपयोग करता है ताकि वह लक्ष्य तक पहुँचने का सबसे अच्छा रास्ता खोज सके, जैसे कि खजाने के डिब्बे को ढूँढना। इस क्षेत्र में बड़ा सवाल हमेशा से यह रहा है कि यदि रोबोट एक दूर स्थित लक्ष्य तक पहुँचने में विफल रहता है, तो क्या यह इसलिए है क्योंकि उसका मानसिक मानचित्र धुंधला और गलत है, या इसलिए कि उसका निर्णय लेने वाला उपकरण खराब है? यह शोध पत्र इस रहस्य की गहराई में उतरता है, यह परीक्षण करते हुए कि समस्या रोबोट की दृष्टि में है या उसके दिशा-सूचक यंत्र (compass) में।

शोधकर्ताओं ने इस विशिष्ट रोबोट की जांच की जो एक सरल दो-कमरों वाले वातावरण में नेविगेट कर रहा था। उन्होंने पाया कि रोबोट का "मानमानसिक मानचित्र" वास्तव में अविश्वसनीय रूप से स्पष्ट और सटीक था, यहाँ तक कि भविष्य में बहुत दूर तक देखने के लिए भी। हालाँकि, रोबोट दूर स्थित लक्ष्यों तक पहुँचने में बार-बार विफल होता रहा। चौंकाने वाली खोज यह थी कि रोबोट इसलिए विफल नहीं हो रहा था क्योंकि वह रास्ता नहीं देख पा रहा था; बल्कि वह इसलिए विफल हो रहा था क्योंकि वह जिस "दिशा-सूचक" (compass) का उपयोग कर रहा था, वह टूटा हुआ था। रोबोट एक विशिष्ट गणितीय स्कोर (वर्तमान मानसिक अवस्था और लक्ष्य के बीच की वर्ग दूरी) को कम करने की कोशिश कर रहा था, लेकिन यह स्कोर एक निश्चित बिंदु के बाद समझ से बाहर हो गया। यह एक ऐसे GPS की तरह था जो आपको बताता है कि आप अपने गंतव्य के करीब पहुँच रहे हैं जबकि वास्तव में आप विपरीत दिशा में गाड़ी चला रहे होते हैं।

यह शोध पत्र दिखाता है कि रोबोट का आंतरिक मानचित्र 75 कदम आगे की दुनिया की स्थिति को बहुत कम त्रुटि के साथ सटीक रूप से बता सकता था—जो उन 25 कदमों से कहीं अधिक है जिनके लिए रोबोट ने कभी योजना बनाई थी। समस्या मानचित्र में नहीं थी; समस्या 'ऑब्जेक्टिव फंक्शन' (objective function) में थी, वह नियम जिसका उपयोग प्लॅनर सफलता को मापने के लिए करता है। शोधकर्ताओं ने पाया कि रोबोट के मन में दूरी मापने का मानक तरीका "सैचुरेट" (saturate) हो गया और फिर "उलट" (invert) गया। इसका अर्थ यह है कि एक बार जब लक्ष्य लगभग 120 यूनिट से अधिक दूर हो गया, तो लक्ष्य से दूर जाने पर भी रोबोट का 'कॉस्ट स्कोर' कम हो गया, जिससे उसे भ्रम हुआ कि वह प्रगति कर रहा है। लक्ष्य कहाँ है और वहाँ कैसे पहुँचना है, इसकी जानकारी रोबोट के मस्तिष्क में पूरी तरह से मौजूद थी, लेकिन रोबोट का प्लॅनर इसे अनदेखा कर रहा था क्योंकि वह गलत मीट्रिक (metric) को देख रहा था।

इसे ठीक करने के लिए, शोधकर्ताओं ने रोबोट को फिर से प्रशिक्षित नहीं किया या उसे अधिक शक्तिशाली हार्डवेयर नहीं दिया। इसके बजाय, उन्होंने बस उस टूटे हुए दिशा-सूचक को एक नए से बदल दिया। उन्होंने प्लॅनर को "रीचेबिलिटी" (reachability - क्या मैं वास्तव में वहाँ पहुँच सकता हूँ?) पर ध्यान केंद्रित करना सिखाया, न कि केवल "प्रॉक्सिमिटी" (proximity - यह कितना करीब दिखता है?) पर। उन्होंने ऐसा एक छोटे सहायक को प्रशिक्षित करके किया जो दो फ्रेमों के बीच जाने में कितने कदम लगेंगे, इसका अनुमान लगा सके, न कि केवल दो बिंदुओं के बीच की दूरी को मापने के बजाय। यह नया दृष्टिकोण एक बड़ी सफलता थी। मूल रोबोट की सेटिंग्स पर, 100 कदम दूर के लक्ष्यों तक पहुँचने की सफलता दर 26% के निराशाजनक स्तर से बढ़कर 98% के शानदार स्तर पर पहुँच गई। इससे भी अधिक प्रभावशाली बात यह है कि रोबोट केवल एक-तिहाई के सामान्य समय बजट के साथ उन दूर-दराज के लक्ष्यों में से 92% तक पहुँच सका।

हालाँकि, यह मरम्मत एक जादुई समाधान नहीं है जो हर जगह काम करे। जब शोधकर्ताओं ने मूल लेखकों के जारी किए गए 'वेट्स' (weights) पर वही सुधार आज़माया, तो यह सफलता को 14% से बढ़ाकर केवल 34% ही कर सका, जो एक सरल रैखिक विधि द्वारा प्राप्त 70% से कम था। इस विफलता का कारण यह है कि मूल मॉडल का "मानसिक मानचित्र" भविष्य की कल्पना करते समय वास्तविकता से बहुत दूर भटक जाता है। नया दिशा-सूचक वास्तविक वीडियो फ्रेमों पर प्रशिक्षित किया गया था, लेकिन प्लॅनर कल्पित (imagined) फ्रेमों को स्कोर कर रहा था। क्योंकि मूल मॉडल की भविष्यवाणियाँ इतनी गलत थीं, काल्पनिक फ्रेम वास्तविक फ्रेमों से इतने अलग थे कि नया दिशा-सूचक सही ढंग से काम नहीं कर सका। यह एक महत्वपूर्ण नियम को रेखांकित करता है: सीखा गया 'प्लानिंग कॉस्ट' (planning cost) ठीक उसी प्रकार के "कल्पित" डेटा पर प्रशिक्षित किया जाना चाहिए जिसका प्लॅनर वास्तव में उपयोग करेगा, अन्यथा यदि भविष्यवक्ता (predictor) भटक जाता है, तो यह विफल हो जाएगा।

अध्ययन ने एक अजीब सा तथ्य भी उजागर किया: "सर्वश्रेष्ठ" प्लॅनर वह नहीं था जिसका मानचित्र सबसे सटीक था। वास्तव में, एक ऐसा प्लॅनर जिसने सटीक स्थानिक दूरी (spatial distance) की भविष्यवाणी करने में खराब प्रदर्शन किया, उसने बेहतर योजना बनाई। ऐसा इसलिए था क्योंकि एक ऐसे 'कॉस्ट फंक्शन' का उपयोग करने वाले प्लॅनर ने दीवार पार करने के लिए अतिरिक्त दंड (charge) लगाया, जबकि पुराने वाले को दीवारों की परवाह नहीं थी। पुराने प्लॅनर को लगा कि दो कमरे भौतिक रूप से पास होने के कारण करीब हैं, उसने दरवाजे को अनदेखा कर दिया। नया प्लॅनर समझ गया कि आपको दरवाजे से होकर गुजरना होगा, जिससे वह एक बेहतर नेविगेटर बन गया। शोध पत्र निष्कर्ष निकालता है कि लंबी अवधि की योजना (long-horizon planning) के लिए, बाधा भविष्य बताने की क्षमता नहीं है, बल्कि यह परिभाषित करने की क्षमता है कि "वहाँ पहुँचना" वास्तव में क्या है। यदि आपका दिशा-सूचक गलत दिशा में संकेत करता है, तो कितनी भी सटीक दृष्टि होने के बावजूद आप अपने गंतव्य तक नहीं पहुँच पाएंगे।