The Evaluation Protocol Determines the Result: An Independent Reproduction of LeWorldModel on TwoRoom

जासूस की दुविधा: जब नक्शा और क्षेत्र मेल नहीं खाते

कल्पना कीजिए कि आप एक रोबोट को भूलभुलैया (maze) में रास्ता खोजने के लिए सिखा रहे हैं। आप केवल यह नहीं चाहते कि रोबोट रास्ता याद कर ले; आप चाहते हैं कि वह अपने मस्तिष्क में एक "विश्व मॉडल" (world model) बनाए—एक मानसिक मानचित्र जो यह अनुमान लगा सके कि यदि वह बाएँ या दाएँ मुड़ता है तो क्या होगा। यदि रोबोट भविष्य का सटीक अनुमान लगा सकता है, तो वह आगे की योजना बना सकता है और जटिल पहेलियों को हल कर सकता है। यही लेटेंट वर्ल्ड मॉडल्स (latent world models) का सपना है: ऐसे AI सिस्टम जो अपने वातावरण के छिपे हुए नियमों को सीखते हैं ताकि वे बिना किसी मानवीय सहायता के बुद्धिमानी से कार्य कर सकें।

लेकिन यहाँ एक पेचीदा बात है: आप कैसे जानेंगे कि रोबोट का मानसिक मानचित्र वास्तव में अच्छा है? आमतौर पर, वैज्ञानिक यह देखकर जाँच करते हैं कि रोबोट अगले कदम का कितनी अच्छी तरह से अनुमान लगा पाता है। यदि वह वीडियो के अगले फ्रेम का सटीक अनुमान लगा सकता है, तो हम मान लेते हैं कि वह दुनिया को समझता है। हालाँकि, यह शोध पत्र एक खतरनाक सवाल पूछता है: क्या होगा यदि रोबोट अगले एक सेकंड की भविष्यवाणी करने में तो जीनियस है, लेकिन अगले एक मिनट की योजना बनाने में पूरी तरह से विफल है?

यह कहानी मशीन लर्निंग की दुनिया से आती है, विशेष रूप से इस अध्ययन से कि कैसे AI वास्तविकता का अनुकरण करना सीखता है। यह एक ऐसा क्षेत्र है जहाँ शोधकर्ता भौतिकी, गति और कारण-प्रभाव (cause-and-effect) को समझने के लिए डिजिटल मस्तिष्क बनाते हैं। दांव ऊंचे हैं क्योंकि यदि हम ऐसे मॉडल्स के आधार पर रोबोट या स्व-चालित कारें बनाते हैं जो कागजों पर तो अच्छे दिखते हैं लेकिन वास्तविक दुनिया में विफल हो जाते हैं, तो इसके परिणाम बहुत बुरे हो सकते हैं। यह शोध पत्र उन स्वतंत्र शोधकर्ताओं की कहानी है जिन्होंने LeWorldModel नामक एक प्रसिद्ध नए AI तरीके के साथ "जासूस" खेलने का निर्णय लिया। वे देखना चाहते थे कि क्या वह जादू वास्तव में काम कर रहा था, या जादूगर ने निर्देशों में कुछ महत्वपूर्ण चरणों को छिपा दिया था।

---

गायब निर्देशों का मामला

शोधकर्ताओं ने एक ऐसे शोध पत्र के परिणाम को फिर से बनाने (reproduce) की कोशिश की जिसमें दावा किया गया था कि उनका नया AI, LeWorldModel, एक साधारण दो-कमरों वाली भूलभुलैया को लगभग 87% बार हल कर सकता है। अन्य तरीकों की तुलना में यह कम लग रहा था जो 97–100% तक पहुँचते हैं, लेकिन लेखक का दावा था कि उनका तरीका विशेष है क्योंकि यह सरल था और इसे काम करने के लिए किसी फैंसी ट्रिक्स की आवश्यकता नहीं थी।

जॉयजीत सिंह के नेतृत्व में स्वतंत्र टीम ने AI को शून्य से फिर से बनाने के लिए कुछ कंप्यूटर पावर (लगभग $24 का GPU समय) किराए पर लिया। उन्हें 87% की सफलता दर देखने की उम्मीद थी। इसके बजाय, उन्हें छिपे हुए रहस्यों का एक ढेर मिला।

चार छिपे हुए नियम
टीम ने पाया कि मूल शोध पत्र के निर्देश एक ऐसी रेसिपी की तरह थे जिसने सबसे महत्वपूर्ण सामग्रियों का उल्लेख करना ही भूल दिया था। यदि आप केवल प्रकाशित कॉन्फ़िगरेशन फ़ाइलों का पालन करते हैं, तो AI कुछ भी नहीं सीख पाएगा। शोधकर्ताओं को कोड में दबी हुई चार "अनकही परंपराएं" (undocumented conventions) मिलीं जो सब कुछ निर्धारित करती थीं:

1. डेंस एक्शन गैदरिंग (Dense Action Gathering): AI को रोबोट द्वारा किए गए हर छोटे से छोटे मूवमेंट को देखने की आवश्यकता थी, न कि केवल कुछ चुनिंदा दृश्यों को।
2. प्रोग्रामेटिक विड्थ (Programmatic Width): मस्तिष्क के एक विशिष्ट हिस्से का आकार एक छिपे हुए गणितीय सूत्र द्वारा निर्धारित किया गया था, न कि सेटिंग्स फ़ाइल में दिए गए किसी नंबर द्वारा।
3. इमेजनेट नॉर्मलाइजेशन (ImageNet Normalization): AI को दी जाने वाली तस्वीरों को एक बहुत ही विशिष्ट तरीके से प्रोसेस किया जाना चाहिए था (ImageNet मानकों का उपयोग करके), न कि केवल रंगों को 255 से विभाजित करके।
4. Z-स्कोर वाले एक्शन (Z-Scored Actions): रोबोट की गतिविधियों को पूरे डेटासेट के आधार पर गणितीय रूप से समायोजित किया जाना था, जिसमें पहले अजीब "NaN" (नंबर नहीं है) त्रुटियों को हटाया जाना आवश्यक था।

इन चार छिपे हुए सुधारों के बिना, AI का "प्रेडिक्टर" (वह हिस्सा जो भविष्य का अनुमान लगाता है) ठीक से काम भी नहीं कर पाता। यह वैसा ही था जैसे किसी केक की रेसिपी बनाना जिसमें यह कहना भूल गए हों कि "मैदा डालें" या "ओवन को प्रीहीट करें।"

मशीन के भीतर का भूत
इन नियमों को ठीक करने के बाद भी, टीम को एक बाधा का सामना करना पड़ा। उनके तीन प्रशिक्षण दौरों (training runs) के लिए, AI ऐसा लग रहा था जैसे वह विफल हो रहा हो। "वैलिडेशन लॉस" (एक स्कोर जो यह मापता है कि AI कितना खराब है) बहुत अधिक उतार-चढ़ाव भरा था, जिससे संकेत मिलता था कि मॉडल टूटा हुआ है। लेकिन "ट्रेनिंग लॉस" (उस डेटा पर वह कितना खराब था जिसे वह सीख रहा था) वास्तव में बेहतर हो रहा था!

उन्होंने अपराधी को ढूंढ निकाला: एक बैच नॉर्मलाइजेशन लेयर (Batch Normalization layer)। इसे AI के मस्तिष्क में एक थर्मोस्टेट की तरह समझें। गलत मोड में, यह थर्मोस्टेट खराब था, जो छोटी त्रुटियों को 300 के कारक से बढ़ा रहा था। इसने AI को ऐसा दिखाया जैसे वह विफल हो रहा है, जबकि वास्तव में वह बिल्कुल सही सीख रहा था। एक बार जब उन्होंने इस थर्मोस्टेट को "रीकैलिब्रेट" कर दिया, तो वास्तविक प्रदर्शन सामने आया।

दो अलग-अलग मानचित्र
टीम ने यह भी पाया कि मूल शोध पत्र ने AI का परीक्षण करने के लिए दो अलग-अलग नियमों के सेट प्रकाशित किए थे, और उन्होंने पूरी तरह से अलग परिणाम दिए:

• "शॉर्ट" टेस्ट (The "Short" Test): कोड की कॉन्फ़िगरेशन फ़ाइल ने कहा कि AI का परीक्षण लक्ष्य से 25 कदम दूर और 50 कदमों के बजट के साथ करें। इस नियम के तहत, मूल लेखकों के अपने AI ने 84.0% सफलता प्राप्त की।
• "लॉन्ग" टेस्ट (The "Long" Test): शोध पत्र के परिशिष्ट (appendix) में कहा गया कि लक्ष्य 100 कदम दूर और 150 कदमों के बजट के साथ टेस्ट करें। इस नियम के तहत, वही AI केवल 14.0% तक ही पहुँच सका।

शोधकर्ताओं को एहसास हुआ कि शोध पत्र में दावा की गई "87%" की सफलता दर संभवतः "शॉर्ट" टेस्ट पर आधारित थी, लेकिन "लॉन्ग" टेस्ट (जैसा कि परिशिष्ट में वर्णित है) वास्तव में बहुत कठिन था और AI की कमजोरी को उजागर कर रहा था।

सबसे बड़ा आश्चर्य: सटीकता का मतलब कौशल नहीं है

सबसे चौंकाने वाली खोज छिपे हुए नियमों के बारे में नहीं थी; बल्कि यह थी कि "अच्छा" होने का वास्तव में क्या अर्थ है।

टीम ने AI के तीन अलग-अलग संस्करणों को प्रशिक्षित किया:

1. एक "खराब" वाला जिसमें उच्च भविष्यवाणी त्रुटियां थीं।
2. एक "मध्यम" वाला (मूल लेखकों का संस्करण)।
3. एक "शानदार" वाला जिसमें बहुत कम भविष्यवाणी त्रुटियां थीं (टीम का सुधारा हुआ संस्करण)।

अल्पकालिक जीत (The Short-Term Win):
जब लक्ष्य पास (25 कदम दूर) था, तो "शानदार" AI सबसे अच्छा था, जिसने 94.0% सफलता हासिल की। "खराब" वाला सबसे खराब था, जो 78.0% पर था। यह समझ में आता है: बेहतर भविष्यवाणी = बेहतर योजना।

दीर्घकालिक आपदा (The Long-Term Disaster):
लेकिन जब लक्ष्य दूर (100 कदम दूर) था, तो नियम पूरी तरह से बदल गए।

• "शानदार" AI (सबसे सटीक प्रेडिक्टर) सबसे खराब प्लानर बन गया, जिसने केवल 20.0% सफलता प्राप्त की।
• "खराब" AI (सबसे कम सटीक प्रेडिक्टर) सबसे अच्छा प्लानर बन गया, जिसने 80.0% सफलता प्राप्त की।

सबसे सटीक AI अपनी सटीक भविष्यवाणियों के प्रति इतना आश्वस्त था कि उसने बहुत बड़े और लापरवाह कदम उठाए और लक्ष्य से बहुत आगे निकल गया, जिससे वह 116.6 यूनिट्स दूर चला गया (जो कि एक रैंडम गेस से भी कहीं अधिक है!)। "खराब" AI, अपनी भविष्यवाणियों को लेकर अनिश्चित होने के कारण, अधिक सावधानी से चला और वास्तव में लक्ष्य तक पहुँच गया।

भविष्य के लिए इसका क्या अर्थ है

यह शोध पत्र यह नहीं कहता कि AI विधि बेकार है। वास्तव में, एक बार जब छिपे हुए नियमों को ठीक कर दिया गया, तो टीम के AI ने शॉर्ट टेस्ट पर 94.0% प्राप्त किया, जो मूल दावे से भी बेहतर था। प्रतिनिधित्व (मानसिक मानचित्र) ठोस था; रोबोट जानता था कि वह कहाँ है।

हालाँकि, यह शोध पत्र एक कड़ी चेतावनी देता है: आप एक प्लानर को इस आधार पर नहीं आंक सकते कि वह अगले कदम की कितनी अच्छी भविष्यवाणी करता है।

इस विशिष्ट भूलभुलैया में, "परफेक्ट प्रेडिक्टर" होना वास्तव में AI को दीर्घकालिक योजना बनाने में बदतर बना देता है। शोधकर्ताओं ने पाया कि सबसे सटीक मॉडल अपने पथ के बारे में इतने निश्चित थे कि उन्होंने अत्यधिक कदम उठाने की प्रतिबद्धता जताई, जिससे वे भटक गए।

टीम ने यह भी पाया कि एक पूर्व-पंजीकृत प्रयोग (एक परीक्षण जो यह देखने के लिए पहले से नियोजित किया गया था कि क्या AI एक ही कमरे बनाम क्रॉस-रूम लक्ष्यों के बीच नेविगेट करने में बेहतर है) एक संस्करण पर काम करता है लेकिन दूसरे पर पूरी तरह विफल हो जाता है। यह सुझाव देता है कि AI का "जादू" मॉडल के सटीक संस्करण के विशिष्ट गुण हो सकते, न कि विधि का एक सामान्य गुण।

निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि यदि आप एक ऐसा AI बनाना चाहते हैं जो लंबे समय तक योजना बना सके, तो आपको केवल उसे नहीं चुनना चाहिए जो भविष्य की सबसे सटीक भविष्यवाणी करता है। वास्तव में, इस कार्य में, सबसे सटीक मॉडल चुनना सबसे खराब प्लानर चुनने जैसा था। भविष्य के लिए सबक यह है कि हमें AI के परीक्षण के लिए नए तरीकों की आवश्यकता है जो सरल भविष्यवाणी स्कोर से परे देखें, क्योंकि एक आदर्श मानचित्र का मतलब हमेशा यह नहीं होता कि आप कार चलाना जानते हैं।