When a Verified World Model Still Loses: Play-Adequacy vs Prediction-Accuracy in LLM-Synthesized Code World Models
यह शोध पत्र प्रदर्शित करता है कि लार्ज लैंग्वेज मॉडल द्वारा संश्लेषित कोड वर्ल्ड मॉडल्स (Code World Models) नमूने गए डेटा पर लगभग पूर्ण संक्रमण सटीकता (transition accuracy) प्राप्त कर सकते हैं, फिर भी नियोजन (planning) में व्यवस्थित रूप से विफल हो जाते हैं क्योंकि वे दुर्लभ लेकिन महत्वपूर्ण नियमों को छोड़ देते हैं, जो यह प्रकट करता है कि प्ले परफॉरमेंस या सर्च-डिस्ट्रीब्यूशन कवरेज की तुलना में नियोजन-उन्मुख वर्ल्ड मॉडल्स के लिए प्रेडिक्शन एक्यूरेसी एक अपर्याप्त मीट्रिक है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
जादुई डिब्बा और ब्लाइंड स्पॉट (The Magic Box and the Blind Spot)
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट को एक नया बोर्ड गेम खेलना सिखा रहे हैं। आप नहीं चाहते कि रोबोट केवल उन हर एक चाल को रट ले जो उसने पहले देखी हैं; आप चाहते हैं कि वह नियमों को समझे ताकि वह आगे की सोच सके और जीत सके। आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक चतुर तकनीक है जिसे "कोड वर्ल्ड मॉडल" (Code World Model) कहा जाता है। रोबोट के अंदाज़ा लगाने के बजाय, हम एक लार्ज लैंग्वेज मॉडल (जैसे वे जो कहानियाँ या कोड लिखते हैं) से नियम पुस्तिका पढ़ने और एक कंप्यूटर प्रोग्राम लिखने को कहते हैं जो खेल का पूरी तरह से अनुकरण (simulate) कर सके। एक बार जब रोबोट के पास यह प्रोग्राम आ जाता है, तो वह अपने दिमाग में लाखों काल्पनिक खेल चलाकर सबसे अच्छी चाल खोज सकता है।
लेकिन यहाँ पेचीदा हिस्सा यह है: हमें कैसे पता चलेगा कि रोबोट ने प्रोग्राम सही ढंग से लिखा है? आमतौर पर, हम इसकी जाँच करने के लिए इसके खिलाफ कुछ रैंडम (यादृच्छिक) खेल खेलते हैं। यदि रोबोट का प्रोग्राम उन रैंडम खेलों के परिणाम का सही अनुमान लगा लेता है, तो हम कहते हैं, "बहुत बढ़िया, मॉडल सत्यापित (verified) हो गया है!" और हम इसे असली खेल खेलने देते हैं। यह पेपर एक डरावना सवाल पूछता है: क्या होगा अगर रोबोट का प्रोग्राम रैंडम खेलों की भविष्यवाणी करने में तो एकदम सटीक हो, लेकिन उन विशिष्ट क्षणों में पूरी तरह गलत हो जो वास्तव में जीतने के लिए महत्वपूर्ण होते हैं? यह सच है कि सिर्फ इसलिए कि एक मॉडल रैंडम टेस्ट पास कर लेता है, इसका मतलब यह नहीं है कि वह बड़े स्तर के खेल के लिए तैयार है।
गायब नियम की कहानी (The Tale of the Missing Rule)
इस पेपर के शोधकर्ताओं ने इन AI गेम खिलाड़ियों को टेस्ट करने के तरीके में एक छिपे हुए जाल की खोज की है। उन्होंने पाया कि एक AI "वेरिफिकेशन गेट" को शानदार ढंग से पार कर सकता है—रैंडम टेस्ट गेम्स में 100% सही होना—फिर भी वह एक कुशल प्रतिद्वंद्वी के खिलाफ हर एक असली गेम हार जाता है।
इसे समझने के लिए, कल्पना कीजिए कि आप एक नया वीडियो गेम इंजन टेस्ट कर रहे हैं। आप 40 रैंडम मैच खेलते हैं जहाँ आप बस बटन दबाते हैं और अपने कैरेक्टर को गोल-गोल घुमाते हैं। इंजन उन 40 मैचों में होने वाली घटनाओं की सटीक भविष्यवाणी करता है। आप उसे एक गोल्ड स्टार देते हैं और कहते हैं, "परफेक्ट!" लेकिन मान लीजिए कि गेम में एक गुप्त नियम है: "यदि गेम 100 टर्न से अधिक लंबा चलता है, तो जिस खिलाड़ी के पास सबसे अधिक सोना होगा, वह जीतेगा।" उन 40 रैंडम, बटन दबाने वाले खेलों में, गेम कभी उतना लंबा नहीं चलता, इसलिए इंजन इस नियम का परीक्षण कभी नहीं कर पाता। वह टेस्ट पास कर लेता है।
हालाँकि, जब एक स्मार्ट खिलाड़ी (AI का प्रतिद्वंद्वी) खेलता है, तो वह जानता है कि जीतने के लिए गेम को 100 टर्न तक कैसे खींचा जाए। AI, अपने "वेरिफाइड" इंजन का उपयोग करते हुए, यह नहीं जानता कि यह गुप्त नियम अस्तित्व में है। उसे लगता है कि गेम ड्रॉ (tie) पर समाप्त होना चाहिए। क्योंकि वह इस एक छोटे से, दुर्लभ नियम को नहीं जानता, वह एक घातक गलती करता है और हार जाता है। शोधकर्ता इसे "वेरिफाइड-वर्सेस-करेक्ट गैप" (verified-vs-correct gap) कहते हैं। मॉडल वेरिफाइड है (उसने टेस्ट पास किया) लेकिन करेक्ट नहीं है (वह वास्तविक दुनिया में विफल हो जाता है)।
दुर्लभ गलती का नियम (The Law of the Rare Mistake)
यह पेपर केवल यह नहीं कहता कि ऐसा होता है; यह हमें एक गणितीय सूत्र देता है जिससे हम ठीक से अनुमान लगा सकते हैं कि यह कब होगा। वे इसे "डेंजर लॉ" (Danger Law) कहते हैं।
वेरिफिकेशन टेस्ट को एक मछली पकड़ने वाले जाल की तरह समझें। गुप्त नियम की "दुर्लभता" (rarity) उस मछली को पकड़ने की कठिनाई है जो उस नियम को सक्रिय करती है। यदि नियम 50% खेलों में होता है, तो जाल (भले ही छोटा हो) उसे आसानी से पकड़ लेगा। लेकिन यदि वह नियम केवल 2.5% खेलों में होता है (जैसे उनके प्रयोग में "100-टर्न" वाला नियम), और आप केवल 40 बार जाल फेंकते हैं, तो इसकी बहुत अधिक संभावना है कि आप उसे पूरी तरह से मिस कर देंगे।
सूत्र कहता है: खतरा (Danger) = (गलती कितनी बुरी है) × (टेस्ट ने नियम को कितनी बार मिस किया)।
अपने प्रयोगों में, उन्होंने army5x5a नामक एक गेम बनाया जिसमें टाइम लिमिट के बारे में एक छिपा हुआ नियम था। उन्होंने पाया कि जब नियम दुर्लभ था (लगは約 2.5% रैंडम गेम्स में होने वाला), तो AI ने टेस्ट पास कर लिया लेकिन असली गेम में जीत दर केवल 0.404 (लगभग 40%) रही, जबकि एक निष्पक्ष बेसलाइन 0.495 (लगभग 50%) थी। यह शायद बहुत बड़ा अंतर न लगे, लेकिन प्रतिस्पर्धी गेमिंग की दुनिया में, एक जीत के मुकाबले डेढ़ से अधिक गेम हारना एक आपदा है। "वेरिफाइड" मॉडल को व्यवस्थित रूप से मात दी गई क्योंकि वह उस एक चीज़ के प्रति अंधा था जो सबसे अधिक मायने रखती थी।
अधिक उदाहरणों से मदद क्यों नहीं मिलती?
आप सोच सकते हैं, "ठीक है, तो टेस्ट बहुत छोटा था। चलिए AI को उस दुर्लभ नियम के और अधिक उदाहरण देते हैं!" शोधकर्ताओं ने यह भी आज़माया। उन्होंने AI को टाई-ब्रेकर के अंत वाले गेम के हजारों उदाहरण दिए, इस उम्मीद में कि वह इस नियम को "सीख" जाएगा।
लेकिन यहाँ एक चौंकाने वाला मोड़ है: यह काम नहीं आया। AI एक जासूस की तरह नहीं, बल्कि एक अनुवादक (translator) की तरह व्यवहार कर रहा था। यदि आप उसे बताते, "यह रहा नियम," तो वह कोड को पूरी तरह से लिख देता। लेकिन यदि आप उसे केवल उदाहरण दिखाते और कहते, "इस नियम को समझो," तो वह विफल हो जाता। सैकड़ों उदाहरणों के बावजूद, AI अकेले डेटा से उस गायब नियम का अनुमान नहीं लगा सका। यह स्पष्ट रूप से संकेत देता है कि इन AI सिस्टमों के लिए, "स्पेसिफिकेशन कम्प्लीटनेस" (उन्हें पूरी नियम पुस्तिका देना) उदाहरणों से सीखने की तुलना में कहीं अधिक महत्वपूर्ण है।
पोकर की समस्या: जब आप कार्ड नहीं देख सकते
पेपर ने उन खेलों को भी देखा जहाँ आप सब कुछ नहीं देख सकते, जैसे पोकर। इन खेलों में, AI को यह अनुमान लगाना होता है कि प्रतिद्वंद्वी के पास कौन से कार्ड हैं। इसे मॉडल का "इन्फरेंस" (inference) वाला हिस्सा कहा जाता है।
शोधकर्ताओं ने सिद्ध किया कि सरल पोकर गेम्स के लिए, एक रैंडम टेस्ट वास्तव में सुरक्षित है क्योंकि गेम बहुत उथला (shallow) है; आप एक छोटे गेम में गुप्त नियम नहीं छिपा सकते। लेकिन उन्होंने बीकन (Beacon) नामक एक छोटा, कस्टम गेम बनाया यह साबित करने के लिए कि अधिक गहरे, जटिल खेलों में, वही जाल मौजूद है। बीकन में, AI को अपने प्रतिद्वंद्वी के चालों के आधार पर उसके छिपे हुए प्रकार का अनुमान लगाना था। AI ने टेस्ट को पूरी तरह से पास कर लिया (8,156 टेस्ट केस में 0 त्रुटियां) लेकिन वह हर एक असली गेम हार गया (0% जीत दर)।
क्यों? क्योंकि टेस्ट में रैंडम मूव्स का उपयोग किया गया था जो लगभग कभी भी गेम के उस गहरे हिस्से तक नहीं पहुँच पाए जहाँ रहस्य छिपा हुआ था। AI का "अनुमान लगाने वाला दिमाग" गलत था, लेकिन टेस्ट ने इसे कभी नहीं देखा क्योंकि टेस्ट बहुत उथला था। यह एक जासूस की हत्या की गुत्थी सुलझाने की क्षमता का परीक्षण करने जैसा है, जिसमें उसे केवल एक मोज़े के खो जाने के मामले को हल करने के लिए कहा गया हो। वह मोज़े के मामले को सही हल कर सकता है, लेकिन हत्या के मामले में विफल हो जाएगा।
मुख्य निष्कर्ष (The Bottom Line)
इस पेपर का मुख्य संदेश उन सभी के लिए एक चेतावनी है जो गेम खेलने या योजना बनाने वाले AI बना रहे हैं: किसी मॉडल पर केवल इसलिए भरोसा न करें क्योंकि वह एक रैंडम टेस्ट पास कर लेता है।
यदि AI का उपयोग एक स्मार्ट प्लानर द्वारा किया जाना है जो गहरी, रणनीतिक चालों की तलाश करता है, तो आप इसे रैंडम, उथले टेस्ट से सत्यापित नहीं कर सकते। आपको या तो:
- इसे वास्तविक रणनीति पर टेस्ट करना होगा: AI को एक स्मार्ट प्रतिद्वंद्वी के खिलाफ चलाएं और देखें कि क्या वह जीतता है, न कि केवल यह कि क्या वह रैंडम मूव्स का सही अनुमान लगाता है।
- इसे पूरी नियम पुस्तिका दें: निर्देश देने से पहले सुनिश्चित करें कि निर्देश 100% पूर्ण हैं।
यह पेपर दिखाता है कि एक मॉडल "वेरिफाइड" हो सकता है और फिर भी खतरनाक रूप से गलत हो सकता है, क्योंकि टेस्ट उस एक दुर्लभ, निर्णायक क्षण को मिस कर गया जहाँ खेल वास्तव में जीता या हारा जाता है। यह एक याद दिलाता है कि AI की दुनिया में, एक टेस्ट पास करना, वास्तविक चीज़ के लिए तैयार होने के समान नहीं है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।