तकनीकी सारांश: "विश्व मॉडलों (World Models) का मूल्यांकन कैसे किया जाना चाहिए? एक निर्णय-केंद्रित दृष्टिकोण"

1. समस्या विवरण

आधुनिक AI में "वर्ल्ड मॉडल" (विश्व मॉडल) शब्द का प्रसार हुआ है, जो अब क्रिया-सशर्त पर्यावरण मॉडल (action-conditioned environment models), लेटेंट इमेजिनेशन मॉडल (latent imagination models), भविष्य के वीडियो प्रेडिक्टर (future-video predictors), इंटरैक्टिव न्यूरल सिम्युलेटर (interactive neural simulators), लेटेंट प्रेडिक्टिव रिप्रेजेंटेशन (latent predictive-representations), और सिंथेटिक-डेटा इंजन (synthetic-data engines) सहित विविध वस्तुओं को संदर्भित करता है। हालांकि यह विविधता वैज्ञानिक रूप से उत्पादक है, लेकिन इसने मूल्यांकन में महत्वपूर्ण अस्पष्टता पैदा कर दी है।

पहचाना गया मुख्य मुद्दा एक आवर्ती दावा/साक्ष्य बेमेल (claim/evidence mismatch) है। शोध पत्र अक्सर एम्बोडीड निर्णय लेने (जैसे योजना बनाना, नीति अनुकूलन, सुरक्षा परीक्षण) के लिए एक मॉडल की उपयोगिता के बारे में कड़े दावे करते हैं, जबकि साक्ष्य मुख्य रूप से निचले स्तर के जेनेरेटिव आर्टिफ़ेक्ट्स (जैसे वीडियो यथार्थवाद, धारणात्मक समानता, निर्देश पालन) पर केंद्रित होते हैं। लेखक तर्क देते हैं कि वे मेट्रिक्स जो एक वीडियो जनरेटर (दृश्य सुसंगतता) के मूल्यांकन के लिए उपयुक्त हैं, वे अक्सर निर्णय समर्थन उपकरण (विश्वसनीय प्रतितथ्यात्मक तर्क/counterfactual reasoning) के घोषित लक्ष्य के लिए अपर्याप्त या भ्रामक होते हैं। एक मॉडल दृष्टिगत रूप से सम्मोहक भविष्य उत्पन्न कर सकता है, लेकिन हस्तक्षेप (intervention) और वितरण परिवर्तन (distribution shift) के तहत विश्वसनीय नीति मूल्यांकन या अनुकूलन का समर्थन करने में विफल हो सकता है।

2. कार्यप्रणाली और ढांचा

यह शोध पत्र एक व्यापक साहित्य सर्वेक्षण का उपयोग करता है और मॉडल के इच्छित उपयोग पर केंद्रित एक संरचित मूल्यांकन ढांचे का प्रस्ताव करता है।

2.1 L0–L7 मूल्यांकन सीढ़ी (The L0–L7 Evaluation Ladder)

लेखक साहित्य और मूल्यांकन लक्ष्यों को दृश्य सुसंगतता से लेकर नीति अनुकूलन उपयोगिता तक एक पदानुक्रमित सीढ़ी में व्यवस्थित करते हैं। यह सीढ़ी विभिन्न प्रकार के वर्ल्ड मॉडलों के बीच अंतर करने और निर्णय लेने के दावों के लिए उनके द्वारा प्रदान किए गए साक्ष्य की शक्ति को पहचानने के लिए एक नैदानिक उपकरण के रूप में कार्य करती है।

• L0 (दृश्य सुसंगतता - Visual Plausibility): क्या आउटपुट वास्तविक दिखता है? (मेट्रिक्स: FID, FVD, सौंदर्यशास्त्र)।
• L1 (लॉग किया गया भविष्य का पूर्वानुमान - Logged-Future Prediction): क्या भविष्यवाणी व्यवहार वितरण (behavior distribution) से अलग रखे गए प्रक्षेपवक्रों (trajectories) से मेल खाती है? (मेट्रिक्स: MSE, PSNR, SSIM, LPIPS)।
• L2 (सिमेंटिक संरेखण - Semantic Alignment): क्या रोलआउट निर्देशों और दृश्य अर्थ विज्ञान (scene semantics) से मेल खाता है? (मेट्रिक्स: CLIPScore, VLM जज)।
• L3 (भौतिक सुसंगतता - Physical Plausibility): क्या रोलआउट सहज भौतिकी और ज्यामितीय बाधाओं का पालन करता है? (मेट्रिक्स: Physics QA, डेप्थ कंसिस्टेंसी)।
• L4 (क्रिया नियंत्रण / प्रतितथ्यात्मक निष्ठा - Action Controllability / Counterfactual Fidelity): क्या क्रिया बदलने से कार्य-प्रासंगिक परिवर्तन उत्पन्न होते हैं? इसे एक वास्तविक हस्तक्षेप परीक्षण (interventional test) के रूप में पहचाना गया है, जो एक निर्णय विश्व मॉडल को केवल एक भविष्य-वीडियो प्रायर (future-video prior) से अलग करता है।
• L5 (पुरस्कार, मूल्य और परिणाम निष्ठा - Reward, Value, and Outcome Fidelity): क्या मॉडल निर्णय लेने के लिए पर्याप्त सटीकता के साथ सफलता, पुरस्कार या मूल्य की भविष्यवाणी करता है?
• L6 (नीति मूल्यांकन और रैंकिंग - Policy Evaluation and Ranking): क्या मॉडल-आधारित मूल्यांकन वास्तविक/सिम्युलेटर नीति प्रदर्शन के साथ सहमत है? (मेट्रिक्स: सहसंबंध, रैंकिंग सटीकता)।
• L7 (नीति अनुकूलन / योजना उपयोगिता - Policy Optimization / Planning Utility): क्या मॉडल का उपयोग वास्तव में वास्तविक वातावरण या विश्वसनीय सिम्युलेटर में निर्णयों को बेहतर बनाता है?

लेखक तर्क देते हैं कि L0–L3 को जेनेरेटेड आर्टिफ़ेक्ट्स के डायग्नोस्टिक्स के रूप में व्याख्या किया जाना चाहिए, L4 वास्तविक हस्तक्षेप परीक्षण के लिए थ्रेशोल्ड (सीमा) है, और L5–L7 निर्णय उपयोगिता के सबसे प्रत्यक्ष साक्ष्य प्रदान करते हैं।

2.2 निर्णय-केंद्रित मूल्यांकन ढांचा (Decision-Making-Centric Evaluation Framework)

यह शोध पत्र एक ऐसा ढांचा प्रस्तावित करता है जहाँ मूल्यांकन एक घोषित "निर्णय अनुबंध" (कार्य परिवार, नीति वर्ग, क्रिया इंटरफेस, क्षितिज/horizon, निर्णय उपयोग) पर सशर्त होता है। इस ढांचे के प्रमुख घटकों में शामिल हैं:

• प्रतितथ्यात्मक क्रिया निष्ठा (Counterfactual Action Fidelity): $P(o_{t+1:H} | h_t)$ से $P(o_{t+1:H} | h_t, do(a_{t:t+H-1}))$ के बीच अंतर करने की मॉडल की क्षमता का मूल्यांकन करना। इसमें इंटरवेंशनल प्रेडिक्शन एरर (IPE) और एक्शन-इफेक्ट एग्रीमेंट को मापना शामिल है।
• नीति-प्रेरित वितरण परिवर्तन (Policy-Induced Distribution Shift): केवल ओपन-लूप व्यवहार-नीति रोलआउट पर निर्भर रहने के बजाय, प्रशिक्षण डेटा के लिए उपयोग की गई व्यवहार नीति से भिन्न लक्षित नीतियों के तहत मॉडल का परीक्षण करना।
• पूर्ण-क्षितिज परिणाम निष्ठा (Full-Horizon Outcome Fidelity): लघु-क्षितिज पिक्सेल पुनर्निर्माण के बजाय कार्य-प्रासंगिक परिणामों (पुरस्कार, सफलता की शर्तें) को प्राथमिकता देना, क्योंकि छोटे स्थानीय त्रुटियां अंतिम उद्देश्य के लिए संचयी या अप्रासंगिक हो सकती हैं।
• क्लोज्ड-लूप रोलआउट वैधता (Closed-Loop Rollout Validity): मॉडल का मूल्यांकन तब करना जब नीति मॉडल-जेनेरेटेड इतिहास पर कार्य करती है, न कि केवल टीचर-फोर्स्ड ग्राउंड-ट्रुथ प्रीफिक्स पर।
• शोषण क्षमता और अनिश्चितता (Exploitability and Uncertainty): यह परीक्षण करना कि क्या एक ऑप्टिमाइज़र ऐसे प्रक्षेपवपथ (trajectories) खोज सकता है जो मॉडल को तो अच्छे लगते हैं लेकिन वास्तविकता में विफल हो जाते हैं (एक्सप्लॉयटेबिलिटी गैप) और क्या मॉडल के अनिश्चितता अनुमान कैलिब्रेटेड हैं।

2.3 बेंचमार्क प्रोटोकॉल

लेखक एक परिचालन बेंचमार्क प्रोटोकॉल (चरण 0–8) प्रस्तावित करते हैं जिसमें शामिल हैं:

1. निर्णय अनुबंध की घोषणा करना।
2. नीति विभाजन (behavior, anchor, shift, optimization) का निर्माण करना।
3. L0–L3 को सहायक डायग्नोस्टिक्स के रूप में रिपोर्ट करना।
4. इंटरवेंशनल एक्शन फिडेलिटी (L4) का मूल्यांकन करना।
5. क्लोज्ड-लूप फिक्स्ड-पॉलिसी रोलआउट का मूल्यांकन करना (L5–L6)।
6. निश्चित बजट के तहत नीति अनुकूलन का मूल्यांकन करना (L7)।
7. एडवरसेरियल एक्सप्लॉयटेबिलिटी और अनिश्चितता अंशांकन (uncertainty calibration) का परीक्षण करना।
8. एकल स्केलर के बजाय एक "डिसीजन-यूटिलिटी प्रोफाइल" (लेवल के माध्यम से स्कोर का एक वेक्टर) रिपोर्ट करना, संभावित रूप से गेट्स (जैसे, उच्च-स्तरीय विफलताओं की भरपाई करने के लिए L4–L6 पास/फेल की आवश्यकता) का उपयोग करना।

3. प्रमुख योगदान

1. साहित्य सर्वेक्षण और निदान: हालिया वर्ल्ड-मॉडल साहित्य का एक पेपर-दर-पेपर सर्वेक्षण, जो वास्तव में क्या मूल्यांकित किया जाता है उसके आधार पर व्यवस्थित है, जो व्याप्त 'दावा/साक्ष्य बेमेल' की पहचान करता है जहाँ निचले स्तर के साक्ष्य का उपयोग मजबूत निर्णय लेने के दावों के समर्थन में किया जाता है।
2. L0–L7 सीढ़ी: दृश्य सुसंगतता से लेकर नीति अनुकूलन उपयोगिता तक मूल्यांकन लक्ष्यों को व्यवस्थित करने वाला एक वैचारिक ढांचा, यह तर्क देते हुए कि निर्णय लेने के दावों के लिए, L4 न्यूनतम इंटरवेंशनल आवश्यकता है और L5–L7 सबसे मजबूत साक्ष्य प्रदान करते हैं।
3. निर्णय-केंद्रित मूल्यांकन ढांचा: एक नया मूल्यांकन प्रतिमान का प्रस्ताव जो प्रतितथ्यात्मक क्रिया निष्ठा, क्लोज्ड-लूप रोलआउट वैधता, पुरस्कार/मूल्य भविष्यवाणी, नीति-रैंकिंग सहमति, अनुकूलन लिफ्ट, मॉडल शोषण क्षमता और अनिश्चितता अंशांकन को प्रमुखता देता है।
4. बेंचमार्क प्रोटोकॉल: एम्बोडीड निर्णय लेने के लिए इच्छित वर्ल्ड मॉडलों के मूल्यांकन के लिए एक मॉड्यूलर, परिचालन प्रोटोकॉल, जिसमें विशिष्ट नीति विभाजन, हस्तक्षेप परीक्षण और रिपोर्टिंग मानक (जैसे, "वर्ल्ड-मॉडल इवैल्यूएशन कार्ड") शामिल हैं।

4. परिणाम और निष्कर्ष

यह शोध पत्र नए प्रयोगात्मक परिणाम या नया मॉडल प्रस्तुत नहीं करता है। इसके बजाय, इसके "परिणाम" मौजूदा साहित्य के सर्वेक्षण से प्राप्त विश्लेषणात्मक निष्कर्ष हैं:

• विभिन्न मूल्यांकन संस्कृतियाँ (Divergent Evaluation Cultures): साहित्य में कई मूल्यांकन संस्कृतियाँ (बेंचमार्क/डायग्नोस्टिक, एनवायरनमेंट-मॉडल/पॉलिसी-ऑप्टिमाइजेशन, पॉलिसी-इवैल्यूएशन/एग्जीक्यूटेबिलिटी, लेटेंट/फाउंडेशन) हैं जिन्हें अक्सर "वर्ल्ड-मॉडल मूल्यांकन" नामक एक ही शब्द के तहत समाहित किया जाता है।
• बेमेल की व्यापकता: कई शोध पत्र निचले स्तर के आर्टिफ़ेक्ट गुणों (L0–L3) का मूल्यांकन करते हैं लेकिन उन्हें इस तरह चर्चा करते हैं जैसे वे मजबूत निर्णय लेने के दावों (L6–L7) को स्थापित करते हैं। इसके विपरीत, कुछ लेटेंट मॉडल (जैसे, V-JEPA) बिना फोटो-रियलिस्टिक पिक्सेल बनाए भी नियोजन (planning) के लिए उपयोगी होते हैं, जो उच्च-स्तरीय दृश्य मेट्रिक्स की आवश्यकता को चुनौती देते हैं।
• वर्तमान मेट्रिक्स की अपर्याप्तता: FVD, PSNR और VLM-आधारित फिजिकल QA जैसे मेट्रिक्स डिबगिंग और इंटरफेस के लिए उपयोगी हैं, लेकिन वे अक्सर नीति उपयोगिता, रैंकिंग या अनुकूलन लिफ्ट के खराब प्रॉक्सी होते हैं। एक मॉडल दृश्य रूप से मजबूत दिख सकता है जबकि नियंत्रण के लिए एक खराब एनवायरनमेंट मॉडल हो सकता है।
• हस्तक्षेप की आवश्यकता: एम्बोडीड निर्णय लेने के लिए, अवलोकन संबंधी मेट्रिक्स (L1–L3) अपर्याप्त हैं; यह सत्यापित करने के लिए कि मॉडल क्रियाओं के परिणामों को सही ढंग से मॉडल करता है, इंटरवेंशनल मेट्रिक्स (L4+) आवश्यक हैं।

5. महत्व और दावे

इस शोध पत्र का महत्व इस बात में निहित है कि यह वर्ल्ड मॉडलों के मूल्यांकन के तरीके में बदलाव का आह्वान करता है, विशेष रूप से उन मॉडलों के लिए जो एम्बोडीड निर्णय लेने (embodied decision-making) का समर्थन करने का दावा करते हैं।

• सशर्त दावा: लेखक यह दावा नहीं करते हैं कि प्रत्येक सिस्टम जिसे "वर्ल्ड मॉडल" कहा जाता है, उसे नीति अनुकूलन द्वारा आंका जाना चाहिए। यदि इच्छित उपयोग भविष्य-वीडियो जेनरेशन है, तो दृश्य गुणवत्ता प्राथमिक लक्ष्य है। हालांकि, जब एक मॉडल को एम्बोडीड निर्णय लेने (योजना, नीति अनुकूलन, सुरक्षा) के उपकरण के रूप में प्रस्तुत किया जाता है, तो आवश्यक साक्ष्य मौलिक रूप से बदल जाता है।
• प्राथमिक तर्क: निर्णय लेने के दावों के लिए, क्रिया-, परिणाम-, और नीति-स्तर के मूल्यांकन (L4–L7) केवल आर्टिफ़ेक्ट गुणवत्ता (L0–L3) की तुलना में मजबूत साक्ष्य प्रदान करते हैं। निचले स्तर के मेट्रिक्स को उच्च स्तर की विफलताओं की भरपाई करने की अनुमति नहीं दी जानी चाहिए।
• व्यावहारिक प्रभाव: प्रस्तावित ढांचा "सुंदर लेकिन रणनीतिक रूप से अविश्वसनीय" मॉडलों के अनुकूलन को रोकने का लक्ष्य रखता है। यह समुदाय को स्पष्ट निर्णय अनुबंध घोषित करने और दृश्य निष्ठा के बजाय प्रतितथ्यात्मक तर्क, नीति रैंकिंग और अनुकूलन लिफ्ट के साक्ष्य को प्राथमिकता देने के लिए प्रोत्साहित करता है।
• विनम्रता: लेखक स्वीकार करते हैं कि पूर्ण इंटरवेंशनल मूल्यांकन (जैसे, सटीक रीसेट-मैच्ड शाखाएं) वास्तविक रोबोटों पर कठिन है और निचले स्तर के मेट्रिक्स कुछ डोमेन में उच्च-स्तरीय उपयोगिता के साथ सहसंबंध रख सकते हैं। उनका प्रस्ताव साक्ष्य को स्पष्ट करने के लिए एक मॉड्यूलर, आकांक्षी प्रोटोकॉल के रूप में प्रस्तुत किया गया है, न कि कठोर सार्वभौमिक सिद्धांतों के रूप में।

निष्कर्षतः, यह शोध पत्र तर्क देता है कि क्षेत्र एक ही नाम के तहत कई अलग-अलग वस्तुओं का मूल्यांकन कर रहा है। L0–L7 सीढ़ी और प्रस्तावित निर्णय-केंद्रित ढांचा इन वस्तुओं को अलग करने और निर्णय लेने के लिए मॉडल की उपयोगिता को मान्य करने के लिए विशिष्ट साक्ष्य को परिभाषित करने के काम आता है।