💻 computer science

What-If World: A Causal Benchmark for General World Models in Embodied Scenarios

यह शोध पत्र "व्हाट-इफ वर्ल्ड" (What-If World) को प्रस्तुत करता है, जो 319 प्रॉम्प्ट युग्मों से बना एक नया बेंचमार्क है जो वीडियो जनरेशन मॉडलों की एकल-चर परिवर्तन (single-variable change) के जवाब में भौतिक रूप से सुसंगत और कारण संबंधी रूप से भिन्न परिणामों को उत्पन्न करने की क्षमता का मूल्यांकन करता है, जिससे यह पता चलता है कि वर्तमान अत्याधुनिक मॉडल योजना और नियंत्रण के लिए एम्बॉडीड (embodied) परिदृश्यों को विश्वसनीय रूप से सिम्युलेट करने में काफी हद तक विफल रहते हैं।

मूल लेखक: Kunlin Cai, Rui Song, Jinghuai Zhang, Kaiyuan Zhang, Pranav Bodapati, Alicia Yu, Fnu Suya, Mohammad Rostami, Jiaqi Ma, Yuan Tian

प्रकाशित 2026-05-28

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kunlin Cai, Rui Song, Jinghuai Zhang, Kaiyuan Zhang, Pranav Bodapati, Alicia Yu, Fnu Suya, Mohammad Rostami, Jiaqi Ma, Yuan Tian

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली कलाकार है जो अविश्वसनीय रूप से यथार्थवादी दृश्य चित्रित कर सकता है। यदि आप उससे "एक कार धीरे से ब्रेक लगा रही है" पेंट करने के लिए कहते हैं, तो वह एक शानदार काम करता है। यदि आप उससे "एक कार ज़ोर से ब्रेक लगा रही है" पेंट करने के लिए कहते हैं, तो वह भी एक शानदार काम करता है। दोनों पेंटिंग अपने आप में एकदम सटीक दिखती हैं।

लेकिन यहाँ एक पेच है: What-If World एक अलग सवाल पूछता है। यह पूछता है: "यदि आप निर्देश को 'धीरे' से बदलकर 'ज़ोर से' करते हैं, तो क्या परिणाम वास्तव में उस तरह से बदलता है जैसा भौतिक विज्ञान (physics) कहता है?"

वास्तविक दुनिया में, एक ज़ोरदार ब्रेक कार को बहुत जल्दी रोक देता है। लेकिन वर्तमान AI वीडियो जनरेटरों की दुनिया में, कलाकार दो लगभग एक जैसे रुकने की दूरियाँ दिखा सकता है, भले ही निर्देश पूरी तरह से अलग हों। AI कार के दिखने के मामले में तो अच्छा है, लेकिन वह इस तर्क को समझने में बुरा है कि कार कैसे चलती है।

समस्या: "एक जैसा दिखने वाला" जाल (The "Look-Alike" Trap)

वर्तमान AI वीडियो मॉडल के परीक्षण वैसे ही हैं जैसे किसी छात्र के होमवर्क को प्रत्येक पृष्ठ को व्यक्तिगत रूप से देखकर ग्रेड देना।

पेज 1: "एक कार धीरे से ब्रेक लगा रही है, इसे बनाओ।" (ड्राइंग अच्छी दिखती है। पास।)
पेज 2: "एक कार ज़ोर से ब्रेक लगा रही है, इसे बनाओ।" (ड्राइंग अच्छी दिखती है। पास।)

शिक्षक कभी भी दोनों पेजों की आपस में तुलना नहीं करता है। इसलिए, AI को 'A' ग्रेड मिल जाता है भले ही दोनों ड्राइंग में कार बिल्कुल एक ही जगह रुकती हुई दिखाई दे, जो निर्देशों के अंतर को पूरी तरह से अनदेखा कर देती है। इसे कंट्रास्टिव बॉटलनेक (Contrastive Bottleneck) कहा जाता है। AI चीजों को वास्तविक दिखा सकता है, लेकिन वह उन्हें नियमों के अनुसार अलग तरह से कार्य करने के लिए नहीं बना सकता।

समाधान: What-If World

शोधकर्ताओं ने What-If World नामक एक नया परीक्षण बनाया है। एक समय में एक वीडियो को ग्रेड देने के बजाय, वे AI को एक ही शुरुआती दृश्य के आधार पर वीडियो के जोड़े (pairs) बनाने के लिए मजबूर करते हैं, जिसमें निर्देशों में एक छोटा सा बदलाव किया गया हो।

इसे "स्पॉट द डिफरेंस" (अंतर पहचानें) गेम की तरह समझें, लेकिन यहाँ AI को भौतिक विज्ञान के आधार पर अंतर खुद ही पैदा करना होता है।

सेटअप:

एंकर (The Anchor): वे एक कार या रोबोटिक हाथ की वास्तविक फोटो लेते हैं जो हिलने से ठीक पहले की स्थिति में है। यह वह "ठहरा हुआ क्षण" है जहाँ दोनों वीडियो के लिए सब कुछ समान है।
ट्विस्ट (The Twist): वे AI को दो प्रॉम्प्ट देते जो एक भौतिक विवरण को छोड़कर बिल्कुल एक जैसे हैं।
- प्रॉम्प्ट A: "रोबोटिक हाथ ब्लॉक को धीरे से धकेलता है।"
- प्रॉम्प्ट B: "रोबोटिक हाथ ब्लॉक को ज़ोर से धकेलता है।"
परीक्षण (The Test): AI को दो वीडियो बनाने होंगे। शोधकर्ता (एक सुपर-स्मार्ट AI जज का उपयोग करके) जाँचते हैं:
- क्या रोबोट ने वास्तव में धक्का दिया? (Adherence - पालन)
- क्या ब्लॉक भौतिक रूप से संभव तरीके से हिला? (Physics - भौतिकी)
- क्या बैकग्राउंड (पृष्ठभूमि) समान रहा? (Environment - वातावरण)
- महत्वपूर्ण रूप: क्या "ज़ोर से धक्का" वाले वीडियो में ब्लॉक "धीरे से धक्का" वाले वीडियो की तुलना में अधिक दूर या तेज़ चला? (Outcome - परिणाम)

खेल के छह नियम

परीक्षण को निष्पक्ष और वैज्ञानिक बनाने के लिए, शोधकर्ताओं ने परिवर्तनों को भौतिकी के छह विशिष्ट "नियमों" में व्यवस्थित किया, जिन्हें दो श्रेणियों में विभाजित किया गया है:

1. वातावरण (मंच):

सतह का घर्षण (Surface Friction): क्या सड़क बर्फीली है या सूखी? (क्या कार फिसलती है?)
सामग्री/माध्यम (Material/Medium): क्या वस्तु एक स्पंज है या ईंट? (क्या वह पिचकती है या सख्त रहती है?)
बाधाएं (Obstacles): क्या रास्ते में कोई कोन (cone) है? (क्या कार उससे टकराती है या उसके चारों ओर जाती है?)

2. क्रिया (अभिनेता):

बल/डिग्री (Force/Degree): धक्का या ब्रेक कितना ज़ोर से लगाया गया?
स्थानिक संरेखण (Spatial Alignment): रोबोट ठीक कहाँ से पकड़ रहा है?
कालिक अनुक्रम (Temporal Sequencing): क्या रोबोट ने हिलने से पहले पकड़ा या बाद में?

परिणाम: AI अभी भी एक नौसिखिया है

शोधकर्ताओं ने दुनिया के 9 सबसे स्मार्ट वीडियो AI मॉडलों (ओपन-सोर्स और महंगे क्लोज्ड-सोर्स दोनों) का परीक्षण किया। परिणाम निराशाजनक थे:

सीलिंग (The Ceiling): सबसे अच्छा मॉडल भी केवल 52% परीक्षणों में पास हुआ। इसका मतलब है कि वह लगभग आधे समय विफल रहा।
अंतर (The Gap): ओपन-सोर्स मॉडल और भी खराब थे, जो लगभग 28% के आसपास सिमटे हुए थे।
भ्रम (The Illusion): अधिकांश मॉडल "सिंगल वीडियो" परीक्षणों पर उच्च स्कोर करते थे (वीडियो बेहतरीन दिखते थे) लेकिन "पेयर्ड" (जोड़े वाले) परीक्षणों पर क्रैश हो गए (वीडियो पर्याप्त रूप से भिन्न नहीं थे)। वे भौतिकी का ढोंग कर रहे थे।
विजुअल बायस (Visual Bias): AI तब बेहतर प्रदर्शन करता था जब बदलाव आँखों के लिए स्पष्ट हो (जैसे एक कार तेज़ी से बनाम धीरे चलना) लेकिन जब बदलाव सूक्ष्म या अदृश्य हो (जैसे सड़क कितनी फिसलन भरी है) तो वह बुरी तरह विफल हो जाता था।

मुख्य निष्कर्ष

पेपर यह निष्कर्ष निकालता है कि जबकि ये AI मॉडल रेंडरिंग (सुंदर चित्र बनाना) में अद्भुत हैं, वे अभी भी विश्वसनीय सिमुलेटर (यह समझना कि दुनिया कैसे काम करती है) नहीं हैं।

यदि आप किसी रोबोट की गतिविधियों की योजना बनाने या सेल्फ-ड्राइविंग कार का अनुकरण करने के लिए AI का उपयोग करना चाहते हैं, तो आपको इसके लिए यह समझने की आवश्यकता है कि "ज़ोर से ब्रेक" का अर्थ "कम दूरी पर रुकना" है। अभी, AI केवल यह अनुमान लगा रहा है कि एक ज़ोरदार ब्रेक कैसा दिखता है, न कि यह कि वह क्या करता है। जब तक वे What-If World परीक्षण पास नहीं कर लेते, हम पूरी तरह से उन पर वास्तविक दुनिया में निर्णय लेने के लिए भरोसा नहीं कर सकते।

तकनीकी सारांश: What-If World: एम्बोडीड परिदृश्यों में सामान्य वर्ल्ड मॉडल्स के लिए एक कॉज़ल बेंचमार्क

समस्या विवरण (Problem Statement)

वीडियो जनरेशन मॉडल्स को स्वायत्त ड्राइविंग (autonomous driving) और रोबोटिक मैनिपुलेशन (robotic manipulation) जैसे एम्बोडीड अनुप्रयोगों के लिए सामान्य-उद्देश्य वाले वर्ल्ड सिम्युलेटर के रूप में तेजी से प्रस्तावित किया जा रहा है। हालाँकि, मौजूदा मूल्यांकन प्रतिमान (evaluation paradigms) एक महत्वपूर्ण क्षमता का आकलन करने में विफल रहते हैं जो इन सेटिंग्स के लिए आवश्यक है: कॉज़ल सेंसिटिविटी (causal sensitivity - कारण संबंधी संवेदनशीलता)। वर्तमान बेंचमार्क (जैसे, VBench, EvalCrafter, VideoPhy) उत्पन्न वीडियो का अलग से मूल्यांकन करते हैं, जो एक एकल प्रॉम्प्ट के सापेक्ष दृश्य यथार्थवाद या भौतिक सुसंगतता के लिए स्कोर करते हैं। यह दृष्टिकोण एक मौलिक विफलता मोड (failure mode) का पता लगाने में असमर्थ है जहाँ एक मॉडल दो दृश्य रूप से प्रशंसनीय वीडियो बनाता है जो लगभग समान होते हैं, बावजूद इसके कि उन्हें अलग-अलग भौतिक हस्तक्षेपों (जैसे, "धीरे से ब्रेक लगाएँ" बनाम "जोर से ब्रेक लगाएँ") का वर्णन करने वाले प्रॉम्प्ट मिले हों।

एक्शन-कंडीशन्ड सिम्युलेटर्स और मॉडल-आधारित प्लानर्स के लिए, एक ऐसा सिस्टम जो नियंत्रित इनपुट परिवर्तनों को ट्रैक करने में विफल रहता है, उपयोग करने योग्य नहीं है, क्योंकि यदि रोलआउट (rollouts) हस्तक्षेप के अनुसार भिन्न नहीं होते हैं, तो उनका उपयोग वैकल्पिक कार्यों की तुलना करने के लिए नहीं किया जा सकता है। मौजूदा कॉज़ल बेंचमार्क (जैसे, CLEVRER, NExT-QA) एक दिए गए वीडियो में कॉज़ल स्ट्रक्चर को देखने की मॉडल की क्षमता का परीक्षण करते हैं, न कि इनपुट विविधताओं के आधार पर भौतिक रूप से सही कॉज़ल डायनेमिक्स को जनरेट करने की उनकी क्षमता का।

कार्यप्रणाली (Methodology)

1. द व्हाट-इफ वर्ल्ड बेंचमार्क (The What-If World Benchmark)

लेखक What-If World पेश करते हैं, जो वीडियो वर्ल्ड मॉडल्स के लिए कंट्रास्टिव इंटरवेंशन (contrastive intervention) के लिए विशेष रूप से डिज़ाइन किया गया पहला बेंचमार्क है। इस बेंचमार्क का निर्माण तीन-चरणीय पाइपलाइन के माध्यम से किया गया है:

टैक्सोनॉमी परिभाषा (क्या परीक्षण करना है): दो डोमेन विशेषज्ञों (स्वायत्त ड्राइविंग और रोबोटिक मैनिपुलेशन) ने nuScenes और DROID से 1,000 वास्तविक वीडियो का विश्लेषण किया। उन्होंने उन भौतिक चरों (physical variables) की पहचान की जो परिणामों को नियंत्रित करते हैं और उन्हें दो डोमेन में फैले एक एकीकृत छह-प्रिमिटिव टैक्सोनॉमी (six-primitive taxonomy) में मिला दिया:
- एनवायरनमेंट डोमेन ( $D_{env}$ ): सरफेस फ्रिक्शन (सतह का घर्षण), मटेरियल एंड मीडियम (सामग्री और माध्यम), ऑब्स्टेकल कॉन्फ़िगरेशन (बाधा विन्यास)।
- इंटरेक्शन डोमेन ( $D_{int}$ ): स्पेशियल एलाइनमेंट (स्थानिक संरेखण), फोर्स/डिग्री (बल/मात्रा), टेम्पोरल सीक्वेंसिंग (कालिक अनुक्रमण)।
  ये प्रिमिटिव्स इसलिए चुने गए क्योंकि वे भौतिक रूप से मौलिक, विभिन्न एम्बोडिमेंट्स में साझा और ऑपरेशनली आइसोलेबल (परिचालन योग्य रूप से अलग करने योग्य) थे।
डेटासेट निर्माण (कैसे परीक्षण करना है): बेंचमार्क में 319 युग्मित (paired) टेस्ट इंस्टेंस शामिल हैं। प्रत्येक इंस्टेंस को इस प्रकार बनाया जाता है:
1. एक वास्तविक वीडियो क्लिप का चयन करना और एक्शन के शुरू होने से ठीक पहले के कॉज़ल ब्रांचिंग पॉइंट (causal branching point) पर एक फ्रेम $x_0$ निकालना ताकि प्रारंभिक अवस्था स्थिर रहे।
2. एक कंट्रास्टिव प्रॉम्प्ट पेयर $(p^+, p^-)$ बनाना जो कैमरा पर्सपेक्टिव और प्रारंभिक सीन स्टेट को साझा करता है लेकिन ठीक एक सिमेंटिक वेरिएबल (हस्तक्षेप) में भिन्न होता है।
3. भौतिक परिणाम को प्रॉम्प्ट से रोकना ताकि मॉडल टेक्स्ट प्रायर से जानकारी प्राप्त करने के बजाय उसके परिणाम का अनुकरण (simulate) करने के लिए मजबूर हो सके।
  डेटासेट स्वायत्त ड्राइविंग और रोबोटिक आर्म मैनिपुलेशन में 18 उप-श्रेणियों को कवर करता है।
मूल्यांकन प्रोटोकॉल (कैसे मूल्यांकन करना है): लेखक APEO फ्रेमवर्क प्रस्तावित करते हैं, जो वीडियो जोड़ों को चार आयामों पर स्कोर करता है:
- एडहेरेंस (A - पालन): क्या वीडियो प्रॉम्प्ट किए गए एक्शन को निष्पादित करता है?
- फिजिक्स (P - भौतिकी): क्या गति भौतिक बाधाओं का सम्मान करती है?
- एनवायरनमेंट (E - वातावरण): क्या बैकग्राउंड और नॉन-टारगेट सीन स्थिर है?
- आउटकम (O - परिणाम): क्या दोनों वीडियो हस्तक्षेप द्वारा अनुमानित दिशा में भिन्न होते हैं?
महत्वपूर्ण रूप से, A, P, और E को सिंगल-वीडियो (स्वतंत्र सुसंगतता) और पेयर्ड (तुलनात्मक निरंतरता) दोनों मोड में स्कोर किया जाता है। आउटकम (O) केवल पेयर्ड मोड के लिए है। यह डिज़ाइन प्रति-वीडियो सुसंगतता को कॉज़ल शुद्धता से अलग करता है। एक VLM जज (Gemini 3.1-Pro), जिसे मानव एनोटेशन (82.3% सहमति) के विरुद्ध मान्य किया गया है, स्कोरिंग करता है।

मुख्य परिणाम (Key Results)

बेंचमार्क को नौ अत्याधुनिक वीडियो जनरेशन मॉडल्स (चार ओपन-सोर्स, पांच क्लोज्ड-सोर्स) पर लागू किया गया। परिणाम वर्तमान वर्ल्ड मॉडल्स की महत्वपूर्ण सीमाओं को प्रकट करते हैं:

कम कॉज़ल सेंसिटिविटी: कोई भी मॉडल प्राथमिक पेयर्ड मेट्रिक (pAvg) पर 52% से अधिक नहीं होता है। सबसे अच्छा प्रदर्शन करने वाला मॉडल, Grok Imagine, 51.7% प्राप्त करता है, जबकि ओपन-सोर्स मॉडल्स 28% के करीब क्लस्टर करते हैं।
द कंट्रास्टिव बॉटलनेक (The Contrastive Bottleneck): सिंगल-वीडियो स्कोर और पेयर्ड स्कोर के बीच एक बड़ा अंतर है। उदाहरण के लिए, HunyuanVideo-1.5 एक सिंगल-वीडियो फिजिक्स स्कोर ( $P_s$ ) 64.4% प्राप्त करता है लेकिन पेयर्ड फिजिक्स स्कोर ( $P_p$ ) पर गिरकर 12.2% हो जाता है। यह इंगित करता है कि मॉडल व्यक्तिगत रूप से विश्वसनीय वीडियो बना सकते हैं लेकिन इनपुट परिवर्तनों के आधार पर अंतर करने में विफल रहते हैं।
विजुअल प्रॉमिनेंस बनाम फिजिकल ट्रेक्टेबिलिटी: प्रदर्शन भौतिकी के बजाय हस्तक्षेप के परिणामों की दृश्य प्रमुखता (visual prominence) के साथ अधिक मजबूती से सह-संबंधित है।
- फोर्स/डिग्री (नाटकीय गति अंतर पैदा करना) 40.4% के साथ उच्चतम स्कोर करता है।
- सरफेस फ्रिक्शन (लेटेंट वेरिएबल्स पर सूक्ष्म प्रक्षेपवक्र अंतर पैदा करना) 14.2% के साथ सबसे कम स्कोर करता है।
- टेम्पोरल सीक्वेंसिंग सभी मॉडल्स में एक संकुचित प्रदर्शन रेंज दिखाती है, जो सुझाव देती है कि यह एक मौलिक चुनौती है जिसे स्केलिंग द्वारा अभी तक हल नहीं किया गया है।
हिडन फेल्योर मोड्स (Hidden Failure Modes): 13.1% मामलों में, जहाँ प्रत्येक सिंगल-वीडियो चेक पास हुआ, वहां पेयर्ड फिजिक्स चेक विफल हो गया। ये "छिपी हुई विफलताएं" काउंटरफैक्चुअल प्लानिंग जैसे डाउनस्ट्रीम अनुप्रयोगों के लिए उच्च जोखिम पैदा करती हैं, क्योंकि सिमुलेशन वैध प्रतीत होता है लेकिन कोई कॉज़ल अंतर प्रदान नहीं करता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि What-If World पहला एकीकृत और पुनरुत्पादक ढांचा प्रदान करता है जिससे यह निदान किया जा सके कि वर्तमान जेनेरेटिव वीडियो सिस्टम वर्ल्ड मॉडल के रूप में कहाँ संघर्ष कर रहे हैं। इसका महत्व निम्नलिखित में निहित है:

एक ब्लाइंड स्पॉट को उजागर करना: यह प्रदर्शित करता है कि एम्बोडीड अनुप्रयोगों के लिए मौजूदा प्रति-वीडियो मूल्यांकन मेट्रिक्स अपर्याप्त हैं क्योंकि वे "कंट्रास्टिव बॉटलनेक" का पता नहीं लगा सकते—अर्थात नियंत्रित इनपुट परिवर्तनों को ट्रैक करने में विफलता।
एक मानक को परिभाषित करना: यह एक छह-प्रिमिटिव टैक्सोनॉमी स्थापित करता है जो स्वायत्त ड्राइविंग और रोबोटिक मैनिपुलेशन के बीच भौतिक हस्तक्षेप चरों को एकीकृत करता है, जो एड-हॉक टेस्ट केस से आगे बढ़ता है।
अंतराल को मापना: यह मात्रात्मक साक्ष्य प्रदान करता है कि वर्तमान मॉडल्स, सबसे उन्नत क्लोज्ड-सोर्स सिस्टम भी, अभी भी एक्शन-कंडीशन्ड सिमुलेशन या मॉडल-आधारित प्लानिंग के लिए विश्वसनीय नहीं हैं, क्योंकि वे एक बड़े हिस्से में कॉज़ल हस्तक्षेपों पर विफल हो जाते हैं।

लेखक निष्कर्ष निकालते हैं कि हालांकि मॉडल्स कुछ दृश्य रूप से स्पष्ट परिदृश्यों में कुछ क्षमता दिखाते हैं, लेकिन उनमें सामान्यीकरण योग्य भौतिक संवेदनशीलता की कमी है, विशेष रूप से लेटेंट वेरिएबल्स (जैसे घर्षण या द्रव्यमान) और रिलेशनल रीजनिंग (जैसे टेम्पोरल सीक्वेंसिंग) के लिए। यह कार्य एक महत्वपूर्ण क्षमता अंतराल को रेखांकित करता जिसे सुरक्षा-महत्वपूर्ण एम्बोडीड सिस्टम में इन मॉडल्स को सुरक्षित रूप से तैनात करने से पहले संबोधित किया जाना चाहिए।