💻 computer science

YoCausal: How Far is Video Generation from World Model? A Causality Perspective

यह शोध पत्र YoCausal प्रस्तुत करता है, जो वीडियो डिफ्यूजन मॉडल का मूल्यांकन करने के लिए समय के विपरीत (temporally reversed) वास्तविक दुनिया के वीडियो का लाभ उठाने वाला एक नया बेंचमार्क है, जो यह प्रकट करता है कि हालांकि वे समय के प्रवाह (arrow of time) को समझ सकते हैं, फिर भी मानव-स्तर के संज्ञान की तुलना में उनमें वास्तविक कारण संबंधी तर्क (causal reasoning) क्षमताओं का अभाव है।

मूल लेखक: You-Zhe Xie, Yu-Hsuan Li, Jie-Ying Lee, Kaipeng Zhang, Yu-Lun Liu, Zhixiang Wang

प्रकाशित 2026-05-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: You-Zhe Xie, Yu-Hsuan Li, Jie-Ying Lee, Kaipeng Zhang, Yu-Lun Liu, Zhixiang Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को यह समझने के लिए प्रशिक्षित कर रहे हैं कि दुनिया कैसे काम करती है। आप उसे कांच टूटने का एक वीडियो दिखाते हैं। एक इंसान तुरंत समझ जाता है: हथौड़े ने कांच को मारा, फिर कांच टूट गया। यदि आप उस वीडियो को उल्टा चलाते, जिसमें कांच के टुकड़े ऊपर की ओर उड़कर वापस एक साबुत कांच में जुड़ रहे होते, तो आप तुरंत सोचेंगे, "यह असंभव है!" आपका मस्तिष्क चिल्ला उठेगा, "रुको, यह गलत है!"

यह शोध पत्र, YoCausal, एक सरल लेकिन गहरा प्रश्न पूछता है: क्या आज के उन्नत AI वीडियो जनरेटर वास्तव में यह "जानते" हैं कि यह गलत है, या वे केवल वीडियो के रूप को नकल करने में अच्छे हैं बिना उसके पीछे के तर्क को समझे?

यहाँ उनकी खोज का विवरण दिया गया है, जिसे कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग करके समझाया गया है।

समस्या: "जादू का खेल" बनाम वास्तविक समझ

वर्तमान AI वीडियो मॉडल अविश्वसनीय रूप से प्रतिभाशाली जादूगरों की तरह हैं। वे ऐसा वीडियो बना सकते हैं जहाँ कांच टूटना अविश्वसनीय रूप से वास्तविक लगे। लेकिन यदि आप उनसे पूछें, "क्या कांच इसलिए टूटा क्योंकि हथौड़ा लगा, या हथौड़ा इसलिए आया क्योंकि कांच टूटा?" तो शायद उन्हें कोई सुराग न हो। वे शायद केवल पैटर्न को याद कर रहे हैं: "आमतौर पर, टूटा हुआ कांच ऐसा दिखता है।"

शोधकर्ता जानना चाहते थे कि क्या ये AI वास्तव में कार्य-कारण संबंध (causality) (कारण और प्रभाव) को समझते हैं या वे केवल "सांख्यिकीय तोते" (statistical parrots) हैं जो वही दोहरा रहे हैं जो उन्होंने पहले देखा है।

समाधान: "उल्टा वीडियो" परीक्षण

इसका परीक्षण करने के लिए, टीम ने एक नया बेंचमार्क बनाया जिसे YoCausal कहा जाता है। उन्होंने बच्चों के परीक्षण से प्रेरित एक चतुर तरकीब का उपयोग किया: अपेक्षा का उल्लंघन (Violation of Expectation)।

बच्चे का परीक्षण: यदि आप एक बच्चे को एक गेंद को सामान्य रूप से लुढ़कते हुए वीडियो दिखाते हैं, तो वे शांति से देखते हैं। यदि आप इसे उल्टा चलाते हैं (गेंद अपने आप ऊपर की ओर लुढ़क रही है), तो बच्चा हैरान रह जाता है। यह आश्चर्य सिद्ध करता है कि वे समझते हैं कि गेंदों को कैसे चलना चाहिए।
AI परीक्षण: शोधकर्ताओं ने वास्तविक दुनिया के वीडियो (जैसे एक व्यक्ति द्वारा गंदी प्लेट को पोंछना) लिए और उन्हें उल्टा चला दिया। उन्हें नकली वीडियो बनाने की आवश्यकता नहीं थी; उन्होंने बस वास्तविक फुटेज को "रिवर्स" कर दिया। यह एक "काउंटरफैक्टुअल" नमूना है—एक ऐसी स्थिति जो समय और कारण के नियमों का उल्लंघन करती है।

इसके बाद उन्होंने AI से पूछा: "इस वीडियो का कौन सा संस्करण आपको अधिक 'सामान्य' लगता है?"

वे "आश्चर्य" को कैसे मापते हैं

AI वीडियो मॉडल "डिनोइजिंग" (denoising) द्वारा काम करते हैं—एक धुंधली, स्टैटिक-भरी छवि को लेकर उसे चरण-दर-चरण साफ करना ताकि एक स्पष्ट वीडियो बन सके।

उपमा: कल्पना कीजिए कि AI एक पहेली सुलझाने की कोशिश कर रहा है।
सीधा (Forward) वीडियो: पहेली के टुकड़े तार्किक रूप से फिट बैठते हैं। AI इसे आसानी से हल कर लेता है (कम "प्रयास" या लॉस)।
उल्टा (Backward) वीडियो: पहेली के टुकड़े इस तरह से बिखरे हुए हैं जो तर्क को चुनौती देते हैं। AI इसे समझने के लिए संघर्ष करता है (उच्च "प्रयास" या लॉस)।

यदि AI वास्तव में कार्य-कारण संबंध को समझता है, तो उसे सीधे वीडियो की तुलना में उल्टे वीडियो के साथ बहुत अधिक संघर्ष करना चाहिए। उनका यह संघर्ष ही उनके "आश्चर्य" का पैमाना है।

दो-स्तरीय परीक्षण

शोधकर्ताओं ने महसूस किया कि केवल उल्टे वीडियो से भ्रमित होना पर्याप्त नहीं है। एक AI यह जान सकता है कि "समय आमतौर पर आगे बढ़ता है" बिना यह समझे कि क्यों। इसलिए, उन्होंने दो-स्तरीय परीक्षण बनाया:

स्तर 1: "समय का तीर" परीक्षण (RSI)
- प्रश्न: क्या AI जानता है कि समय आमतौर पर आगे बढ़ता है?
- परिणाम: कई उन्नत AI इसमें पास हो गए। वे जानते थे कि उल्टे वीडियो अजीब थे। लेकिन यह यह जानने जैसा है कि एक फिल्म को शुरुआत से अंत तक देखा जाना चाहिए, न कि अनिवार्य रूप से इसके कथानक को समझना।
स्तर 2: "कहानी का तर्क" परीक्षण (CCI)
- प्रश्न: क्या AI कहानी को समझता है?
- तरकीब: उन्होंने वीडियो को दो समूहों में विभाजित किया:
  - कारण संबंधी (Causal) वीडियो: ऐसी चीजें जहाँ A निश्चित रूप से B का कारण बनता है (जैसे, एक कील पर हथौड़ा मारना)।
  - गैर-कारण संबंधी (Non-Causal) वीडियो: ऐसी चीजें जहाँ A वास्तव में B का कारण नहीं बनता, वह बस वहां मौजूद होता है (जैसे, हाईवे पर कार का चलना)।
- तर्क: यदि आप एक कारण संबंधी वीडियो को उल्टा करते हैं, तो यह दोहरा उल्लंघन है (समय भी गलत है + भौतिकी भी गलत है)। यदि आप एक गैर-कारण संबंधी वीडियो को उल्टा करते हैं, तो यह केवल एक एकल उल्लंघन है (केवल समय गलत है)।
- लक्ष्य: एक वास्तव में बुद्धिमान AI को उल्टे गैर-कारण संबंधी वीडियो की तुलना में उल्टे कारण संबंधी वीडियो से कहीं अधिक आश्चर्य होना चाहिए।

बड़ा खुलासा

शोधकर्ताओं ने उपलब्ध 13 सबसे स्मार्ट वीडियो AI मॉडल का परीक्षण किया। यहाँ उन्हें क्या मिला:

"समय" बनाम "तर्क" का अंतर: कई मॉडल यह पहचानने में माहिर थे कि वीडियो उल्टा है (स्तर 1), लेकिन वे यह अंतर करने में विफल रहे कि एक वीडियो जहाँ कारण-और-प्रभाव टूटा हुआ था बनाम एक जहाँ वह नहीं था (स्तर 2)।
- उपमा: यह उस छात्र की तरह है जो वर्णमाला जानता है लेकिन वाक्य नहीं पढ़ सकता। वे जानते हैं कि अक्षर क्रम से बाहर हैं, लेकिन वे अर्थ नहीं समझते।
अभी भी मानव से पीछे: यहाँ तक कि सर्वश्रेष्ठ AI मॉडल भी मानव प्रदर्शन से बहुत पीछे थे। मनुष्य स्वाभाविक रूप से कारण और प्रभाव को समझने के लिए बने हैं; AI अभी भी केवल पैटर्न के आधार पर अनुमान लगा रहे हैं।
बड़ा होने का मतलब हमेशा स्मार्ट होना नहीं (अभी तक): हालांकि बड़े मॉडल और नए आर्किटेक्चर ने बेहतर प्रदर्शन किया, लेकिन केवल मॉडल को बड़ा बनाने से स्वतः ही उन्हें यह समझ नहीं मिली कि चीजें क्यों होती हैं।

निष्कर्ष

YoCausal यह सिद्ध करता है कि सिर्फ इसलिए कि एक AI एक सुंदर, वास्तविक वीडियो बना सकता है, इसका मतलब यह नहीं है कि वह दुनिया को समझता है। वह "दृश्य नकल" (visual mimicry) का उस्ताद हो सकता है लेकिन "तार्किक तर्क" (logical reasoning) का नौसिखिया।

शोध पत्र निष्कर्ष निकालता है कि हम अभी भी एक वास्तविक "वर्ल्ड मॉडल" (एक ऐसा AI जो समझता है कि ब्रह्मांड कैसे काम करता है) बनाने से बहुत दूर हैं। वहां तक पहुँचने के लिए, हमें इन मॉडलों को केवल दुनिया को देखना ही नहीं, बल्कि उन नियमों को भी समझना सिखाना होगा जो दुनिया को संचालित करते हैं।

तकनीकी सारांश: YoCausal

समस्या विवरण

जैसे-जैसे वीडियो डिफ्यूजन मॉडल्स (VDMs) "वर्ल्ड मॉडल" बनने के लक्ष्य की ओर बढ़ रहे हैं, एक महत्वपूर्ण प्रश्न बना हुआ है: क्या ये मॉडल वास्तव में कार्य-कारण संबंध (causality) को समझते हैं, या वे केवल सांख्यिकीय टेम्पोरल पैटर्न (statistical temporal patterns) पर ओवरफिट हो रहे हैं? जनरेटिव मॉडल्स में "विश्व ज्ञान" (world knowledge) के मूल्यांकन के लिए मौजूदा बेंचमार्क काफी हद तक सिंथेटिक डेटा या नियंत्रित प्रयोगशाला रिकॉर्डिंग पर निर्भर करते हैं ताकि भौतिक चरों (physical variables) को अलग किया जा सके। यह निर्भरता एक महत्वपूर्ण "सिम-टू-रियल" (sim-to-real) अंतराल पैदा करती है, जो वास्तविक दुनिया के सामान्यीकरण (generalization) के मूल्यांकन को सीमित करती है। इसके अलावा, वर्तमान मूल्यांकन अक्सर "समय के तीर" (arrow of time - समय की अंतर्निहित दिशात्मकता) की धारणा और वास्तविक कारण संबंधी तर्क (यह समझना कि घटना A, घटना B का कारण बनती है) के बीच के अंतर को स्पष्ट नहीं कर पाते हैं। ऐसे स्केलेबल, वास्तविक दुनिया के बेंचमार्कों की कमी है जो इन दोनों अवधारणाओं को अलग कर सकें ताकि यह मूल्यांकन किया जा सके कि क्या VDMs ने अपने सीखे हुए प्रायर्स (priors) के रूप में कारण संरचनाओं को आत्मसात किया है।

कार्यप्रणाली

लेखक संज्ञानात्मक विज्ञान (cognitive science) के उम्मीद के उल्लंघन (Violation of Expectation - VoE) प्रतिमान से प्रेरित एक दो-स्तरीय बेंचमार्क, YoCausal का प्रस्ताव करते हैं। मुख्य परिकल्पना यह है कि एक कारण-जागरूक (causally aware) मॉडल काउंटरफैक्चुअल उत्तेजनाओं (counterfactual stimuli), जैसे कि समय के विपरीत चलते वीडियो, के प्रति "आश्चर्य" (कम संभाव्यता/उच्च हानि/loss) प्रदर्शित करेगा, बजाय सामान्य फॉरवर्ड वीडियो के।

1. डेटासेट निर्माण

पूर्ववर्ती कार्यों के विपरीत जिन्हें सिंथेटिक रेंडरिंग की आवश्यकता होती है, YoCausal विविध डोमेन (सामान्य, भौतिकी, मानव क्रिया, पशु क्रिया) से प्राप्त वास्तविक दुनिया के वीडियो का उपयोग करता है (जैसे Moments in Time, Physics IQ, Kinetics, Animal Kingdom)।

शून्य-लागत काउंटरफैक्चुअल्स (Zero-Cost Counterfactuals): यह बेंचमार्क वास्तविक दुनिया के वीडियो को टेम्पोरल रिवर्स करके प्राकृतिक काउंटरफैक्चुअल नमूने उत्पन्न करता है। यह बिना सिम-टू-रियल अंतराल के एक असीमित विस्तार योग्य डेटासेट की अनुमति देता है।
पैमाना (Scale): प्रारंभिक मूल्यांकन चार विषयगत उपसमूहों में 1,232 वीडियो को कवर करता है।

2. मूल्यांकन ढांचा

यह ढांचा टेम्पोरल धारणा (temporal perception) को कारण संबंधी संज्ञान (causal cognition) से अलग करने के लिए दो स्तरों पर कार्य करता है:

स्तर 1: रिवर्स सरप्राइज इंडेक्स (RSI)
- तंत्र: प्रत्येक वीडियो के लिए, मॉडल समान शोर (noise) और समान टाइमस्टेप्स का उपयोग करके फॉरवर्ड अनुक्रम ( $x_f$ ) और रिवर्स अनुक्रम ( $x_r$ ) दोनों के लिए डिनोइजिंग लॉस (denoising loss) की गणना करता है।
- मीट्रिक: RSI उन वीडियो के अनुपात को मापता है जहाँ मॉडल रिवर्स अनुक्रम की तुलना में फॉरवर्ड अनुक्रम को कम डिनोइजिंग लॉस असाइन करता है ( $L(x_f) < L(x_r)$ )।
- व्याख्या: उच्च RSI यह दर्शाता है कि मॉडल समय के तीर को पहचानता है। हालांकि, केवल यह कारण समझ की पुष्टि नहीं करता है, क्योंकि यह सांख्यिकीय टेम्पोरल पूर्वाग्रहों से उत्पन्न हो सकता है।
स्तर 2: कॉजलिटी कॉग्निशन इंडेक्स (CCI)
- विघटन (Disentanglement): कारण संबंधी समझ को अलग करने के लिए, डेटासेट को एक कारण उपसमूह ( $D_c$ ) (स्पष्ट कारण-और-प्रभाव अंतःक्रिया वाले वीडियो) और एक गैर-कारण उपसमूह ( $D_{nc}$ ) (बिना ऐसी अंतःक्रिया वाले वीडियो, जैसे कि एक कार का क्रूज करना) में विभाजित किया गया है।
- तंत्र: एक विजन-लैंग्वेज मॉडल (VLM) दृश्यमान कारण-और-प्रभाव तंत्र की उपस्थिति के आधार पर इस विभाजन को स्वचालित करता है।
- मीट्रिक: $CCI = RSI(D_c) - RSI(D_{nc})$ ।
- व्याख्या: एक कारण-जागरूक मॉडल को गैर-कारण वीडियो की तुलना में रिवर्स किए गए कारण वाले वीडियो के प्रति काफी अधिक "आश्चर्य" महसूस होना चाहिए। उच्च CCI यह संकेत देता है कि मॉडल सांख्यिकीय टेम्पोरल पैटर्न के परे कारण संकेतों (causal cues) को पकड़ता है।

3. सत्यापन

VLM विश्वसनीयता: VLM-आधारित विभाजन को मानव एनोटेशन (Kendall's $\tau = 0.7613$ ) और ऑप्टिकल फ्लो विश्लेषण के विरुद्ध सत्यापित किया गया था, जो पुष्टि करता है कि विभाजन उच्च-स्तरीय सिमेंटिक्स पर आधारित है न कि निम्न-स्तरीय मोशन संकेतों पर।
एन्ट्रॉपी नियंत्रण: एन्ट्रॉपी-सिमेट्रिक उपसमूहों पर प्रयोगों ने पुष्टि की कि RSI निम्न-स्तरीय एन्ट्रॉपी डायनेमिक्स के बजाय इवेंट-लेवल टेम्पोरल स्ट्रक्चर को दर्शाता है।

मुख्य परिणाम

बेंचमार्क ने 13 अत्याधुनिक ओपन-सोर्स VDMs (Wan, CogVideoX, HunyuanVideo, और LTX-Video परिवारों सहित) का मानव बेसलाइन के विरुद्ध मूल्यांकन किया।

समय बनाम कारणता (Time vs. Causality): समय के तीर को समझने और कारणता को समझने के बीच एक महत्वपूर्ण अंतर है। कई मॉडल्स ने उच्च RSI (समय की दिशा को पहचानना) प्राप्त किया लेकिन निम्न या नकारात्मक CCI प्राप्त किया, जो यह दर्शाता है कि वे कारण तर्क के बजाय टेम्पोरल सांख्यिकी पर निर्भर हैं।
मानव-मॉडल अंतराल (Human-Model Gap): सर्वश्रेष्ठ प्रदर्शन करने वाले मॉडल्स भी मानव-स्तर के कारण संज्ञान के मुकाबले एक बड़े अंतर को प्रदर्शित करते हैं। मनुष्यों ने सभी उपसमूहों में उच्चतम RSI और CCI प्राप्त किया।
स्केलिंग लॉज़ (Scaling Laws): कारण संबंधी संज्ञान मॉडल पैरामीटर्स और रिलीज तिथियों के साथ महत्वपूर्ण रूप से सहसंबंधित है ( $\tau \approx 0.69$ और $0.60$ क्रमशः)। बड़े मॉडल और नए आर्किटेक्चर (जैसे DiT-आधारित) बेहतर कारण समझ दिखाते हैं, जिससे पता चलता है कि स्केलिंग लॉज़ इस उच्च-स्तरीय तर्क तक विस्तारित होते हैं।
सौंदर्यशास्त्र से स्वतंत्रता (Independence from Aesthetics): बेंचमार्क सौंदर्य गुणवत्ता मेट्रिक्स के साथ शून्य सहसंबंध दिखाता है, यह पुष्टि करता है कि कारण संबंधी समझ एक विशिष्ट क्षमता है जो विजुअल फिडेलिटी (visual fidelity) से भ्रमित नहीं है।
भौतिकी के साथ सहसंबंध: यह सहज भौतिकी बेंचमार्क (जैसे LikePhys) के साथ मध्यम सकारात्मक सहसंबंध दिखाता है, जो सुझाव देता है कि भौतिक नियम वस्तु अंतःक्रियाओं को सीमित करते हैं, लेकिन कारण संज्ञान केवल भौतिकी तक ही सीमित नहीं है।

महत्व और योगदान

यह शोध निम्नलिखित योगदानों का दावा करता है:

VDMs के लिए पहला कॉजलिटी बेंचमार्क: YoCausal विशेष रूप से वीडियो जनरेशन मॉडल्स में कारण संज्ञान का मूल्यांकन करने के लिए डिज़ाइन किया गया पहला बेंचमार्क है, जो सिम-टू-रियल अंतराल से मुक्त एक स्केलेबल वास्तविक दुनिया के डेटासेट का उपयोग करता है।
संज्ञानात्मक विज्ञान-आधारित ढांचा: यह एक दो-स्तरीय ढांचा पेश करता है जो सफलतापूर्वक "समय के तीर" की धारणा को वास्तविक "कारण संज्ञान" से अलग करता है, जो भौतिकी-आधारित पूर्ववर्ती बेंचमार्क की एक सीमा को संबोधित करता है।
नैदानिक साक्ष्य (Diagnostic Evidence): मूल्यांकन से पता चलता है कि वर्तमान ओपन-सोर्स VDMs में मजबूत कारण समझ की कमी है, जो वर्तमान जनरेटिव मॉडल्स और महत्वाकांक्षी "वर्ल्ड मॉडल" के बीच एक महत्वपूर्ण अंतर को उजागर करता है।
भविष्य के अनुसंधान के लिए मार्गदर्शन: यह प्रदर्शित करके कि स्केलिंग और आर्किटेक्चरल विकास कारण संज्ञान में सुधार करता है, यह कार्य भविष्य के वर्ल्ड मॉडल्स के विकास को निर्देशित करने के लिए एक मात्रात्मक आधार प्रदान करता है, जो कारण तर्क को एक विशिष्ट उद्देश्य के रूप में रेखांकित करता है।

लेखक सीमाओं का उल्लेख करते हैं, जिसमें टेम्पोरली सिमेट्रिक घटनाओं (जहाँ फॉरवर्ड और रिवर्स वीडियो विजुअली समान होते हैं) का मूल्यांकन करने में कठिनाई और डिनोइजिंग लॉस गणना के लिए मॉडल वेट्स पर निर्भरता शामिल है, जो क्लोज्ड-सोर्स मॉडल्स के मूल्यांकन को प्रतिबंधित करती है। हालांकि, उनका मानना है कि बेंचमार्क प्रभावी रूप से दृश्य रूप से स्पष्ट कारणता (visually explicit causality) के प्रमुख क्षेत्रों को कवर करता है जो रोबोटिक सिमुलेशन, गेम इंजन और स्वायत्त ड्राइविंग के लिए प्रासंगिक है।