💻 computer science

World Models in Words: Auditing Physical State-Transition Commitments in Vision-Language Models

यह शोध पत्र \wmw का परिचय देता है, जो एक मूल्यांकन ढांचा और \tracebank डेटासेट है जो विजन-लैंग्वेज मॉडल्स (Vision-Language Models) का ऑडिट करने के लिए उन्हें टाइप किए गए भौतिक अवस्था-परिवर्तन ट्रेसेस (physical state-transition traces) उत्पन्न करने की आवश्यकता रखता है, जिससे छिपी हुई तर्क संबंधी विफलताओं का खुलासा होता है और भौतिक निरंतरता में सुधार संभव होता है जिसे पारंपरिक केवल-उत्तर वाले बेंचमार्क नहीं पकड़ पाते हैं।

मूल लेखक: Emmanuelle Bourigault

प्रकाशित 2026-05-29

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Emmanuelle Bourigault

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक भौतिकी (physics) की समस्या हल करने के लिए एक छात्र को काम पर रख रहे हैं। परीक्षण के पुराने तरीके में, आप केवल उनके द्वारा कागज पर लिखे गए अंतिम उत्तर को देखते थे। यदि उन्हें सही संख्या मिल जाती थी, तो आप उन्हें 'A' ग्रेड देते थे। यदि वे गलत होते, तो आप उन्हें 'F' ग्रेड देते थे।

समस्या यह थी कि एक छात्र केवल भाग्य से सही उत्तर प्राप्त कर सकता था, या अनुमान लगाकर, या किसी पूरी तरह से गलत तर्क का उपयोग करके जो संयोग से सही संख्या तक पहुँच जाता था। आप यह नहीं जान पाते कि वे वहाँ कैसे पहुँचे, आप केवल यह जानते थे कि उन्हें क्या मिला।

यह शोध पत्र AI मॉडलों (विशेष रूप से विजन-लैंग्वेज मॉडल्स) के परीक्षण करने का एक नया तरीका पेश करता है जिसे वर्ल्ड मॉडल्स इन वर्ड्स (WMW) कहा जाता है। अंतिम उत्तर की जाँच करने के बजाय, शोधकर्ता AI को अपना काम चरण-दर-चरण दिखाने के लिए मजबूर करते हैं, जैसे कि उसके विचारों की एक विस्तृत डायरी।

नया "अपना काम दिखाओ" परीक्षण

शोधकर्ता AI से एक ट्रेस (Trace) बनाने के लिए कहते हैं, जो कि चार भागों वाली एक कहानी है:

प्रारंभिक दृश्य ( $s_0$ ): AI अभी क्या देख रहा है? (जैसे, "एक गेंद ढलान पर रखी है।")
क्रिया ( $\Delta s$ ): कौन सा नियम लागू हो रहा है? (जैसे, "गुरुत्वाकर्षण गेंद को नीचे खींच रहा है।")
परिणाम ( $s_1$ ): आगे क्या होता है? (जैसे, "गेंद ढलान से नीचे लुढ़कती है।")
उत्तर ( $a$ ): अंतिम निष्कर्ष।

AI को यह कहानी एक बहुत ही विशिष्ट, संरचित प्रारूप (जैसे, एक JSON कोड ब्लॉक) में लिखनी होती है ताकि एक कंप्यूटर इसकी जाँच कर सके।

"हाइब्रिड वेरीफायर" (एक सख्त शिक्षक)

एक बार जब AI अपनी कहानी लिख लेता है, तो एक विशेष कंप्यूटर प्रोग्राम जिसे हाइब्रिड वेरीफायर (Hybrid Verifier) कहा जाता है, इसे पढ़ता है। यह केवल एक साधारण स्पेल-चेकर नहीं है। यह एक सख्त भौतिकी शिक्षक की तरह कार्य करता है जो जाँचता है:

क्या आपने सही वस्तुओं को देखा? (क्या वह एक गेंद है या एक बॉक्स?)
क्या भौतिकी वास्तविक है? (क्या गुरुत्वाकर्षण ऊपर खींचता है या नीचे?)
क्या कहानी समझ में आती है? (यदि गेंद नीचे लुढ़कती है, तो क्या वह अंत में नीचे पहुँचती है?)
क्या उत्तर कहानी से मेल खाता है? (यदि कहानी कहती है कि गेंद बाईं ओर लुढ़की, लेकिन उत्तर कहता है "दाएं", तो AI झूठ बोल रहा है।)

यदि AI सही उत्तर प्राप्त करता है लेकिन एक फर्जी कहानी बताता है (जैसे, "गेंद जादू के कारण बाईं ओर लुढ़की"), तो वेरीफायर उसे पकड़ लेता है। शोध पत्र इस घटना को "हिडन इनकंसिस्टेंसी" (Hidden Inconsistency - छिपी हुई विसंगति) कहता है।

बड़ी खोज: "भाग्यशाली अनुमान लगाने वाले"

शोधकर्ताओं ने 7 अलग-अलग AI मॉडलों का परीक्षण किया। उन्होंने एक आश्चर्यजनक बात पाई:

कई मॉडलों ने सही अंतिम उत्तर प्राप्त किया।
लेकिन, उन "सही" उत्तरों में से लगभग 18% से 42% के लिए, AI द्वारा बताई गई कहानी भौतिक रूप से असंभव थी।

यह एक ऐसे छात्र की तरह है जो गणित के टेस्ट में सही उत्तर का अनुमान लगा लेता है लेकिन एक ऐसा समाधान लिख देता है जिसमें शून्य से भाग दिया गया हो। पुराना परीक्षण उन्हें 'A' दे देता; यह नया परीक्षण प्रकट करता है कि उन्हें वास्तवв में गणित की समझ नहीं है।

भौतिकी कहानियों का "वर्ल्ड बैंक"

इस परीक्षण को संभव बनाने के लिए, लेखकों ने एक विशाल लाइब्रेरी बनाई जिसे WMW-TRACEBANK कहा जाता है।

इसमें 200 सावधानीपूर्वक तैयार किए गए भौतिक परिदृश्य (जैसे ढलान, स्प्रिंग और टकराव) शामिल हैं।
इसमें 3,200 "अच्छी कहानियों" बनाम "बुरी कहानियों" के जोड़े हैं। एक "बुरी कहानी" में, उन्होंने केवल एक छोटी सी चीज़ बदली (जैसे, बल की दिशा को बदलना) यह देखने के लिए कि क्या AI त्रुटि को पहचान सकता है।
यह लाइब्रेरी AI को अनुमान लगाने के बजाय सत्य बताने के लिए प्रशिक्षित करने में मदद करती है कि भौतिक दुनिया कैसे काम करती है।

AI को ठीक करना

पेपर ने इन "झूठ बोलने वालों" को ठीक करने के तरीके भी परीक्षण किए।

रीरैंकिंग (Reranking): उन्होंने AI को 8 अलग-अलग कहानियाँ उत्पन्न करने दिया और उस कहानी को चुना जो वेरीफायर के चेक में पास हो गई। इसने अंतिम उत्तरों को बदले बिना कहानियों की गुणवत्ता में सुधार किया।
पसंदीदा प्रशिक्षण (Preference Training): उन्होंने AI को 3,200 जोड़ों का उपयोग करके "अच्छी कहानियों" को "बुरी कहानियों" की तुलना में प्राथमिकता देने के लिए सिखाया। इसने "छिपे हुए झूठ" की संख्या को 41% कम कर दिया।

मुख्य निष्कर्ष

इस पेपर का मुख्य बिंदु एक बेहतर भौतिकी कैलकुलेटर बनाना नहीं है। यह एक सत्य डिटेक्टर (Truth Detector) बनाना है।

इससे पहले कि हम AI पर वास्तविक दुनिया के कार्यों (जैसे रोबोटों की योजना बनाना या छात्रों को पढ़ाना) में मदद करने के लिए भरोसा करें, हमें यह जानना होगा कि उनकी दुनिया की आंतरिक कहानी वास्तविकता से मेल खाती है या नहीं। यह पेपर उस कहानी का ऑडिट करने के लिए हमें एक उपकरण प्रदान करता है, यह सुनिश्चित करते हुए कि जब कोई AI कहता है "गेंद नीचे लुढ़कती है," तो वह वास्तव में यह समझता है कि वह क्यों और कैसे हो रहा है, न कि केवल सही शब्द का अनुमान लगा रहा है।

तकनीकी सारांश: वर्ड्स इन वर्ल्ड मॉडल्स (World Models in Words)

समस्या विवरण (Problem Statement)
विज़न-लैंग्वेज मॉडल्स (VLMs) का उपयोग भौतिक दृश्यों के बारे में प्रश्न पूछने के लिए तेजी से किया जा रहा है, फिर भी मानक मूल्यांकन मेट्रिक्स केवल अंतिम उत्तर की सटीकता ( $I, q \mapsto a$ ) पर निर्भर करते हैं। यह दृष्टिकोण मध्यवर्ती तर्क संबंधी त्रुटियों—जैसे वस्तुओं को गलत समझना, भौतिक अवस्थाओं का गलत प्रतिनिधित्व करना, या असंभव परिवर्तनों की भविष्यवाणी करना—को एक एकल बाइनरी स्कोर में समाहित कर देता है। फलस्वरूप, एक मॉडल सही बहुविकल्पीय विकल्प चुन सकता है जबकि वह एक भौतिक रूप से अमान्य विश्व अवस्था (जैसे, एक वस्तु जो शुद्ध बल के विरुद्ध त्वरित हो रही है) का दावा करता है। यह "छिपी हुई विसंगति" (hidden inconsistency) विशेष रूप से तब समस्याग्रस्त होती है जब VLMs प्लानिंग, रोबोटिक्स या वैज्ञानिक तर्क के लिए इंटरफेस के रूप में कार्य करते हैं, जहाँ डाउनस्ट्रीम टूल्स इन असंगत प्रतिबद्धताओं पर कार्य कर सकते हैं।

कार्यप्रणाली: वर्ल्ड मॉडल्स इन वर्ड्स (WMW)
लेखक WORLD MODELS IN WORDS पेश करते हैं, जो एक ऐसा ढांचा है जो मूल्यांकन को केवल उत्तर-आधारित स्कोरिंग से हटाकर VLMs द्वारा व्यक्त की गई भौतिक प्रतिबद्धताओं (physical commitments) के ऑडिट करने की ओर स्थानांतरित करता है।

ट्रेस फॉर्मलिज्म (Trace Formalism): सीधे उत्तर के बजाय, मॉडल्स को एक टाइप किया गया ट्रेस $\tau = (s_0, \Delta s, s_1, a)$ $τ = (s_{0}, Δ s, s_{1}, a)$ उत्पन्न करने के लिए प्रेरित किया जाता है:
- $s_0$ : प्रारंभिक भौतिक अवस्था (इकाइयाँ, गुण, बल, संबंध)।
- $\Delta s$ : अनुमानित संक्रमण या भौतिक नियम।
- $s_1$ : परिणामी अवस्था।
- $a$ : अंतिम उत्तर।
- पार्सिंग और सत्यापन को सक्षम करने के लिए ट्रेस को JSON के रूप में संरचित किया गया है।
हाइब्रिड वेरीफायर (Hybrid Verifier): एक नियतात्मक (deterministic), निरीक्षण योग्य वेरीफायर ट्रेस को चार मानदंडों के विरुद्ध जांचता है:
1. स्कीमा वैधता (Schema Validity): सही JSON संरचना और प्रकार।
2. स्टेट ग्राउंडिंग (State Grounding): दृश्य साक्ष्य और मेटाडेटा के साथ निरंतरता।
3. ट्रांजिशन कंसिस्टेंसी (Transition Consistency): भौतिक नियमों का पालन (जैसे, बल-त्वरण संरेखण, लौकिक क्रम)।
4. आंसर-ट्रेस फेथफुलनेस (Answer-Trace Faithfulness): व्युत्पन्न अवस्था और अंतिम उत्तर के बीच अनुकूलता।
विफलता वर्गीकरण (Failure Taxonomy): सिस्टम त्रुटियों को वर्गीकृत करने के लिए टाइप किए गए लेबल का उपयोग करता है: ऑब्जेक्ट, स्टेट, रिलेशन, फोर्स, ट्रांजिशन, इंटरवेंशन, टेम्पोरल, यूनिट/स्केल, और फेथफुलनेस।
WMW-TRACEBANK: एक नियंत्रित संसाधन जिसे पेपर के साथ जारी किया गया है जिसमें शामिल हैं:
- 17 भौतिक परिवारों (मैकेनिक्स, फ्लूइड्स, सर्किट्स, ऑप्टिक्स, आदि) में 200 सिंथेटिक परिदृश्य।
- 3,200 कंट्रास्टिव प्रेफरेंस पेयर्स (वैध ट्रेसेस बनाम न्यूनतम रूप से परिवर्तित अमान्य ट्रेसेस)।
- वेरीफायर कोड, ऑडिट दिशानिर्देश, और मॉडल आउटपुट।

मुख्य योगदान (Key Contributions)

ट्रेस फॉर्मलिज्म: भौतिक तर्क को उत्तर स्ट्रिंग्स के बजाय ऑडिट योग्य स्टेट-ट्रांजिशन कमिटमेंट्स के रूप में मूल्यांकन करने के लिए एक प्रोटोकॉल।
वेरिफायर कॉन्ट्रैक्ट्स और मेट्रिक्स: स्टेट एक्सट्रैक्शन त्रुटियों, ट्रांजिशन त्रुटियों और छिपी हुई विसंगतियों (जहाँ उत्तर सही है लेकिन ट्रेस अमान्य है) को अलग करने के लिए परिभाषाएँ।
डेटासेट रिलीज: WMW-TRACEBANK, जो सत्यापित सिंथेटिक ट्रेसेस और प्रेफरेंस पेयर्स प्रदान करता है।
विफलता वर्गीकाकरण और ऑडिट: 400 स्तरीकृत (stratified) ट्रेसेस पर वेरीफायर का मानव-ऑडिटेड मूल्यांकन, जो प्रिसिजन, रिकॉल और इंटर-एनोटेटर एग्रीमेंट रिपोर्ट करता है।
इंटरवेंशन प्रोटोकॉल: यह प्रदर्शन कि वेरीफायर-निर्देशित पुनर्रैंकिंग (reranking) और ट्रेस-स्तरीय प्रेफरेंस ट्यूनिंग उत्तर सटीकता से समझौता किए बिना भौतिक निरंतरता में सुधार कर सकती है।

प्रायोगिक परिणाम (Experimental Results)
लेखकों ने नियंत्रित और बाहरी उदाहरणों दोनों पर 7 VLMs (Claude Opus 4.7, GPT-5.5, GPT-4o और Qwen2.5-VL तथा InternVL3 जैसे ओपन-सोर्स मॉडल्स सहित) का मूल्यांकन किया।

छिपी हुई विसंगति (RQ1): अंतिम-उत्तर सटीकता महत्वपूर्ण भौतिक त्रुटियों को छिपा लेती है। सभी मॉडल्स में, 18% से 42% सही उत्तर भौतिक रूप से अमान्य ट्रेसेस द्वारा समर्थित थे। मध्यम स्तर के मॉडल्स के लिए, 30% से अधिक "सही" उत्तर अमान्य भौतिक तर्क पर आधारित थे।
बॉटलनेक विश्लेषण (RQ2): ट्रांजिशन स्टेप ( $\Delta s$ ) अधिकांश मॉडल्स के लिए प्राथमिक बॉटलनेक है। यहाँ तक कि गोल्ड इनिशियल स्टेट्स प्रदान किए जाने पर भी, GPT-4o जैसे मॉडल्स ने भौतिक परिवर्तन की भविष्यवाणी करते समय सटीकता में 19 प्रतिशत अंक की गिरावट दर्ज की। मजबूत क्लोज्ड मॉडल्स (जैसे, Claude Opus 4.7) ने एक कैलिब्रेशन प्रभाव दिखाया जहाँ गोल्ड स्टेट्स ने उनके आंतरिक निरंतरता जाँचों को बाधित किया।
वेरीफायर विश्वसनीयता (RQ3): हाइब्रिड वेरीफायर ने स्टेट (F1=0.82), ट्रांजिशन (F1=0.78), और फेथफुलनेस (F1=0.91) लेबल के लिए मानव ऑडिट के साथ उच्च सहमति प्राप्त की।
इंटरवेंशन प्रभावकारिता (RQ4):
- पुनर्रैंकिंग (Reranking): $k=8$ सैंपल्स में से सर्वश्रेष्ठ ट्रेस चुनने से ट्रेस वैधता में 4–7 प्रतिशत अंक का सुधार हुआ।
  क्रेडेंशियल (Direct Preference Optimization - DPO) के माध्यम से Qwen2.5-VL-7B को प्रेफरेंस पेयर्स पर प्रशिक्षित करने से छिपी हुई विसंगति में 41% सापेक्ष कमी आई (42% से 25% तक), जबकि उत्तर सटीकता में मामूली सुधार (+2pp) हुआ।

महत्व और दावे (Significance and Claims)
पेपर का तर्क है कि WORLD MODELS IN WORDS केवल एक और फिजिक्स बेंचमार्क नहीं है, बल्कि यह ऑडिट करने के लिए एक पुन: प्रयोज्य प्रोटोकॉल (reusable protocol) है कि क्या किसी VLM का घोषित भौतिक विश्व सुसंगत है। लेखक दावा करते हैं कि:

अमान्य ट्रेसेस के साथ सही उत्तर हानिरहित फॉर्मेटिंग त्रुटियाँ नहीं हैं; वे असंगत प्रतिबद्धताओं का प्रतिनिधित्व करते हैं जो शैक्षिक, नियोजन, या वैज्ञानिक प्रणालियों को गुमराह कर सकते हैं।
फ्रेमवर्क यह प्रकट करता है कि ट्रांजिशन प्रेडिक्शन एक प्रमुख विफलता मोड है जो विज़ुअल परसेप्शन से अलग है।
वेरीफायर-निर्देशित हस्तक्षेप (पुनर्रैंकिंग और प्रेफरेंस ट्यूनिंग) छिपी हुई विसंगतियों को प्रभावी ढंग से कम कर सकते हैं, जो अधिक विश्वसनीय भौतिक तर्क मॉड्यूल की ओर एक मार्ग का सुझाव देते हैं।

लेखक एक मध्यम रुख बनाए रखते हुए, ट्रेस की दृश्यता (जो उपयोगकर्ता-सामना करने वाली प्रतिबद्धताएं हैं, न कि लेटेंट कॉग्निशन की सीधी रीडिंग), वेरीफायर की कवरेज (जो वास्तविक दुनिया की अस्पष्टता के लिए स्पष्ट धारणाओं पर निर्भर करती है), और मॉडल्स के पर्टरबेशन टेम्पलेट्स पर ओवरफिट होने की क्षमता जैसी सीमाओं को स्वीकार करते हैं। वे स्पष्ट रूप से कहते हैं कि यह डेटासेट उच्च-दांव वाले अनुप्रयोगों के लिए सुरक्षा प्रमाण पत्र नहीं है।