Which Way Does Time Flow? A Psychophysics-Grounded Evaluation for Vision-Language Models
यह शोध पत्र AoT-PsyPhyBENCH प्रस्तुत करता है, जो एक मनोवैज्ञानिक रूप से प्रमाणित बेंचमार्क है जो यह दर्शाता है कि वर्तमान विजन-लैंग्वेज मॉडल प्राकृतिक वीडियो में समय की दिशा (arrow of time) निर्धारित करने में संघर्ष करते हैं, जो मनुष्यों की तुलना में उनकी टेम्पोरल और कॉज़ल रीजनिंग क्षमताओं में एक मौलिक अंतर को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक जादुई वीडियो कैमरा है जो दुनिया को रिकॉर्ड कर सकता है। अब, कल्पना कीजिए कि आप उस वीडियो को उल्टा (backwards) चलाते हैं।
यदि आप देखते हैं कि फर्श से एक टूटा हुआ कांच का मग अचानक ऊपर की ओर उछल गया, और टुकड़े उड़कर वापस मेज पर पूरी तरह से जुड़ गए, तो आप तुरंत जान जाते हैं: "यह उल्टा चल रहा है!" यह भौतिकी के नियमों को चुनौती देता है। गुरुत्वाकर्षण चीजों को नीचे खींचता है, ऊपर नहीं। एंट्रॉपी (अव्यवस्था) बढ़ती है, वह स्वतः कम नहीं होती।
इंसानों के पास हमारे मस्तिष्क में यह सुपरपावर बनी हुई है। हमें इसके बारे में सोचने की ज़रूरत नहीं पड़ती; हम बस जानते हैं कि समय एक ही दिशा में बहता है।
यह शोध पत्र आर्टिफिशियल इंटेलिजेंस (AI) के लिए एक बहुत ही सरल, फिर भी भयानक सवाल पूछता है: क्या आधुनिक AI वीडियो मॉडल्स के पास भी यह सुपरपावर है?
प्रयोग: "टाइम-ट्रैवल" टेस्ट
शोधकर्ताओं ने AoT-PsyPhyBENCH (एरो ऑफ टाइम साइकोफिजिक्स बेंच) नामक एक बेंचमार्क बनाया। इसे AI के लिए एक "ड्राइवर के लाइसेंस टेस्ट" की तरह समझें, लेकिन कार चलाने के बजाय, AI को एक टाइम मशीन चलानी है।
उन्होंने सैकड़ों छोटे, रोजमर्रा के वीडियो लिए (जैसे एक गेंद का गिरना, एक विस्फोट, या किसी का रेत का महल बनाना)। उन्होंने ये क्लिप्स इंसानों और विभिन्न AI मॉडल्स (जैसे GPT-4, Gemini, और ओपन-सोर्स मॉडल्स) को दिखाए और पूछा: "क्या यह सीधा चल रहा है या उल्टा?"
परिणाम: AI समय में खो गया
परिणाम चौंकाने वाले थे।
- इंसान समय के उस्ताद हैं: इंसान लगभग 89% बार सही होते हैं। जब एक स्नोबॉल आसमान की ओर ऊपर की ओर गिरी, तो हम तुरंत जान गए कि यह उल्टा चलाया जा रहा है।
- AI समय को लेकर भ्रमित है: सर्वश्रेष्ठ AI मॉडल्स केवल लगभग 60% बार ही सही हो पाते हैं। यह सिक्का उछालने (50/50) से मुश्किल से बेहतर है।
- "फॉरवर्ड" का झुकाव (The "Forward" Bias): अधिकांश AI की एक अजीब आदत है। यदि वे भ्रमित होते हैं, तो वे लगभग हमेशा "सीधा" (Forward) चुनते हैं। यह एक ऐसे छात्र की तरह है जो परीक्षा देते समय, जब उसे उत्तर नहीं पता होता, तो हर बार "C" ही चुन लेता है। वे वीडियो को सीधा चलते हुए देखने के इतने आदी हैं कि वे दुनिया को उल्टा चलते हुए कल्पना भी नहीं कर सकते।
- "सोचने" का जाल (The "Thinking" Trap): शोधकर्ताओं ने AI की मदद करने की कोशिश की और उससे "कदम-दर-कदम सोचने" (जिसे चेन-ऑफ-थॉट तकनीक कहा जाता है) के लिए कहा। उन्हें उम्मीद थी कि AI कहेगा, "रुको, पानी एक छींटे (splash) में सिमट रहा है, यह असंभव है, इसलिए यह उल्टा चल रहा होगा।"
- वास्तव में क्या हुआ? AI और भी खराब हो गया। वह दृश्य का सटीक वर्णन तो करता था ("मैं देख रहा हूँ कि एक छींटा छोटा होता जा रहा है") लेकिन फिर आत्मविश्वास के साथ निष्कर्ष निकालता था, "इसलिए, यह सीधा चल रहा है।" यह एक ऐसे जासूस की तरह था जिसने सुराग तो पाया लेकिन अपने गलत सिद्धांत के कारण उसे अनदेखा कर दिया।
AI क्यों विफल हुआ?
शोध पत्र सुझाव देता है कि AI सामान्य अर्थों में "मूर्ख" नहीं है। यह वस्तुओं को पहचानने में माहिर है। वह जानता है कि "गेंद" क्या है, "बर्फ" क्या है, और "गिरना" कैसा दिखता है।
हालाँकि, AI के पास सहज भौतिकी (Intuitive Physics) की कमी है।
- इंसानों के पास इस बात का मानसिक मॉडल होता है कि ब्रह्मांड कैसे काम करता है (गुरुत्वाकर्षण, कारण-और-प्रभाव)। हम जानते हैं कि यदि आप एक कप गिराते हैं, तो वह टूट जाता है। हम जानते हैं कि आप उसे दोबारा जोड़ नहीं सकते।
- AI केवल पैटर्न देखता है। उसने कप टूटने के लाखों वीडियो देखे हैं। वह जानता है कि "कप" + "गिरना" आमतौर पर "टूटना" होता है। लेकिन वह उस नियम को नहीं समझता कि समय केवल आगे की ओर बढ़ता है। यह एक ऐसे तोते की तरह है जो "कप गिर गया" वाक्यांश को दोहरा सकता है लेकिन वह नहीं समझता कि वह क्यों गिरा या यदि आप टेप को उल्टा चलाते तो क्या होता।
उपमा: मूवी बफ बनाम भौतिक विज्ञानी
कल्पnya दो लोगों की कल्पना करें जो उल्टा चल रही फिल्म देख रहे हैं:
- AI (द मूवी बफ): वह एक आदमी को पीछे की ओर चलते हुए देखता है। वह सोचता है, "मैंने फिल्मों में लोगों को पीछे चलते देखा है! यह सामान्य है!" वह जो उसने देखा है, उस पर निर्भर करता है।
- इंसान (द फिजिसिस्ट): वह उस आदमी को देखता है और सोचता है, "रुको, उसके पैर जमीन से इस तरह धकेल रहे हैं जो गुरुत्वाकर्षण को चुनौती देता है। कॉफी का कप फर्श से मेज पर कूद रहा है। यह असंभव है!" वह भौतिकी के नियमों पर निर्भर करता है।
AI "मूवी बफ" है। उसने बहुत सारी फिल्में देखी हैं, लेकिन उसने ब्रह्मांड के नियमों को नहीं सीखा है।
निष्कर्ष
यह शोध पत्र एक चेतावनी है। आज के सबसे उन्नत AI मॉडल्स भी दुनिया का वर्णन करने में उत्कृष्ट हैं, लेकिन वे समय के साथ दुनिया कैसे काम करती है, इसे समझने में बहुत खराब हैं।
ऐसी AI बनाने के लिए जो वास्तव में दुनिया को समझ सके, हम उसे केवल और अधिक वीडियो नहीं दे सकते या उसे "ज़्यादा गहराई से सोचने" के लिए नहीं कह सकते। हमें उसे भौतिकी और कार्य-कारण (causality) के मौलिक नियमों को सिखाना होगा—वह अदृश्य "समय का तीर" जो गिरते हुए सेबों से लेकर फूटते हुए पटाखों तक सब कुछ निर्देशित करता है। तब तक, यदि आप किसी AI को उल्टा वीडियो दिखाने के लिए कहते हैं, तो वह शायद आपको बता देगा कि यह एक सामान्य दिन है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।