Time Blindness: Why Video-Language Models Can't See What Humans Can?
यह शोधपत्र स्पूकीबेंच (SpookyBench) प्रस्तुत करता है, जो यह प्रदर्शित करता है कि अत्याधुनिक वीडियो-भाषा मॉडल उन पैटर्नों को पहचानने में विफल रहते हैं जो केवल शोर जैसे फ्रेमों के टेम्पोरल अनुक्रमों (temporal sequences) में एनकोड किए गए होते हैं जहाँ मनुष्य उत्कृष्ट प्रदर्शन करते हैं, जो स्थानिक विशेषताओं (spatial features) पर अत्यधिक निर्भरता और शुद्ध टेम्पोरल सूचना को संसाधित करने की मौलिक अक्षमता को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: "शोर में छिपा भूत" (The Ghost in the Noise)
कल्पना कीजिए कि आप एक टीवी स्क्रीन को देख रहे हैं जो "स्नो" (सफेद और काले डॉट्स का रैंडम शोर) से भरी हुई है। यदि आप उस शोर के एक अकेले फ्रेम को देखते हैं, तो वह केवल अराजकता जैसा दिखता है। आप उसमें कोई तस्वीर नहीं देख सकते।
अब, कल्पना कीजिए कि वह शोर हिलने लगता है। बाईं ओर के डॉट्स ऊपर की ओर खिसकते हैं, जबकि दाईं ओर के डॉट्स नीचे की ओर जाते हैं। अचानक, उस अराजकता से एक आकृति उभरती है—शायद शब्द "HELLO" या एक बिल्ली की तस्वीर। वह तस्वीर किसी भी एक फ्रेम में मौजूद नहीं है; वह केवल फ्रेमों के बीच होने वाले मूवमेंट (गति) में मौजूद है।
यह पेपर एक टेस्ट पेश करता है जिसे SpookyBench कहा जाता है, यह देखने के लिए कि क्या AI इन "भूतिया" तस्वीरों को देख सकता है। परिणाम क्या है? इंसान इन्हें आसानी से देख सकते हैं, लेकिन सबसे स्मार्ट AI वीडियो मॉडल भी इनके प्रति पूरी तरह अंधे हैं।
समस्या: AI "समय के प्रति अंधा" (Time-Blind) है
वर्तमान वीडियो-लैंग्वेज मॉडल्स (VLMs) उन फोटोग्राफरों की तरह हैं जो केवल सिंगल स्नैपशॉट देखते हैं।
- वे कैसे काम करते हैं: जब एक AI वीडियो देखता है, तो वह आमतौर पर कुछ फ्रेम्स (जैसे किसी फिल्म के 10 फोटो लेना) पकड़ता है, प्रत्येक फोटो में क्या है (एक कार, एक पेड़, एक व्यक्ति) उसका विश्लेषण करता है, और फिर कहानी का अनुमान लगाने की कोशिश करता है।
- खामी: SpookyBench में, "फोटो" केवल रैंडम शोर (noise) हैं। वहां कोई कार, पेड़ या व्यक्ति नहीं है। एकमात्र सुराग वह नृत्य है जो शोर समय के साथ करता है।
- परिणाम: क्योंकि AI व्यक्तिगत फ्रेमों के स्थिर विवरणों को देखने में जुनूनी है, वह केवल स्टैटिक शोर ही देखता है। उसके पास यह कहने का कोई तंत्र नहीं है कि, "रुको, अगर मैं देखूं कि पिक्सेल एक-दूसरे के सापेक्ष कैसे हिल रहे हैं, तो एक आकृति उभर रही है।"
इस पेपर में इसे "टाइम ब्लाइंडनेस" (Time Blindness) कहा गया है। AI इस बात पर इतना केंद्रित है कि चीजें कहाँ हैं (स्पेस), कि वह यह नहीं समझ पाता कि चीजें कैसे बदल रही हैं (टाइम)।
प्रयोग: इंसान बनाम मशीनें
शोधकर्ताओं ने तीन प्रकार के "भूतिया" वीडियो के साथ एक बेंचमार्क बनाया:
- शब्द (Words): टेक्स्ट जो केवल तभी दिखाई देता है जब शोर विशिष्ट पैटर्न में चलता है।
- छवियां (Images): चलते हुए शोर में छिपी वस्तुओं की रूपरेखा (जैसे हिरण या हथौड़ा)।
- डायनेमिक सीन (Dynamic Scenes): वास्तविक वीडियो क्लिप जहाँ केवल हिलते हुए हिस्सों को शोर द्वारा हाइलाइट किया गया है, जबकि बैकग्राउंड स्थिर रहता है।
स्कोरबोर्ड:
- इंसान: जब लोगों ने ये वीडियो देखे, तो वे 98% सही थे। वे तुरंत शब्दों को पढ़ सकते थे और वस्तुओं को पहचान सकते थे। हमारा मस्तिष्क हिलती हुई चीजों को एक साथ जोड़ने के लिए बना है (जैसे मछलियों के झुंड को तैरते हुए देखना)।
- AI मॉडल्स: शोधकर्ताओं ने दुनिया के 15 सबसे उन्नत AI मॉडल्स का परीक्षण किया, जिनमें GPT-4o, Gemini, और Qwen जैसे दिग्गज शामिल हैं।
- स्कोर: 0%।
- व्यवहार: AI ने केवल गलत अनुमान ही नहीं लगाया; बल्कि उसने "हैलुसिनेशन" (hallucination) भी किया। उसने आत्मविश्वास से कहा, "मुझे एक कॉफी कप दिख रहा है," या "समय 4:30 हो रहा है," भले ही वीडियो केवल हिलता हुआ स्टैटिक शोर था। वह शोर पर एक पैटर्न थोपने की कोशिश कर रहा था क्योंकि वह वास्तविक मूवमेंट को प्रोसेस नहीं कर पा रहा था।
AI इसे ठीक क्यों नहीं कर सकता?
शोधकर्ताओं ने AI की मदद के लिए कई चीजें आजमाईं, लेकिन कोई भी काम नहीं आया:
- गति बदलना: उन्होंने वीडियो को धीमा किया या तेज किया। AI का स्कोर अभी भी 0% रहा।
- विनम्रता से पूछना: उन्होंने AI को बहुत विशिष्ट निर्देश दिए जैसे, "फ्रेम्स को मत देखो, मोशन (गति) को देखो।" AI फिर भी विफल रहा।
- सिखाना: उन्होंने AI को इन विशिष्ट वीडियो पर "ट्रेन" करने की कोशिश की, इस उम्मीद में कि वह यह ट्रिक सीख जाएगा। ट्रेनिंग के बाद भी, AI का स्कोर 0% ही रहा।
निष्कर्ष: यह इसलिए नहीं है कि AI "बेवकूफ" है या उसने पर्याप्त उदाहरण नहीं देखे हैं। बल्कि, यह कि इन मॉडल्स का आर्किटेक्चर (बनावट) ऐसा है कि वे पहले स्थिर चित्रों का विश्लेषण करते हैं, और समय का विश्लेषण बाद में। उनमें शुद्ध गति (pure motion) से अर्थ निकालने के लिए आवश्यक "न्यूरल मशीनरी" की कमी है, जब तक कि कोई स्थिर वस्तु उन्हें आधार न दे।
"जादू के खेल" का उदाहरण (The Magic Trick Analogy)
इसे एक जादूगर के खेल की तरह सोचें जहाँ जादूगर एक सिक्के को गायब कर देता है।
- इंसान जादूगर के हाथ और सिक्के की गति को देखते हैं और खेल को समझ जाते हैं।
- AI एक सुरक्षा कैमरे की तरह है जो हर 10 सेकंड में एक फोटो लेता है। यदि सिक्का केवल फोटो के बीच के समय (मोशन) में दिखाई देता है, तो कैमरा उसे कभी नहीं देख पाएगा। कैमरा केवल एक धुंधला सा ढेर देखेगा और अनुमान लगाएगा, "शायद यह एक पत्थर है?"
"मोशन बाउंड्री" का प्रमाण (The Motion Boundary Proof)
यह साबित करने के लिए कि जानकारी वास्तव में वहां थी और यह कोई जादू नहीं था, शोधकर्ताओं ने एक अंतिम परीक्षण किया। उन्होंने वीडियो लिया और AI को दिखाने से पहले हिलते हुए हिस्सों को चमकते लाल रंग से पेंट कर दिया।
- पहले: AI ने शोर देखा और 0% स्कोर किया।
- बाद में: AI ने काले बैकग्राउंड पर लाल आकृतियाँ देखीं और अचानक 50-60% सही हो गया।
इससे यह साबित हुआ कि यदि "समय" की जानकारी को "स्पेस" के सिग्नल में बदल दिया जाए (लाल रंग के माध्यम से), तो AI उसे समझ सकता है। लेकिन इस मदद के बिना, AI अकेले मोशन (गति) का गणित करने में पूरी तरह असमर्थ है।
सारांश
पेपर का दावा है कि हालांकि AI वीडियो में वस्तुओं को पहचानने (जैसे "एक दौड़ता हुआ कुत्ता") में अविश्वसनीय रूप से अच्छा हो गया है, लेकिन इसमें एक मौलिक कमी है: यह उस जानकारी को नहीं समझ सकता जो केवल समय (time) में मौजूद है। यदि सिग्नल पूरी तरह से मूवमेंट और बदलाव के बारे में है, और वहां देखने के लिए कोई स्थिर वस्तु नहीं है, तो वर्तमान AI मॉडल्स प्रभावी रूप से अंधे हैं, जबकि इंसान इसे स्पष्ट रूप से देख सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।