VideoZeroBench: Probing the Limits of Video MLLMs with Spatio-Temporal Evidence Verification
VideoZeroBench एक पदानुक्रमित बेंचमार्क पेश करता है जिसमें 500 मैन्युअल रूप से एनोटेट किए गए लंबे-वीडियो प्रश्न और एक पांच-स्तरीय मूल्यांकन प्रोटोकॉल है जो स्थानिक-कालिक साक्ष्य (spatio-temporal evidence) को कड़ाई से सत्यापित करता है, जिससे यह प्रकट होता है कि Gemini-3-Pro जैसे अत्याधुनिक वीडियो MLLMs भी सटीक टेम्पोरल और स्पेशियल लोकलाइजेशन की आवश्यकता होने पर सटीक ग्राउंडेड रीजनिंग प्राप्त करने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने के लिए एक जासूस को काम पर रख रहे हैं, जो 20 मिनट की सुरक्षा कैमरा टेप (security camera tape) पर आधारित है।
पुराना तरीका (वर्तमान बेंचमार्क):
आप जासूस से पूछते हैं, "कुकी किसने चुराई?"
जासूस कहता है, "यह बटलर (बड़ा नौकर) था!"
आप उत्तर कुंजी (answer key) देखते हैं: सही! आप उसे एक गोल्ड स्टार देते हैं।
समस्या: आपको पता ही नहीं कि उसे कैसे पता चला। क्या उसने वास्तव में टेप देखा? क्या उसने बटलर के पैरों के कीचड़ वाले निशान देखे? या उसने सिर्फ इसलिए अंदाज़ा लगाया क्योंकि फिल्मों में अक्सर बटलर ही ऐसा करते हैं? AI वीडियो मॉडल के लिए वर्तमान परीक्षण इसी तरह के हैं: वे केवल यह देखते हैं कि अंतिम उत्तर सही है या नहीं, यह अनदेखा करते हैं कि क्या AI ने वास्तव में सबूत "देखे" थे।
नया पेपर (VideoZeroBench):
इस पेपर के लेखक, "VideoZeroBench", ने किस्मत से सही अंदाज़ा लगाने के लिए गोल्ड स्टार देना बंद करने का फैसला किया। उन्होंने एक बहुत कठिन टेस्ट बनाया है यह देखने के लिए कि क्या AI मॉडल वास्तव में वीडियो को "देख" रहे हैं या वे केवल मतिभ्रम (hallucination) का शिकार हो रहे हैं (चीजें बना रहे हैं)।
इस टेस्ट को एक पाँच-स्तरीय जासूसी परीक्षा के रूप में समझें:
- स्तर 1 (चीट शीट): आप जासूस को वीडियो देते हैं, साथ ही एक स्टिकी नोट भी देते हैं जिसमें लिखा है, "मिनट 5:00 और मिनट 12:00 को देखें और लाल टोपी वाले आदमी को देखें।"
- परिणाम: इन संकेतों के बावजूद, बेहतरीन AI मॉडल भी लगभग 25% सही होते हैं। वे अभी भी कड़ियों को जोड़ने में संघर्ष करते हैं।
- स्तर 2 (समय का संकेत): आप "लाल टोपी" वाला संकेत हटा देते हैं, लेकिन फिर भी कहते हैं, "मिनट 5:00 और 12:00 को देखें।"
- परिणाम: AI भ्रमित हो जाता है। वह उस समय अंतराल में विशिष्ट वस्तु को नहीं ढूंढ पाता।
- स्तर 3 (मानक परीक्षण): आप बस कहते हैं, "वीडियो देखें। कुकी किसने चुराई?" (यह वही है जो अन्य सभी AI परीक्षण करते हैं)।
- परिणाम: सबसे अच्छा AI (Gemini-3-Pro) लगभग 17% सही होता है। यह एक रैंडम अनुमान लगाने से भी मुश्किल से बेहतर है!
- स्तर 4 (समय का प्रमाण): आप मांग करते हैं, "मुझे उत्तर बताएं, और मुझे दिखाएं कि आपने टेप के कौन से सटीक सेकंड पर इसे देखा।"
- परिणाम: AI क्रैश हो जाता है। सटीकता गिरकर 8% हो जाती है। वह सही समय की ओर इशारा नहीं कर पाता।
- स्तर 5 (अंतिम परीक्षण): आप मांग करते हैं, "मुझे उत्तर बताएं, मुझे सटीक सेकंड दिखाएं, और फ्रेम में उस विशिष्ट वस्तु के चारों ओर एक बॉक्स बनाएं।"
- परिणाम: विनाशकारी विफलता। सबसे अच्छा AI केवल 1% सही होता है। लगभग सभी मॉडल 0% पर हैं।
मुख्य निष्कर्ष: "भूसे के ढेर में सुई" (Needle in a Haystack) की समस्या
यह पेपर एक चौंकाने वाला सच उजागर करता है: वर्तमान AI मॉडल लंबे वीडियो में छोटे विवरण खोजने में बहुत खराब हैं।
कल्पना कीजिए कि 20 मिनट का वीडियो भूसे का एक विशाल ढेर है। प्रश्न का उत्तर कहीं छिपा हुआ एक छोटा सा सुई जैसा बिंदु है।
- वर्तमान AI: यह भूसे के ढेर को देखता है, अंदाज़ा लगाता है कि "यह शायद एक सुई है," और कभी-कभी भाग्यशाली हो जाता है। लेकिन यदि आप इसे सुई ढूंढने के लिए कहते हैं, तो यह विफल हो जाता है।
- विशिष्ट संघर्ष:
- गिनती (Counting): यदि आप पूछते हैं, "कितनी लाल गेंदें लुढ़कीं?" तो AI अक्सर उन्हें सटीक रूप से गिन नहीं पाता है।
- छोटी वस्तुएं: यदि सुराग वीडियो के 10 मिनट बाद दीवार पर लगा एक छोटा सा साइन है, तो AI इसे पूरी तरह से मिस कर देता है।
- दिशा (Direction): यदि कार बाईं ओर मुड़ती है, तो AI सोच सकता है कि वह दाईं ओर मुड़ी।
यह क्यों मायने रखता है?
लेखकों का तर्क है कि हम AI विकास के "दूसरे आधे हिस्से" में प्रवेश कर रहे हैं। यह पर्याप्त नहीं है कि एक मॉडल एक "स्मार्ट गेसर" (समझदार अंदाज़ा लगाने वाला) हो। AI के वास्तव में उपयोगी होने के लिए (जैसे कि सेल्फ-ड्राइविंग कार या मेडिकल डायग्नोस्टिक टूल), उसे अपने तर्क को सिद्ध करने में सक्षम होना चाहिए। उसे कहना होगा, "मुझे यह पता है क्योंकि मैंने इस विशिष्ट फ्रेम को इस विशिष्ट समय पर देखा है।"
मानव तुलना
शोधकर्ताओं ने इस परीक्षा के एक छोटे हिस्से पर मनुष्यों का भी परीक्षण किया।
- इंसान: 67% सही हुए।
- सर्वश्रेष्ठ AI: 22% सही हुआ।
यह बड़ा अंतर दिखाता है कि जबकि AI किसी फिल्म का सारांश देने या सामान्य कथानक के बारे में बात करने में बहुत अच्छा है, यह एक सटीक, विवरण-उन्मुख पर्यवेक्षक होने में अभी भी बहुत खराब है।
निष्कर्ष
VideoZeroBench एक वेक-अप कॉल है। यह बताता है कि जिन "स्मार्ट" वीडियो AI के बारे में खबरों में दिखाया जाता है, वे वास्तव में सूक्ष्म विवरणों के मामले में काफी "अंधे" हैं। विश्वसनीय AI बनाने के लिए, शोधकर्ताओं को केवल सही उत्तर प्राप्त करने पर ध्यान केंद्रित करना बंद करना होगा और मॉडलों को वास्तव में सबूतों को ढूंढने और उन पर इशारा करने के लिए सिखाना शुरू करना होगा। जब तक वे ऐसा नहीं कर सकते, वे केवल बहुत आत्मविश्वासी अंदाज़ा लगाने वाले (confident guessers) मात्र हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।