VideoReasonBench: Can MLLMs Perform Vision-Centric Complex Video Reasoning?
यह शोधपत्र VideoReasonBench प्रस्तुत करता है, जो एक नवीन बेंचमार्क है जिसे विज़न-केंद्रित, जटिल वीडियो तर्क (reasoning) का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जिसमें मॉडल को लेटेंट स्टेट्स (latent states) पर सूक्ष्म-स्तरीय ऑपरेशन्स को ट्रैक करने की आवश्यकता होती है, जिससे यह पता चलता है कि जबकि अधिकांश वर्तमान मल्टीमॉडल LLMs ऐसे कार्यों में संघर्ष करते हैं, विस्तारित चेन-ऑफ-थॉट (chain-of-thought) तर्क प्रदर्शन में महत्वपूर्ण सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जादू का खेल देख रहे हैं जहाँ एक जादूगर ताश की गड्डी को फेंट रहा है, लेकिन बीच में ही वह ताश के पत्तों पर एक कपड़ा ढक देता है। आप हाथों की हलचल देख सकते हैं, लेकिन आप ताश के पत्तों को नहीं देख सकते। यह जानने के लिए कि ताश का अंतिम क्रम क्या है, आपको ठीक से याद रखना होगा कि हाथ कैसे हिले, एक मानसिक मानचित्र बनाना होगा कि हर पत्ता कहाँ था, और फिर यह गणना करनी होगी कि वे कहाँ पहुँच गए।
यह बिल्कुल वैसा ही मानसिक व्यायाम है जिसे एक नया बेंचमार्क जिसे VideoReasonBench कहा जाता है, टेस्ट कर रहा है।
यहाँ इस पेपर का एक सरल विवरण दिया गया है, रोज़मर्रा के उदाहरणों का उपयोग करते हुए:
1. समस्या: AI की "कम ध्यान अवधि" (Short Attention Span)
अभी, AI मॉडल (जो चैटबॉट्स और इमेज जनरेटर के पीछे के "दिमाग" हैं) वीडियो देखने और सरल प्रश्न जैसे, "क्या कुत्ता दौड़ रहा है?" या "कार का रंग क्या है?" का उत्तर देने में बहुत अच्छे होते जा रहे हैं।
हालाँकि, शोधकर्ताओं ने पाया कि ये AI जटिल तर्क (complex reasoning) करने में बहुत खराब हैं। यदि आप उनसे ऐसी घटनाओं के क्रम को ट्रैक करने के लिए कहते हैं जहाँ चीजें बदलती हैं, गायब होती हैं या छिप जाती हैं, तो वे अक्सर भटक जाते हैं। यह एक ऐसे छात्र से पूछने जैसा है जिसने केवल किताब का पहला पन्ना रटा है और उससे उस रहस्य को सुलझाने के लिए कहना है जिसके लिए पिछले 100 पन्नों की कहानी जानना ज़रूरी है।
मौजूदा टेस्ट बहुत आसान थे। वे ऐसे थे जैसे पूछना, "क्या कार बाईं ओर मुड़ी?" AI इसका उत्तर तुरंत दे सकता था बिना वास्तव में "सोचे"। शोधकर्ता एक ऐसा टेस्ट चाहते थे जो AI को वास्तव में अपना दिमाग इस्तेमाल करने के लिए मजबूर करे।
2. समाधान: "वीडियो पहेली जिम" (Video Puzzle Gym)
टीम ने VideoReasonBench बनाया है, जो AI वीडियो समझ के लिए एक उच्च-स्तरीय जिम की तरह है। केवल वीडियो देखने के बजाय, AI को ऐसी पहेलियाँ हल करनी होती हैं जहाँ "उत्तर" छिपा होता है।
उन्होंने छह प्रकार की पहेलियाँ डिज़ाइन की हैं, जो इनके समान हैं:
- स्लाइडिंग टाइल पहेली (The Sliding Tile Puzzle): कल्पना कीजिए कि संख्याओं का एक 3x3 ग्रिड है। आप शुरुआती संख्याएँ देखते हैं, फिर उन्हें ढक दिया जाता है। टाइल्स इधर-उधर खिसकती हैं। आपको शुरुआती संख्याएँ याद रखनी होंगी और स्लाइड को ट्रैक करना होगा ताकि पता चल सके कि अंतिम ग्रिड कैसा दिखता है।
- कप का खेल (The Cup Game): "शेल गेम" की तरह जहाँ एक गेंद तीन कपों में से एक के नीचे छिपी होती है। कप आपस में बदले जाते हैं। AI को ट्रैक करना होता है कि गेंद किस कप में है।
- फ़ाइल मैनेजर (The File Manager): एक स्क्रीन को देखना जहाँ एक फोल्डर में फाइलें बनाई जा रही हैं, हटाई जा रही हैं और मूव की जा रही हैं। AI को पता होना चाहिए कि अंत में कौन सी फाइलें बची हैं।
मुख्य बात: इन वीडियो में, "गुप्त अवस्था" (संख्याएँ, गेंद, फाइलें) वीडियो के अधिकांश भाग में छिपी रहती है। AI केवल कार्यों (खिसकना, बदलना, टाइप करना) को देख सकता है। उसे अदृश्य दुनिया के आधार पर एक मानसिक मॉडल बनाना पड़ता है।
3. कठिनाई के तीन स्तर
यह बेंचमार्क AI के सोचने के तीन स्तरों का परीक्षण करता है, जो हर बार कठिन होते जाते हैं:
- स्तर 1 (मेमोरी टेस्ट): "पहला कदम क्या था?" या "लाल घेरा कितनी बार ऊपर गया?" यह केवल वही याद करने के बारे में है जो आपने देखा।
- स्तर 2 (जासूसी कार्य): "सभी गतिविधियों के आधार पर, संख्याओं की अंतिम व्यवस्था क्या है?" AI को छिपी हुई स्थिति का अनुमान लगाना होता है।
- स्तर 3 (भविष्यवक्ता/Fortune Teller): "यदि हम वहाँ से शुरू करें जहाँ वीडियो समाप्त हुआ, और हम ये नए कदम उठाएं, तो परिणाम क्या होगा?" इसके लिए जटिल मानसिक सिमुलेशन के आधार पर भविष्य की भविष्यवाणी करने की आवश्यकता होती है।
4. परिणाम: "सोचने" का अंतर
शोधकर्ताओं ने 18 सबसे स्मार्ट AI मॉडलों का परीक्षण किया (जिसमें GPT-4o और विभिन्न ओपन-सोर्स मॉडल जैसे बड़े नाम शामिल हैं)।
- संघर्ष: अधिकांश मॉडल बुरी तरह विफल रहे। कई का स्कोर 10% से भी कम था। कुछ का स्कोर लगभग 0% था। यह एक कैलकुलेटर से भौतिकी (physics) का सवाल हल करने के लिए कहने जैसा था बिना भौतिकी के नियमों को जाने।
- "सोचने" की सफलता: उन्होंने पाया कि जिन मॉडलों में एक विशेष "सोचने का मोड" (जहाँ AI उत्तर देने से पहले अपने तर्क के चरणों को लिखने के लिए रुकता है) होता है, वे बहुत बेहतर प्रदर्शन करते हैं।
- Gemini-2.5-Pro इस खेल का सितारा था, जिसने 56% स्कोर किया।
- GPT-4o (विशेष सोचने वाले मोड के बिना) का स्कोर केवल 6.9% था।
उपमा (Analogy): एक छात्र की गणित की परीक्षा की कल्पना करें।
- मानक AI: सीधे उत्तर पर कूद जाता है। यदि समस्या कठिन है, तो वह अनुमान लगाता है।
- सोचने वाला AI: लिखता है, "ठीक है, चरण 1 X है, चरण 2 Y है..." और अपने काम की जाँच करता है। यह "विस्तारित सोच" (extended thinking) ही उन्हें इन वीडियो पहेलियों को हल करने में मदद करने वाली एकमात्र चीज़ थी।
5. यह क्यों महत्वपूर्ण है
यह पेपर दो बड़ी बातें सिद्ध करता है:
- वीडियो समझने के लिए AI को "सोचना" आवश्यक है: केवल वीडियो देखना पर्याप्त नहीं है। जटिल कारण-और-प्रभाव (cause-and-effect) को समझने के लिए, AI को अपने मन में घटनाओं का सिमुलेशन करना होगा, चरण-दर-चरण।
- वर्तमान AI अभी भी विवरणों के प्रति "अंधा" है: सबसे अच्छे मॉडल भी समय के साथ बारीक विवरणों को ट्रैक करने में संघर्ष करते हैं। यदि आप वीडियो हटा दें और उन्हें केवल टेक्स्ट में कहानी बता दें, तो वे तर्क में बहुत बेहतर हो जाते हैं। इसका मतलब है कि समस्या तर्क की नहीं है; समस्या दृष्टि (vision) की है। वे दृश्य विवरणों को देखते हुए और याद रखते हुए एक साथ काम करने में खराब हैं।
निचोड़ (The Bottom Line)
VideoReasonBench एक नया, बहुत कठिन टेस्ट है जो दिखाता है कि हमारा वर्तमान AI वीडियो देखने और एक जटिल कहानी को समझने के मामले में अभी भी थोड़ा अनाड़ी है। यह एक छोटे बच्चे की तरह है जो कुत्ते को पहचान तो सकता है लेकिन लुका-छिपी का खेल नहीं समझ सकता।
अच्छी खबर? जो मॉडल "ज़ोर से सोचने" (जैसे Gemini-2.5-Pro) की अनुमति देते हैं, वे इसे समझना शुरू कर रहे हैं। यह बेंचमार्क डेवलपर्स को स्मार्ट AI बनाने में मदद करेगा जो दुनिया को केवल पहचान नहीं पाएंगे, बल्कि उसे वास्तव में समझ सकेंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।