What Does a Temporal Benchmark Score Measure? Decomposing Channel Use in Video VLM Evaluation
यह शोधपत्र टेम्पोरल वीडियो VLM बेंचमार्क स्कोर को विघटित करने के लिए एक लेबल-मुक्त "रिवर्ज़ल-ड्रॉप" (reversal-drop) मीट्रिक प्रस्तुत करता है, जो यह प्रकट करता है कि मॉडल अक्सर विज़ुअल कंटेंट के बजाय पोजीशनल एनकोडिंग पर निर्भर होते हैं और यह प्रदर्शित करता है कि एग्रीगेट स्कोर, पोजीशन-डोमिनेंट और विज़ुअल-सीक्वेंस-डोमिनेंट आर्किटेक्चर के बीच विशिष्ट, गैर-परिवर्तनीय विफलता मोड को छिपा देते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
द ग्रेट वीडियो डिटेक्टिव मिक्स-अप: क्यों एक ही स्कोर वाले दो मॉडल वास्तव में अलग हैं
कल्पना कीजिए कि आप दो जासूसों, Molmo2 और Qwen3-VL का परीक्षण कर रहे हैं, यह देखने के लिए कि वीडियो रहस्यों को सुलझाने में कौन बेहतर है। आप उन्हें छोटी क्लिपों की एक श्रृंखला देते हैं और उनसे पूछते हैं, "क्या बिल्ली कुत्ते के भौंकने से पहले या बाद में कूदी?" दोनों जासूसों को आपके टेस्ट पर एक उच्च स्कोर मिलता है, मान लीजिए लगभग 0.96 (या 96% सटीकता)। आप सोच सकते हैं, "शानदार! वे दोनों समय को पूरी तरह समझते हैं।"
लेकिन यह पेपर तर्क देता है कि आपका टेस्ट वास्तव में एक चाल है। यह एक जासूस से पूछने जैसा है, "क्या आपने केस सुलझा लिया?" बिना यह पूछे कि उन्होंने इसे कैसे सुलझाया। पेपर खुलासा करता है कि जबकि दोनों जासूसों ने सही उत्तर दिया, उन्होंने वहां तक पहुँचने के लिए पूरी तरह से अलग, और विपरीत, तरीकों का उपयोग किया। एक "टाइम-ट्रैवलर" (समय-यात्री) है जो जो वे देखते हैं उसे अनदेखा करता है, और दूसरा एक "रियलिस्ट" (यथार्थवादी) है जो अपनी आँखों पर भरोसा करता है।
एक स्कोर में छिपे दो प्रश्न
लेखक कहते हैं कि एक मानक वीडियो टेस्ट स्कोर वास्तव में दो अलग-अलग प्रश्नों का एक मिला-जुला रूप है:
- टास्क क्वेश्चन (कार्य संबंधी प्रश्न): क्या प्रश्न के लिए वास्तव में वीडियो को क्रम में देखना आवश्यक है? (जैसे, "क्या गेंद उछली?" के लिए केवल एक फ्रेम की आवश्यकता हो सकती है, लेकिन "क्या गेंद उछली फिर लुढ़की?" के लिए अनुक्रम की आवश्यकता होती है।)
- चैनल क्वेश्चन (चैनल संबंधी प्रश्न): जब मॉडल को वास्तव में क्रम की आवश्यकता होती है, तो वह वह जानकारी कहाँ से प्राप्त करता है? क्या वह पिक्सेल (स्क्रीन पर वास्तविक हलचल) को पढ़ता है या वह पोजीशन नंबर्स (अदृश्य लेबल जो कंप्यूटर को बताते हैं कि कौन सा फ्रेम #1, #2, #3 है) को पढ़कर धोखाधड़ी करता है?
अधिकांश टेस्ट केवल पहले प्रश्न की जाँच करते हैं। वे फ्रेम को आगे-पीछे (shuffle) करते हैं और देखते हैं कि क्या स्कोर गिरता है। यदि स्कोर गिरता है, तो वे कहते हैं, "ठीक है, मॉडल को क्रम की आवश्यकता है।" लेकिन वे यह जाँच नहीं करते कि मॉडल का कौन सा हिस्सा मुख्य काम कर रहा है।
जादू का खेल: "रिवर्सल-ड्रॉप" (Reversal-Drop)
यह पता लगाने के लिए कि मॉडल वास्तव में कैसे काम करते हैं, लेखकों ने रिवर्सल-ड्रॉप नामक एक जादू का खेल किया।
कल्पना कीजिए कि आपके पास एक गुब्बारा फूलने का वीडियो है।
- पिक्सेल: विजुअल फ्रेम दिखाते हैं कि गुब्बारा बड़ा हो रहा है।
- पोजीशन लेबल्स (RoPE): ये प्रत्येक फ्रेम के साथ जुड़े अदृश्य टैग हैं जो कहते हैं "फ्रेम 1," "फ्रेम 2," "फ्रेम 3।"
लेखकों ने एक वीडियो लिया, पिक्सेल को उल्टा (reverse) कर दिया (तो गुब्बारा छोटा होता हुआ दिख रहा है, बड़े से छोटे की ओर), लेकिन पोजीशन लेबल्स को सीधा रखा (ताकि कंप्यूटर अभी भी यह समझे कि वह फ्रेम 1, फिर फ्रेम 2, फिर फ्रेम 3 देख रहा है)।
अब, पिक्सेल कह रहे हैं "सिकुड़ना (deflating)," लेकिन लेबल्स कह रहे हैं "फूलना (inflating)।" दोनों चैनल आपस में लड़ रहे हैं।
- Molmo2 (पोजीशन-डोमिनेंट डिटेक्टिव): जब पिक्सेल और लेबल्स लड़ते हैं, तो Molmo2 पिक्सेल को अनदेखा कर देता है। यह लेबल्स को देखता है, देखता है "फ्रेम 1, 2, 3," और यह उत्तर देता है जैसे कि गुब्बारा फूल रहा हो। भले ही वह सिकुड़ते हुए गुब्बारे को देख रहा है, वह कहता है, "यह फूल रहा है!" क्योंकि लेबल्स ने उसे ऐसा करने को कहा।
- परिणाम: इसकी सटीकता में बहुत कम बदलाव आया। उसे फर्क नहीं पड़ा कि वीडियो उल्टा था। वह पोजीशन इंडिसेस को पढ़ रहा था।
- Qwen3-VL (विजुअल-सीक्वेंस-डोमिनेंट डिटेक्टिव): जब पिक्सेल और लेबल्स लड़ते हैं, तो Qwen3-VL लेबल्स को अनदेखा कर देता है। यह पिक्सेल को देखता है, देखता है कि गुब्बारा सिकुड़ रहा है, और उत्तर देता है, "यह सिकुड़ रहा है!"
- परिणाम: इसकी सटीकता ध्वस्त (collapse) हो गई। यह उलटे वीडियो से धोखा खा गया और गलत उत्तर दिया। यह विजुअल ऑर्डर को पढ़ रहा था।
नंबर झूठ नहीं बोलते
पेपर ने इस अंतर को साबित करने के लिए सटीकता के इस "ड्रॉप" को मापा:
- TVBench नामक बेंचमार्क पर, जब वीडियो को रिवर्स किया गया लेकिन लेबल्स को सीधा रखा गया:
- Molmo2 में लगभग कुछ भी नहीं गिरा (लगभग +0.00 से +0.08 अंक)। यह पूरी तरह से ठीक था।
- Qwen3-VL में बहुत बड़ी गिरावट आई (बीच में +0.24 और +0.55 अंक)। यह क्रैश हो गया।
- TempCompass पर, एक विशेष "पेयर्ड ग्राउंड ट्रुथ" टेस्ट (जहाँ वे जानते हैं कि फॉरवर्ड और रिवर्स दोनों वीडियो के लिए उत्तर क्या है) का उपयोग करते हुए:
- Molmo2 ने दोनों मामलों में "फॉरवर्ड" घटना का उत्तर 0.965 के स्कोर के साथ दिया (उलटे वीडियो को अनदेखा करते हुए)।
- Qwen3-VL सामान्य स्थिति के 0.944 से गिरकर रिवर्स स्थिति में 0.576 पर आ गया।
यह साबित करता है कि दो मॉडल का एक सामान्य टेस्ट पर बिल्कुल समान उच्च स्कोर हो सकता है, लेकिन एक "मैप" (नक्शे) पर निर्भर है और दूसरा "टेरेन" (धरातल/पिक्सेल) पर। यदि आप मैप को नकली बना देते हैं, तो पहला मॉडल विफल हो जाता है, लेकिन दूसरा मॉडल अभी भी ठीक हो सकता है।
क्या पेपर खारिज करता है
लेखक बहुत सावधान थे कि यह केवल कोई ग्लिच या उनके टेस्ट का अजीब परिणाम न हो।
- यह केवल "कन्फ्यूजन" (भ्रम) नहीं है: उन्होंने एक्टिवेशन पैचिंग (activation patching) नामक एक तकनीक का उपयोग किया (जो एक मॉडल के ब्रेन सेल्स को दूसरे मॉडल के "सही" ब्रेन सेल्स के साथ बदलने जैसा है) यह साबित करने के लिए कि अंतर वास्तविक है।
- जब उन्होंने पहले लेयर पर Molmo2 के "दिमाग" को फिक्स किया, तो यह पूरी तरह से रिकवर हो गया।
- जब उन्होंने पहले लेयर पर Qwen3-VL के "दिमाग" को फिक्स किया, तो यह अभी भी थोड़ा विफल रहा। उन्हें रिकवर होने के लिए लेयर्स 0, 1 और 2 तक जाना पड़ा (जहाँ DeepStack नामक फीचर अतिरिक्त विजुअल डेटा इंजेक्ट करता है)।
- यह साबित करता है कि यह एक गहरा, आंतरिक गुण है कि मॉडल कैसे बने हैं, न कि केवल सतह का कोई ट्रिक।
- यह केवल "सिंगल फ्रेम" की धोखाधड़ी नहीं है: उन्होंने दिखाया कि दोनों मॉडलों को इन समस्याओं को हल करने के लिए वास्तव में कई फ्रेमों की आवश्यकता होती है (एक फ्रेम बनाम पूरे वीडियो को देखने पर उन्हें +0.20 का बूस्ट मिलता है)। इसलिए, वे केवल एक तस्वीर से अनुमान नहीं लगा रहे हैं; वे वास्तव में अनुक्रम (sequence) को प्रोसेस कर रहे हैं, बस अलग-अलग तरीकों से।
मुख्य निष्कर्ष (The Big Takeaway)
पेपर निष्कर्ष निकालता है कि एक एकल "टेम्पोरल स्कोर" भ्रामक है। यह यह कहने जैसा है कि दो कारों की टॉप स्पीड समान है, लेकिन एक पेट्रोल पर चलती है और दूसरी बिजली पर। यदि आप उन्हें बिना पेट्रोल स्टेशन वाली सड़क पर चलाते हैं, तो इलेक्ट्रिक कार विफल हो जाएगी, भले ही उनका स्पीड टेस्ट स्कोर समान था।
- Molmo2 पोजीशन-डोमिनेंट है: यह जो वह देखता है उससे अधिक अदृश्य लेबल्स (RoPE) पर भरोसा करता है।
- Qwen3-VL विजुअल-सीक्वेंस-डोमिनेंट है: यह लेबल्स की तुलना में जो वह देखता है (पिक्सेल) उस पर अधिक भरोसा करता है।
लेखक सुझाव देते हैं कि भविष्य के टेस्ट को केवल एक नंबर देने के बजाय, "रिवर्सल-ड्रॉप" रिपोर्ट करना चाहिए ताकि यह देखा जा सके कि मॉडल मैप पढ़ रहा है या टेरेन। यह हमें यह समझने में मदद करता है कि मॉडल कैसे विफल होता है, न कि केवल यह कि वह विफल होता है। यदि आपको ऐसे मॉडल की आवश्यकता है जो वास्तविक वीडियो कंटेंट पर ध्यान दे, तो आपको वह मॉडल नहीं चाहिए जो केवल लेबल्स पढ़ता है। यदि आपको एक सख्त शेड्यूल का पालन करने वाले की आवश्यकता है, तो आप लेबल-रीडर को पसंद कर सकते हैं। लेकिन आप केवल अंतिम स्कोर को देखकर अंतर नहीं बता सकते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।