Accuracy Without Grounding: Diagnosing Visual Dependency Dissociation in Video LLM Benchmarks
यह शोध पत्र विजुअल डिपेंडेंसी गैप (VDG) को प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि वीडियो लार्ज लैंग्वेज मॉडल्स में उच्च बेंचमार्क सटीकता अक्सर वास्तविक दृश्य समझ के बजाय भाषाई पूर्वाग्रहों (लैंग्वेज प्रायर्स) से उत्पन्न होती है, जो यह प्रकट करता है कि टेम्पोरल ऑर्डर प्रदर्शन में न्यूनतम योगदान देता है जबकि फ्रेम विविधता अधिकांश लाभों को संचालित करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को दुनिया को समझना सिखाने की कोशिश कर रहे हैं। आप उसे एक कैमरा और एक दिमाग देते हैं, और उससे पूछते हैं कि वह जो देख रहा है उसके बारे में। लंबे समय से, वैज्ञानिक इन रोबोट्स की "बुद्धिमत्ता" को मापने के लिए उन्हें एक परीक्षण देते आए हैं: उन्हें एक वीडियो दिखाएं, एक प्रश्न पूछें, और देखें कि क्या वे सही उत्तर देते हैं। यदि रोबोट का स्कोर अधिक है, तो हम मान लेते हैं कि वह वास्तव में वीडियो को "देख" रहा है और समझ रहा है। लेकिन यहाँ एक पेच है: सिर्फ इसलिए कि एक रोबोट सही उत्तर दे देता है, इसका मतलब यह नहीं है कि उसने चित्र को देखा भी है। वह केवल शब्दों के आधार पर अनुमान लगा सकता है, जैसे कि एक छात्र जो जानता है कि मंगलवार को शिक्षक हमेशा "बिल्लियों" के बारे में पूछते हैं और बिना ब्लैकबोर्ड देखे ही "बिल्ली" उत्तर दे देता है। यह शोध पत्र "वीडियो लार्ज लैंग्वेज मॉडल्स" (Video Large Language Models)—जो कि बहुत स्मार्ट कंप्यूटर हैं जो टेक्स्ट पढ़ सकते हैं और वीडियो देख सकते हैं—की उलझी हुई, भ्रमित करने वाली दुनिया में गहराई से उतरता है और एक डरावना सवाल पूछता है: क्या ये रोबोट वास्तव में फिल्में देख रहे हैं, या वे केवल टेक्स्ट का उपयोग करके उत्तरों का अनुमान लगाने में बहुत अच्छे हैं?
शोधकर्ताओं ने बीस अलग-अलग वीडियो देखने वाले रोबोट्स के साथ एक छोटा सा खेल खेलने का निर्णय लिया, जिनमें नन्हे रोबोट्स से लेकर विशाल दिमाग वाले बड़े रोबोट्स तक शामिल थे। उन्होंने एक मानक परीक्षण लिया जिसे MVBench कहा जाता है, जिसमें वीडियो से संबंधित सैकड़ों प्रश्न हैं, और उन्होंने प्रत्येक प्रश्न के लिए परीक्षण को दो बार चलाया। पहली बार, उन्होंने रोबोट को वास्तविक वीडियो दिखाया। दूसरी बार, उन्होंने रोबोट को बिल्कुल वही प्रश्न दिखाया, लेकिन वीडियो को एक ठोस काली स्क्रीन (black screen) से बदल दिया गया था। यदि रोबोट वास्तव में "देख" रहा होता, तो वीडियो गायब होने पर उसका स्कोर शून्य के करीब गिर जाना चाहिए था। यदि रोबोट काली स्क्रीन के साथ भी सही उत्तर देता रहा, तो इसका मतलब था कि वह देख ही नहीं रहा था; वह केवल भाषा के तरीकों का उपयोग करके अनुमान लगा रहा था।
परिणाम चौंकाने वाले थे। टीम ने पाया कि कई प्रश्नों के लिए, रोबोट का प्रदर्शन लगभग वैसा ही था जैसा कि वीडियो देखने या काली शून्यता को घूरने के दौरान था। उन्होंने इसे मापने का एक नया तरीका पेश किया जिसे "विजुअल डिपेंडेंसी गैप" (Visual Dependency Gap - VDG) कहा जाता है, जो मूल रूप से वीडियो के साथ बनाम बिना वीडियो के रोबोट के प्रदर्शन के बीच का अंतर है। उन्होंने पाया कि कुछ प्रकार के प्रश्नों के लिए, जैसे "कार का रंग क्या है?" (Attribute Perception), रोबोट को सही उत्तर देने के लिए वास्तव में वीडियो की आवश्यकता थी। लेकिन अन्य प्रकार के प्रश्नों के लिए, जैसे "आगे क्या होगा?" (Temporal Reasoning), रोब-ोट्स ने तब भी सही उत्तर दिए जब स्क्रीन काली थी। इसका मतलब है कि परीक्षण के प्रश्न वास्तव में यह नहीं परख रहे थे कि रोबोट समय या क्रम को समझता है या नहीं; वे केवल यह परीक्षण कर रहे थे कि क्या रोबोट प्रश्न की शब्दावली के आधार पर उत्तर का अनुमान लगा सकता है।
शोधकर्ताओं ने यह जानने की भी कोशिश की कि रोबोट ये उत्तर क्यों दे रहे थे। उन्होंने वीडियो को अलग-अलग हिस्सों में विभाजित किया: केवल एक सिंगल फ्रेम, क्रम से बिखेरे गए कई फ्रेम्स, और पूरा वीडियो जिसमें समय आगे बढ़ रहा था। उन्होंने पाया कि रोबोटों को घटनाओं के क्रम की बिल्कुल भी परवाह नहीं थी। चाहे वीडियो आगे की ओर चल रहा हो, पीछे की ओर, या चित्रों का एक उलझा हुआ ढेर हो, रोबोटों का स्कोर एक समान रहा। केवल एक ही चीज़ काम आती दिख रही थी, वह थी 'फ्रेम विविधता' (frame diversity), न कि सही क्रम में देखना। वास्तव में, कुछ नवीनतम और सबसे उन्नत मॉडल्स के लिए, वीडियो इनपुट ने उन्हें भ्रमित भी कर दिया, जिससे उनका प्रदर्शन वीडियो को पूरी तरह अनदेखा करने और केवल टेक्स्ट से अनुमान लगाने की तुलना में थोड़ा खराब हो गया।
सबसे दिलचस्प निष्कर्षों में से एक यह था कि ये रोबोट 'कंप्रेशन' (compression) को कैसे संभालते हैं। आमतौर पर, यदि आप किसी वीडियो फ़ाइल को छोटा करने के लिए उसे दबाते (squish) हैं, तो उसकी गुणवत्ता खराब हो जाती है। शोधकर्ताओं को उम्मीद थी कि यदि रोबोट वास्तव में "देख" रहा होगा, तो एक धुंधला, कंप्रेस्ड वीडियो उसे विफल कर देगा। लेकिन रोबोट का स्कोर भारी रूप से कंप्रेस किए गए वीडियो के बावजूद स्थिर और अडिग रहा। टीम ने महसूस किया कि यह इसलिए नहीं था क्योंकि रोबोट बहुत मजबूत (robust) थे; बल्कि इसलिए था क्योंकि प्रश्न टेक्स्ट से अनुमान लगाने के लिए इतने आसान थे कि रोबोट को दृश्य विवरणों की आवश्यकता ही नहीं पड़ी। उनकी "मजबूती" खराब परीक्षण प्रश्नों द्वारा निर्मित एक भ्रम था।
अंत में, उन्होंने देखा कि ये रोबोट बड़े और स्मार्ट होने के साथ कैसे बदलते हैं। उन्होंने पाया कि जबकि बड़े मॉडल आम तौर पर वीडियो का उपयोग करने में बेहतर होते हैं, कुछ नवीनतम मॉडल वास्तव में दृश्य जानकारी पर निर्भरता कम करने लगे। एक मॉडल, Qwen3-VL, ऐसा लगा जैसे वह वीडियो फ्रेम्स का प्रभावी ढंग से उपयोग करना भूल गया है, और लगभग पूरी तरह से टेक्स्ट से अनुमान लगाने पर निर्भर है, भले ही उसके समग्र परीक्षण स्कोर अच्छे दिख रहे हों। यह शोध पत्र निष्कर्ष निकालता है कि हम अब केवल लीडरबोर्ड स्कोर पर भरोसा नहीं कर सकते। एक उच्च स्कोर का मतलब यह नहीं है कि रोबोट एक महान पर्यवेक्षक है; इसका मतलब यह हो सकता है कि वह एक महान अनुमान लगाने वाला है। यह जानने के लिए कि क्या एक रोबोट वास्तव में देख रहा है, हमें यह जांचना होगा कि क्या वह विफल होता है जब स्क्रीन काली हो जाती है। यदि वह विफल नहीं होता है, तो वह शुरू से ही देख नहीं रहा था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।