Do Video-LLMs Actually Watch? Diagnosing Character-Tracking Failures in Long-Form Video
यह शोध पत्र यह प्रकट करता है कि वर्तमान Video-LLMs लंबे वीडियो में विशिष्ट पात्रों को वास्तविक रूप से ट्रैक करने में काफी हद तक विफल रहते हैं, इसके बजाय वे सतही लैंगिक संकेतों पर निर्भर रहते हैं और समान लिंग वाले व्यक्तियों के बीच अंतर करने में विफल रहते हैं, जिसके कारण बेंचमार्क स्कोर उनकी वास्तविक टेम्पोरल रीजनिंग और पहचान-ट्रैकिंग क्षमताओं को बढ़ा-चढ़ाकर दिखाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक सुपर-स्मार्ट, 7-से-8-बिलियन-पैरामीटर वाले रोबोट डिटेक्टिव को द बिग बैंग थ्योरी का एक पूरा एपिसोड देखने के लिए काम पर रखा है। आपका मिशन रोबोट के लिए सरल है: "शेल्डन को देखो, और मुझे बताओ कि उसके कपड़े बदलने का सटीक क्रम क्या है।"
आप उम्मीद करेंगे कि रोबोट एक बाज की तरह होगा, शेल्डन के चेहरे पर नज़र गड़ाए रखेगा, उसे हर सीन में ट्रैक करेगा, और उसके कपड़ों के बदलावों को पूरी सटीकता से नोट करेगा। लेकिन यहाँ एक ट्विस्ट है: रोबोट वास्तव में शेल्डन को नहीं देख रहा है। वह बस एक बहुत ही आलसी शॉर्टकट के आधार पर अनुमान लगा रहा है।
महान "शेल्डन" अदला-बदली
यह समझने के लिए कि क्या हो रहा था, शोधकर्ताओं ने एक चतुर चाल चली। उन्होंने बिल्कुल वही वीडियो और बिल्कुल वही मल्टीपल-चॉइस उत्तर लिए, लेकिन उन्होंने बस सवाल में नाम बदल दिया।
- मूल प्रश्न: "शेल्डन के कपड़े किस क्रम में बदलते हैं?"
- अदला-बदली: "लियोनार्ड के कपड़े किस क्रम में बदलते हैं?" (वही वीडियो, वही उत्तर)।
अगर रोबोट वास्तव में पात्रों को ट्रैक कर रहा होता, तो उसे कहना चाहिए था, "रुको, लियोनार्ड अलग कपड़े पहनता है शेल्डन से!" और उसे एक अलग उत्तर चुनना चाहिए था। लेकिन अंदाज़ा लगाइए क्या हुआ? रोबोट को कोई फर्क नहीं पड़ा।
समान-लिंग वाली अदला-बदली (जैसे शेल्डन को लियोनार्ड से बदलना) के लगभग 7% से 17% मामलों में, रोबोट ने अपना उत्तर बदल दिया। यह एक पासा फेंकने से भी थोड़ा बेहतर था। वह ज्यादातर नाम को अनदेखा कर रहा था और बस एक ऐसा उत्तर चुन रहा था जो उसे पसंद था।
"जेंडर" (लिंग) की गड़बड़ी
तो, अगर वह व्यक्ति को नहीं देख रहा है, तो वह क्या देख रहा है? शोधकर्ताओं ने पाया कि रोबमाट एक बहुत ही मोटा, धुंधला फ़िल्टर इस्तेमाल कर रहा था: जेंडर (लिंग)।
जब उन्होंने एक पुरुष पात्र को दूसरे पुरुष से (या महिला से) बदला (जैसे शेल्डन को पेनी से), तो रोबोट द्वारा अपना उत्तर बदलने की संभावना बहुत अधिक थी (20% से 43% तक)। ऐसा लग रहा था कि वह सोच रहा है, "ओह, सवाल 'एक आदमी' से बदलकर 'एक औरत' हो गया है, तो कपड़े ज़रूर अलग होंगे!"
लेकिन अगर आपने एक आदमी को दूसरे आदमी से बदला, तो रोबोट पूरी तरह से खो गया। वह शेल्डन को हॉवर्ड से उतना ही बेहतर पहचान पाता था जितना कि वह एक बिल्ली को कुत्ते से पहचान सकता है। वह "पुरुष" और "महिला" तो देख पा रहा था, लेकिन वह "शेल्डन" को नहीं देख पा रहा था।
"मैजिक बॉक्स" का भ्रम
पेपर ने यह भी जांचा कि क्या रोबोट अपने ट्रेनिंग डेटा से शो को रटकर (जैसे कि पहले से स्क्रिप्ट पढ़ लेना) धोखाधड़ी कर रहा है। उन्होंने रोबोट को वीडियो के बिना, केवल प्रश्न के टेक्स्ट और शो के शीर्षक के साथ दिखाया। रोबोट का स्कोर लगभग रैंडम चांस के बराबर था (लगभग 18–20%)। इसलिए, वह स्क्रिप्ट के साथ धोखाधड़ी नहीं कर रहा था; वह बस विजुअल (दृश्य) भाग में खराब था।
उन्होंने यह भी आज़माया कि क्या रोबोट को अधिक फ्रेम्स (वीडियो के अधिक "स्नैपशॉट्स") देने से वह बेहतर हो सकता है। 32 फ्रेम्स देने से वह सामान्य तौर पर कपड़ों को पहचानने में थोड़ा बेहतर हुआ, लेकिन वह अभी भी विशिष्ट पात्र को ट्रैक करने में बेहतर नहीं हो पाया। यह एक अंधे व्यक्ति को बेहतर चश्मा देने जैसा था; वे कपड़ों को बेहतर देख सकते हैं, लेकिन उन्हें अभी भी यह नहीं पता कि वे कपड़े किसने पहने हैं।
मल्टीपल-चॉइस का जाल
यहाँ सबसे आश्चर्यजनक बात है: रोबोट मानक टेस्ट पर 37–38% उत्तर सही दे रहा था। यह प्रभावशाली लगता है! लेकिन यह स्कोर एक भ्रम था।
जब शोधकर्ताओं ने रोबोट को अपने शब्दों में उत्तर लिखने के लिए कहा (ओपन-एंडेड), बजाय इसके कि वह एक सूची में से चुनाव करे (मल्टीपल चॉइस), तो स्कोर 18 से 25 अंक गिर गया।
- मल्टीपल चॉइस स्कोर: ~38%
- ओपन-एंडेड स्कोर: ~13–19%
यह गिरावट क्यों आई? क्योंकि मल्टीपल-चॉइस टेस्ट ने रोबोट को पांच विकल्पों का एक "मैजिक बॉक्स" दिया था। भले ही रोबोट सिर्फ अंदाज़ा लगा रहा हो या वह उत्तर जो उसे सबसे ज्यादा पसंद था (जैसे "E" या "A") उसे चुन रहा हो, उसके पास सही होने का 1-में-5 का मौका था। जब उसे शून्य से उत्तर बनाने के लिए मजबूर किया गया, तो उसके पास कोई सुरक्षा कवच नहीं था, और वह पूरी तरह विफल रहा। वास्तव में, ओपन-सोर्स रोबोट्स के 151 ओपन-एंडेड उत्तरों में से एक भी पूरी तरह से सही नहीं था।
निचोड़
पेपर यह निष्कर्ष निकालता है कि ये Video-LLMs वास्तव में पात्रों को ट्रैक नहीं कर रहे हैं। वे नाम और वीडियो के बीच एक संबंध का "भ्रम" (hallucinating) पैदा कर रहे हैं। वे यह पहचानने में अच्छे हैं कि "एक व्यक्ति ने शर्ट पहनी है," लेकिन वे "कौन सा व्यक्ति?" का उत्तर देने में बहुत खराब हैं।
शोधकर्ता सुझाव देते हैं कि बेंचमार्क पर उच्च स्कोर भ्रामक हैं। वे यह नहीं माप रहे हैं कि मॉडल कहानी को कितनी अच्छी तरह समझता है, बल्कि यह माप रहे हैं कि वह जेंडर संकेतों या भाग्यशाली मल्टीपल-चॉइस अनुमानों के आधार पर कितनी अच्छी तरह अंदाजा लगा सकता है। जब तक कोई मॉडल "नाम स्वैप" टेस्ट और "ओपन-एंडेड" टेस्ट पास नहीं कर लेता, हम यह नहीं कह सकते कि वह वास्तव में वीडियो को "देख" रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।