VidNum-1.4K: A Comprehensive Benchmark for Video-based Numerical Reasoning
यह शोध पत्र VidNum-1.4K का परिचय देता है, जो एक व्यापक मानव-एनोटेटेड बेंचमार्क है जिसमें 1,379 वीडियो-प्रश्न युग्म शामिल हैं जिन्हें एक तीन-स्तरीय पदानुक्रम में व्यवस्थित किया गया है ताकि वास्तविक दुनिया के वीडियो संदर्भों के भीतर जटिल, बहु-चरणीय संख्यात्मक तर्क करने में वर्तमान विजन-लैंग्वेज मॉडल्स की महत्वपूर्ण सीमाओं का कठोरता से मूल्यांकन और प्रदर्शन किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक फिल्म देख रहे हैं, लेकिन केवल कहानी का आनंद लेने के बजाय, आपकी वस्तुओं और घटनाओं को गिनने, मात्राओं के बीच अंतर की गणना करने और यह पता लगाने की क्षमता का परीक्षण किया जा रहा है कि एक दृश्य कटने के बाद भीड़ में लोगों की संख्या बढ़ी या घटी। यह विज़न-लैंग्वेज मॉडल्स (VLMs) की दुनिया है। इन मॉडल्स को सुपर-स्मार्ट डिजिटल जासूसों के रूप में सोचें जो छवियों और वीडियो को "देख" सकते हैं और टेक्स्ट को "पढ़" सकते हैं, और दुनिया को समझने की कोशिश करते हैं ठीक वैसे ही जैसे हम करते हैं। कुछ समय से, ये एआई जासूस जो वे देखते हैं उसका वर्णन करने में बहुत अच्छे होते जा रहे हैं, जैसे कि कहना, "एक कुत्ता दौड़ रहा है।" लेकिन वैज्ञानिक सोच रहे थे: क्या ये एआई वास्तव में कहानी, समय के बीतने और चीजों के बदलने के तर्क को समझते हैं? या वे केवल उन पैटर्न के आधार पर अनुमान लगा रहे हैं जिन्हें उन्होंने अपने प्रशिक्षण डेटा से याद किया है? यह प्रश्न महत्वपूर्ण है क्योंकि यदि एक एआई भौतिक दुनिया को वास्तव में नहीं समझ सकता है—जैसे कि यह जानना कि यदि आप दो सेबों में तीन जोड़ते हैं, तो आपके पास पांच होते हैं, भले ही कैमरा एंगल बदल जाए—तो हम जटिल कार्यों के लिए वास्तविक दुनिया में उनकी मदद लेने के लिए उन पर भरोसा नहीं कर सकते।
यहाँ एक नई चुनौती आती है जिसे VidNum-1.4K कहा जाता है, जो विशेष रूप से यह परीक्षण करने के लिए डिज़ाइन किया गया एक कठोर "फाइनल एग्जाम" है कि क्या ये एआई जासूस वीडियो में संख्यात्मक तर्क (numerical reasoning) कर सकते हैं। इस अध्ययन के पीछे के शोधकर्ताओं, श्याओयांग कुई और उनकी टीम ने 1,3क79 वीडियो क्लिप्स और प्रश्नों का एक विशाल संग्रह बनाया है जो एआई को केवल देखने के लिए ही नहीं, बल्कि गिनने, तुलना करने और गणना करने के लिए मजबूर करते हैं। उन्होंने इन प्रश्नों को कठिनाई के तीन स्तरों में व्यवस्थित किया है, जैसे कि बढ़ते हुए 'बॉस फाइट्स' वाला एक वीडियो गेम। लेवल 1 "इजी मोड" है, जहाँ एआई को बस सरल चीजों को गिनना होता है, जैसे "इस कमरे में कितने हरे दरवाजे हैं?" लेवल 2 कठिनाई को बढ़ाता है, एआई से विशिष्ट प्रकार की चीजों को गिनने के लिए कहता है, जैसे "कितने भूरे कुत्ते हैं?" जबकि काले कुत्तों को अनदेखा करना, भले ही कैमरा अलग-अलग कोणों पर कट जाए। लेवल 3 "हार्डकोर मोड" है, जिसके लिए बहु-चरणीय तर्क की आवश्यकता होती है, जैसे कि फुटबॉल के खेल के पहले शॉट में खिलाड़ियों को गिनना, फिर विशिष्ट बाधाओं के तहत दूसरे शॉट में उन्हें फिर से गिनना, और फिर इन दो अलग-थलग घटनाओं के बीच उत्तर खोजने के लिए एक तार्किक तुलना या गणना करना।
इन परीक्षा के परिणाम चौंकाने वाले थे। यहाँ तक कि सबसे उन्नत एआई मॉडल्स, जिनमें शक्तिशाली क्लोज्ड-सोर्स "Gemini-3.1-pro" भी शामिल है, केवल 60% उत्तर सही देने में ही सफल रहे जब उन्हें चरण-दर-चरण सोचने की अनुमति दी गई। ओपन-सोर्स मॉडल्स, जो एआई की दुनिया के सामुदायिक-निर्मित उपकरणों की तरह हैं, और भी अधिक संघर्ष करते दिखे, जिनका स्कोर 25% और 45% के बीच रहा। पेपर सुझाव देता है कि ये मॉडल अभी भी "शॉर्टकट" पर निर्भर हैं—जैसे कि उन सामान्य वाक्यांशों के आधार पर अनुमान लगाना जो उन्होंने पहले सुने हैं—बज بجائے इसके कि एक स्थिर "आंतरिक विश्व मॉडल" (internal world model) बनाया जाए जो समय के साथ वस्तुओं और संख्याओं के व्यवहार को समझता हो। उदाहरण के लिए, जब वीडियो एक नए दृश्य में कटता है, तो मॉडल अक्सर अपनी गिनती खो देते हैं या एक ही वस्तु को दोबारा गिन लेते हैं, जिससे पता चलता है कि वे वास्तव में यह नहीं समझते कि शुरुआत में दिखने वाला कुत्ता अंत में दिखने वाले कुत्ते के समान ही है।
दिलचस्प बात यह है कि शोधकर्ताओं ने पाया कि एआई को "ज़ोर से सोचने" (जिसे चेन-ऑफ-थॉट तकनीक कहा जाता है) के लिए कहने से उन्हें कठिन तर्क पहेलियों को हल करने में मदद मिली, लेकिन इसने कभी-कभी उन आसान गणना कार्यों को बिगाड़ दिया जिन्हें वे पहले सही कर रहे थे। यह सुझाव देता है कि जबकि ये मॉडल्स उच्च-स्तरीय गणित में बेहतर हो रहे हैं, वीडियो में चलती हुई वस्तुओं को ट्रैक करने की उनकी बुनियादी क्षमता अभी भी डगमगा रही है। अध्ययन निष्कर्ष निकालता है कि केवल एआई मॉडल्स को बड़ा बनाना (अधिक "पैरामीटर्स" जोड़ना) उन्हें जटिल तर्क में मदद करता है, लेकिन यह उनके विभिन्न वीडियो दृश्यों में चीजों को ट्रैक करने की समस्या को जादुई रूप से ठीक नहीं करता है। VidNum-1.4K एक कठिन, ईमानदार दर्पण के रूप में कार्य करता है, जो हमें दिखाता है कि हालांकि हमारे एआई जासूस स्मार्ट हो रहे हैं, लेकिन उन्हें गतिशील, परिवर्तनशील दुनिया को वास्तव में समझने के लिए अभी भी एक लंबा रास्ता तय करना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।