VideoGAIA: A Benchmark for General AI Assistants on Agentic Video Understanding
पारंपरिक सिंगल-टर्न वीडियो समझ के बेंचमार्क की संतृप्ति को संबोधित करने के लिए, यह शोध पत्र VideoGAIA पेश करता है, जो एक कठोर, मल्टी-टर्न, टूल-ऑगमेंटेड बेंचमार्क है जिसमें 271 विशेषज्ञ-सत्यापित कार्य शामिल हैं जो वर्तमान फ्रंटियर मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स में महत्वपूर्ण प्रदर्शन अंतराल को प्रकट करता है और जिसका लक्ष्य इस क्षेत्र को एजेंटिक वीडियो समझ की ओर ले जाना है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
वर्षों से, हम जिस तरह से आर्टिफिशियल इंटेलिजेंस का परीक्षण करते आए हैं, वह एक सरल खेल पर आधारित रहा है: कंप्यूटर को एक वीडियो दिखाएं, एक प्रश्न पूछें और उत्तर की प्रतीक्षा करें। 'वीडियो अंडरस्टैंडिंग' (वीडियो समझ) के रूप में जानी जाने वाली यह पद्धति इस बात का मानक पैमाना बन गई है कि मशीनें चलती हुई दुनिया को कितनी अच्छी तरह देख और समझ सकती हैं। हाल के समय में, सबसे उन्नत एआई सिस्टम इस काम में इतने कुशल हो गए हैं कि वे लगभग हर प्रश्न का सही उत्तर दे सकते हैं, जिससे एक ऐसा बिंदु आ गया है जहाँ यह परीक्षण उनकी वास्तविक सीमाओं को प्रकट नहीं कर पाता। यह बिल्कुल वैसा ही है जैसे किसी छात्र ने पूरी पाठ्यपुस्तक रट ली हो और वह किसी भी तथ्य को सुना सके, फिर भी हमें यह नहीं पता कि क्या वह वास्तव में वास्तविक दुनिया में किसी नई समस्या को हल कर सकता है। इस ठहराव से आगे बढ़ने के लिए, शोधकर्ताओं को बुद्धिमत्ता को मापने के एक नए तरीके की आवश्यकता थी, जो केवल एक तथ्य न पूछे बल्कि मशीन को एक जिज्ञासु मानव अन्वेषक की तरह कार्य करने के लिए प्रेरित करे।
चीन के विश्वविद्यालयों और तकनीकी कंपनियों के शोधकर्ताओं की एक टीम ने ऐसा एक नया परीक्षण पेश किया है, जिसे 'VideoGAIA' कहा जाता है। मॉडल को एक वीडियो देखने और एक एकल प्रश्न का उत्तर देने के लिए कहने के बजाय, यह नया बेंचमार्क वीडियो को एक बहुत लंबे अन्वेषण के शुरुआती बिंदु के रूप में देखता है। इस सेटअप में, आर्टिफिशियल इंटेलिजेंस एक 'एजेंट' के रूप में कार्य करता है—एक डिजिटल सहायक जिसे यह समझना होगा कि वह क्या नहीं जानता, उस लापता जानकारी को खोजने जाना होगा, और फिर उस पूरी जानकारी को एक जटिल कार्य को हल करने के लिए एकत्रित करना होगा। वीडियो में कोई व्यक्ति एक विशिष्ट फोन पकड़े हुए या शहर के माध्यम से चलती हुई कार दिखाई दे सकती है, लेकिन प्रश्न का उत्तर अक्सर वीडियो के बाहर होता है। सिस्टम को फुटेज में एक सुराग पहचानना होगा, इंटरनेट पर अधिक विवरण खोजने का निर्णय लेना होगा, खोज के परिणामों को पढ़ना होगा, और फिर वीडियो पर वापस आकर यह जांचना होगा कि क्या वह नई जानकारी वहां फिट बैठती है। देखने, खोजने, पढ़ने और जांचने की यह प्रक्रिया कई चरणों में चलती है, जो ठीक वैसे ही है जैसे एक इंसान किसी विषय पर शोध करता है।
शोधकर्ताओं ने इस परीक्षण का निर्माण इंटरनेट से एक लाख वीडियो के विशाल संग्रह से शुरुआत करके किया। उन्होंने दिलचस्प क्लिप चुनने और ऐसे प्रश्न उत्पन्न करने के लिए शक्तिशाली एआई मॉडल का उपयोग किया जिन्हें केवल वीडियो देखकर हल नहीं किया जा सकता था। उदाहरण के लिए, एक वीडियो में एक स्टूडियो में एक होस्ट को कई फोन प्रदर्शित करते हुए, एक हरे रंग के प्रोडक्ट स्टैंड के पास एक पारदर्शी-बैक वाला सिल्वर हैंडसेट पकड़े हुए दिखाया जा सकता है, और प्रश्न उस मॉडल को चलाने वाले विशिष्ट 'चिपसेट वेरिएंट' के बारे में पूछ सकता है। वीडियो स्वयं चिपसेट का नाम या उसके मार्केटिंग विवरण को नहीं दिखाता है। सही उत्तर देने के लिए, एआई को पहले वीडियो में फोन को पहचानना होगा, फिर उत्पाद के विनिर्देशों (specifications) को ऑनलाइन खोजने के लिए एक सर्च टूल का उपयोग करना होगा, वेबपेज पर विवरण पढ़ना होगा, और अंत में पुष्टि करनी होगी कि चिपसेट दृश्य साक्ष्य से मेल खाता है। टीम ने इन संभावित प्रश्नों को एक कठोर प्रक्रिया के माध्यम से फ़िल्टर किया, जिसमें मानव विशेषज्ञों ने प्रत्येक कार्य की समीक्षा की ताकि यह सुनिश्चित किया जा सके कि यह निष्पक्ष, कठिन और वास्तविक तर्क की मांग करने वाला हो। एक सौ घंटों से अधिक की मानव समीक्षा के बाद, वे 271 कार्यों के एक अंतिम सेट पर पहुँचे जो प्रौद्योगिकी, इतिहास, भूगोल, दैनिक जीवन, संस्कृति और अर्थशास्त्र सहित छह वास्तविक दुनिया के क्षेत्रों को कवर करते हैं।
जब शोधकर्ताओं ने इस नए बेंचमार्क पर आज के उपलब्ध बीस सबसे उन्नत एआई मॉडलों का परीक्षण किया, तो परिणाम चौंकाने वाले थे। यहाँ तक कि सबसे शक्तिशाली सिस्टम भी, जो पुराने परीक्षणों पर नब्बे प्रतिशत के करीब स्कोर कर रहे थे, VideoGAIA पर साठ प्रतिशत सटीकता तक पहुँचने के लिए संघर्ष कर रहे थे। सबसे अच्छा प्रदर्शन करने वाला मॉडल, 'Seed2.0-Pro' नामक एक सिस्टम, जिसने 58.30 प्रतिशत की सटीकता प्राप्त की, जबकि अन्य काफी नीचे रह गए। यह अंतर दर्शाता है कि हालांकि ये मशीनें अपने सामने मौजूद चीजों को पहचानने में उत्कृष्ट हैं, लेकिन वे अभी भी अंतराल को भरने के लिए उपकरणों का प्रभावी ढंग से उपयोग करना सीख रही हैं। अध्ययन में पाया गया कि विफलता का सबसे बड़ा स्रोत ज्ञान की कमी या वेब पढ़ने में असमर्थता नहीं थी, बल्कि सबसे पहले वीडियो में दृश्य संकेतों (visual clues) को सही ढंग से पहचानने में विफलता थी। यदि एआई ने फुटेज में किसी वस्तु या विवरण को गलत पहचाना, तो वह गलत जानकारी खोजेगा, जिससे गलत उत्तर मिलेगा।
शोधकर्ताओं ने यह भी देखा कि केवल एआई को अधिक खोजने या अधिक लंबा पढ़ने से सफलता की गारंटी नहीं मिलती। कुछ मॉडलों ने सैकड़ों बार टूल्स का उपयोग किया, इंटरनेट पर बार-बार खोज की, फिर भी कार्य को हल करने में विफल रहे। अन्य मॉडलों ने कम बार कॉल किया लेकिन वे अधिक सटीक थे, पर्याप्त साक्ष्य एकत्र करने के बाद रुक गए। सबसे सफल एजेंट वे थे जो अनिश्चितता का बोध रख सकते थे, यह समझ सकते थे कि उनके पास पर्याप्त जानकारी नहीं है और उन्हें आगे क्या खोजना है, यह ठीक से पता था। वे एक विवरण की जांच करने के लिए वीडियो के विशिष्ट हिस्सों पर वापस जाते थे, उस विवरण की तुलना एक वेबपेज से करते थे, और उसके बाद ही किसी उत्तर पर निर्णय लेते थे। यह व्यवहार एक मानव विशेषज्ञ के काम करने के तरीके के करीब है, जो निष्कर्ष निकालने से पहले तथ्यों को सावधानीपूर्वक सत्यापित करता है।
निष्कर्ष बताते हैं कि अगली पीढ़ी का आर्टिफिशियल इंटेलिजेंस इस बात से परिभाषित नहीं होगा कि वह एक एकल छवि या वीडियो से प्रश्न का उत्तर कितनी अच्छी तरह दे सकता है, बल्कि इस बात से कि वह उत्तर खोजने के लिए दुनिया में कितनी अच्छी तरह नेविगेट कर सकता है। VideoGAIA बेंचमार्क इस नई क्षमता के लिए एक कठोर परीक्षण के रूप में कार्य करता है, जो यह प्रकट करता है कि वास्तव में बुद्धिमान सहायकों का मार्ग केवल बेहतर दृष्टि या बड़े डेटाबेस से नहीं निकलता। इसके लिए निरंतर लूप में सोचने, खोजने और सत्यापित करने की क्षमता की आवश्यकता होती है। हालांकि वर्तमान मॉडलों ने बड़ी प्रगति की है, लेकिन तथ्य यह है कि उनमें से कोई भी इस नए परीक्षण में महारत हासिल नहीं कर सका, यह संकेत देता है कि मशीनों के दैनिक जीवन के जटिल, खुले कार्यों में वास्तव में हमारी सहायता करने से पहले अभी एक लंबा रास्ता तय करना बाकी है। यह कार्य भविष्य के विकास के लिए एक स्पष्ट रोडमैप प्रदान करता है, जो दिखाता है कि प्रगति की कुंजी इन प्रणालियों को न केवल एक दर्शक, बल्कि एक सक्रिय अन्वेषक बनाने में निहित है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।