Video-IFBench: Evaluating Instruction Following of Multimodal LLMs in Video Understanding Scenarios
यह शोध पत्र Video-IFBench प्रस्तुत करता है, जो एक व्यापक बेंचमार्क है जिसमें 1.5K नमूने और एक विविध निर्देश वर्गीकरण (instruction taxonomy) शामिल है, ताकि वीडियो समझ के परिदृश्यों में जटिल, उपयोगकर्ता-निर्दिष्ट बाधाओं का पालन करने की मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स की अल्प-अन्वेषित क्षमता का मूल्यांकन किया जा सके, जो यह प्रकट करता है कि वर्तमान मॉडल मल्टी-कन्स्ट्रेंट (बहु-बाधा) और कंडीशनल (सशर्त) निर्देशों के साथ काफी संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से विकसित होती दुनिया में, प्रणालियों की एक नई पीढ़ी उभरी है जो देख, सुन और बोल सकती है। ये मल्टीमॉडल मॉडल टेक्स्ट, इमेज और वीडियो की विशाल मात्रा पर प्रशिक्षित हैं, जिससे वे किसी दृश्य का वर्णन कर सकते हैं, किसी फिल्म के बारे में सवालों के जवाब दे सकते हैं, या किसी समाचार क्लिप का सारांश प्रस्तुत कर सकते हैं। वर्षों से, शोधकर्ता उनकी सफलता को एक सरल प्रश्न पूछकर मापते रहे हैं: क्या उत्तर सही है? यदि कोई मॉडल कुकिंग शो के वीडियो का वर्णन करता है और सामग्री (ingredients) सही बताता है, तो उसे उच्च स्कोर मिलता है। हालांकि, वास्तविक दुनिया में, केवल एक सही उत्तर पर्याप्त नहीं होता है। एक उपयोगकर्ता मॉडल से वीडियो का वर्णन करने के लिए कह सकता है लेकिन विशिष्ट नियमों पर जोर दे सकता है: "केवल वही बताएं जो पानी उबलने के बाद होता है," "चरणों को क्रम में सूचीबद्ध करें," "बर्तनों के रंग का उल्लेख न करें," या "केवल स्पेनिश में बोलें।" इन अनुरोधों के लिए सिस्टम को न केवल सामग्री को समझने की आवश्यकता है, बल्कि निर्देशों के एक जटिल सेट का पालन करने की भी आवश्यकता है, जिससे उस जानकारी को फ़िल्टर किया जा सके जिसे वह जानता है कि वह सत्य है लेकिन उसे अनदेखा करने के लिए कहा गया था। अब तक, वीडियो परिदृश्यों में ऐसे विस्तृत, मानव जैसे प्रतिबंधों का पालन करने की इन उन्नत प्रणालियों की क्षमता काफी हद तक अनपरीक्षित रही है।
शोधकर्ताओं की एक टीम ने 'वीडियो-आईएफबेंच' (Video-IFBench) नामक एक नया परीक्षण क्षेत्र बनाकर इस अंतर को दूर किया है। यह बेंचमार्क विशेष रूप से यह देखने के लिए डिज़ाइन किया गया है कि क्या वीडियो-समझने वाली आर्टिफिशियल इंटेलिजेंस वास्तव में वह कर सकती है जो उसे करने के लिए कहा जाता है जब निर्देश कठिन हों। शोधकर्ताओं ने सार्वजनिक स्रोतों से 1,000 से अधिक वीडियो एकत्र किए, जिसमें खेल, विज्ञान, समाचार और दैनिक जीवन जैसे दस अलग-अलग डोमेन शामिल हैं। ये क्लिप दस सेकंड से लेकर दस मिनट की लंबाई के हैं, जो कुल लगभग 49 घंटों का फुटेज है। इस संग्रह से, उन्होंने 1,500 अद्वितीय परीक्षण मामले (test cases) बनाए। प्रत्येक परीक्षण मामला एक वीडियो को एक विशिष्ट अनुरोध के साथ जोड़ता है जिसमें कार्यों और प्रतिबंधों का मिश्रण होता है। कुछ अनुरोध एक जानकारी के टुकड़े के लिए पूछते हैं, जैसे "स्क्रीन पर क्या लिखा है?" जबकि अन्य कई चरणों की मांग करते हैं, जैसे "कार्यों को सूचीबद्ध करें, लेकिन केवल वे जो दो सेकंड से अधिक समय तक चलते हैं, और उन्हें क्रमांकित सूची के रूप में प्रस्तुत करें।" सबसे कठिन परीक्षणों में 'कंडीशनल लॉजिक' (सशर्त तर्क) शामिल है, जहाँ मॉडल को पहले निर्णय लेने के लिए वीडियो देखना होगा कि कौन सा रास्ता अपनाना है। उदाहरण के लिए, एक प्रॉम्प्ट कह सकता है, "यदि वीडियो लैपटॉप ठीक करने के बारे में शीर्षक के साथ शुरू होता है, तो मरम्मत के चरणों का वर्णन करें; अन्यथा, अंतिम दस सेकंड में व्यक्ति की क्रियाओं का वर्णन करें।" मॉडल को सही निर्देशों के सेट का पालन करने के लिए सही प्रारंभिक स्थिति की पहचान करनी होगी।
इन परीक्षणों को निष्पक्ष और सटीक बनाने के लिए, शोधकर्ताओं ने प्रश्नों और उत्तरों की जाँच के नियमों को उत्पन्न करने के लिए एक अर्ध-स्वचालित प्रणाली बनाई। उन्होंने वीडियो से तथ्यों को निकालने के लिए आर्टिफिशियल इंटेलिजेंस का उपयोग किया, जैसे कि कौन सी वस्तुएं मौजूद थीं और विशिष्ट घटनाएं कब हुईं, और फिर उन तथ्यों का उपयोग जटिल निर्देश लिखने के लिए किया। महत्वपूर्ण रूप से, प्रत्येक निर्देश के साथ एक चेकलिस्ट जुड़ी हुई थी। चेकलिस्ट के कुछ आइटम कंप्यूटर प्रोग्राम द्वारा जांचे जा सकते थे, जैसे कि यह सत्यापित करना कि उत्तर JSON प्रारूप में लिखा गया है या इसमें ठीक पांच बुलेट पॉइंट हैं। अन्य आइटम, जिनमें प्रतिक्रिया के अर्थ को समझने की आवश्यकता थी, एक अलग, अत्यधिक सक्षम भाषा मॉडल द्वारा जांचे गए जो एक जज के रूप में कार्य करता था। इस हाइब्रिड दृष्टिकोण ने शोधकर्ताओं को यह मूल्यांकन करने की अनुमति दी कि क्या मॉडलों ने केवल मुख्य कार्य को ही नहीं, बल्कि अनुरोध में दिए गए प्रत्येक प्रतिबंध को पूरा किया।
इस मूल्यांकन के परिणामों ने वर्तमान में उपलब्ध सबसे उन्नत वीडियो मॉडलों में भी एक महत्वपूर्ण कमजोरी का खुलासा किया। पूरे बेंचमार्क पर परीक्षण किए जाने पर, सर्वश्रेष्ठ प्रदर्शन करने वाले मॉडल ने केवल 54.5 प्रतिशत का समग्र स्कोर प्राप्त किया। इसका मतलब है कि लगभग आधे मामलों में, मॉडल निर्देशों के पूर्ण सेट का पालन करने में विफल रहा, भले ही उसने वीडियो सामग्री को सही ढंग से समझा हो। अध्ययन में पाया गया कि मॉडल तब सबसे अधिक संघर्ष करते हैं जब निर्देशों में एक साथ कई प्रतिबंध होते हैं, या जब अनुरोध के लिए उत्तर देने से पहले मॉडल को वीडियो सामग्री के आधार पर निर्णय लेने की आवश्यकता होती है। उदाहरण के लिए, जब किसी को वीडियो में जो हुआ उसके आधार पर विभिन्न पथों में से चुनने के लिए कहा गया, तो मॉडल अक्सर गलत पथ चुन लेते थे या शर्त को पूरी तरह से अनदेखा कर देते थे। जैसे-जैसे निर्देश अधिक जटिल होते गए, कठिनाई बढ़ती गई; जब किसी अनुरोध में "इफ-देन" (if-then) तर्क की गहरी श्रृंखला शामिल थी, तो सफलता दर तेजी से गिर गई।
शोधकर्ताओं ने यह भी पाया कि प्रतिबंधों का प्रकार बहुत मायने रखता है। मॉडल प्रारूप नियमों (format rules) का पालन करने में अपेक्षाकृत अच्छे थे, जैसे कि एक विशिष्ट भाषा का उपयोग करना या शब्द सीमा को सीमित करना। हालांकि, वे 'सिमेंटिक कंस्ट्रेंट्स' (अर्थ संबंधी प्रतिबंधों) पर खराब प्रदर्शन करते थे, जिसके लिए जानकारी को फ़िल्टर करने के लिए वीडियो के अर्थ को समझना आवश्यक था। उदाहरण के लिए, एक मॉडल को एक विशिष्ट व्यक्ति की क्रियाओं का वर्णन करने के लिए कहा जा सकता है जबकि अन्य सभी को अनदेखा किया जाए, या उन घटनाओं को सूचीबद्ध करने के लिए कहा जा सकता है जो एक सटीक समय सीमा के भीतर हुई थीं। इन मामलों में, मॉडल अक्सर वह जानकारी शामिल कर देते थे जिसे उन्हें बाहर करने के लिए कहा गया था या उन विवरणों को छोड़ देते थे जिन्हें उन्हें खोजने के लिए कहा गया था। अध्ययन ने दिखाया कि केवल मॉडलों को बड़ा बनाना या उन्हें अधिक कंप्यूटिंग शक्ति देना इस समस्या को हल नहीं करता है। हालांकि बड़े मॉडल आम तौर पर बेहतर प्रदर्शन करते हैं, फिर भी वे सख्त निर्देशों का लगातार पालन करने में विफल रहे, जो यह सुझाव देता है कि वीडियो सामग्री को समझने की क्षमता और जटिल नियमों का पालन करने की क्षमता दो अलग-अलग कौशल हैं जिन्हें वर्तमान तकनीक ने अभी तक पूरी तरह से संयोजित नहीं किया है।
यह कार्य सुझाव देता है कि आर्टिफिशियल इंटेलिजेंस के वास्तविक दुनिया के अनुप्रयोगों में वास्तव में उपयोगी होने के लिए, इसे उतना ही ध्यान से सुनना सीखना होगा जितना कि वह देखना सीखती है। निष्कर्ष बताते हैं कि वर्तमान प्रणालियाँ अभी भी उन परिदृश्यों में तैनात करने के लिए विश्वसनीय नहीं हैं जहाँ उपयोगकर्ता उनकी विशिष्ट आवश्यकताओं के सटीक पालन की अपेक्षा करते हैं। शोधकर्ता आशा करते हैं कि इस क्षमता का एक स्पष्ट माप प्रदान करके, 'वीडियो-आईएफबेंच' भविष्य के विकास को ऐसे मॉडलों की ओर निर्देशित करेगा जो न केवल दुनिया को देख सकते हैं, बल्कि उन लोगों के सूक्ष्म, अक्सर विरोधाभासी निर्देशों का पालन भी कर सकते हैं जो उनका उपयोग करते हैं। आगे का रास्ता केवल सही उत्तर प्राप्त करने से हटकर, बिल्कुल उसी तरीके से सही उत्तर प्राप्त करने की ओर ध्यान केंद्रित करने की आवश्यकता है जैसा कि उपयोगकर्ता ने मांगा था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।