CLBench-V: Evaluating Multimodal Context Learning from Grounding to Knowledge Acquisition
यह शोध पत्र CLBench-V प्रस्तुत करता है, जो तीन प्रमुख आयामों—ग्राउंडिंग (grounding), नई जानकारी का अनुप्रयोग (new information application), और ज्ञान प्राप्ति (knowledge acquisition)—में मल्टीमॉडल कॉन्टेक्स्ट लर्निंग का मूल्यांकन करने के लिए डिज़ाइन किया गया एक व्यापक बेंचमार्क है—जो यह प्रकट करता है कि मल्टीमॉडल क्षमताओं में प्रगति के बावजूद वर्तमान अत्याधुनिक मॉडल अभी भी इन कार्यों के साथ महत्वपूर्ण रूप से संघर्ष कर रहे हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को रहस्य सुलझाना सिखा रहे हैं। पुराने दिनों में, आप बस रोबोट को किताबों का एक विशाल पुस्तकालय खिला देते और उम्मीद करते कि वह उसके अंदर के हर तथ्य को याद कर लेगा। लेकिन वास्तविक दुनिया में, समस्याएँ पुस्तकालय में पहले से पैक किए गए उत्तरों के साथ नहीं आती हैं। इसके बजाय, आप रोबोट को एक ताज़ा, बिखरा हुआ फोल्डर थमाते हैं जिसमें एक नक्शा, एक वित्तीय रिपोर्ट, एक वैज्ञानिक आरेख और कुछ तस्वीरें होती हैं, और कहते हैं, "केवल इसी का उपयोग करके इसका समाधान निकालो।" यह कॉन्टेक्स्ट लर्निंग (context learning) की चुनौती है: नई नियमों को सीखने या दी गई जानकारी से विशिष्ट सुराग खोजने की क्षमता, न कि उस जानकारी पर निर्भर रहना जो रोबोट पहले से ही अपने प्रशिक्षण से जानता है।
लंबे समय तक, वैज्ञानिकों ने इस कौशल का परीक्षण केवल टेक्स्ट (पाठ) का उपयोग करके किया, जैसे रोबोट को एक लंबी कहानी पढ़ने के लिए देना। लेकिन वास्तविक जीवन शायद ही कभी केवल टेक्स्ट होता है। यह शब्दों, चार्ट, मानचित्र और छवियों का एक मिश्रण है। मुख्य प्रश्न जो शोधकर्ता पूछ रहे हैं वह यह है: क्या हमारे सबसे उन्नत AI मॉडल वास्तव में एक मल्टीमॉडल फोल्डर (टेक्स्ट + इमेज) को "पढ़" सकते हैं और इससे सीख सकते हैं, या वे केवल अपनी पुरानी आदतों के आधार पर अनुमान लगाकर दिखावा करते हैं? यह विज्ञान का वह कोना है जहाँ आर्टिफिशियल इंटेलिजेंस मानव दुनिया की अव्यवस्थित, दृश्य वास्तविकता से मिलता है।
यहाँ आता है CLBench-V, एक नया "स्ट्रेस टेस्ट" जिसे शोधकर्ताओं द्वारा यह देखने के लिए डिज़ाइन किया गया है कि हमारे AI मॉडल इस विशिष्ट चुनौती को कितनी अच्छी तरह संभालते हैं। CLBench-V को एक एकल परीक्षा के रूप में नहीं, बल्कि एक तीन-स्तरीय बाधा दौड़ (obstacle course) के रूप में समझें।
स्तर 1: जासूस की आँख (कॉन्टेक्स्ट ग्राउंडिंग - Context Grounding)
सबसे पहले, मॉडल को केवल सुराग ढूँढना होगा। यदि आप उसे एक सबवे मैप दिखाते हैं और पूछते हैं, "A और B के बीच कौन सा स्टेशन है?", तो उसे वास्तव में मानचित्र को देखना होगा, न कि केवल इस आधार पर अनुमान लगाना कि एक सबवे आमतौर पर कैसा दिखता है। यह स्तर परीक्षण करता है कि क्या AI सही दृश्य साक्ष्य को ढूंढ सकता है और उसे प्रश्न से जोड़ सकता है।
स्तर 2: कैलकुलेटर (नई जानकारी का अनुप्रयोग - New Information Application)
इसके बाद, मॉडल को मिले हुए सुरागों का उपयोग करना होगा। कल्पना कीजिए कि मानचित्र कहता है, "आज टिकट की कीमत 3 के हो सकते हैं। यह परीक्षण करता है कि क्या AI अपने पूर्व ज्ञान से भ्रमित हुए बिना ताज़ा तथ्यों को लागू कर सकता है।
स्तर 3: वैज्ञानिक (नया ज्ञान सीखना - New Knowledge Learning)
अंत में, सबसे कठिन स्तर। मॉडल को कॉन्टेक्स्ट से एक नया नियम सीखना होगा। उदाहरण के लिए, एक वैज्ञानिक पेपर एक चार्ट दिखा सकता है और निष्कर्ष निकाल सकता है, "इस विशिष्ट प्रयोग में, नीला प्रकाश पौधों को तेज़ी से बढ़ने में मदद करता है।" मॉडल को इसे पढ़ना होगा, नियम को समझना होगा, और एक अलग पौधे के बारे में एक नए प्रश्न पर इसे लागू करना होगा। यह केवल एक नंबर ढूँढना नहीं है; यह परीक्षण की अवधि के लिए ब्रह्मांड के एक नए नियम को सीखना है।
शोधकर्ताओं ने मौजूदा सार्वजनिक डेटासेट्स को अपने स्वयं के बनाए गए बिल्कुल नए कार्यों के साथ मिलाकर इस परीक्षण का निर्माण किया, जो विशेष रूप से वित्तीय रिपोर्ट (Return on Equity की गणना), वैज्ञानिक पेपर (मेडिकल आकृतियों से निष्कर्ष निकालना) और खेल के दृश्यों जैसे जटिल क्षेत्रों पर केंद्रित थे। उन्होंने आज के छह सबसे स्मार्ट मल्टीमॉडल मॉडल्स पर इन 3,443 परीक्षणों को चलाया।
परिणाम? रोबोट अभी भी संघर्ष कर रहे हैं। सबसे अच्छा प्रदर्शन करने वाला मॉडल, InternVL3.5-30B-A3B, भी कुल मिलाकर केवल 0.2847 का स्कोर प्राप्त कर सका। यह एक बहुत कम स्कोर है, जो बताता है कि मल्टीमॉडल कॉन्टेक्स्ट लर्निंग अभी भी बहुत दूर है। शोध पत्र सुझाव देता है कि जबकि InternVL3.5-30B-A3B सुराग खोजने (स्तर 1 / कॉन्टेक्स्ट ग्राउंडिंग) और नए नियम सीखने (स्तर 3 / न्यू नॉलेज लर्निंग) में उत्कृष्ट है, यह वास्तव में स्तर 2 (न्यू इंफॉर्मेशन एप्लीकेशन) पर संघर्ष करता है, जहाँ मॉडल्स को दस्तावेजों से विशिष्ट नए तथ्यों को लागू करना होता है। इसके विपरीत, Qwen3.5-Plus मॉडल विशेष रूप से स्तर 2 के कार्यों पर सर्वश्रेष्ठ प्रदर्शन करता है।
दिलचस्प बात यह है कि अध्ययन में पाया गया कि दस्तावेज़ की लंबाई या छवियों की संख्या हमेशा चीजों को सरल तरीके से बदतर नहीं बनाती थी। कभी-कभी, अधिक छवियां एक मॉडल की मदद करती थीं लेकिन दूसरे को भ्रमित कर देती थीं। सबसे बड़ी समस्या केवल यह नहीं थी कि दस्तावेज़ लंबे थे; बल्कि यह था कि मॉडल अक्सर यह अंतर करने में विफल रहते थे कि दस्तावेज़ में क्या था और वे पहले से क्या "जानते" थे। वे एक चार्ट में नए तथ्य देखते थे लेकिन फिर उसे अपने पुराने अनुमान से ओवरराइड कर देते थे।
पेपर निष्कर्ष निकालता है कि हम अभी शुरुआती दिनों में हैं। सिर्फ इसलिए कि एक मॉडल एक इमेज को "देख" सकता है और टेक्स्ट को "पढ़" सकता है, इसका मतलब यह नहीं है कि वह वास्तव में उन दोनों से एक साथ सीख सकता है। लेखक आशा करते हैं कि यह नया बेंचमार्क, CLBench-V, डेवलपर्स को अनुमान लगाने के बजाय इन विशिष्ट कमियों को ठीक करने में मदद करेगा, ताकि हमारा AI अंततः जटिल, वास्तविक दुनिया की समस्याओं को हल करने में एक सच्चा साथी बन सके जिसके लिए मानचित्र, चार्ट या रिपोर्ट की बारीक बातों को पढ़ने की आवश्यकता होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।