Evolution of Accuracy and Visual-Cognitive Errors in a Decade of Vision-Language AI Models
यह शोध पत्र एक दशक के विजन-लैंग्वेज मॉडल्स का मूल्यांकन करने के लिए कॉम्प्लेक्स सोशल बिहेवियर (CSB) डेटासेट प्रस्तुत करता है, जो यह प्रकट करता है कि हालांकि मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) ने अधिकांश त्रुटि प्रकारों को काफी हद तक समाप्त करके जटिल सामाजिक दृश्यों पर मानव-स्तर की सटीकता प्राप्त कर ली है, फिर भी वे स्थानिक निर्भरता (spatial dependence) में कभी-कभी मनुष्यों से भिन्न होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एआई (AI) के पिछले दस वर्षों के बारे में एक फिल्म देख रहे हैं, विशेष रूप से "विज़न-लैंग्वेज" (Vision-Language) मॉडल्स के बारे में—वे रोबोट जो तस्वीरों को देखते हैं और वर्णन करने की कोशिश करते हैं कि क्या हो रहा है। लंबे समय तक, ये रोबोट उन छात्रों की तरह थे जिन्होंने सरल, उबाऊ फ्लैशकार्ड्स पर हर टेस्ट में टॉप किया, लेकिन जब उन्हें किसी वास्तविक फिल्म के अराजक, भावनात्मक दृश्य का वर्णन करने के लिए कहा गया, तो वे सुन्न पड़ गए।
यह शोध पत्र उस दशक (2017-2025) का रिपोर्ट कार्ड है, और यह एक नाटकीय परिवर्तन को प्रकट करता है। शोधकर्ताओं ने केवल पुराने, आसान टेस्ट नहीं देखे; उन्होंने एक नई, बहुत कठिन चुनौती बनाई जिसे कॉम्प्लेक्स सोशल बिहेवियर (CSB) डेटासेट कहा गया। पुराने टेस्ट (जैसे प्रसिद्ध MS-COCO डेटासेट) को एक शांत रसोई या बेंच पर बैठे व्यक्ति की फोटो की तरह समझें। नया CSB डेटासेट एक नाटकीय फिल्म के दृश्य की तरह है: लोग बहस कर रहे हैं, गले मिल रहे हैं, या जटिल तरीकों से बातचीत कर रहे हैं।
बड़ा खुलासा: "बोरिंग रूम" से "ब्लॉकबस्टर" तक
अध्ययन में पाया गया कि पुराने रोबोट (जिन्हें प्री-MLLMs कहा जाता है) नए, जटिल दृश्यों में बहुत खराब थे। यदि आप उन्हें एक तनावपूर्ण बहस का मूवी स्टिल दिखाते, तो वे शायद फर्नीचर का वर्णन करते लेकिन इस तथ्य को पूरी तरह से मिस कर देते कि दो लोग लड़ रहे हैं। जटिल दृश्यों पर उनकी सटीकता इतनी कम थी कि यह सबसे कम कुशल मनुष्यों द्वारा दिए गए विवरणों से भी बदतर थी।
हालाँकि, रोबोटों की नवीनतम पीढ़ी (जिन्हें MLLMs कहा जाता है, जैसे GPT-4o1 और Gemini) ने खेल बदल दिया। वे केवल बेहतर नहीं हुए; उन्होंने इस अंतर को पूरी तरह से पाट दिया। जटिल मूवी दृश्यों पर, इन नए मॉडलों ने उतना ही अच्छा प्रदर्शन किया जितना कि सबसे अच्छे मानव वर्णनकर्ता करते हैं। उन्होंने आखिरकार कमरे की वस्तुओं को ही नहीं, बल्कि कमरे के माहौल को पढ़ना सीख लिया है।
"हैलुसिनेशन" (Hallucination) और "ब्लाइंड स्पॉट" की समस्या
पुराने रोबोट क्यों विफल हुए, इसे समझने के लिए शोधकर्ताओं ने जासूसों की तरह काम किया, और उनकी गलतियों को पांच विशिष्ट श्रेणियों में विभाजित किया:
- डिटेक्शन (Detection): किसी वस्तु को पूरी तरह से मिस कर देना (जैसे हाथ में टॉर्च को न देख पाना)।
- रिकग्निशन (Recognition): वस्तु को देखना लेकिन उसे गलत नाम देना (दरवाजे को दर्पण कहना)।
- सीन अंडरस्टैंडिंग (Scene Understanding): वस्तु को देखना लेकिन कहानी में उसका उल्लेख करना भूल जाना।
- हैलुसिनेशन (Hallucination): ऐसी वस्तुओं की कल्पना करना जो वहां मौजूद नहीं हैं (जैसे एक फ्रिसबी का वर्णन करना जो अस्तित्व में ही नहीं है)।
- स्पेशियल डिपेंडेंस (Spatial Dependence): यह अजीब वाला है। इसका मतलब है कि रोबोट और इंसान अपनी कहानी लिखने के लिए तस्वीर के अलग-अलग हिस्सों को देख रहे हैं।
अध्ययन ने दिखाया कि पुराने रोबोटों ने जटिल दृश्यों पर पहली चार श्रेणियों में भारी गलतियाँ कीं। उन्होंने चीजों को मिस किया, गलत पहचाना और चीजें बना दीं। लेकिन नए MLLMs? उन्होंने डिटेक्शन, रिकग्निशन और हॉलुसिनेशन की गलतियों को लगभग पूरी तरह से खत्म कर दिया। वे अब चीजों को पहचानने और नाम देने में अविश्वसनीय रूप से सटीक हैं।
एक गड़बड़ी: "क्या" बनाम "कहाँ"
यहाँ एक पेंच है: जबकि नए रोबोट इस बात में माहिर हैं कि वे क्या देख रहे हैं, वे अभी भी इस बात पर मनुष्यों से असहमत होते हैं कि वे कहाँ देख रहे हैं। शोधकर्ताओं ने एक "मास्किंग" ट्रिक का उपयोग किया—एक समय में छवि के एक-तिहाई हिस्से को ढक दिया—यह देखने के लिए कि वर्णन लिखने के लिए चित्र के कौन से हिस्से सबसे महत्वपूर्ण थे।
उन्होंने पाया कि यहाँ तक कि सबसे अच्छे नए मॉडल भी कभी-कभी उन क्षेत्रों पर निर्भर होते हैं जो मनुष्यों से अलग होते हैं। उदाहरण के लिए, एक इंसान लड़ाई का वर्णन करने के लिए एक व्यक्ति के गुस्से वाले चेहरे पर ध्यान केंद्रित कर सकता है, जबकि रोबोट बैकग्राउंड की दीवार पर ध्यान केंद्रित करता है। शोध पत्र सुझाव देता है कि यह एक "स्पेशियल डिपेंडेंस एरर" है। यह एकमात्र प्रमुख त्रुटि प्रकार है जिसे पूरी तरह से ठीक नहीं किया गया है, हालांकि इसका अंतिम विवरण की गुणवत्ता पर सबसे कम प्रभाव पड़ता है।
यह पेपर किन चीजों को खारिज करता है
शोधकर्ता कुछ बहानों को खारिज करने में सावधान रहे।
- यह केवल रटना (Memorization) नहीं था: कुछ लोग सोच सकते हैं कि नए रोबोट मूवी दृश्यों पर इसलिए अच्छा प्रदर्शन कर रहे हैं क्योंकि उन्होंने अपने प्रशिक्षण के दौरान उन सटीक मूवी फ्रेम्स को देखा था। लेखकों ने एक गुप्त, इन-हाउस डेटासेट का उपयोग करके इसका परीक्षण किया जिसे रोबोटों ने पहले कभी नहीं देखा था। नए मॉडल अभी भी मानव स्तर पर प्रदर्शन करते रहे, जिससे यह साबित हुआ कि उन्होंने वास्तव में जटिल अंतःक्रियाओं को समझना सीखा है, न कि केवल चित्रों को रटा है।
- यह केवल सरल टेस्ट पर "काफी अच्छा" होना नहीं था: पेपर का तर्क है कि यदि आप केवल सरल डेटासेट्स (जैसे रसोई की फोटो) पर AI का परीक्षण करते हैं, तो आप पूरी कहानी को मिस कर जाते हैं। सरल टेस्ट पर प्रगति मामूली दिखती है, लेकिन जटिल सामाजिक दृश्यों पर, पुराने और नए मॉडलों के बीच का उछाल विशाल है।
वे कितने आश्वस्त हैं?
लेखक इन आंकड़ों को लेकर बहुत आश्वस्त हैं। उन्होंने 200 छवियों (100 जटिल, 100 सरल) का परीक्षण किया और परिणामों को भाग्य के भरोसे होने से बचाने के लिए 10,000 सांख्यिकीय "रीसैंपल्स" चलाए। उन्होंने पाया कि नए मॉडलों में त्रुटियों की कमी सांख्यिकीय रूप से महत्वपूर्ण थी।
हालाँकि, वे यह कहने में सावधान हैं कि समस्या हमेशा के लिए "हल" हो गई है। वे नोट करते हैं कि हालांकि नए रोबोट जटिल दृश्यों का वर्णन करने में शीर्ष मनुष्यों के समान हैं, फिर भी उनमें वह एक विचित्रता है कि वे कहाँ देखते हैं। पेपर सुझाव देता है कि ऐसा इसलिए हो सकता है क्योंकि यह वास्तव में कठिन है कि एक 2D छवि उस 3D तर्क को कैसे व्यक्त करे जिसकी आवश्यकता लोगों के चलने और उनके बीच की अंतःक्रिया को समझने के लिए होती है।
निष्कर्ष
सरल शब्दों में: दस साल पहले, AI एक ऐसे छात्र की तरह था जो एक स्थिर चित्र (still life painting) की हर वस्तु का नाम तो बता सकता था लेकिन एक ड्रामा को समझ नहीं सकता था। आज, इन नए मॉडलों की मदद से, AI एक जटिल मूवी सीन देख सकता है और आपको बिल्कुल बता सकता है कि क्या हो रहा है, और इसकी सटीकता सर्वश्रेष्ठ मानव पर्यवेक्षकों के बराबर है। एकमात्र चीज़ जिसे ठीक करने की आवश्यकता है, वह यह पता लगाना है कि दृश्य का कौन सा हिस्सा AI देख रहा है, क्योंकि कभी-कभी, वह बैकग्राउंड को देख रहा होता है जबकि हम ड्रामा को देख रहे होते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।