VISTAQA: Benchmarking Joint Visual Question Answering and Pixel-Level Evidence
यह शोध पत्र VISTAQA प्रस्तुत करता है, जो एक व्यापक बेंचमार्क और GROVE मूल्यांकन मीट्रिक है जिसे विजुअल क्वेश्चन अनसरिंग की शुद्धता और पिक्सेल-स्तरीय साक्ष्य ग्राउंडिंग की सटीकता का संयुक्त रूप से आकलन करने के लिए डिज़ाइन किया गया है, जो वर्तमान मल्टीमॉडल मॉडलों में एक महत्वपूर्ण प्रदर्शन अंतराल को प्रकट करता है जो उत्तरों को दृश्य साक्ष्य के साथ संरेखित करने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य को सुलझाने के लिए एक जासूस को काम पर रख रहे हैं, जो केवल एक तस्वीर पर आधारित है।
अतीत में, यदि जासूस आपको अपराधी का सही नाम बता देता, तो आप उसे काम पर रख लेते। आपको इस बात की परवाह नहीं थी कि वह यह कैसे जानता है। वह किसी अंतर्ज्ञान, रूढ़िवादिता या भाग्यशाली अनुमान के आधार पर भी हो सकता था। यदि उसने कहा, "बटलर ही था," और वह सही था, तो उसे एक स्वर्ण पदक (गोल्ड स्टार) मिलता। भले ही उसने फोटो में गलत व्यक्ति की ओर इशारा किया हो और कहा हो, "देखो, यह बटलर है!" फिर भी आप उसे स्वर्ण पदक देते क्योंकि नाम सही था।
यह शोध पत्र तर्क देता है कि AI को परखने का यह पुराना तरीका टूटा हुआ है। यह एक ऐसे जासूस को काम पर रखने जैसा है जो सही उत्तर तो दे देता है लेकिन आपको सबूत नहीं दिखा पाता।
समस्या: "लकी गेस" (तुक्का मारने वाला) AI
लेखकों का कहना है कि वर्तमान AI मॉडल (जिन्हें मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स कहा जाता है) सही शब्दों का अनुमान लगाने में बहुत अच्छे हैं। लेकिन वे यह साबित करने में बहुत खराब हैं कि वे क्यों सही हैं।
- "टेक्स्ट-ओनली" (केवल टेक्स्ट) का जाल: यदि कोई AI कहता है, "उस कुत्ते के तीन पैर हैं," जबकि कुत्ते के स्पष्ट रूप से चार पैर हैं, तो AI अभी भी "तीन" कह सकता है क्योंकि उसने टेक्स्ट से सीखा है कि कुत्तों के आमतौर पर चार पैर होते हैं, या उसने बस तुक्का मारा। यदि वह गलती से सही संख्या बता देता है, तो हम उसे पुरस्कृत करते हैं।
- "ग्राउंडिंग-ओनली" (केवल ग्राउंडिंग) का जाल: इसके विपरीत, कुछ AI मॉडल चित्र में चीजों की ओर इशारा करने में अच्छे होते हैं (जैसे कुत्ते के चारों ओर घेरा बनाना) लेकिन सवालों के जवाब देने में खराब होते हैं। वे कुत्ते की ओर बिल्कुल सही इशारा कर सकते हैं लेकिन कह सकते हैं, "यह एक बिल्ली है।"
पेपर इसे "मोडैलिटी गैप" (Modality Gap) कहता है। AI का मस्तिष्क (टेक्स्ट) और उसकी आँखें (विज़न) आपस में ठीक से बात नहीं कर पा रही हैं।
समाधान: VISTAQA ("अपना काम दिखाओ" टेस्ट)
इसे ठीक करने के लिए, लेखकों ने VISTAQA नामक एक नया टेस्ट बनाया है।
VISTAQA को एक सख्त शिक्षक के रूप में सोचें जो न केवल आपके अंतिम उत्तर को ग्रेड देता है; बल्कि वह आपके काम (वर्क) को भी ग्रेड देता है।
- नियम: पास होने के लिए, AI को दो चीजें एक ही समय में करनी होंगी:
- प्रश्न का सही उत्तर देना (जैसे, "कार लाल है")।
- एक मास्क बनाना (हाइलाइटर की तरह) उस सटीक पिक्सेल पर जो लाल कार को दर्शाता है, ताकि यह साबित हो सके कि उसने उसे देखा है।
यदि AI सही उत्तर देता है लेकिन गलत कार को हाइलाइट करता है, तो वह फेल हो जाता है। यदि वह सही कार को हाइलेट करता है लेकिन कहता है कि वह नीली है, तो भी वह फेल हो जाता है। उसे दोनों चीजें पूरी तरह से करनी होंगी।
डेटासेट: चुनौतियों का एक मिला-जुला मिश्रण
यह टेस्ट केवल एक प्रकार के प्रश्न नहीं है। लेखकों ने 1,157 विशेषज्ञ-क्यूरेटेड पहेलियों की एक लाइब्रेरी बनाई है जिसमें शामिल हैं:
- सोचने के छह प्रकार: सरल "इसका रंग क्या है?" (परसेप्शन/अनुभूति) से लेकर जटिल "रोबोटिक आर्म के करीब कौन सी वस्तु है?" (रीजनिंग/तर्क) तक।
- छह अलग-अलग दुनिया: इनडोर कमरे, आउटडोर सड़कें, गणितीय आरेख, विज्ञान चार्ट, रोबोट लैब और सेल्फ-ड्राइविंग कार के दृश्य।
- "ट्रिक" (चालबाजी वाले) सवाल: लगभग 27% प्रश्न जाल हैं। वे उन चीजों के बारे में पूछते हैं जो चित्र में मौजूद ही नहीं हैं (जैसे, "इस किचन में कितने लाल हाथी हैं?")। एक स्मार्ट AI को कहना चाहिए, "कोई नहीं है," और चित्र को खाली छोड़ देना चाहिए। एक "हैलुसिनेटिंग" (भ्रमित) AI मौजूद न होने वाले लाल हाथी को बनाने की कोशिश करेगा।
स्कोरकार्ड: GROVE
आप एक ऐसे टेस्ट को कैसे ग्रेड करेंगे जहाँ आपको दो अलग-अलग तरीकों से सही होना पड़ता है? आप केवल स्कोर को जोड़ नहीं सकते। यदि आप टेक्स्ट में 100% प्राप्त करते हैं लेकिन चित्र में 0% प्राप्त करते हैं, तो आपको उच्च औसत नहीं मिलना चाहिए।
लेखकों ने GROVE नामक एक नई स्कोरिंग प्रणाली बनाई है।
- उपमा: एक दो-पैर वाले स्टूल की कल्पना करें। यदि एक पैर टूट जाए, तो स्टूल गिर जाता है। आप यह नहीं कह सकते, "खैर, दूसरा पैर तो एकदम सही है, इसलिए स्टूल ठीक है।"
- यह कैसे काम करता है: GROVE "टेक्स्ट स्कोर" और "पिक्चर स्कोर" को गुणा करता है। यदि दोनों में से एक भी शून्य (या बहुत कम) है, तो अंतिम स्कोर गिर जाता है। यह AI को मजबूर करता है कि या तो वह दोनों में अच्छा हो या फिर खराब ग्रेड प्राप्त करे।
परिणाम: AI अभी भी सीख रहा है
लेखकों ने आज के सबसे स्मार्ट AI मॉडल्स (Google, OpenAI और अन्य मॉडल्स सहित) का इस नए, सख्त टेस्ट पर परीक्षण किया।
फैसला? बेहतरीन मॉडल्स भी संघर्ष करते रहे।
- वे सही शब्द बताने में बहुत अच्छे थे।
- वे चीजों की ओर इशारा करने में ठीक-ठाक थे।
- लेकिन जब एक साथ दोनों काम करने के लिए कहा गया, तो उनके स्कोर में काफी गिरावट आई।
पेपर निष्कर्ष निकालता है कि जबकि AI बातें करने में स्मार्ट हो रहा है, वह अभी भी पूरी तरह से एक साथ "देखने" और अपने उत्तरों को "साबित" करने में सक्षम नहीं हुआ है। AI जो कहता है और जो वह वास्तव में देखता है, उसके बीच एक बड़ा अंतर है।
सारांश
- पुराना तरीका: क्या आपको सही उत्तर मिला? हाँ? बहुत बढ़िया। (यह अनदेखा करता है कि क्या आपने धोखाधड़ी की या तुक्का मारा)।
- नया तरीका (VISTAQA): क्या आपको सही उत्तर मिला और क्या आप चित्र में सबूत की ओर इशारा कर सकते हैं?
- स्कोर (GROVE): यदि आप दोनों में से किसी भी हिस्से में चूक जाते हैं, तो आप फेल हो जाते हैं।
- निष्कर्ष: वर्तमान AI अभी भी उस छात्र की तरह है जो उत्तर कुंजी (answer key) को रट सकता है लेकिन पाठ को समझता नहीं है। उन्हें अपना काम दिखाना सीखना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।