Visual Credit Audit for Multimodal Spatial Reasoning
यह शोध पत्र विज़ुअल क्रेडिट ऑडिट (VCA) को प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त और लेबल-मुक्त ढांचा है जो मल्टीमॉडल स्थानिक तर्क प्रदर्शन को शुद्धता, दृश्य समर्थन और संबंध-विशिष्ट प्रतिक्रिया में विभाजित करता है, जिससे यह प्रकट होता है कि सही बेंचमार्क उत्तरों का एक महत्वपूर्ण हिस्सा वास्तव में दृश्य साक्ष्य द्वारा अमान्य (uncredited) है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक परीक्षा दे रहे हैं जहाँ एक शिक्षक आपको एक तस्वीर दिखाता है जिसमें एक बिल्ली टीवी के नीचे बैठी है और आपसे पूछता है, "क्या टीवी बिल्ली के ऊपर है?" आप "हाँ" उत्तर देते हैं, और आपको एक गोल्ड स्टार मिलता है। लेकिन क्या होगा अगर आपको वह गोल्ड स्टार इसलिए मिला क्योंकि आपने वास्तव में तस्वीर को देखा नहीं, बल्कि केवल शब्दों के आधार पर सही अनुमान लगाया? शायद आपने वह वाक्यांश लाखों बार सुना है, या शायद आप बस जानते हैं कि टीवी आमतौर पर दीवारों पर होते हैं और बिल्लियाँ फर्श पर होती हैं। "मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स" (AI जो देख और पढ़ सकता है) की दुनिया में, विशेष रूप से विजुअल (दृश्य) क्षमता वाले AI के साथ, यह एक पेचीदा समस्या है। ये मॉडल उन सुपर-स्मार्ट छात्रों की तरह हैं जिन्होंने पुस्तकालय की हर किताब पढ़ ली है, लेकिन कभी-कभी वे तस्वीर का विश्लेषण करने के बजाय प्रश्न की शब्दावली से उत्तर का अनुमान लगाकर "चीटिंग" करते हैं। वैज्ञानिक जानना चाहते हैं कि जब AI कहता है "हाँ," तो क्या वह वास्तव में बिल्ली के ऊपर टीवी को देख रहा है, या वह केवल शब्दों के आधार पर एक भाग्यशाली अनुमान लगा रहा है?
यह बिल्कुल वही पहेली है जिसे "विजुअल क्रेडिट असाइनमेंट फॉर मल्टीमॉडल स्पेशियल रीजनिंग" नामक एक नए शोध पत्र में सुलझाया गया है। शोधकर्ताओं ने एक विशेष ऑडिट टूल बनाया जिसे विजुअल क्रेडिट ऑडिट (VCA) कहा जाता है। VCA को एक सख्त जासूस की तरह समझें जो केवल यह जाँच नहीं करता कि उत्तर सही है या नहीं, बल्कि यह भी जाँचता है कि वह सही क्यों था। वे दो मुख्य प्रश्न पूछते हैं: पहला, क्या तस्वीर ने वास्तव में AI को उस निर्णय को लेने के लिए अतिरिक्त मदद दी जो केवल टेक्स्ट (पाठ) को पढ़ने से मिल सकती थी? दूसरा, यदि आप तस्वीर में संबंध को बदल दें (जैसे बिल्ली को टीवी के ऊपर रख देना), तो क्या AI अपना निर्णय बदल देगा? शोध पत्र बताता है कि भले ही AI सही उत्तर दे रहा हो, लेकिन वह अक्सर टेक्स्ट के संकेतों पर भरोसा करके "चीटिंग" कर रहा होता है बजाय दृश्य साक्ष्य (विजुअल एविडेंस) के। वास्तव में, कुछ मॉडलों के लिए, उनके स्थानिक तर्क (स्पेशियल रीजनिंग) परीक्षणों पर सही उत्तरों में से 26.25% वास्तव में अनक्रेडिटेड (बिना श्रेय वाले) थे—उन्होंने सही उत्तर तो दिया, लेकिन चित्र ने उन्हें इसे पाने में वास्तव में कोई मदद नहीं की।
जासूस का टूलकिट: VCA कैसे काम करता है
शोधकर्ताओं ने इन "चीटर्स" को कैसे पकड़ा, इसे समझने के लिए, "स्पॉट द डिफरेंस" के खेल की कल्पना करें जो एक बहुत ही जिद्दी रोबोट के साथ खेला जा रहा हो।
सेटअप: "नो-इमेज" कंट्रोल्स
शोधकर्ताओं ने एक चतुर प्रयोग तैयार किया। उन्होंने "Is the TV above the cat?" जैसे प्रश्न को AI को तीन अलग-अलग तरीकों से दिखाया:
- ओरिजिनल (मूल): प्रश्न और वास्तविक तस्वीर।
- टेक्स्ट-ओनली (केवल पाठ): प्रश्न बिना किसी तस्वीर के (केवल एक खाली स्थान)।
- ब्लैंक कैनवास (खाली कैनवास): प्रश्न जिसके स्थान पर एक ग्रे, खाली बॉक्स है जहाँ तस्वीर होनी चाहिए थी।
यदि AI इन तीनों परिदृश्यों में एक ही आत्मविश्वास के साथ "हाँ" कहता है, तो शोधकर्ता कहते हैं, "आहा! तस्वीर ने कोई काम नहीं किया।" AI केवल टेक्स्ट के आधार पर अनुमान लगा रहा है। लेकिन यदि तस्वीर होने पर AI कहीं अधिक आश्वस्त है, तो तस्वीर को उस उत्तर के लिए "क्रेडिट" मिलता है। यह ऑडिट का पहला भाग है: इमेज डिपेंडेंस (चित्र निर्भरता)।
ट्विस्ट: "रिलेशन रिवर्सल" (संबंध का उलटना)
लेकिन रुकिए, क्या होगा अगर AI तस्वीर के प्रति संवेदनशील है, लेकिन केवल एक अजीब तरीके से? शायद वह टीवी और बिल्ली को देखता है, लेकिन वह वास्तव में यह नहीं समझता कि कौन सा ऊपर है। इसे पकड़ने के लिए, शोधकर्ताओं ने एक "फैक्टोरियल" टेस्ट का उपयोग किया। उन्होंने ऐसे परिदृश्य बनाए जहाँ टेक्स्ट कहता था "Is the TV above the cat?" लेकिन तस्वीर में टीवी बिल्ली के नीचे था।
यदि AI वास्तव में स्मार्ट है, तो उसे "ना" कहना चाहिए जब तस्वीर टेक्स्ट का खंडन करती है। यदि वह अभी भी "हाँ" कहता है क्योंकि वह तस्वीर को अनदेखा कर रहा है, तो वह दूसरे टेस्ट में विफल हो जाता है: रिलेशन कंसिस्टेंसी (संबंध निरंतरता)।
बड़ा खुलासा: "सही लेकिन अनक्रेडिटेड"
शोधकर्ताओं ने चार अलग-अलग AI मॉडलों (Qwen, InternVL, LLaVA, और Ministral) पर दो अलग-अलग स्थानिक तर्क बेंचमार्क का उपयोग करके यह ऑडिट चलाया। परिणाम आँखें खोल देने वाले थे।
उन्होंने पाया कि AI के "सही" उत्तरों का एक बड़ा हिस्सा करेक्ट-बट-अनक्रेडिटेड (C-U) यानी "सही लेकिन बिना श्रेय वाला" था।
- GSR-COCO डेटासेट पर, Qwen मॉडल ने 90.91% उत्तर सही दिए। लेकिन जब उन्होंने ऑडिट लागू किया, तो उनमें से केवल 78.18% उत्तर ही वास्तव में चित्र द्वारा समर्थित थे। इसका मतलब है कि 12.73% समय, मॉडल ने सही उत्तर तो दिया, लेकिन चित्र ने उसकी मदद नहीं की।
- उसी डेटासेट पर LLaVA मॉडल के लिए, यह अंतर और भी अधिक था: इसके सही उत्तरों में से 26.25% अनक्रेडिटेड थे।
शोध पत्र स्पष्ट रूप से इस विचार को खारिज करता है कि ये मॉडल केवल स्थानिक तर्क में "बुरे" हैं। वास्तव में, मॉडल विजुअल परिवर्तनों के प्रति संवेदनशील हैं। जब शोधकर्ताओं ने चित्रों में वस्तुओं की स्थिति बदली (एक "रिलेशन रिवर्सल"), तो 81.57% से 100.00% मॉडलों ने सही दिशा में अपने उत्तर बदले। यह साबित करता है कि मॉडल अंतर देख सकते हैं, लेकिन मानक परीक्षण में, उन्हें सही उत्तर पाने के लिए देखने की जरूरत नहीं पड़ी। वे शॉर्टकट पर निर्भर थे।
यह क्यों महत्वपूर्ण है (बिना तकनीकी शब्दों के)
इसे एक छात्र द्वारा गणित की परीक्षा देने की तरह समझें।
- सटीकता (Accuracy) केवल ग्रेड है: "क्या उन्होंने सही संख्या प्राप्त की?"
- VCA उस शिक्षक की तरह है जो छात्र के रफ वर्क (रफ पेपर) को देख रहा है: "क्या उन्होंने वास्तव में गणित किया, या उन्होंने केवल इसलिए उत्तर का अनुमान लगाया क्योंकि वे जानते हैं कि शिक्षक को संख्या 42 पसंद है?"
यह शोध पत्र दिखाता है कि वर्तमान AI बेंचमार्क ऐसे टेस्ट की तरह हैं जहाँ शिक्षक गलती से प्रश्न की बनावट में ही उत्तर दे देता है। मॉडल उच्च स्कोर प्राप्त कर रहे हैं, लेकिन वे जरूरी नहीं कि बेहतर "देखना" सीख रहे हों।
शोधकर्ताओं ने यह भी परीक्षण किया कि क्या होता है यदि मूल चित्र को पूरी तरह से अलग, असंबंधित चित्र (जैसे बिल्ली/टीवी की फोटो को समुद्र तट की फोटो से बदलना) के साथ बदल दिया जाए। जब उन्होंने ऐसा किया, तो मॉडलों का "क्रेडिट" स्कोर 21.25 से 47.80 अंक गिर गया। यह पुष्टि करता है कि मूल चित्र वास्तव में उन विशिष्ट सही उत्तरों के लिए भारी काम कर रहा था, और इसके बिना, मॉडल लड़खड़ा जाते।
निष्कर्ष
यह शोध पत्र यह नहीं कहता कि AI टूटा हुआ है या वह देख नहीं सकता। इसके बजाय, यह सफलता को मापने का एक नया तरीका प्रदान करता है। यह सुझाव देता है कि हमें केवल यह नहीं गिनना चाहिए कि AI कितनी बार सही उत्तर देता है। हमें यह गिनना चाहिए कि कितनी बार AI को उस उत्तर तक पहुँचने के लिए चित्र की जरूरत थी।
"सहीपन" (correctness) को "विजुअल सपोर्ट" (दृश्य समर्थन) से अलग करके, शोधकर्ताओं ने पाया कि जिसे हम "स्मार्ट विजन" समझते हैं, वह वास्तव में "स्मार्ट गेसिंग" (स्मार्ट अनुमान) है। वे प्रस्ताव करते हैं कि AI के भविष्य के परीक्षणों में ये "क्रेडिट ऑडिट" शामिल होने चाहिए ताकि यह सुनिश्चित हो सके कि जब कोई AI कहता है "मैं बिल्ली को देख रहा हूँ," तो उसका वास्तव में मतलब यह है कि वह बिल्ली को देख रहा है, न कि केवल उस वाक्यांश को दोहरा रहा है जिसे उसने याद कर लिया है। यह केवल ग्रेड का जश्न मनाने के बजाय होमवर्क चेक करने का आह्वान है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।