Ill-Posed by Design: Probing Evidence Use in VLMs
यह शोधपत्र 'मेट्रिक वीक्यूए' (Metric VQA) का परिचय देता है, जो एक इल-पोज़्ड (ill-posed) वस्तु-आकार अनुमान बेंचमार्क है, यह प्रकट करने के लिए कि बड़े विजन-लैंग्वेज मॉडल भी मेट्रिक रीजनिंग के लिए दृश्य ज्यामिति (scene geometry) का प्रभावी ढंग से लाभ उठाने में विफल रहते हैं और वे सुदृढ़ साक्ष्य एकीकरण के बजाय लक्ष्य की पहचान पर अत्यधिक निर्भर रहते हैं, एक ऐसी सीमा जो काउंटरफैक्चुअल विश्लेषण और फाइन-ट्यूनिंग के बावजूद बनी रहती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: "एक-तस्वीर वाली पहेली"
कल्पना कीजिए कि आप एक स्मार्ट AI को कॉफी के मग की तस्वीर दिखाते हैं और उससे पूछते हैं, "यह मग सेंटीमीटर में कितना ऊँचा है?"
वास्तविक दुनिया में, यह एक कठिन सवाल है (जिसे शोध पत्र में "इल्ल-पोस्ड" यानी 'अस्पष्ट कार्य' कहा गया है)। यदि आप मग की फोटो देखते हैं, तो आप केवल पिक्सेल देखकर उसका वास्तविक आकार नहीं जान सकते। यदि एक खिलौने वाला छोटा मग कैमरे के बहुत करीब रखा जाए और एक असली बड़ा मग दूर रखा जाए, तो फोटो में दोनों का आकार बिल्कुल एक जैसा दिख सकता है।
आकार का अनुमान लगाने के लिए, इंसान (और AI) को सुरागों (clues) का उपयोग करना पड़ता है:
- यह क्या है? (यह एक मग है, इसलिए यह लगभग 10 सेमी ऊँचा होगा)।
- इसके पास क्या है? (यह एक कीबोर्ड के बगल में है, इसलिए यह संभवतः छोटा होगा)।
- यह कितना बड़ा दिख रहा है? (यह स्क्रीन का बहुत हिस्सा घेर रहा है, तो शायद यह बहुत बड़ा है?)।
- कमरे का आकार? (मेज की परिप्रेक्ष्य रेखाएं (perspective lines) हमें बता सकती हैं कि यह कितनी दूर है)।
शोध पत्र पूछता है: जब AI इस सवाल का जवाब देता है, तो वह वास्तव में इनमें से किस सुराग का उपयोग कर रहा है?
समस्या: "बहुत सारे सुरागों" का जाल
आमतौर पर, जब वैज्ञानिक AI का परीक्षण करते हैं, तो वे आसान सवाल इस्तेमाल करते हैं जहाँ सभी सुराग एक ही उत्तर की ओर इशारा करते हैं।
- उदाहरण: "क्या इस तस्वीर में एक बिल्ली है?"
- जाल: यदि आप बिल्ली की पूंछ को धुंधला कर देते हैं, तब भी AI कान और फर को देखकर "हाँ" कह देगा। वैज्ञानिक सोचते हैं, "बहुत बढ़िया, AI ने बिल्ली को देख लिया!" लेकिन वास्तव में, AI ने शायद पूंछ को पूरी तरह से अनदेखा कर दिया था। क्योंकि वहां बहुत सारे सुराग थे, एक को हटाने से उत्तर नहीं बदला, इसलिए हम यह नहीं जान सके कि AI वास्तव में किस पर निर्भर था।
समाधान: "आंखों पर पट्टी बांधे जासूस" का परीक्षण
लेखकों ने Metric VQA नामक एक विशेष परीक्षण बनाया। उन्होंने AI को "एक-तस्वीर वाली पहेली" हल करने के लिए मजबूर किया जहाँ कोई भी एक सुराग सही उत्तर पाने के लिए पर्याप्त नहीं है।
यह पता लगाने के लिए कि AI क्या सोच रहा है, उन्होंने AI को दिखाने से पहले छवियों (images) में "सर्जरी" की। उन्होंने इसे काउंटरफैक्चुअल इंटरवेंशन (Counterfactual Interventions) कहा। इसे एक जासूस की तरह समझें जो संदिग्ध की कहानी बदलने के लिए अपराध स्थल से सबूत हटा देता है।
उन्होंने 12 अलग-अलग AI मॉडल का परीक्षण किया (कुछ बहुत छोटे, कुछ बहुत विशाल) और ऐसा करने के लिए निम्नलिखित कदम उठाए:
- "घोस्ट" (Ghost) टेस्ट: AI को सवाल दिखाएं लेकिन कोई तस्वीर नहीं। (क्या वह केवल शब्दों के आधार पर अनुमान लगा रहा है?)
- "स्वैप" (Swap) टेस्ट: तस्वीर रखें लेकिन मग को टोस्टर से बदल दें। (क्या AI को एहसास होता है कि वह गलत वस्तु को देख रहा है?)
- "ज़ूम" (Zoom) टेस्ट: वस्तु को बिना बदले फोटो में दोगुना बड़ा दिखाएं। (क्या AI भ्रमित होकर कहता है कि अब यह एक विशाल मग है?)
- "डिस्टॉर्शन" (Distortion) टेस्ट: तस्वीर को किसी फनहाउस मिरर (funhouse mirror) की तरह मोड़ दें। (क्या AI आकार का अनुमान लगाने के लिए कमरे के आकार का उपयोग करता है?)
चौंका देने वाले परिणाम
यहाँ उनके निष्कर्ष दिए गए हैं, सरल रूपकों (metaphors) का उपयोग करते हुए:
1. "टेक्स्ट-ओनली" (केवल टेक्स्ट) वाला शॉर्टकट
सबसे बड़े, सबसे महंगे AI मॉडल भी एक ऐसे टेक्स्ट-ओनली AI से खराब प्रदर्शन करते हैं जो तस्वीर देख ही नहीं सकता था।
- रूपक: यह उस छात्र की तरह है जो गणित के टेस्ट में इतना अच्छा है कि वह किताब रटने के कारण, डायग्राम देखने के बजाय आंखों पर पट्टी बांधकर केवल प्रश्न पढ़कर अधिक स्कोर प्राप्त करता है। AI मुख्य रूप से वस्तु के नाम (जैसे, "एक 'लैपटॉप' आमतौर पर 30 सेमी चौड़ा होता है") के आधार पर अनुमान लगा रहा था, न कि वास्तव में छवि को देखकर।
2. "पहचान" का सहारा (The Identity Crutch)
एक चीज़ जिसे AI ने वास्तव में देखा, वह थी कि वस्तु क्या थी।
- रूपक: यदि आपने मग को टोस्टर से बदल दिया, तो AI का उत्तर नाटकीय रूप से बदल गया। उसे समझ आ गया, "ओह, यह टोस्टर है, मग नहीं!" लेकिन उसने टोस्टर के पिक्सेल को मापने की कोशिश नहीं की; उसने बस अपने आंतरिक "औसत टोस्टर आकार" के अनुमान को बदल दिया।
3. "आकार" का भ्रम
जब शोधकर्ताओं ने वस्तु को बड़ा दिखाने के लिए ज़ूम किया, तो AI ने यह नहीं कहा, "वाह, यह एक विशाल मग है!"
- रूपक: AI एक ऐसे व्यक्ति की तरह है जो जानता है कि एक कुत्ता आमतौर पर 50 सेमी लंबा होता है। यदि आप उन्हें एक कुत्ते की तस्वीर दिखाते हैं जो कैमरे के करीब होने के कारण बहुत बड़ा दिखता है, तो AI यह नहीं कहता, "यह एक 2-मीटर का कुत्ता है!" वह केवल तस्वीर के आकार को अनदेखा कर देता है और अपनी याददाश्त के आधार पर बताता है कि एक "कुत्ता" आमतौर पर कैसा होता है।
4. "कमरे के प्रति अंधापन"
AI ने कमरे की ज्यामिति (geometry) (परिपक्ष्य, वैनिशिंग पॉइंट्स) को लगभग पूरी तरह से अनदेखा कर दिया।
- रूपक: भले ही शोधकर्ताओं ने तस्वीर को फनहाउस मिरर की तरह विकृत कर दिया, AI के उत्तर में बहुत कम बदलाव आया। वह आकार का अनुमान लगाने के लिए कमरे के आकार का उपयोग नहीं कर रहा था।
"फाइन-ट्यूनिंग" का सुधार (और यह पूरी तरह से क्यों काम नहीं किया)
शोधकर्ताओं ने AI को बेहतर बनाने के लिए विशेष रूप से आकार मापने के प्रशिक्षण (LoRA fine-tuning) के माध्यम से "सिखाने" की कोशिश की।
- क्या यह काम आया? हाँ, स्कोर बेहतर हुए।
- क्या इसने 'देखना' सीखा? नहीं।
- रूपक: यह एक ऐसे छात्र को सिखाने जैसा है जो गणित में कमजोर है, उसे विशिष्ट अभ्यास प्रश्नों के उत्तर रटने के लिए कहना। वे टेस्ट में बेहतर हो जाते हैं, लेकिन उन्होंने ज्यामिति की अवधारणा नहीं सीखी। उन्होंने केवल उन सुरागों के आधार पर अनुमान लगाने में महारत हासिल की जो वे पहले से ही उपयोग कर रहे थे (जैसे वस्तु का नाम या उसके आस-पास की चीजें)। उन्होंने अभी भी "कमरे के आकार" वाले सुराग का उपयोग करना नहीं सीखा।
निचोड़ (The Bottom Line)
यह शोध पत्र निष्कर्ष निकालता है कि जब हम इन AI मॉडलों से एक अकेली फोटो से चीजों को मापने के लिए कहते हैं, तो वे वास्तव में कुछ भी "माप" नहीं रहे होते हैं। वे ज्यादातर वस्तु के नाम के बारे में जो वे जानते हैं, उसके आधार पर अनुमान लगा रहे होते हैं, जिसमें वस्तु की पहचान देखने से थोड़ा सा मदद मिलती है।
वे "इल्ल-पोस्ड बाय डिज़ाइन" (डिज़ाइन द्वारा अस्पष्ट) हैं क्योंकि केवल एक फोटो के साथ इस कार्य को पूरी तरह से हल करना असंभव है, और यही असंभवता यह उजागर करती है कि AI शॉर्टकट ले रहा है। लेखकों ने अपना टेस्ट डेटा जारी किया है ताकि अन्य लोग यह जांच सकें कि क्या नए AI मॉडल वास्तव में 'देखना' और मापना सीख रहे हैं, या वे केवल बेहतर अनुमान लगाना सीख रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।