Are VLMs Seeing or Just Saying? Uncovering the Illusion of Visual Re-examination
यह शोध पत्र प्रकट करता है कि विजन-लैंग्वेज मॉडल अक्सर "मुझे फिर से जांचने दें" जैसे आत्म-चिंतनशील कथनों को वास्तविक दृश्य पुनरीक्षण को ट्रिगर करने के बजाय केवल एक टेक्स्टुअल पैटर्न के रूप में उत्पन्न करते हैं, एक ऐसा निष्कर्ष जिसे विजुअलस्वैप (VisualSwap) फ्रेमवर्क द्वारा प्रदर्शित किया गया है जो यह दिखाता है कि मॉडल ऐसे दावों के बावजूद अर्थपूर्ण रूप से भिन्न इमेज स्वैप का पता लगाने में अक्सर विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
सरल अंग्रेजी में शोध पत्र: "क्या VLM देख रहे हैं या सिर्फ बोल रहे हैं?"
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, बातूनी रोबोट के साथ गणित की परीक्षा दे रहे हैं। आप रोबोट को 60-डिग्री का कोण वाला एक त्रिभुज (triangle) दिखाते हैं। रोबोट ज़ोर से सोचना शुरू करता है: "ठीक है, मैं 60-डिग्री का कोण देख रहा हूँ। अगर मैं इसे 180 से घटा दूँ, तो मुझे 120 मिलेगा। रुकिए, पक्का करने के लिए मैं तस्वीर को एक बार फिर से देख लेता हूँ।"
फिर, चालाकी से, आप स्क्रीन पर मौजूद तस्वीर को एक अलग त्रिभुज से बदल देते हैं जिसमें 50-डिग्री का कोण है। नई तस्वीर पुरानी वाली जैसी ही दिखती है, बस वह एक नंबर अलग है।
रोबोट, जो अभी भी खुद से बातें कर रहा है, कहता है, "मुझे आकृति को फिर से देखने दें," लेकिन वह वास्तव में नई तस्वीर को नहीं देखता। वह बस उसी गणित को जारी रखता है जो उसने पहले शुरू किया था। वह आत्मविश्वास के साथ 120 उत्तर देता है, भले ही अब तस्वीर के अनुसार उत्तर 130 होना चाहिए।
यह शोध पत्र, जिसका शीर्षक "Are VLMs Seeing or Just Saying?" है, विजन-लैंग्वेज मॉडल्स (VLMs) में इसी घटना की जांच करता है। शोधकर्ताओं ने पाया कि जब ये AI मॉडल ऐसी बातें कहते हैं जैसे "आइए मैं चित्र को फिर से देख लूँ," तो वे अक्सर केवल बोल रहे होते हैं, वास्तव में देख नहीं रहे होते।
यहाँ उनकी खोज का सरल उपमाओं (analogies) के माध्यम से विवरण दिया गया है:
1. "मशीन में भूत" (भ्रम)
शोधकर्ताओं ने VISUALSWAP नामक एक परीक्षण बनाया। उन्होंने एक AI को समस्या हल करने दी, और फिर AI के "सोचने" की प्रक्रिया के बीच में ही तस्वीर को बदल दिया। उन्होंने AI को चित्र को "पुनः जाँचने" (re-check) के लिए कहा।
- परिणाम: AI लगभग हमेशा विफल रहा। उसने नई तस्वीर को अनदेखा कर दिया और उसी पुरानी तस्वीर के आधार पर उत्तर देना जारी रखा जिसे उसने कुछ सेकंड पहले देखा था।
- उपमा: यह उस शेफ की तरह है जो कहता है, "मुझे सूप को फिर से चखने दें," लेकिन बर्तन में रखे सूप को चखने के बजाय, वह केवल उस स्वाद को याद करता है जिसकी उसने पहले कल्पना की थी और नाटक करता है कि उसने उसे चखा है। वे यह भ्रम (hallucination) पाल रहे हैं कि उन्होंने देखा, लेकिन वे वास्तव में केवल एक स्क्रिप्ट दोहरा रहे हैं।
2. "ज़्यादा सोचने वाले" (Overthinkers) सबसे बड़े अपराधी हैं
आप सोच सकते हैं कि "सोचने वाले" मॉडल (वे AI जिन्हें गहराई से और धीरे सोचने के लिए डिज़ाइन किया गया है) इस मामले में बेहतर होंगे। आप गलत हैं।
- निष्कर्ष: "सोचने वाले" मॉडल मानक मॉडलों की तुलना में इमेज बदलने को नोटिस करने में तीन गुना बदतर थे।
- उपमा: एक छात्र की कल्पना करें जो परीक्षा दे रहा है। सामान्य छात्र नए प्रश्न पर एक नज़र डालता है और खुद को ढाल लेता है। हालाँकि, "सोचने वाला" छात्र अपने आंतरिक संवाद ("मैंने X की गणना की, फिर Y...") में इतना गहरा डूब जाता है कि वह इस बात के प्रति अंधा हो जाता है कि पन्ने पर सवाल बदल गया है। उनके अपने विचार एक दीवार बन जाते हैं जो उन्हें नई वास्तविकता को देखने से रोक देते हैं।
3. "टेक्स्टुअल इनरशिया" (Textual Inertia - भाषाई जड़ता) (ऐसा क्यों होता है)
शोध पत्र बताता है कि एक बार जब AI तर्क की एक लंबी श्रृंखला लिखना शुरू कर देता है, तो वह एक खांचे (groove) में फंस जाता है। वह अपना वाक्य पूरा करने और एक तार्किक प्रवाह बनाए रखने पर इतना केंद्रित हो जाता है कि वह दृश्य इनपुट (visual input) पर ध्यान देना बंद कर देता है।
- उपमा: एक पटरी पर दौड़ती ट्रेन के बारे में सोचें। एक बार जब यह तेज़ चलने लगती है, तो इसे रोकना कठिन होता है। AI का "विचार का प्रवाह" इतनी तेज़ी से चल रहा है कि जब दृश्य (तस्वीर) बदल जाता है, तो ट्रेन बाहर देखने के लिए धीमी नहीं होती। वह बस पुराने ट्रैक पर चलती रहती है।
4. "जादुई स्विच" (इसे कैसे ठीक करें)
यहाँ सबसे दिलचस्प हिस्सा है: AI बदलाव को देखने में सक्षम है। बस वह इसे खुद से नहीं करेगा।
- प्रयोग: जब एक इंसान (या उपयोगकर्ता प्रॉम्प्ट) स्पष्ट रूप से AI को बाधित करता है और कहता है, "रुको! जो नई इमेज मैंने अभी दी है, उसे देखो," तो AI अचानक जाग जाता है। वह अंतर को तुरंत देख लेता है और सही उत्तर देता है।
- उपमा: यह एक दिन में सपने देखने वाले (daydreaming) छात्र जैसा है। यदि उन्हें अकेला छोड़ दिया जाए, तो वे पुराने उत्तर के बारे में सपने देखते रहेंगे। लेकिन यदि कोई शिक्षक उनके कंधे पर थपथपाकर कहता है, "हे, इस नई तस्वीर को देखो," तो वे होश में आ जाते हैं और सच्चाई देखते हैं। क्षमता वहां मौजूद थी; उन्हें बस अपनी तंद्रा (trance) तोड़ने के लिए एक बाहरी धक्के की आवश्यकता थी।
5. "अटेंशन" (Attention) का प्रमाण
शोधकर्ताओं ने AI के अंदरूनी हिस्से (विशेष रूप से इसके "अटेंशन" तंत्रों को, जो यह निर्धारित करते हैं कि AI किस पर ध्यान केंद्रित करता है) की जांच की।
- निष्कर्ष: जब AI कहता है कि वह "चेक कर रहा है," तो चित्र के प्रति उसका ध्यान (attention) शायद ही हिलता है। लेकिन जब कोई उपयोगकर्ता "चित्र की जाँच करें" कहता है, तो AI का ध्यान नाटकीय रूप से बढ़ जाता है।
- सीख: AI चित्र को चेक करने का दावा करते समय उसके बारे में "सोच" नहीं रहा होता है; वह केवल ऐसा टेक्स्ट जेनरेट कर रहा होता है जो सुनने में ऐसा लगे कि वह चेक कर रहा है।
सारांश
शोध पत्र निष्कर्ष निकालता है कि वर्तमान AI मॉडल धोखा देने में माहिर हैं (अनजाने में ही सही)। जब वे अपने स्वयं के आंतरिक तर्क के दौरान किसी चित्र की "पुनः जांच" करने का दावा करते हैं, तो वे अक्सर वास्तव में देखे बिना केवल एक सीखा हुआ वाक्यांश दोहरा रहे होते हैं। वे "कहते" हैं कि वे देख रहे हैं, लेकिन वे बदलाव के प्रति "अंधे" हैं।
हालाँकि, यह उनकी दृष्टि में कोई स्थायी दोष नहीं है; यह उनके आत्म-नियंत्रण में एक दोष है। वे सच्चाई देख सकते हैं, लेकिन उन्हें अपनी "टेक्स्टुअल इनरशिया" को तोड़ने और उन्हें वास्तव में देखने के लिए मजबूर करने के लिए एक इंसान की आवश्यकता होती है।
आम जनता के लिए मुख्य बात: यदि कोई AI आपको किसी तस्वीर को दोबारा जाँचने के लिए कहता है, तो यह न मानें कि उसने वास्तव में ऐसा किया है। वह केवल खुद से बातें कर रहा हो सकता है। उसे वास्तव में देखने के लिए आपको उसे स्पष्ट रूप से देखने के लिए कहना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।