Where Reliability Lives in Vision-Language Models: A Mechanistic Study of Attention, Hidden States, and Causal Circuits
यह शोध पत्र इस अंतर्ज्ञान को चुनौती देता है कि शार्प अटेंशन मैप्स विजन-लैंग्वेज मॉडल्स में विश्वसनीयता का संकेत देते हैं, और मैकेनिस्टिक विश्लेषण के माध्यम से यह प्रदर्शित करता है कि अटेंशन स्ट्रक्चर शुद्धता का एक नगण्य भविष्यवक्ता है, जबकि हिडन-स्टेट ज्योमेट्री और स्पार्स लेट-लेयर सर्किट्स मॉडल की विश्वसनीयता के कहीं अधिक सटीक संकेतक प्रदान करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप दृश्य पहेलियों (visual puzzles) को सुलझाने के लिए विशेषज्ञ जासूसों (AI मॉडल्स) की एक टीम को काम पर रख रहे हैं। आप यह जानना चाहते हैं: आप उनके उत्तरों पर कब भरोसा कर सकते हैं?
लंबे समय तक, सभी ने यह मान लिया था कि उत्तर सरल है: "यदि जासूस सही जगह पर बहुत ध्यान से देख रहा है, तो वह सही ही होगा।" AI के संदर्भ में, इसे "अटेंशन-कॉन्फिडेंस धारणा" (Attention-Confidence Assumption) कहा जाता है। यदि मॉडल का "अटेंशन मैप" (एक हीट मैप जो दिखाता है कि वह कहाँ देख रहा है) वस्तु पर तीक्ष्ण और केंद्रित है, तो हमने माना कि उसका उत्तर भरोसेमंद है। यदि अटेंशन धुंधला या बिखरा हुआ था, तो हमने माना कि मॉडल भ्रमित है।
यह शोध पत्र उस धारणा को परखता है। शोधकर्ताओं ने तीन अलग-अलग प्रकार के AI जासूसों (LLaVA, PaliGemma, और Qwen2-VL) के भीतर झाँकने के लिए एक "रिलायबिलिटी प्रोब" (reliability probe) बनाया ताकि यह देखा जा सके कि सत्य वास्तव में कहाँ निवास करता है।
यहाँ उन्होंने क्या पाया, जिसे सरल भाषा में समझाया गया है:
1. "घूरने" का मिथक गलत है
उपमा: कल्पना कीजिए कि एक जासूस फोटो में एक लाल कार को बहुत ध्यान से घूर रहा है। वह बहुत आत्मविश्वासी लग रहा है। लेकिन फिर वह कहता है, "वह कार एक नीला ट्रक है।"
निष्कर्ष: शोधकर्ताओं ने पाया कि मॉडल कितनी तीव्रता से किसी छवि को देखता है, इसका इस बात से लगभग कोई लेना-देना नहीं है कि उत्तर सही है या नहीं।
- भले ही मॉडल का अटेंशन मैप एकदम सटीक (तीक्ष्ण और केंद्रित) दिखता हो, फिर भी वह पूरी तरह से गलत उत्तर (एक "हलुसिनेशन" या भ्रम) दे सकता है।
- इसके विपरीत, एक मॉडल सही उत्तर भी दे सकता है भले ही उसका अटेंशन थोड़ा बिखरा हुआ दिखे।
- निर्णय: आप केवल यह देखकर कि AI कहाँ देख रहा है, यह नहीं बता सकते कि वह झूठ बोल रहा है। यह किसी व्यक्ति की ईमानदारी को इस आधार पर आंकने जैसा है कि वह आपको कितनी तीव्रता से घूर रहा है; वे आपको कहानी सुनाते समय भी आपकी ओर बहुत ध्यान से देख सकते हैं।
2. सत्य "मस्तिष्क के पिछले हिस्से" में छिपा है
उपमा: AI की प्रोसेसिंग को एक लंबी असेंबली लाइन के रूप में सोचें। पहले स्टेशन वे हैं जहाँ मॉडल छवि को "देखता" है (जैसे एक कैमरा)। अंतिम स्टेशन वे हैं जहाँ वह "सोचता" और "बोलता" है (जैसे एक मस्तिष्क)।
निष्कर्ष: वह संकेत जो हमें बताता है कि एक उत्तर सही है, वह असेंबली लाइन के बिल्कुल अंत में दिखाई देता है।
- "सत्य" मॉडल के आंतरिक "हिडन स्टेट्स" (उसके आंतरिक विचार) में छिपा होता है, जो उसकी प्रोसेसिंग के अंत के करीब होते हैं।
- विशेष रूप से, MLP लेयर्स (मस्तिष्क के वे हिस्से जो केवल देखने के बजाय मेमोरी और लॉजिक को संभालते हैं) वह भारी काम करते हैं जिससे यह तय होता है कि उत्तर सही है या गलत।
- जब तक मॉडल बोलने के लिए तैयार होता है, उसका आंतरिक "कॉन्फिडेंस मीटर" (हिडन स्टेट) यह बताने में बहुत सटीक भविष्यवक्ता होता है कि वह सच बोल रहा है या नहीं, जो कि उसके "घूरने वाले मीटर" (अटेंशन मैप) की तुलना में कहीं बेहतर है।
3. अलग-अलग मॉडल "सत्य" को अलग तरह से संभालते हैं
शोधकर्ताओं ने पाया कि उनके द्वारा परीक्षण किए गए तीन AI परिवार विश्वसनीयता को दो बहुत अलग तरीकों से संभालते हैं:
- "नाजुक विशेषज्ञ" (LLaVA): यह मॉडल अपने "सत्य" को अपने मस्तिष्क के एक बहुत ही विशिष्ट, छोटे और अंतिम चरण के हिस्से में संग्रहीत करता है।
- उपमा: यह एक ऐसे घर की तरह है जिसमें छत को थामे रखने के लिए एक अकेला, नाजुक सपोर्ट बीम है। यदि आप उस एक बीम को तोड़ देते हैं, तो पूरी छत ढह जाती है।
- परिणाम: यदि आप इस विशिष्ट क्षेत्र में कुछ प्रमुख न्यूरॉन्स (छोटे प्रोसेसिंग यूनिट्स) को हटा देते हैं, तो मॉडल की सटीकता गिर जाती है। यह बहुत कुशल है लेकिन बहुत नाजुक भी है।
- "वितरित टीम" (PaliGemma और Qwen2-VL): ये मॉडल अपने "सत्य" को अपने मस्तिष्क के एक विशाल क्षेत्र में फैला देते हैं।
- उपमा: यह एक ऐसे घर की तरह है जिसकी नींव चौड़ी और प्रबलित कंक्रीट की है। आप नींव के 50% हिस्से में छेद कर सकते हैं, फिर भी घर को कोई फर्क नहीं पड़ेगा।
- परिणाम: भले ही आप उनके आंतरिक प्रोसेसिंग यूनिट्स के आधे हिस्से को नष्ट कर दें, वे लगभग पूरी तरह से काम करते रहते हैं। वे मजबूत हैं लेकिन उन्हें पहचानना कठिन है।
4. झूठ पकड़ने का सबसे अच्छा तरीका
यदि आप अभी जानना चाहते हैं कि क्या एक AI सच बोल रहा है, तो आपको क्या करना चाहिए?
- न देखें: कि वह कहाँ देख रहा है इसका हीट मैप (यह बेकार है)।
- देखें: बोलने से ठीक पहले उसके आंतरिक "विचारों" (हिडen states) को। शोधकर्ताओं ने पाया कि एक सरल गणितीय उपकरण (एक "प्रोब") इन विचारों को पढ़ सकता है और 95% से अधिक सटीकता के साथ सही होने की भविष्यवाणी कर सकता है।
- महंगा विकल्प: आप मॉडल से एक ही प्रश्न 10 बार भी पूछ सकते हैं और देख सकते हैं कि क्या वह हर बार एक ही उत्तर देता है (सेल्फ-कंसिस्टेंसी)। यह अच्छा काम करता है, लेकिन इसमें 10 गुना अधिक कंप्यूटिंग पावर खर्च होती है।
मुख्य निष्कर्ष
यह शोध पत्र निष्कर्ष निकालता है कि पुराना विचार कि "तीव्र ध्यान = भरोसा" एक मिथक है।
यदि आप AI के लिए सुरक्षा प्रणालियाँ (जैसे चिकित्सा या वैज्ञानिक क्षेत्रों में) बना रहे हैं, तो अटेंशन मैप्स को अपना "झूठ पकड़ने वाला यंत्र" (lie detector) बनाना बंद करें। इसके बजाय, ऐसे मॉनिटर बनाएं जो मॉडल के आंतरिक "हिडन स्टेट" ज्योमेट्री की जांच करें। सत्य AI की आँखों में नहीं है; यह उन शांत, जटिल गणनाओं में है जो बोलने से ठीक पहले होती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।