Transcoders Trace Visual Grounding and Hallucinations in Vision-Language Models
यह शोध पत्र विज़न-लैंग्वेज मॉडल्स की व्याख्या करने के लिए ट्रांसकोडर्स (Transcoders) का उपयोग करते हुए एक फंक्शन-सेंट्रिक फ्रेमवर्क पेश करता है, जो यह प्रदर्शित करता है कि यह दृष्टिकोण स्पार्स ऑटोएनकोडर्स (Sparse Autoencoders) की तुलना में अधिक स्थिर विज़ुअल ग्राउंडिंग प्रदान करता है और मैकेनिस्टिक ग्राफ विश्लेषण के माध्यम से मतिभ्रम (hallucinations) की भविष्यवाणी करने में सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक विजन-लैंग्वेज मॉडल (VLM) एक अत्यधिक प्रतिभाशाली लेकिन कुछ हद तक रहस्यमय अनुवादक की तरह है। यह एक तस्वीर को देखता है और उसके बारे में एक कहानी लिखता है। हम जानते हैं कि यह अच्छा काम करता है, लेकिन हमें वास्तव में यह नहीं पता कि यह किस आधार पर तय करता है कि चित्र के किस हिस्से के आधार पर कौन से शब्द लिखे जाएं। यह वैसा ही है जैसे किसी जादूगर को टोपी से खरगोश निकालते हुए देखना; हम परिणाम देखते हैं, लेकिन टोपी के अंदर का कमाल एक 'ब्लैक बॉक्स' बना रहता है।
यह शोध पत्र उस टोपी को खोलने और उस कमाल को समझाने की कोशिश करता है। यहाँ उन्होंने जो किया है, उसका विवरण सरल उपमाओं (analogies) के माध्यम से दिया गया है।
1. समस्या: "स्थिर फोटो" बनाम "मूवी"
इन मॉडलों को समझने के लिए पिछले तरीके अनुवादक के मस्तिष्क की एक विशिष्ट क्षण पर ली गई स्थिर तस्वीर (still photograph) लेने जैसे थे। उन्होंने "स्पार्स ऑटोएनकोडर्स" (SAEs) नामक उपकरणों का उपयोग किया ताकि यह देखा जा सके कि एक विशिष्ट लेयर पर मॉडल क्या "सोच" रहा है।
लेखकों का तर्क है कि यह त्रुटिपूर्ण है क्योंकि अनुवादक केवल स्थिर होकर बैठा नहीं है; वह लगातार काम कर रहा है। वह एक दृश्य इनपुट ले रहा है और उसे सक्रिय रूप से टेक्स्ट में बदल रहा है। एक स्थिर फोटो इस क्रिया (action) को पकड़ने में विफल रहती है।
समाधान: उन्होंने "ट्रांसकोडर" (Transcoder) नामक एक नया उपकरण उपयोग किया।
- उपमा: यदि SAE गैरेज में खड़ी कार की एक तस्वीर है, तो ट्रांसकोडर इंजन चलते हुए देखने वाला एक वीडियो है। यह केवल कार के हिस्सों को नहीं देखता; यह देखता है कि इंजन ईंधन को गति में कैसे बदलता है। यह केवल डेटा कैसा दिखता है (state), इसके बजाय इस पर ध्यान केंद्रित करता है कि कार्य (function) क्या हो रहा है।
2. प्रयोग: "विजुअल ग्राउंडिंग" (दृश्य जुड़ाव) को खोजना
शोधकर्ताओं ने देखना चाहा कि क्या यह नया "इंजन वीडियो" टूल यह समझाने में बेहतर है कि मॉडल एक विशिष्ट शब्द को एक छवि से कैसे जोड़ता है।
- परीक्षण: उन्होंने मॉडल से एक छवि का वर्णन करने के लिए कहा। फिर, उन्होंने यह अनुमान लगाने के लिए अपने उपकरणों का उपयोग किया कि किसी विशिष्ट शब्द (जैसे, "dog") के लिए चित्र का कौन सा हिस्सा सबसे महत्वपूर्ण था।
- "एब्लेशन" (मिटाने वाला परीक्षण): यह जांचने के लिए कि क्या उनका अनुमान सही था, उन्होंने एक डिजिटल इरेज़र लिया और चित्र के उस विशिष्ट हिस्से को हटा दिया जिसे वे महत्वपूर्ण समझते थे।
- परिणाम: जब उन्होंने ट्रांसकोडर द्वारा पहचाने गए हिस्सों को मिटाया, तो मॉडल बहुत भ्रमित हो गया और "dog" शब्द को सही ढंग से लिखना बंद कर दिया। लेकिन जब उन्होंने पुराने SAE तरीके द्वारा पहचाने गए हिस्सों को मिटाया, तो मॉडल को कोई खास फर्क महसूस नहीं हुआ।
- रूपक: यह चॉकलेट केक के स्वाद के पीछे के मुख्य घटक का अनुमान लगाने जैसा है। यदि आप ट्रांसकोडर द्वारा पहचाने गए घटक को हटा देते हैं, तो केक का स्वाद चॉकलेट जैसा नहीं रहता। यदि आप पुराने तरीके द्वारा पहचाने गए घटक को हटाते हैं, तो केक का स्वाद सामान्य रहता है। ट्रांसकोडर ने असली चॉकलेट को खोज लिया।
3. "फॉल्स ग्राउंडिंग" (मिथ्या जुड़ाव) की जाँच
यह सुनिश्चित करने के लिए कि ट्रांसकोडर केवल तुक्का नहीं लगा रहा है या भ्रमित नहीं हो रहा है, उन्होंने "फॉल्स विजुअल ग्राउंडिंग" नामक एक परीक्षण चलाया।
- सेटअप: उन्होंने मॉडल से गणित के सवाल (जैसे "20 + 30 क्या है?") या सामान्य ज्ञान के सवाल ("फ्रांस की राजधानी क्या है?") पूछे, लेकिन सामने बिल्ली की एक रैंडम तस्वीर दिखाई। उत्तर का बिल्ली से कोई लेना-देना नहीं है।
- परिणाम: ट्रांसकोडर ने बिल्ली की तस्वीर को सही ढंग से अनदेखा कर दिया। इसने बिल्ली को उत्तर से जोड़ने की कोशिश नहीं की। पुराने तरीकों ने कभी-कभी वहां भी संबंध बनाने की कोशिश की जहां कोई संबंध मौजूद नहीं था।
- निष्कर्ष: ट्रांसकोडर इतना स्मार्ट है कि वह जान जाता है कि कब एक तस्वीर केवल एक व्याकुलता (distraction) है और उत्तर के लिए प्रासंगिक नहीं है।
4. "हैलुसिनेशन" (भ्रम) का जासूस
अंत में, शोधकर्ताओं ने देखा कि मॉडल कब "हैलुसिनेट" करता है—यानी जब वह आत्मविश्वास के साथ ऐसी बातें बनाता है जो चित्र में नहीं हैं।
- जांच: उन्होंने मॉडल की आंतरिक विचार प्रक्रिया को एक रोड मैप या सर्किट बोर्ड की तरह माना। उन्होंने जानकारी के चित्र से अंतिम शब्द तक जाने वाले मार्ग का पीछा किया।
- खोज: उन्होंने पाया कि जब मॉडल सच बोलता है, तो "रोड मैप" एक तरह का होता है। जब वह झूठ बोलता है (हैलुसिनेट करता है), तो रोड मैप अलग होता है।
- अंतर: हैलुसिनेशन (भ्रम) अधिक संक्षिप्त, भीड़भाड़ वाले और केंद्रित रास्तों के माध्यम से यात्रा करते हुए प्रतीत होते हैं। यह ऐसा है जैसे सच एक लंबा, सुंदर रास्ता लेता है जिसमें कई मील के पत्थर (landmarks) चेक किए जाते हैं, जबकि झूठ एक सुरंग के माध्यम से शॉर्टकट लेता है, आसपास के परिवेश को अनदेखा कर देता है।
- पूर्वानुमान: उन्होंने एक सरल "झूठ पकड़ने वाला यंत्र" (लॉजिस्टिक्स क्लासिफायर) बनाया जो केवल इन रोड मैप्स के आकार को देखता है। बिना टेक्स्ट पढ़े या इमेज देखे, यह डिटेक्टर लगभग 68% सटीकता के साथ अनुमान लगा सकता था कि मॉडल झूठ बोल रहा है या नहीं (जो कि रैंडम अनुमान से काफी बेहतर है)।
सारांश
संक्षेप में, यह शोध पत्र कहता है:
- स्नैपशॉट देखना बंद करें; मूवी देखें। मॉडल सूचना को कैसे प्रोसेस करता है, इसे देखने के लिए "ट्रांसकोडर्स" का उपयोग करना, केवल यह देखने से बेहतर है कि वह अपनी मेमोरी में क्या रखता है।
- यह सही कनेक्शन ढूंढता है। यह तरीका सही ढंग से पहचानता है कि लिखे जा रहे शब्दों के लिए चित्र के कौन से हिस्से वास्तव में मायने रखते हैं।
- झूठ का एक अलग आकार होता है। आउटपुट को पढ़े बिना भी, हम केवल आंतरिक "वायरिंग" को देखकर बता सकते हैं कि मॉडल झूठ बोल रहा है या नहीं।
लेखक निष्कर्ष निकालते हैं कि यह "फंक्शन-सेंट्रिक" दृष्टिकोण हमें एक स्पष्ट और अधिक विश्वसनीय मानचित्र देता है कि ये AI मॉडल वास्तव में कैसे काम करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।