Logit Lens Supervision for Patch-Level Explanations in Vision-Language Models
यह शोध पत्र लॉजिट लेंस लॉस (LLL) प्रस्तुत करता है, जो एक हल्का सहायक उद्देश्य (auxiliary objective) है जो विज़न-लैंग्वेज मॉडल्स में पैच-स्तर की व्याख्यात्मकता (explainability) को बढ़ाता है, जो विजुअल टोकन एम्बेडिंग्स को उनके अनुरूप टेक्स्टुअल कॉन्सेप्ट्स के साथ संरेखित करके ग्राउंडिंग में सुधार करता है और बिना किसी आर्किटेक्चरल बदलाव या व्यापक पुनरप्रशिक्षण के मतिभ्रम (hallucinations) को कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका एक सुपर-स्मार्ट रोबोट दोस्त है जो किसी तस्वीर को देख सकता है और उसके बारे में एक कहानी सुना सकता है। यह रोबोट दो बहुत अलग हिस्सों से बना है: एक जोड़ी "आंखें" जो तस्वीर को छोटे रंगीन वर्गों (पैच) के ग्रिड के रूप में देखती है, और एक "दिमाग" जो शब्दों का उपयोग करके कहानियाँ लिखने में माहिर है। जब आप रोबोट से पूछते हैं, "बिल्ली कहाँ है?", तो उसकी आँखें फोटो के हर एक वर्ग के लिए मस्तिष्क को एक संकेत भेजती हैं। मस्तिष्क फिर उत्तर का पता लगाने के लिए इन चित्र संकेतों को अपने स्वयं के शब्द संकेतों के साथ मिला देता है।
समस्या यह है कि जैसे-जैसे ये चित्र संकेत मस्तिष्क के माध्यम से यात्रा करते हैं, वे भीड़ में थोड़े खो जाते हैं। मस्तिष्क शब्दों के मामले में इतना अच्छा है कि वह कभी-कभी तस्वीर के विशिष्ट विवरणों को अनदेखा करने लगता है, या इससे भी बुरा, वह चित्र संकेतों को शब्द संकेतों के साथ इतनी गहराई से मिला देता है कि रोबोट भूल जाता है कि वास्तव में बिल्ली का कौन सा हिस्सा उस वर्ग से संबंधित था। वह "बिल्ली" का सही अनुमान लगा सकता है, लेकिन वह केवल शब्दों के आधार पर अनुमान लगा रहा होता है, न कि वास्तव में फोटो में बिल्ली को देखकर। यह एक बड़ी बात है क्योंकि यदि हम इन रोबोट्स पर भरोसा करना चाहते हैं, या यदि हम जानना चाहते हैं कि वे क्यों सोचते हैं कि तस्वीर में बिल्ली है, तो हमें यह देखने में सक्षम होना चाहिए कि वे वास्तव में छवि के किस भाग को देख रहे हैं। यदि रोबोट बिल्ली की ओर इशारा नहीं कर सकता, तो हो सकता है कि वह मतिभ्रम (hallucination) का शिकार हो—यानी ऐसी चीजें बना रहा हो जो वहां मौजूद ही नहीं हैं।
यह शोध पत्र ठीक इसी समस्या का समाधान करता है। लेखकों, परसा एस्माइलखानी और लॉन्गिन जान लाटेकी ने देखा कि आधुनिक "विज़न-लैंग्वेज मॉडल्स" (VLMs) में, एक विशिष्ट इमेज पैच और उसका वर्णन करने वाले शब्द के बीच का संबंध जैसे-जैसे डेटा सिस्टम के माध्यम से आगे बढ़ता है, कमजोर और धुंधला होता जाता है। इसे ठीक करने के लिए, उन्होंने एक नई ट्रेनिंग ट्रिक बनाई जिसे लॉगिट लेंस लॉस (Logit Lens Loss - LLL) कहा जाता है।
रॉबोट के दिमाग को एक विशाल पुस्तकालय के रूप में सोचें जहाँ हर किताब एक शब्द का प्रतिनिधित्व करती है। आमतौर पर, रोबमा को केवल अगला सही शब्द चुनने के लिए सिखाया जाता है (जैसे सवाल का जवाब देना)। लेखकों ने महसूस किया कि यदि रोबोट बिल्ली के एक पैच को देख रहा है, तो वह विशिष्ट पैच लाइब्रेरी में "बिल्ली" शब्द को फुसफुसा रहा होना चाहिए, इससे पहले कि रोबोट बोलने का निर्णय ले। उन्होंने प्रशिक्षण के लिए एक नया नियम बनाया: जब भी रोबोट एक ऐसा पैच देखता है जिसमें बिल्ली शामिल है, तो वे उस पैच को लाइब्रेरी की शब्दावली में "बिल्ली" शब्द का मजबूती से पूर्वानुमान लगाने के लिए मजबूर करते हैं। वे इसे "लॉगिट लेंस लॉस" कहते हैं क्योंकि यह "लॉगिट लेंस" नामक एक टूल का उपयोग करता है ताकि रोबोट के दिमाग के अंदर झांका जा सके और देखा जा सके कि इमेज पैच गुप्त रूप से किन शब्दों के बारे में सोच रहे हैं।
सबसे अच्छी बात? उन्हें रोबोट को फिर से बनाने या कोई नए हिस्से जोड़ने की आवश्यकता नहीं पड़ी। उन्होंने बस ट्रेनिंग के नियमों में थोड़ा बदलाव किया। जब उन्होंने दो लोकप्रिय रोबोटों (LLaVA-v1.5 और Qwen2.5-VL) पर इस नए नियम का परीक्षण किया, तो परिणाम एक स्पॉटलाइट चालू करने जैसा था। पहले, रोबोट का "कॉन्फिडेंस मैप" (एक हीट मैप जो दिखाता है कि वह वस्तु को कहाँ समझता है) धुंधला और बिखरा हुआ था, जैसे कोई धुंधली खिड़की। इस नए नियम का उपयोग करने के बाद, मैप एकदम स्पष्ट और सटीक हो गया, जो ठीक वहीं चमक उठा जहाँ बिल्ली थी।
शोध पत्र दिखाता है कि यह सरल सुधार बहुत बड़ा काम करता है। यह रोबोटों को तस्वीरों में वस्तुओं को खोजने (ग्राउंडिंग) में बहुत बेहतर बनाता है, उनके द्वारा ऐसी वस्तुओं को बनाने (hallucinations) के समय को कम करता है जो वहां नहीं हैं, और यहाँ तक कि उन्हें उन नई तस्वीरों में भी वस्तुओं की ओर इशारा करने में मदद करता है जिन्हें उन्होंने पहले कभी नहीं देखा है। आश्चर्यजनक रूप से, इसने रोबोटों को सवाल पूछने या कहानियाँ सुनाने में बदतर नहीं बनाया; वास्तव में, इसने उनके भाषाई कौशल को उतना ही मजबूत बनाए रखा। लेखक सुझाव देते हैं कि चित्र संकेतों को उनके मूल अर्थ से बांधकर रखने से, रोबोट न केवल स्मार्ट बल्कि अपनी देखी हुई चीजों के प्रति अधिक ईमानदार भी बनते हैं। यह एक छात्र को केवल उत्तर रटने के बजाय, वास्तव में उस मानचित्र को समझने के लिए सिखाने जैसा है जिसे वह देख रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।