Where Does Vision Meet Language? Understanding and Refining Visual Fusion in MLLMs via Contrastive Attention

कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ कंप्यूटर एक ही समय में देख और पढ़ सकते हैं। इन्हें मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) कहा जाता है। इन्हें ऐसे सुपर-स्मार्ट छात्रों के रूप में सोचें जिन्होंने लाइब्रेरी की हर किताब पढ़ ली है और उनके पास चित्रों को देखने के लिए आँखें भी हैं। लेकिन यहाँ एक रहस्य है: जब ये छात्र किसी तस्वीर को देखते हैं और उसके बारे में एक सवाल पढ़ते हैं, तो वे अपने दिमाग में तस्वीर और शब्दों को वास्तव में कैसे मिलाते हैं? क्या वे पूरी तस्वीर को एक साथ देखते हैं? या वे पहले टेक्स्ट पढ़ते हैं और फिर तस्वीर पर एक नज़र डालते हैं? या वे कुछ और करते हैं?

लंबे समय तक, हम जानते थे कि ये मॉडल बेहतरीन उत्तर दे सकते हैं, लेकिन हमें यह नहीं पता था कि वे अपने "दिमाग" (जो कंप्यूटर कोड की परतों से बना है) के अंदर इसे कैसे करते हैं। यह एक जादूगर को टोपी से खरगोश निकालते हुए देखने जैसा था, बिना कभी जादू देखने के। इस प्रक्रिया को समझना महत्वपूर्ण है क्योंकि यदि हमें यह नहीं पता कि वे कैसे काम करते हैं, तो हम उन्हें विचलित होने या तथ्य बनाने (मनगढ़ंत बातें बोलने) से नहीं रोक सकते। यह शोध पत्र एक जासूसी कहानी की तरह है जहाँ लेखक जादूगर की टोपी के अंदर झाँककर देखते हैं कि परत-दर-परत खरगोब कैसे प्रकट होता है।

जासूसी कार्य: मॉडल के दिमाग में झाँकना

इस शोध पत्र के लेखकों ने कंप्यूटर के दिमाग के साथ "लुका-छिपी" का खेल खेलने का फैसला किया ताकि यह पता लगाया जा सके कि जादू कहाँ होता है। उन्होंने कई अलग-अलग MLLMs को लिया और एक-एक करके उनके दिमाग के हिस्सों को बंद करना शुरू कर दिया, यह देखने के लिए कि क्या होता है। एक फैक्ट्री असेंबली लाइन की कल्पना करें जहाँ एक रोबोट खिलौना बनाता है। यदि आप रोबोट को तीसरे चरण पर रोक देते हैं, तो खिलौना बिखर जाता है। यदि आप उसे 20वें चरण पर रोकते हैं, तो शायद वह पहले ही बन चुका है। अलग-अलग परतों पर विजुअल (दृश्य) जानकारी को "मास्किंग" (या बंद) करके, शोधकर्ता यह देख सके कि कंप्यूटर ठीक किस जगह पर तस्वीर देखना बंद करता है और केवल टेक्स्ट पर निर्भर होने लगता है।

बड़ी खोज: यह कोई सहज फिसलन नहीं है
सबसे आश्चर्यजनक बात जो उन्होंने पाई वह यह है कि कंप्यूटर शुरुआत से अंत तक चित्र और शब्दों को समान रूप से नहीं मिलाता है। यह कॉफी में दूध डालने जैसा नहीं है जहाँ यह धीरे-धीरे मिलता जाता है। इसके बजाय, मिश्रण विशिष्ट, महत्वपूर्ण "स्टेशनों" पर होता है।

• क्रिटिकल ज़ोन (महत्वपूर्ण क्षेत्र): उन्होंने पाया कि अधिकांश मॉडल्स के लिए, वास्तविक मिश्रण शुरुआती-से-मध्यम परतों (लगभग 18 से 20 परतें) में होता है। यदि आप इस ज़ोन से ठीक पहले तस्वीर को काट देते हैं, तो कंप्यूटर तस्वीर के बारे में सब कुछ भूल जाता है और परीक्षण में विफल हो जाता है।
• "रिव्यू" (समीक्षा) घटना: यहाँ यह मजेदार हो जाता है। कुछ मॉडल्स (जैसे LLaVA-1.5 और LLaVA-Next) में, जब कंप्यूटर को लगा कि मिश्रण पूरा हो गया है, तो उसने अचानक एक बार फिर तस्वीर की ओर देखा! लेखक इसे "रिव्यू" चरण कहते हैं। यह उस छात्र की तरह है जिसने परीक्षा पूरी कर ली, पेन नीचे रख दिया, और फिर अचानक उसे याद आया, "रुको, मुझे आरेख (डायग्राम) को फिर से देखना चाहिए!" और फिर पेपर जमा कर दिया।

समस्या: कंप्यूटर विचलित हो जाता है
जांच करते समय, लेखकों ने एक अजीब सी गड़बड़ी देखी। भले ही कंप्यूटर छवि के सही हिस्से को देख रहा था (जैसे विमान पर लगा एक लोगो), वह तस्वीर के पूरी तरह से बेकार हिस्सों, जैसे कि आसमान या विमान की पूंछ को भी तीव्रता से घूर रहा था। वे इसे "हाई-अटेंशन नॉइज़" (उच्च-ध्यान शोर) कहते हैं।
कल्पना कीजिए कि आप एक साइन पढ़ने की कोशिश कर रहे हैं जो एक हवाई जहाज पर "LAPE" लिखा है। आपकी आँखों को अक्षरों पर ध्यान केंद्रित करना चाहिए। लेकिन यह कंप्यूटर बादलों के पीछे के बादलों पर भी उतना ही ध्यान देता है जितना कि अक्षरों पर, जिससे वह विचलित हो जाता है। यह शुरुआत से ही होता है और वहीं रहता है, जिससे मॉडल भ्रमित हो जाता है।

समाधान: एक ट्रेनिंग-मुक्त "हाइलाइटर"
इस भटकाव को ठीक करने के लिए, लेखकों ने एक चतुर ट्रिक बनाई जिसके लिए कंप्यूटर को दोबारा सिखाने (जो महंगा और धीमा है) की आवश्यकता नहीं है। वे इसे कॉन्ट्रास्टिव अटेंशन (Contrastive Attention) कहते हैं।
यह कैसे काम करता है, इसके लिए एक सरल रूपक का उपयोग करें:

1. "पहले" का स्नैपशॉट: वे एक तस्वीर लेते हैं कि कंप्यूटर प्रक्रिया के शुरुआती चरण में क्या देख रहा है (जब वह अभी छवि को देखना शुरू ही कर रहा है)। इस चरण में, कंप्यूटर सब कुछ देख रहा है, जिसमें भटकाने वाले बादल भी शामिल हैं।
2. "बाद" का स्नैपशॉट: वे एक तस्वीर लेते हैं कि कंप्यूटर प्रक्रिया के अंत में क्या देख रहा है (जब वह उत्तर देने के लिए तैयार है)। इस चरण में, उसे अक्षरों को देखना चाहिए।
3. अंतर: वे "बाद" की तस्वीर में से "पहले" की तस्वीर को घटा देते हैं।
   • यदि कंप्यूटर दोनों तस्वीरों में बादलों को देख रहा था, तो बादल रद्द हो जाते हैं (क्योंकि ध्यान नहीं बदला)।
   • यदि कंप्यूटर ने "बाद" की तस्वीर में अक्षरों को देखना शुरू किया लेकिन "पहले" की तस्वीर में उन्हें अनदेखा कर दिया, तो अक्षर चमक उठते हैं!

यह अंतर एक "हाइलाइटर" बनाता है जो ठीक से दिखाता है कि कंप्यूटर ने किन हिस्सों पर ध्यान केंद्रित करना सीखा है क्योंकि वह सवाल पूछा गया था। लेखक फिर इस हाइलाइटर का उपयोग करके छवि के भटकाने वाले हिस्सों को काट देते हैं और केवल महत्वपूर्ण, हाइलाइट किए गए हिस्सों को दूसरे प्रयास के लिए कंप्यूटर में वापस फीड करते हैं।

परिणाम
जब उन्होंने इस नई विधि का परीक्षण किया, तो कंप्यूटर उत्तर देने में बहुत बेहतर हो गए। उन्हें फिर से प्रशिक्षित करने की आवश्यकता नहीं थी; उन्हें बस शोर को अनदेखा करने के लिए थोड़ा सा धक्का देने की आवश्यकता थी।

• GQA नामक डेटासेट पर, उनकी विधि ने स्कोर को 66.03 से बढ़ाकर 69.40 कर दिया।
• VQAv2 पर, यह 74.06 से बढ़कर 77.59 हो गया।
• TextVQA पर, यह 57.21 से उछलकर 59.86 हो गया।

ये नंबर दिखाते हैं कि केवल कंप्यूटर को सही चीजों पर ध्यान केंद्रित करने और "शोर" (भटकाने वाले बादलों) को अनदेखा करने में मदद करके, वह दुनिया को थोड़ा बेहतर समझ सकता है। लेखक सुझाव देते हैं कि यह विधि इसलिए काम करती है क्योंकि यह उस क्षण को पकड़ लेती है जब कंप्यूटर का ध्यान "सब कुछ देखने" से बदलकर "जो महत्वपूर्ण है उसे देखने" की ओर शिफ्ट होता है।

उन्होंने क्या खारिज किया
लेखकों ने यह भी स्पष्ट किया कि यह केवल किसी रैंडम लेयर को देखने के बारे में नहीं है। उन्होंने प्रक्रिया के बिल्कुल अंत से या बिना किसी नियम के बिल्कुल शुरुआत से परतें चुनने का परीक्षण किया, और वे उतने प्रभावी नहीं थे। "स्वीट स्पॉट" विशेष रूप से वे परतें हैं जहाँ दृश्य और टेक्स्ट जानकारी अभी मिलना शुरू ही हुई है लेकिन पूरी तरह से स्थिर नहीं हुई है। उन्होंने यह भी दिखाया कि यह एक बार का समाधान नहीं है; यह कई अलग-अलग प्रकार के मॉडल्स और कई प्रकार के सवालों पर काम करता है।

संक्षेप में, यह शोध पत्र हमें सिखाता है कि इन सुपर-स्मार्ट कंप्यूटरों के पास एक विशिष्ट "मिक्सिंग ज़ोन" होता है जहाँ वे दृष्टि और ध्वनि को मिलाते हैं, और वे कभी-कभी बैकग्राउंड शोर से विचलित हो जाते हैं। उनके फोकस में बदलाव को हाइलाइट करने के लिए एक सरल गणितीय ट्रिक का उपयोग करके, हम उन्हें शोर को अनदेखा करने और बेहतर उत्तर देने में मदद कर सकते हैं, और वह भी उन्हें नए सबक सिखाने में वर्षों खर्च किए बिना।