Seeing is Understanding: Unlocking Causal Attention into Modality-Mutual Attention for Multimodal LLMs
यह शोध पत्र मोडैलिटी-म्युचुअल अटेंशन (MMA) का प्रस्ताव करता है, जो एक पैरामीटर-मुक्त आर्किटेक्चरल संशोधन है जो मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स में कॉज़ल अटेंशन को प्रतिस्थापित करता है ताकि इमेज टोकन्स को टेक्स्ट टोकन्स पर अटेंड करने में सक्षम बनाया जा सके, जिससे विजन-लैंग्वेज मिसअलाइनमेंट को हल किया जा सके और 12 बेंचमार्क में स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
समस्या: AI के दिमाग में "एकतरफा रास्ता"
कल्पना कीजिए कि एक मल्टीमॉडल लार्ज लैंग्वेज मॉडल (MLLM) एक बहुत ही बुद्धिमान सहायक की तरह है जो चित्रों को देख सकता है और टेक्स्ट पढ़ सकता है। वर्तमान में, इनमें से अधिकांश सहायक एक एकतरफा रास्ते (one-way street) की तरह बने होते हैं।
जब आप सहायक से किसी फोटो के बारे में सवाल पूछते हैं, तो मानक प्रक्रिया यह होती है:
- फोटो पहले दिखाई जाती है।
- सवाल दूसरा होता है।
- जवाब अंत में दिया जाता है।
यह शोध पत्र इस सेटअप में एक बड़ी खामी की ओर इशारा करता है: क्योंकि AI के "दिमाग" (विशेष रूप से इसके अटेंशन मैकेनिज्म) को जिस तरह से डिज़ाइन किया गया है, फोटो केवल उसी चीज़ को देख सकती है जो उससे पहले आई थी। चूंकि फोटो पहले आती है, इसलिए वह सवाल की ओर वापस नहीं देख सकती। यह एक सुरक्षा गार्ड की तरह है जिसे केवल इमारत में प्रवेश करने वाले लोगों को देखने की अनुमति है, लेकिन उसे दीवार पर लगे उस बोर्ड को देखने से मना किया गया है जिस पर लिखा है "प्रवेश निषेध"।
क्योंकि AI का "फोटो" वाला हिस्सा "सवाल" वाले हिस्से को नहीं पढ़ पाता, इसलिए वह अक्सर गलत अनुमान लगा लेता है। उदाहरण के लिए, वह फोटो में एक कार देख सकता है और कह सकता है, "यह लाल फेरारी है," भले ही उपयोगकर्ता ने पूछा हो, "क्या यह लाल फेरारी है?" और वह कार वास्तव में नीली हो। AI भ्रमित (hallucinate) होता है क्योंकि इमेज वाला हिस्सा टेक्स्ट में दिए गए विशिष्ट निर्देशों के प्रति "अंधा" होता है।
पुराना समाधान: पीछे की ओर गाड़ी चलाना
इस शोध पत्र से पहले, शोधकर्ताओं ने AI को दो अलग-अलग तरीकों से प्रशिक्षित करके इसे ठीक करने की कोशिश की थी:
- मानक तरीका: फोटो दिखाएं, फिर सवाल।
- उल्टा तरीका: सवाल दिखाएं, फिर फोटो।
यह एक ड्राइवर को आगे गाड़ी चलाना सिखाने और फिर उसे पीछे की ओर गाड़ी चलाना सिखाने जैसा है ताकि यह सुनिश्चित हो सके कि वह सड़क को समझ गया है। हालांकि इससे थोड़ा सुधार होता है, लेकिन यह बहुत महंगा और धीमा है। यह मूल रूप से AI को प्रशिक्षित करने के लिए आवश्यक समय और धन को दोगुना कर देता है।
नया समाधान: "दोतरफा रास्ता" (MMA)
लेखकों ने एक चतुर और सरल समाधान प्रस्तावित किया है जिसे मोडैलिटी-म्युचुअल अटेंशन (MMA) कहा जाता है।
AI को पीछे की ओर गाड़ी चलाने के बजाय, वे बस AI के दिमाग में ट्रैफिक लाइटों को अनलॉक कर देते हैं।
- पुराना तरीका (कॉज़ल अटेंशन): "इमेज" टोकन पहली पंक्ति में बैठा एक छात्र है। वह केवल शिक्षक के बोर्ड को देख सकता है (पिछले टोकन्स)। वह पीछे मुड़कर यह नहीं देख सकता कि पीछे वाली पंक्ति में बैठा छात्र क्या लिख रहा है।
- नया तरीका (MMA): लेखक नियम बदल देते हैं ताकि पहली पंक्ति वाला छात्र पीछे मुड़कर देखने के लिए स्वतंत्र हो और पीछे वाली पंक्ति में बैठे छात्र द्वारा लिखे जा रहे शब्दों को पढ़ सके।
इस विशिष्ट मार्ग को अनलॉक करके, AI का "इमेज" वाला हिस्सा अब "सवाल" वाले हिस्से को पढ़ सकता है। वह चित्र का वर्णन करने से पहले ठीक से देख सकता है कि आप उससे क्या पूछ रहे हैं।
यह एक बड़ी बात क्यों है?
- कोई अतिरिक्त लागत नहीं: उन्होंने AI में कोई नए हिस्से नहीं जोड़े या उसे बड़ा नहीं बनाया। उन्होंने बस एक छोटी सी सेटिंग (वह "मास्क" जो जानकारी को रोकता है) को बदल दिया। यह एक घर बनाने के बजाय कमरे में फर्नीचर को फिर से व्यवस्थित करने जैसा है।
- बेहतर सटीकता: क्योंकि इमेज अब सवाल को "देख" सकती है, AI अनुमान लगाना बंद कर देता है। उनके परीक्षणों में, AI विशिष्ट वस्तुओं के बारे में सवालों के जवाब देने, चीजों को गिनने और स्थानिक संबंधों (जैसे "बिल्ली बाईं ओर है या दाईं ओर?") को समझने में बहुत बेहतर हो गया।
- कम भ्रम (Hallucination): AI उन गलतियों को कम करता है जहाँ वह ऐसी चीजें बना देता है जो वहां मौजूद ही नहीं हैं।
परिणाम
शोधकर्ताओं ने इस नए "दोतरफा रास्ता" वाले डिज़ाइन का परीक्षण छवियों और टेक्स्ट से जुड़े 12 अलग-अलग परीक्षणों पर किया। उन्होंने यह साबित करने के लिए कि यह सामान्य रूप से काम करता है, तीन अलग-अलग प्रकार के AI "बैकबोन्स" का उपयोग किया।
- परिणाम: नया तरीका पुराने मानक तरीकों से बेहतर था और यहाँ तक कि अन्य जटिल, अत्याधुनिक (state-of-the-art) तरीकों से भी बेहतर रहा।
- लाभ: औसतन, AI सभी परीक्षणों में छवियों और टेक्स्ट को समझने में लगभग 6.2% बेहतर हुआ।
- दक्षता: इसने बिना किसी अतिरिक्त "दिमागी शक्ति" (पैरामीटर्स) या दोगुने प्रशिक्षण समय के यह उपलब्धि हासिल की।
सारांश उपमा
पुराने AI को एक आंखों पर पट्टी बंधे कलाकार के रूप में सोचें जिसे एक फोटो दी जाती है और फिर उसे उसे बनाने के लिए कहा जाता है। कलाकार चित्र बनाते समय फोटो को नहीं देख सकता; उसे पहले उसे याद करना पड़ता है। यदि आप फिर एक विशिष्ट निर्देश फुसफुसाते हैं ("लाल कार बनाओ, नीली नहीं"), तो कलाकार उसे सुन नहीं पाता क्योंकि वह पहले से ही चित्र बना रहा होता है।
नया AI (MMA) उस कलाकार की तरह है जिसने आंखों से पट्टी हटा ली है और वह फोटो देखते हुए आपके निर्देशों को सुन सकता है। वह बिल्कुल वैसा ही चित्र बनाने के लिए अपने काम को वास्तविक समय में समायोजित कर सकता है जैसा आपने पूछा है, जिसके परिणामस्वरूप बहुत अधिक सटीक चित्र मिलता है।
शोध यह निष्कर्ष निकालता है कि केवल AI के इमेज वाले हिस्से को टेक्स्ट वाले हिस्से को "देखने" की अनुमति देकर, हम यह महत्वपूर्ण रूप से सुधार सकते हैं कि ये मॉडल दुनिया को कितनी अच्छी तरह समझते हैं, और यह सब बिना उन्हें अधिक जटिल या महंगा बनाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।