🤖 AI

MoDA: Modulation Adapter for Fine-Grained Visual Grounding in Instructional MLLMs

यह शोध पत्र MoDA का प्रस्ताव करता है, जो एक हल्का मॉड्यूलेशन एडेप्टर है जो विजुअल फीचर्स पर इंस्ट्रक्शन-गाइडेड चैनल-वाइज मल्टीप्लिकेटिव मॉड्यूलेशन लागू करके मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स में फाइन-ग्रेन्ड विजुअल ग्राउंडिंग को बढ़ाता है, जिससे न्यूनतम कम्प्यूटेशनल ओवरहेड के साथ कई आर्किटेक्चर और बेंचमार्क पर निरंतर प्रदर्शन सुधार प्राप्त होता है।

मूल लेखक: Wayner Barrios, Andrés Villa, Juan León Alcázar, SouYoung Jin, Bernard Ghanem

प्रकाशित 2026-06-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wayner Barrios, Andrés Villa, Juan León Alcázar, SouYoung Jin, Bernard Ghanem

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र MoDA: Modulation Adapter for Fine-Grained Visual Understanding का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।

समस्या: AI विज़न में "गंदा पानी" (Muddy Water)

कल्पना कीजिए कि आप एक सोते हुए फ्रेंच बुलडॉग की फोटो देख रहे हैं जो अपने पास एक आलीशान खिलौने के साथ बिस्तर पर लेटा हुआ है। आप यह सवाल पूछना चाहते हैं: "कुत्ते के कान का रंग क्या है?"

एक इंसान के लिए, यह आसान है। आप कान को देखते हैं और बिस्तर और खिलौने को अनदेखा कर देते हैं।

लेकिन कई वर्तमान AI मॉडलों (जिन्हें मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स या MLLMs कहा जाता है) के लिए, छवि एक पूरी तस्वीर के रूप में नहीं देखी जाती है। इसके बजाय, AI छवि को छोटे चौकोर टाइल्स (जिन्हें "पैच" कहा जाता है) में काट देता है। समस्या यह है कि ये टाइल्स अक्सर अस्त-व्यस्त होते हैं। एक टाइल में कुत्ते के फर का एक हिस्सा, लकड़ी के फर्श का एक हिस्सा और खिलौने का एक हिस्सा हो सकता है।

इसे एक ऑर्केस्ट्रा में एक विशिष्ट वाद्य यंत्र को सुनने की कोशिश करने जैसा समझें, लेकिन माइक्रोफ़ोन वायलिन, सेलो और दर्शकों के खांसने की आवाज़ों को एक साथ पकड़ रहा है। इसे ही लेखक "सिमेंटिक एंटैंगलमेंट" (semantic entanglement) कहते हैं। AI भ्रमित हो जाता है क्योंकि विजुअल डेटा "गंदा" (muddy) है—यह विभिन्न वस्तुओं को आपस में मिला देता है, जिससे विशिष्ट विवरण पर ध्यान केंद्रित करना कठिन हो जाता है जिसके बारे में प्रश्न पूछा गया है। यह अक्सर "हैलुसिनेशन" (hallucinations) की ओर ले जाता है, जहाँ AI आत्मविश्वास के साथ कुछ ऐसा कह देता है जो वास्तव में चित्र में मौजूद ही नहीं है।

समाधान: MoDA (एक "इंस्ट्रक्शन-गाइडेड फ़िल्टर")

लेखक एक नया, हल्का टूल प्रस्तावित करते हैं जिसे MoDA (मॉड्यूलेशन एडेप्टर) कहा जाता है।

यदि मानक AI एडेप्टर एक अनुवादक की तरह है जो छवि को शब्दों में बदलता है, तो MoDA उस अनुवादक के पीछे खड़ा एक स्मार्ट स्पॉटलाइट ऑपरेटर की तरह है।

यह इस प्रकार काम करता है:

इनपुट: AI ने पहले ही छवि को देख लिया है और एक मोटा विवरण (अलाइन्ड फीचर्स) तैयार कर लिया है।
प्रश्न: आप एक विशिष्ट प्रश्न पूछते हैं, जैसे "खिलौना बिस्तर पर है या फर्श पर?"
मॉड्यूलेशन: MoDA आपके प्रश्न को सुनता है। फिर यह एक "मास्क" या फ़िल्टर बनाता है। यह पूरे डेटा को फेंक नहीं देता; इसके बजाय, यह उन हिस्सों को धीमा (dim) कर देता है जो प्रासंगिक नहीं हैं (जैसे बैकग्राउंड का शोर) और उन हिस्सों को चमकीला (brighten) कर देता है जो प्रासंगिक हैं (जैसे खिलौना और फर्श)।

उपमा:
कल्पना कीजिए कि आप किसी एक विशिष्ट तथ्य को खोजने के लिए एक घनी पाठ्यपुस्तक पढ़ रहे हैं।

MoDA के बिना: आपको पेज के हर एक शब्द को पढ़ना होगा, जिसमें फुटनोट्स, विज्ञापन और चैप्टर समरी भी शामिल है, ताकि आप घास के ढेर में सुई ढूंढ सकें।
MoDA के साथ: एक मित्र केवल उन वाक्यों को हाईलाइट करता है जो आपके विशिष्ट प्रश्न का उत्तर देते हैं और बाकी पेज को धुंधला कर देता है। अब आप तुरंत उसी पर ध्यान केंद्रित कर सकते हैं जो महत्वपूर्ण है।

यह अलग क्यों है?

मौजूदा अधिकांश तरीके इस समस्या को ठीक करने की कोशिश करते हैं:

अधिक जटिल कैमरे (मल्टीपल विजुअल एनकोडर) जोड़कर।
पूरी किताब को फिर से लिखकर (पूरे मॉडल को रिट्रेन करके)।
पूरे पैराग्राफ को अनदेखा करने के लिए चुनकर (टोकन-लेवल सिलेक्शन)।

MoDA अलग है क्योंकि:

यह सूक्ष्म (Granular) है: यह केवल पूरे शब्दों या वाक्यों को अनदेखा नहीं करता है; यह डेटा के भीतर विशिष्ट विवरणों के "वॉल्यूम" को एडजस्ट करता है (चैनल-वाइज मॉड्यूलेशन)।
यह हल्का (Lightweight) है: यह एक छोटा सा एड-ऑन मॉड्यूल है। यह गणना लागत (FLOPs) में 1% से भी कम और पैरामीटर्स में केवल 3.7% की वृद्धि करता है। यह एक नई लाइब्रेरी खरीदने के बजाय एक किताब में एक छोटा सा बुकमार्क लगाने जैसा है।
यह इंस्ट्रक्शन-गाइडेड है: यह अपने फोकस को इस आधार पर बदलता है कि आप क्या पूछ रहे हैं। यदि आप कुत्ते के कान के बारे में पूछते हैं, तो यह कान पर ध्यान केंद्रित करता है। यदि आप खिलौने के बारे में पूछते हैं, तो यह खिलौने पर ध्यान केंद्रित करता है।

परिणाम: क्या यह काम करता है?

लेखकों ने तीन अलग-अलग AI आर्किटेक्चर (LLaVA-1.5, LLaVA-MoRE, और Qwen3-VL) पर 12 अलग-अलग परीक्षणों के माध्यम से MoDA का परीक्षण किया। परिणाम बहुत सकारात्मक रहे:

बेहतर सटीकता: एक टेस्ट पर, जिसे MM-VP कहा जाता है (जो हैलुसिनेशन की जांच करता है), MoDA ने एक मॉडल फैमिली के लिए स्कोर में 12 अंकों का सुधार किया। यह एक बहुत बड़ी छलांग है।
बेहतर तर्क (Reasoning): विज्ञान और तर्क संबंधी प्रश्नों (ScienceQA) पर, इसने लगभग 5 अंकों का सुधार किया।
हर जगह काम करता है: यह केवल एक प्रकार के AI के लिए नहीं था। यह CLIP (एक सामान्य विजुअल एनकोडर) पर आधारित मॉडलों और Qwen3-VL जैसे नए मॉडलों, जो अलग तकनीक का उपयोग करते हैं, दोनों के लिए काम करता है।
कोई अतिरिक्त डेटा नहीं चाहिए: उन्हें इसे प्रशिक्षित करने के लिए AI को लाखों नई छवियां खिलाने की आवश्यकता नहीं थी। इसने मौजूदा प्रशिक्षण डेटा का अधिक प्रभावी ढंग से उपयोग करके बेहतर बनना सीखा।

सारांश

संक्षेप में, MoDA AI मॉडलों को "एक साथ सब कुछ देखने" के बजाय "उस चीज़ को देखने" में मदद करता है जिसके बारे में आप पूछ रहे हैं। एक स्मार्ट फ़िल्टर के रूप में कार्य करके जो आपके प्रश्न के आधार पर अप्रासंगिक विजुअल शोर को कम करता है और प्रासंगिक विवरणों को उभारता है, यह AI मॉडलों को अधिक सटीक, हैलुसिनेशन (गलत जानकारी देने) से मुक्त और कुशल बनाता है, और वह भी बिना मूल सिस्टम को बड़े अपग्रेड की आवश्यकता के।

तकनीकी सारांश: MoDA: निर्देशात्मक MLLMs में सूक्ष्म-स्तरीय दृश्य समझ के लिए मॉड्यूलेशन एडेप्टर (Modulation Adapter)

समस्या विवरण (Problem Statement)
मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) ने प्री-ट्रेन्ड विजुअल एनकोडर्स को लार्ज लैंग्वेज मॉडल्स (LLMs) के साथ एकीकृत करके इंस्ट्रक्शन-फॉलोइंग कार्यों में महत्वपूर्ण सफलता प्राप्त की है। हालांकि, मौजूदा दृष्टिकोण अक्सर सूक्ष्म-स्तरीय विजुअल ग्राउंडिंग (fine-grained visual grounding) के लिए संघर्ष करते हैं। लेखक इसका मूल कारण विजुअल पैच रिप्रजेंटेशन के भीतर "सिमेंटिक एंटैंगलमेंट" (semantic entanglement) को पहचानते हैं। स्टैंडर्ड विजन ट्रांसफार्मर (ViT) आर्किटेटेक्चर में, छवियों को निश्चित आकार के पैच में विभाजित किया जाता है और फिर उन्हें उच्च-आयामी एम्बेडिंग्स में प्रोजेक्ट किया जाता है। चूंकि इन पैचों में अक्सर कई अलग-अलग दृश्य तत्व शामिल होते हैं (जैसे, एक पैच जिसमें कुत्ते, खिलौने और फर्श के हिस्से शामिल हैं), परिणामी एम्बेडिंग्स असंबंधित सिमेंटिक अवधारणाओं को मिला देती हैं। यह एंटैंगलमेंट मॉडल के लिए मिश्रित रिप्रजेंटेशन को अलग करने और निर्देश-प्रासंगिक विवरणों पर ध्यान केंद्रित करने को कठिन बना देता है, जिससे मतिभ्रम (hallucinations) और सटीक स्थानीयकरण (localization) तथा विस्तृत तर्क (reasoning) की आवश्यकता वाले कार्यों में खराब प्रदर्शन होता है।

कार्यप्रणाली (Methodology)
सिमेंटिक एंटैंगलमेंट को संबोधित करने के लिए, लेखक MoDA (Modulation Adapter) का प्रस्ताव करते हैं, जो एक हल्का (lightweight) मॉड्यूल है जो प्री-अलाइन्ड विजुअल फीचर्स पर इंस्ट्रक्शन-गाइडेड, चैनल-वाइज मॉड्यूलेशन करता है। टोकन-लेवल मेथड्स (जैसे, Q-Former) के विपरीत, जो पूरे टोकन के एडिटिव फीचर सिलेक्शन या रीवेटिंग का कार्य करते हैं, MoDA प्रत्येक टोकन के एम्बेडिंग डायमेंशन के भीतर चैनल स्तर पर कार्य करता है।

मुख्य तंत्र में शामिल हैं:

पोजीशनिंग (Positioning): MoDA को स्टैंडर्ड विजुअल-लैंग्वेज एडेप्टर और LLM के बीच, पोस्ट-अलाइनमेंट के बाद रखा गया है। यह उन विजुअल फीचर्स पर कार्य करता है जिन्हें पहले ही लैंग्वेज एम्बेडिंग स्पेस में प्रोजेक्ट किया जा चुका है।
क्रॉस-अटेंशन मॉड्यूलेशन (Cross-Attention Modulation): MoDA क्रॉस-अटेंशन के साथ ट्रांसफार्मर लेयर्स के एक स्टैक का उपयोग करता है। लैंग्वेज इंस्ट्रक्शन टोकन्स मेमोरी इनपुट के रूप में कार्य करते हैं, और अलाइन्ड विजुअल फीचर्स टारगेट सीक्वेंस के रूप में। यह मॉडल को विशिष्ट भाषा क्वेरी (language query) की स्थिति में डायनेमिक मॉड्यूलेशन मास्क उत्पन्न करने की अनुमति देता है।
मल्टीप्लिकेटिव मॉड्यूलेशन (Multiplicative Modulation): क्रॉस-अटेंशन लेयर्स के आउटपुट को एक लीनियर प्रोजेक्शन और सिग्मॉइड एक्टिवेशन के माध्यम से पास किया जाता है ताकि एक सॉफ्ट मॉड्यूलेशन मास्क $M \in [0, 1]^E$ बनाया जा सके। इस मास्क को हेडामाड प्रोडक्ट (Hadamard product) के माध्यम से विजुअल फीचर्स पर लागू किया जाता है: $\hat{V}_{aligned} = V_{aligned} \odot M$ । यह मल्टीप्लिकेटिव ऑपरेशन अप्रासंगिक एम्बेडिंग डायमेंशन को चुनिंदा रूप से दबा देता है और वर्तमान निर्देश के लिए प्रासंगिक आयामों को बढ़ावा देता है।
ट्रेनिंग प्रोटोकॉल (Training Protocol): MoDA मानक दो-चरणीय LLaVA ट्रेनिंग प्रोटोकॉल का पालन करता है। स्टेज 1 में, केवल ओरिजिनल विजुअल एडेप्टर को अलाइनमेंट के लिए प्रशिक्षित किया जाता है। स्टेज 2 में, MoDA को पेश किया जाता है और LLM के साथ ऑटोरिग्रेसिव क्रॉस-एन्ट्रॉपी लॉस का उपयोग करके जॉइंटली फाइन-ट्यून किया जाता है, जिसके लिए बेस MLLM में किसी अतिरिक्त सुपरविजन या आर्किटेक्चरल संशोधन की आवश्यकता नहीं होती है।

प्रमुख योगदान (Key Contributions)

सिमेंटिक एंटैंगलमेंट की पहचान: पेपर स्पष्ट रूप से व्यक्तिगत ViT पैच के भीतर अलग-अलग दृश्य तत्वों के मिश्रण को सूक्ष्म-स्तरीय समझ के लिए एक बाधा के रूप में पहचानता है।
नवाचारी आर्किटेक्चरल डिज़ाइन: MoDA एक चैनल-वाइज मॉड्यूलेशन दृष्टिकोण पेश करता है जो ग्रैनुलैरिटी (चैनल-लेवल बनाम टोकन-लेवल), ऑपरेशन (मल्टीप्लिकेटिव बनाम एडिटिव) और पोजीशन (पोस्ट-अलाइनमेंट रिफाइनमेंट) में मौजूदा तरीकों से भिन्न है।
दक्षता और सामान्यीकरण (Efficiency and Generalization): MoDA न्यूनतम कंप्यूटेशनल ओवरहेड (< 1% FLOPs, ~3.7% पैरामीटर्स) जोड़ता है और विविध MLLM आर्किटेक्चर (LLaVA-1.5, LLaVA-MoRE, और Qwen3-VL) और विजुअल एनकोडर्स (CLIP और SigLIP-S2) पर सुसंगत प्रदर्शन लाभ प्रदर्शित करता है, जो CLIP-आधारित बैकबोन से परे इसकी सामान्यीकरण क्षमता की पुष्टि करता है।

परिणाम (Results)
लेखक 12 बेंचमार्क के माध्यम से MoDA का मूल्यांकन करते हैं, जो विजुअल क्वेश्चन अनस्विंग (VQA), विजन-सेंट्रिक रीजनिंग और मतिभ्रम डिटेक्शन (hallucination detection) को कवर करते हैं। मुख्य निष्कर्षों में शामिल हैं:

VQA प्रदर्शन: MoDA निरंतर सुधार प्राप्त करता है। SigLIP-S2 के साथ LLaVA-MoRE फैमिली के लिए, ScienceQA स्कोर में 4.8 अंकों की वृद्धि हुई (77.1 से 81.9)। Qwen3-VL के लिए, ScienceQA में 4.9 अंक और GQA में 3.8 अंक का सुधार हुआ।
विज़न-सेंट्रिक कार्य: MoDA ने सूक्ष्म-स्तरीय कार्यों पर मजबूत प्रदर्शन दिखाया। LLaVA-1.5 + MoDA ने बेसलाइन की तुलना में MMVP (मतिभ्रम डिटेक्शन) पर +12.0 अंक की बढ़त हासिल की। SigLIP-S2 के साथ LLaVA-MoRE + MoDA ने LLaVA फैमिली के भीतर MMStar, V*Bench और CV-Bench पर शीर्ष स्कोर प्राप्त किए।
मतिभ्रम डिटेक्शन (Hallucination Detection): MoDA ने मतिभ्रम बेंचमार्क पर सबसे निर्णायक लाभ दिया, विशेष रूप से MMVP पर, जहाँ इसने डिस्ट्रैक्टर चैनल्स को कम करके प्रायर (priors) पर निर्भरता को काफी कम कर दिया।
एब्लेशन स्टडीज (Ablation Studies): प्रयोगों ने पुष्टि की कि क्रॉस-अटेंशन, लीनियर MLP और सेल्फ-अटेंशन विकल्पों की तुलना में बेहतर प्रदर्शन करता है, विशेष रूप से जब इसे SigLIP-S2 जैसे समृद्ध एनकोडर्स के साथ जोड़ा जाता है। इन लाभों का श्रेय आर्किटेक्चरल डिज़ाइन को दिया गया, न कि केवल पैरामीटर स्केलिंग को, क्योंकि L1 रेगुलराइजेशन ने प्रदर्शन को कम कर दिया, जो विशिष्ट मॉड्यूलेशन मैकेनिज्म के महत्व को दर्शाता है।

महत्व (Significance)
पेपर का दावा है कि MoDA यह प्रदर्शित करता है कि सूक्ष्म-स्तरीय विजुअल समझ के लिए आर्किटेक्चरल रिफाइनमेंट—विशेष रूप से, इंस्ट्रक्शन-कंडीशनड चैनल-वाइज मॉड्यूलेशन—पैरामीटर ग्रोथ की तुलना में बड़े लाभ दे सकता है। अंडरलाइंग आर्किटेक्चर को बदले बिना या अतिरिक्त ट्रेनिंग डेटा की आवश्यकता के बिना, MLLMs को डायनेमिक रूप से निर्देश-प्रासंगिक विजुअल विवरणों पर ध्यान केंद्रित करने में सक्षम बनाकर, MoDA विजुअल पैच रिप्रजेंटेशन में सिमेंटिक एंटैंगलमेंट की समस्या के लिए एक स्केलेबल और कुशल समाधान प्रदान करता है। परिणाम पुष्टि करते हैं कि यह दृष्टिकोण विभिन्न मॉडल परिवारों और एनकोडर प्रकारों में सामान्यीकृत होता है, जो विजुअल ग्राउंडिंग को बढ़ाने के लिए इंस्ट्रक्शन-गाइडेड मॉड्यूलेशन को एक मजबूत रणनीति के रूप में मान्य करता है।

समस्या: AI विज़न में "गंदा पानी" (Muddy Water)

समाधान: MoDA (एक "इंस्ट्रक्शन-गाइडेड फ़िल्टर")

यह अलग क्यों है?

परिणाम: क्या यह काम करता है?

सारांश

इसी तरह के और पेपर