तकनीकी सारांश: आंशिक सूचना अपघटन (Partial Information Decomposition) के माध्यम से मल्टीमॉडल लैंग्वेज मॉडल्स में मोडैलिटी इंटरेक्शन को समझने की दिशा में

1. समस्या विवरण (Problem Statement)

मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) का उपयोग वैज्ञानिक, चिकित्सा और एम्बॉडीड (embodied) संदर्भों में निर्णय लेने वाले एजेंटों के रूप में तेजी से किया जा रहा है। हालाँकि, वर्तमान मूल्यांकन प्रतिमान मुख्य रूप से परिणाम की सटीकता का आकलन करते हैं, जो इस बात पर सीमित अंतर्दृष्टि प्रदान करते हैं कि मॉडल उन निर्णयों तक पहुँचने के लिए संवेदी (दृष्टि, श्रव्य) और भाषाई इनपुट का उपयोग कैसे करते हैं। मौजूदा व्याख्यात्मकता विधियाँ—जैसे कि रिप्रेजेंटेशन अलाइनमेंट, अटेंशन विश्लेषण और मोडैलिटी एब्लेशन—यह तो बताती हैं कि मोडैलिटीज़ कैसे एनकोड की जाती हैं या गड़बड़ी (perturbations) के तहत भविष्यवाणियाँ कैसे बदलती हैं, लेकिन वे मोडैलिटी के उपयोग का निर्णय-स्तर का अपघटन (decision-level decomposition) प्रदान करने में विफल रहती हैं। विशेष रूप से, वे यह अंतर नहीं कर सकतीं कि कोई मोडैलिटी ऐसी जानकारी में योगदान दे रही है जो अद्वितीय (unique) है, दूसरी मोडैलिटी के साथ अतिरेकपूर्ण (redundant) है, या सिनर्जिस्टिक (synergistic) है (जो केवल संयुक्त अवलोकन के माध्यम से उपलब्ध होती है)। फलस्वरूप, मल्टीमॉडल इंटरेक्शन के विभिन्न रूपों को अक्सर एक ही सटीकता या एब्लेशन सिग्नल के तहत मिला दिया जाता है।

2. कार्यप्रणाली (Methodology)

लेखक मल्टीमॉडल रीजनिंग को आंशिक सूचना अपघटन (Partial Information Decomposition - PID) का उपयोग करके एक निर्णय-स्तर के सूचना अपघटन समस्या के रूप में औपचारिक रूप देते हैं।

2.1. निर्णय-स्तर का PID ढांचा (Decision-Level PID Framework)

लेटेंट रिप्रेजेंटेशन का विश्लेषण करने वाले पिछले कार्यों के विपरीत, यह ढांचा मॉडल-प्रेरित प्रेडिक्टिव डिस्ट्रीब्यूशन पर सूचना मेट्रिक्स की गणना करता है।

• द्वि-मोडल फॉर्मूलेशन (Bi-modal Formulation): विजन-लैंग्वेज मॉडल्स के लिए, भविष्यवाणी $Y$ और इनपुट (विज़न $X_v$, टेक्स्ट $X_t$) के बीच म्यूचुअल इंफॉर्मेशन को चार गैर-ऋणात्मक घटकों में विभाजित किया गया है:
  • $U_{vis}$: विज़न के लिए अद्वितीय जानकारी।
  • $U_{txt}$: टेक्स्ट के लिए अद्वितीय जानकारी।
  • $R_{vl}$: दोनों द्वारा साझा की गई अतिरेकपूर्ण (redundant) जानकारी।
  • $S_{vl}$: सिनर्जिस्टिक जानकारी जो केवल संयुक्त अवलोकन से उत्पन्न होती है।
• सेंसरी PID (त्रिकोणीय-मोडल): ओम्नी-मोडल मॉडल्स (वीडियो $V$, ऑडियो $A$, टेक्स्ट $T$) के लिए, लेखक एक कंडीशनल फॉर्मूलेशन पेश करते हैं जो भाषा को एक 'डायरेक्टिव कंट्रोल सिग्नल' के रूप में मानता है। यह संवेदी सूचना लाभ $I(Y; V, A | T)$ को अद्वितीय विजुअल ($U_{vis}$), अद्वितीय ऑडियो ($U_{aud}$), रेडंडेंट सेंसरी ($R_{sens}$), और सेंसरी सिनर्जी ($S_{av}$) घटकों में विभाजित करता है। यह टास्क स्पेसिफिकेशन (भाषा) और सेंसरी एविडेंस के बीच कार्यात्मक अंतर को बनाए रखते हुए कॉम्बिनेटोरियल एक्सपेंशन से बचता है।

2.2. एस्टिमेशन पाइपलाइन (Estimation Pipeline)

उच्च-आयामी निरंतर हिडन स्टेट्स से PID का अनुमान लगाने के लिए, बिना MLLM को पुन: प्रशिक्षित किए, लेखक निम्नलिखित का उपयोग करते हैं:

1. कैलिब्रेटेड एम्बेडिंग मास्किंग (Calibrated Embedding Masking): यूनिमोडल कंडिशनल्स (जैसे, $P(Y|X_v)$) को अनुमानित करने के लिए, वे मास्क किए गए मोडैलिटी के टोकन एम्बेडिंग्स को कैलिब्रेटेड गॉसियन नॉइज़ से बदल देते हैं, जिससे इंस्टेंस-विशिष्ट जानकारी हटाते हुए डिस्ट्रिब्यूशनल स्टैटिस्टिक्स सुरक्षित रहते हैं।
2. BATCH एस्टिमेटर: वे BATCH एस्टिमेटर (Liang et al., 2023) का उपयोग करते हैं ताकि एक Sinkhorn-normalized कपलिंग $\tilde{Q}$ सीखी जा सके जो सोर्स-टारगेट मार्जिनल्स को सुरक्षित रखती है, जिससे निरंतर वेरिएबल्स पर PID टर्म्स का सुलभ अनुकूलन संभव हो पाता है।
3. लोकल डायग्नोस्टिक स्कोर: यह ढांचा प्रति-सैंपल एडिटिव योगदान तक विस्तारित है, जो "सिनर्जी-गैप" सैंपल्स (उच्च फ्यूजन क्षमता, कम वर्तमान सिनर्जी) और "शॉर्टकट" सैंपल्स (उच्च टेक्स्ट-यूनिक रिलायंस) की पहचान करने में सक्षम बनाता है।

3. प्रमुख योगदान (Key Contributions)

1. MLLMs के लिए निर्णय-स्तर का PID: मोडैलिटी इंटरेक्शन को सूचना अपघटन समस्या के रूप में औपचारिक बनाना, जो अद्वितीय, रेडंडेंट और सिनर्जिस्टिक योगदान को अलग करता है जिसे केवल रिप्रेजेंटेशन समानता या एब्लेशन से पहचाना नहीं जा सकता।
2. ओम्नी-मोडल मॉडल्स के लिए सेंसरी PID: एक कंडीशनल PID फॉर्मूलेशन जो भाषा को एक कंट्रोल सिग्नल के रूप में उपयोग करता है ताकि वीडियो-ऑडियो सूचना लाभ को डीकंपोज किया जा सके, जिससे त्रिकोणीय-मोडल निर्णय लेने की प्रक्रिया का सिद्धांतवादी विश्लेषण संभव होता है।
3. डायग्नोस्टिक, प्रेडिक्टिव और एक्शनबल निष्कर्ष:
   • मोडैलिटी-यूज़ प्रोफाइल्स: ऐसे आवर्ती पैटर्न की पहचान जहाँ रीजनिंग/ग्राउंडिंग टास्क उच्च सिनर्जी दिखाते हैं, जबकि एक्सपर्ट/नॉलेज टास्क मजबूत टेक्स्ट-यूनिक रिलायंस दिखाते हैं।
   • प्रेडिक्टिव वैलिडिटी: PID टर्म्स मोडैलिटी-लेवल इंटरवेंशन (जैसे, इमेज हटाना) के प्रति संवेदनशीलता की भविष्यवाणी करते हैं।
   • सेंसरी सिनर्जी बॉटलनेक: यह खोज कि ओम्नी-मोडल मॉडल्स विजुअल जानकारी द्वारा हावी रहते हैं, भले ही वे स्पष्ट रूप से ऑडियो-विजुअल फ्यूजन की आवश्यकता वाले कार्यों पर हों।
   • लेयर-वाइज डायनेमिक्स: प्रमाण कि क्रॉस-मोडल फ्यूजन एक लेट-स्टेज घटना है, जहाँ सिनर्जी नेटवर्क की अंतिम परतों में मुख्य रूप से उभरती है।
4. PID-गाइडेड रीवेटिंग (PID-Guided Reweighting): लोरा (LoRA) फाइन-ट्यूनिंग के दौरान लोकल डायग्नोस्टिक स्कोर का उपयोग करके सैंपल्स को रीवेट करने की एक प्रूफ-ऑफ-कॉन्सेप्ट रणनीति, जो अंडर-सिनर्जिज़्ड सैंपल्स को अपवेट करती है और लैंग्वेज-शॉर्टकट सैंपल्स को डाउनवेट करती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

4.1. विजन-लैंग्वेज विश्लेषण

20 मॉडल्स और 6 बेंचमार्क्स में, PID ने दो अलग-अलग व्यवस्थाओं (regimes) का खुलासा किया:

• सिनर्जी-डोमिनेंट (Synergy-Dominant): MMBench, MMStar, और POPE (ग्राउंडिंग) जैसे बेंचमार्क्स उच्च $S_{vl}$ और विजुअल इनपुट पर मजबूत निर्भरता प्रदर्शित करते हैं।
• टेक्स्ट-प्रायोर डोमिनेंट (Text-Prior Dominant): MMMU, PMC-VQA, और Reefknot जैसे बेंचमार्क्स उच्च $U_{txt}$ प्रदर्शित करते हैं और विजुअल रिमूवल के प्रति काफी असंवेदनशील होते हैं।
• मॉडल फैमिली: Qwen, InternVL3, और LLaVA-OV परिवार जॉइंट-मोडैलिटी-रिलायंस की ओर झुके हुए हैं, जबकि Gemma3 और Cambrian भाषा-प्रायोर-रिलायंस की ओर। स्केलिंग इन मौजूदा प्रोफाइल्स को मिटाने के बजाय उन्हें और अधिक पुख्ता करती है।
• भविष्यवाणी: सिनर्जी-ड्रिवन टास्क पर $S_{vl}$, सटीकता और विजन-रिमूवल सेंसिटिविटी के साथ गहरा सहसंबंध ($\rho \geq 0.798$) रखता है, जबकि $U_{txt}$ प्रायर-डोमिनेंट टास्क पर अधिक सूचनात्मक है।

4.2. ओम्नी-मोडल विश्लेषण

MUSIC-AVQA बेंचमार्क (विशेष रूप से AV-Fusion सबसेट) पर:

• सेंसरी सिनर्जी बॉटलनेक: संयुक्त रीजनिंग के लिए डिज़ाइन किए गए कार्यों के बावजूद, $S_{av}$ एक छोटा घटक बना रहता है। निर्णय यूनिमोडल जानकारी द्वारा संचालित होते हैं, विशेष रूप से विजुअल ($U_{vis} > U_{aud}$)।
• विजुअल हेजेमनी (Visual Hegemony): सैंपल शफलिंग के माध्यम से कार्यात्मक सत्यापन ने पुष्टि की कि मॉडल्स ऑडियो मिसअलाइनमेंट की तुलना में विजुअल मिसअलाइनमेंट के तहत बड़े प्रदर्शन ड्रॉप का सामना करते हैं।
• इंस्ट्रक्शन गेटिंग: लेयर-वाइज विश्लेषण ने दिखाया कि लैंग्वेज प्रॉम्प्ट्स कंट्रोल सिग्नल के रूप में कार्य करते हैं; फ्यूजन-डिमांडिंग इंस्ट्रक्शन्स को कमजोर करने से लेट-लेयर सेंसरी सिनर्जी काफी कम हो जाती है।

4.3. PID-गाइडेड रीवेटिंग

Qwen2.5-VL-7B पर LoRA फाइन-ट्यूनिंग पर PID-व्युत्पन्न लोकल स्कोर लागू करने पर:

• प्रदर्शन लाभ: PID-गाइडेड रीवेटिंग ने यूनिफॉर्म फाइन-ट्यूनिंग और बेसलाइन्स (रैंडम, एक्यूरेसी-बेस्ड, एब्लेशन-बेस्ड) की तुलना में रीजनिंग और ग्राउंडिंग प्रदर्शन में सुधार किया (जैसे, MMStar पर +2.3, POPE पर +1.3)।
• प्रोफाइल शिफ्ट: पोस्ट-ट्यूनिंग डायग्नोस्टिक्स ने उच्च सिनर्जी ($S_{vl}$ शेयर 67.5% से बढ़कर 73.9% हुआ) और कम टेक्स्ट-यूनिक रिलायंस की ओर एक बदलाव दिखाया, जो मॉडल व्यवहार को निर्देशित करने की इसकी क्षमता की पुष्टि करता है।

5. महत्व और दावे (Significance and Claims)

यह पेपर PID को केवल एक पोस्ट-हॉक व्याख्यात्मक उपकरण के रूप में नहीं, बल्कि मल्टीमॉडल फ्यूजन को डायग्नोस करने और गाइड करने के लिए एक व्यावहारिक सिग्नल के रूप में स्थापित करता है।

• सटीकता से परे: लेखक दावा करते हैं कि कुल म्यूचुअल इंफॉर्मेशन समग्र प्रदर्शन को ट्रैक करती है लेकिन इंटरवेंशन सेंसिटिविटी को पकड़ने में विफल रहती है; मोडैलिटी के उपयोग को समझने के लिए PID डीकंपोजिशन आवश्यक है।
• मैकेनिस्टिक अंतर्दृष्टि: निष्कर्ष बताते हैं कि वर्तमान ओम्नी-मोडल मॉडल्स एक "विजुअल-फर्स्ट" कंप्यूटेशन पैटर्न से ग्रस्त हैं जहाँ क्रॉस-सेंसरी इंटीग्रेशन विलंबित और भाषा निर्देशों द्वारा गेटेड होता है, न कि यह इंटरमीडिएट रिप्रेजेंटेशन्स की एक स्थायी विशेषता है।
• एक्शनेबिलिटी: अध्ययन प्रारंभिक साक्ष्य प्रदान करता है कि लोकल डायग्नोस्टिक स्कोर मल्टीमॉडल फ्यूजन को मजबूत करने के लिए एक्शनल सिग्नल के रूप में काम कर सकते हैं, जो पूर्ण मॉडल रिट्रेनिंग के बिना रीजनिंग और ग्राउंडिंग में सुधार करने का मार्ग प्रश経過 प्रदान करते हैं।

लेखक विनम्र रहते हुए नोट करते हैं कि उनका रीवेटिंग दृष्टिकोण एक प्रूफ-ऑफ-कॉन्सेप्ट है, और PID सांख्यिकीय निर्भरता को मापता है न कि कारण संबंधी तंत्र (causal mechanisms) को। वे डिस्क्रीट डिसीजन स्पेस (मल्टीपल-चॉइस) और मास्किंग के माध्यम से यूनिमोडल कंडिशनल्स के अनुमान के संबंध में सीमाओं को स्वीकार करते हैं।