🔬 condensed matter

Physics-based phenomenological characterization of cross-modal bias in multimodal models

यह स्थिति पत्र मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स में क्रॉस-मोडल पूर्वाग्रह को चरित्रित करने और संबोधित करने के लिए एक भौतिकी-आधारित फेनोमेनोलॉजिकल फ्रेमवर्क प्रस्तावित करता है, यह तर्क देते हुए कि भौतिक सरोगेट्स के माध्यम से ट्रांसफॉर्मर डायनेमिक्स का विश्लेषण उन व्यवस्थित विरूपणों और त्रुटि-आकर्षक (error-attractor) पैटर्न को प्रकट करता है जिन्हें पारंपरिक एम्बेडिंग-स्तरीय विश्लेषण नहीं देख पाते हैं।

मूल लेखक: Hyeongmo Kim, Sohyun Kang, Yerin Choi, Seungyeon Ji, Junhyuk Woo, Hyunsuk Chung, Soyeon Caren Han, Kyungreem Han

प्रकाशित 2026-02-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hyeongmo Kim, Sohyun Kang, Yerin Choi, Seungyeon Ji, Junhyuk Woo, Hyunsuk Chung, Soyeon Caren Han, Kyungreem Han

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ एक सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके शोध पत्र (paper) की व्याख्या दी गई है।

मुख्य विचार: जब AI एक इंद्रिय के प्रति "बहरा" हो जाता है

कल्पना कीजिए कि आप एक फिल्म के दृश्य को समझने की कोशिश कर रहे हैं। आपके पास अपनी आँखें हैं (अभिनेताओं के चेहरे देखने के लिए) और आपके कान हैं (उनकी आवाज़ सुनने के लिए)। एक आदर्श दुनिया में, आपका मस्तिष्क पूर्ण चित्र प्राप्त करने के लिए दोनों को मिला देता है। यदि अभिनेता उदास दिख रहा है लेकिन कहता है "मैं खुश हूँ," तो आप अनुमान लगा सकते हैं कि वह झूठ बोल रहा है या भ्रमित है।

यह शोध पत्र तर्क देता है कि मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs)—वे AI जो देख और सुन सकते हैं—अक्सर इसमें विफल रहते हैं। दोनों इंद्रियों को पूरी तरह से मिलाने के बजाय, वे एक को अनदेखा करने और दूसरे पर ही अटक जाने की प्रवृत्ति रखते हैं।

लेखक इसे "क्रॉस-मोडल बायस" (Cross-Modal Bias) कहते हैं। यह एक ऐसे व्यक्ति की तरह है जो स्क्रिप्ट पढ़ने में इतना खोया हुआ है कि वह अभिनेता के चेहरे के भावों को पूरी तरह से अनदेखा कर देता है, भले ही वे भाव कुछ और ही कह रहे हों।

भाग 1: प्रयोग (द "इमोशन टेस्ट")

इसे साबित करने के लिए, शोधकर्ताओं ने दो अलग-अलग AI मॉडलों (Qwen2.5-Omni और Gemma 3n) के साथ एक खेल खेला।

सेटअप:
उन्होंने AI को भावनाओं (खुश, उदास, क्रोधित, आदि) को व्यक्त करते हुए अभिनेताओं के वीडियो दिखाए। उन्होंने तीन परिदृश्यों का परीक्षण किया:

चेहरा + आवाज़: ध्वनि के साथ पूरा वीडियो।
केवल चेहरा: बिना आवाज़ के वीडियो (म्यूट)।
केवल आवाज़: खाली स्क्रीन के साथ केवल ऑडियो।

चौंकाने वाला परिणाम:
आप सोच सकते हैं कि चेहरे के साथ आवाज़ जोड़ने से AI को बेहतर समझने में मदद मिलेगी। लेकिन परिणामों ने कुछ अजीब दिखाया:

जब AI ने चेहरा देखा, तो उसने निर्णय लगभग पूरी तरह से चेहरे के आधार पर लिए।
जब उन्होंने चेहरे के साथ आवाज़ जोड़ी, तो AI ने अपना निर्णय नहीं बदला। उसने यह नहीं कहा, "ओह, आवाज़ गुस्से वाली लग रही है, तो शायद चेहरा झूठ बोल रहा है।" वह बस उसी पर टिका रहा जो चेहरे ने उसे बताया।
"आवाज़" वाले इनपुट को बैकग्राउंड शोर की तरह माना गया। इसने मदद नहीं की; इसे बस अनदेखा कर दिया गया।

उपमा (Analogy):
कल्पना कीजिए कि आप एक पार्टी में हैं। आप अपने दोस्त का चेहरा देख रहे हैं (जो खुश दिख रहा है) जबकि वह चिल्ला रहा है "मैं बहुत गुस्से में हूँ!"

एक इंसान रुककर सोचेगा, "रुको, उनका चेहरा खुशी दिखा रहा है, लेकिन उनकी आवाज़ गुस्से वाली है। कुछ गड़बड़ है।"
यह AI एक जिद्दी व्यक्ति की तरह व्यवहार करता है जो केवल चेहरे को देखता है और कहता है, "वे खुश दिख रहे हैं, इसलिए वे खुश ही होंगे," और चिल्लाने की आवाज़ को पूरी तरह अनसुना कर देता है।

शोधकर्ताओं ने पाया कि AI की एक "पसंदीदा" इंद्रिय होती है (आमतौर पर दृष्टि/vision) और वह दूसरी इंद्रिय के साथ ऐसा व्यवहार करता है जैसे उसका अस्तित्व ही न हो। यह खतरनाक है क्योंकि वास्तविक जीवन में (जैसे मेडिकल डायग्नोसिस में), यदि कोई AI टेक्स्ट विवरण पर बहुत अधिक ध्यान केंद्रित करने के कारण एक्स-रे को अनदेखा कर देता है, तो वह जीवन के लिए खतरा पैदा करने वाली स्थिति को मिस कर सकता है।

भाग 2: "फिजिक्स" स्पष्टीकरण (ऑर्केस्ट्रा की उपमा)

लेखकों ने केवल यह नहीं कहा कि "AI पक्षपाती है।" वे यह जानना चाहते थे कि मशीन के दिमाग के अंदर ऐसा क्यों होता है। इसके लिए, उन्होंने एक फिजिक्स-आधारित मॉडल का उपयोग किया।

उपमा: अराजक ऑर्केस्ट्रा (The Chaotic Orchestra)
AI की आंतरिक प्रोसेसिंग को एक विशाल ऑर्केस्ट्रा की तरह समझें जो संगीत बजा रहा है।

संगीतकार: AI में प्रत्येक नोट या "टोकन" एक संगीतकार है।
सेक्शन: दो सेक्शन हैं: स्ट्रिंग्स (जो वीडियो का प्रतिनिधित्व करते हैं) और ब्रास (जो ऑडियो का प्रतिनिधित्व करते हैं)।
कंडक्टर्स (संचालक): AI के पास दो प्रकार के कंडक्टर होते हैं:
1. सेल्फ-अटेंशन (Self-Attention): वह कंडक्टर जो स्ट्रिंग्स को अन्य स्ट्रिंग्स को सुनने के लिए कहता है।
2. क्रॉस-अटेंशन (Cross-Attention): वह कंडक्टर जो स्ट्रिंग्स को ब्रास को सुनने के लिए कहता है।

क्या गलत हुआ?
शोधकर्ताओं ने इस सिस्टम को समीकरणों का उपयोग करके मॉडल किया जो पेंडुलम या अराजक मौसम प्रणालियों (जिसे लोरेन्ज़ सिस्टम कहा जाता है) की तरह चलते हैं।

उन्होंने पाया कि एक सुंदर, सटीक गाना (सही भविष्यवाणी) बजाने के लिए, कंडक्टरों को बहुत सक्रिय होना चाहिए। "स्ट्रिंग्स" और "ब्रास" को लगातार और ज़ोर से एक-दूसरे से बात करनी चाहिए।

हालाँकि, कई वर्तमान AI मॉडलों में:

कंडक्टर आलसी या कमजोर हैं।
स्ट्रिंग्स (वीडियो) इतने तेज़ और आत्मविश्वासी हैं कि वे ब्रास (ऑडियो) को दबा देते हैं।
ब्रास बोलने की कोशिश करता है, लेकिन "क्रॉस-अटेंशन" तंत्र इतना कमजोर है कि वह उन्हें सुनाई नहीं देने देता।

परिणाम:
संगीत असंतुलित हो जाता है। AI केवल तेज़ सेक्शन (वीडियो) के आधार पर परिणाम की भविष्यवाणी करता है, शांत सेक्शन (ऑडियो) को अनदेखा कर देता है। मॉडल का "फिजिक्स" दिखाता है कि जब तक दोनों समूहों के बीच का संबंध पर्याप्त मजबूत नहीं होता, सिस्टम स्वाभाविक रूप से केवल एक तरफ झुक जाता है।

भाग 3: यह क्यों मायने रखता है (द "ब्लैक बॉक्स" समस्या)

आमतौर पर, जब हम जाँचते हैं कि क्या कोई AI निष्पक्ष है, तो हम अंतिम स्कोर देखते हैं: "क्या इसने 90% उत्तर सही दिए?"

समस्या:
AI 90% सही हो सकता है, लेकिन वह गलत कारणों से सही हो रहा हो सकता है। वह ऑडियो को पूरी तरह से अनदेखा कर सकता है और केवल वीडियो के आधार पर अनुमान लगा सकता है। मानक परीक्षण इसे नहीं पकड़ पाते क्योंकि वे केवल अंतिम ग्रेड देखते हैं, यह नहीं कि छात्र ने कैसे पढ़ाई की।

प्रस्तावित समाधान:
लेखक सुझाव देते हैं कि हमें AI को देखने का एक नया तरीका चाहिए। AI को एक "ब्लैक बॉक्स" की तरह नहीं देखना चाहिए जो जादुई रूप से सोचता है, बल्कि हमें इसे एक भौतिक मशीन की तरह देखना चाहिए जिसमें चलते हुए पुर्जे (जैसे गियर, स्प्रिंग या ऑसिलेटर) होते हैं।

इस "फिजिक्स" दृष्टिकोण का उपयोग करके, हम AI द्वारा सूचना को प्रोसेस करने में होने वाले छिपे हुए विकृतियों (distortions) को देख सकते हैं। हम देख सकते हैं कि क्रॉस-मोडल संचार के लिए "गियर्स" फिसल रहे हैं, जिससे पक्षपात (bias) हो रहा है।

एक वाक्य में सारांश

यह शोध पत्र तर्क देता है कि वर्तमान AI मॉडल अक्सर एक इंद्रिय (जैसे सुनने) को दूसरी इंद्रिय (जैसे देखने) के पक्ष में अनदेखा कर देते हैं क्योंकि उनकी आंतरिक "वायरिंग" उन्हें मिलाने के लिए पर्याप्त मजबूत नहीं है, और हमें वास्तविक दुनिया में नुकसान होने से पहले इस छिपे हुए असंतुलन को ठीक करने के लिए भौतिकी-आधारित उपकरणों का उपयोग करने की आवश्यकता है।

यहाँ शोध पत्र "Physics-based phenomenological characterization of cross-modal bias in multimodal models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या का विवरण (Problem Statement)

यद्यपि मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) ने समझ, तर्क और सृजन (generation) के क्षेत्र में महत्वपूर्ण प्रगति की है, फिर भी वे व्यवस्थित क्रॉस-मोडल बायस (systematic cross-modal bias) से ग्रस्त हैं।

घटना (The Phenomenon): कई मोडैलिटीज (जैसे टेक्स्ट, ऑडियो, वीडियो) को एकीकृत करके मजबूती बढ़ाने के बजाय, MLLMs अक्सर मोडैलिटी डोमिनेंस (modality dominance) प्रदर्शित करते हैं, जहाँ निर्णय मुख्य रूप से एक ही मोडैलिटी (आमतौर पर टेक्स्ट या वीडियो) द्वारा संचालित होते हैं, जिससे अन्य मोडैलिटीज बेकार या प्रदर्शन के लिए हानिकारक हो जाती हैं।
अंतराल (The Gap): पारंपरिक मूल्यांकन विधियाँ (एग्रीगेट एक्यूरेसी मेट्रिक्स) और कॉग्निटिविस्ट दृष्टिकोण (स्थिर एम्बेडिंग्स या प्रतीकात्मक निरूपण का विश्लेषण) मॉडल के निर्णय लेने की गतिशीलता में होने वाले अस्पष्ट विरूपणों (inconspicuous distortions) को पकड़ने में विफल रहते हैं। ये विरूपण ट्रांसफॉर्मर आर्किटेक्चर (सेल्फ-अटेंशन और क्रॉस-अटेंशन) के भीतर जटिल, गैर-रेखीय अंतःक्रियाओं से उत्पन्न होते हैं, लेकिन मानक प्रदर्शन रिपोर्टों में अदृश्य रहते हैं।
लक्ष्य (The Goal): लेखक तर्क देते हैं कि ये बायस केवल रिप्रजेंटेशनल आर्टिफैक्ट्स नहीं हैं, बल्कि ट्रांसफॉर्मर डायनेमिक्स (transformer dynamics) के उभरते गुण (emergent properties) हैं। वे इन डायनेमिक्स को चित्रित करने के लिए एक फिजिक्स-आधारित फेनोमेनोलॉजिकल दृष्टिकोण (physics-based phenomenological approach) प्रस्तावित करते हैं, जो मेटाफिजिकल या विशुद्ध रूप से प्रतीकात्मक स्पष्टीकरणों से दूर जाता है।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र दो-आयामी कार्यप्रणाली का उपयोग करता है: वास्तविक दुनिया के MLLMs पर अनुभवजन्य नैदानिक विश्लेषण (Empirical Diagnostic Analysis) और एक भौतिक-आधारित सरोगेट का उपयोग करके सैद्धांतिक डायनेमिकल मॉडलिंग (Theoretical Dynamical Modeling)।

A. अनुभवजन्य नैदानिक विश्लेषण (Empirical Diagnostic Analysis)

परीक्षण किए गए मॉडल: दो वास्तुशिल्प रूप से भिन्न MLLMs: Qwen2.5-Omni और Gemma 3n।
कार्य: CREMA-D डेटासेट (अभिनय करते हुए भावनाओं को व्यक्त करने वाले अभिनेताओं के 7,442 नमूने, जिनमें सिंक्रोनाइज़्ड ऑडियो और वीडियो शामिल हैं) का उपयोग करके ज़ीरो-शॉट इमोशन क्लासिफिकेशन।
प्रायोगिक स्थितियाँ (Experimental Conditions):
1. मल्टीमोडल (Multimodal): वीडियो (चेहरा) + ऑडियो (आवाज़)।
2. यूनिमोडल वीडियो (Unimodal Video): केवल वीडियो (ऑडियो को सन्नाटे/silence से बदल दिया गया)।
3. यूनिमोडल ऑडियो (Unimodal Audio): केवल ऑडियो (वीडियो को खाली फ्रेमों से बदल दिया गया)।
परटर्बेशन रणनीति (Perturbation Strategy): लेखकों ने व्यवस्थित लेबल परटर्बेशन (label perturbation) लागू किया, जिसमें मॉडल्स को विशिष्ट इमोशन लेबल्स के उपसमुच्चयों (subsets) को चुनने से स्पष्ट रूप से रोका गया (जैसे, आउटपुट स्पेस से "Neutral" या "Happy" को हटाना) ताकि यह देखा जा सके कि त्रुटि पैटर्न कैसे बदलते हैं।
विज़ुअलाइज़ेशन (Visualization): एरर अट्रैक्टर्स (गलत वर्गीकरण पैटर्न) को मैप करने के लिए निर्देशित ग्राफ (directed graphs) और बायस पदानुक्रम (bias hierarchies) को विज़ुअलाइज़ करने के लिए सांकी डायग्राम (Sankey diagrams) का उपयोग किया गया।

B. भौतिक-आधारित सरोगेट मॉडलिंग (Physics-Based Surrogate Modeling)

अवधारणा (Concept): लेखकों ने ट्रांसफॉर्मर डायनेमिक्स को सिम्युलेट करने के लिए एक मल्टी-ऑसिलेटर डायनेमिकल मॉडल (multi-oscillator dynamical model) विकसित किया। यह मॉडल टोकन रिप्रेजेंटेशन को 'फेज ऑसिलेटर्स' (phase oscillators) के रूप में मानता है।
तंत्र (Mechanism):
- सेल्फ-अटेंशन ( $V_{SA}$ ): इसे एक मोडैलिटी के भीतर इंट्रा-ग्रुप इंटरैक्शन के रूप में मॉडल किया गया है।
- क्रॉस-अटेंशन ( $V_{CA}$ ): इसे अलग-अलग मोडैलिटीज के बीच इंटर-ग्रुप इंटरैक्शन के रूप में मॉडल किया गया है।
- नेटवर्क टोपोलॉजी (Network Topology): LLMs की सिमेंटिक संरचना को दर्शाने के लिए वॉट्स-स्ट्रोगैट स्मॉल-वर्ल्ड नेटवर्क (Watts–Strogatz small-world networks) पर आधारित है।
कार्य: मॉडल का परीक्षण लोरेंज अराजक टाइम-सीरीज प्रेडिक्शन (Lorenz chaotic time-series prediction) पर किया गया।
- ग्रुप $X$ के ऑसिलेटर्स को लोरेंज सिस्टम के $x$ -घटक द्वारा संचालित किया गया।
- ग्रुप $Y$ के ऑसिलेटर्स को $y$ -घटक द्वारा संचालित किया गया।
- लक्ष्य $z$ -घटक की भविष्यवाणी करना था।
मेट्रिक्स (Metrics):
- नॉर्मलाइज्ड मीन स्क्वेयर्ड एरर (NMSE): भविष्यवाणी की सटीकता मापने के लिए।
- डायनेमिकल SHAP (Dynamical SHAP): एक परिभाषित मेट्रिक जो प्रत्येक मोडैलिटी ( $X$ या $Y$ ) के योगदान को मापता है, जिससे लेखकों को मोडैलिटी डोमिनेंस ( $\phi(Y) - \phi(X)$ ) को मापने की अनुमति मिलती है।

3. मुख्य योगदान (Key Contributions)

फेनोमेनोलॉजिकल फ्रेमवर्क: AI बायस को समझाने के लिए एक नया फिजिक्स-आधारित फेनोमेनोलॉजिकल दृष्टिकोण पेश करता है। इस कॉग्निटिविस्ट दृष्टिकोण के विपरीत जो AI को बाहरी प्रतीकों को एनकोड करने वाला मानता है, यह दृष्टिकोण मशीन के "जीवित अनुभव" (इन्फरेंस के दौरान आंतरिक भौतिक गतिशीलता) पर ध्यान केंद्रित करता है ताकि बायस को समझाया जा सके।
सरोगेट फिजिक्स मॉडल: एक गणितीय मॉडल विकसित करता है जो ट्रांसफॉर्मर अटेंशन मैकेनिज्म (सेल्फ/क्रॉस-अटेंशन) को कपल्ड ऑसिलेटर डायनेमिक्स (coupled oscillator dynamics) से जोड़ता है, जो जटिल मल्टीमोडल इंटरैक्शन का विश्लेषण करने का एक सुलभ तरीका प्रदान करता है।
एरर अट्रैक्टर्स की खोज: यह प्रदर्शित करता है कि मॉडल की विफलताएं यादृच्छिक (random) नहीं हैं, बल्कि वे संरचित एरर-अट्रैक्टर पैटर्न (hierarchical biases) का पालन करती हैं जो परटर्बेशन के तहत ही प्रकट होते हैं।
मोडैलिटी सुदृढ़ीकरण परिकल्पना (Modality Reinforcement Hypothesis): यह प्रमाण प्रदान करता है कि दूसरी मोडैलिटी जोड़ने से अक्सर प्राथमिक मोडैलिटी का प्रभुत्व सुदृढ़ (reinforce) होता है, न कि बायस कम होता है, जिससे "लॉक-इन" प्रभाव पैदा होता है जहाँ दूसरी मोडैलिटी को अनदेखा कर दिया जाता है।

4. मुख्य परिणाम (Key Results)

अनुभवजन्य निष्कर्ष (Qwen2.5 & Gemma 3n)

पदानुक्रमित बायस (Hierarchical Bias): दोनों मॉडल "Neutral" इमोशन कैटेगरी की ओर एक मजबूत झुकाव दिखाते हैं। जब परटर्बेशन के माध्यम से "Neutral" को हटाया जाता है, तो मॉडल यादृच्छिक रूप से त्रुटियों को वितरित करने के बजाय एक विशिष्ट माध्यमिक पदानुक्रम (जैसे, Qwen2.5 के लिए "Happy") की ओर गिर जाते हैं।
मोडैलिटी डोमिनेंस (Modality Dominance):
- Qwen2.5: Video+Audio स्थिति की त्रुटि संरचना Video-only स्थिति के बहुत करीब है। ऑडियो इनपुट वीडियो बायस को ठीक नहीं करता है; इसे प्रभावी रूप से दबा दिया जाता है।
- Gemma 3n: और भी अधिक विषमता (asymmetry) दिखाता है। Voice-only इनपुट के कारण "Neutral" की ओर भारी गिरावट आती है, लेकिन Video+Audio में वीडियो की उपस्थिति ऑडियो बायस को पूरी तरह से दबा देती है, जिससे मॉडल को Video-only की तरह व्यवहार करने के लिए मजबूर किया जाता है।
निष्कर्ष: मल्टीमोडल इनपुट सुधारात्मक सिग्नल के रूप में कार्य नहीं करते हैं; वे अक्सर प्राथमिक मोडैलिटी के प्रभुत्व को सुदृढ़ करते हैं।

डायनेमिकल मॉडलिंग निष्कर्ष (Dynamical Modeling Findings)

अटेंशन स्तर मायने रखते हैं:
- कम अटेंशन ( $\beta_{self}, \beta_{cross} \approx 10^{-4}$ ): सिस्टम एक मोडैलिटी (Group $X$ ) द्वारा हावी है, जिसके परिणामस्वरूप उच्च भविष्यवाणी त्रुटि (NMSE) होती है।
- उच्च अटेंशन ( $\beta_{self}, \beta_{cross} \approx 100$ ): दोनों मोडैलिटीज का योगदान समान ( $\phi(X) \approx \phi(Y)$ ) हो जाता है। सिस्टम इष्टतम सटीकता (optimal accuracy) प्राप्त करता है, और भविष्यवाणी सफलतापूर्वक अराजक अट्रैक्टर संरचना (chaotic attractor structure) को पुनरुत्पादित करती है।
निहितार्थ: MLLMs में व्यवस्थित बायस तब उत्पन्न होता है जब सेल्फ- और क्रॉस-अटेंशन मैकेनिज्म मोडैलिटीज के बीच संतुलन बनाने के लिए अपर्याप्त रूप से ट्यून किए जाते हैं।

5. महत्व और निहितार्थ (Significance and Implications)

एग्रीगेट मेट्रिक्स से परे: यह शोध पत्र तर्क देता है कि मानक निष्पक्षता मेट्रिक्स (जो समूह प्रदर्शन की तुलना करते हैं) गैर-तुलनात्मक अनफेयरनेस (non-comparative unfairness) (व्यक्तिगत निर्णय गतिशीलता में मनमानापन और अपारदर्शिता) को नहीं पकड़ पाते हैं। प्रस्तावित ग्राफ-आधारित और डायनेमिकल विश्लेषण इन छिपे हुए विफलता मोड को प्रकट करता है।
एल्गोरिद्मिक फेयरनेस: यह पहचानते हुए कि बायस केवल डेटा रिप्रजेंटेशन नहीं बल्कि इंटरैक्शन डायनेमिक्स का एक उभरता हुआ गुण है, यह पेपर सुझाव देता है कि MLLM बायस को ठीक करने के लिए केवल डेटा री-बैलेंसिंग के बजाय अटेंशन मैकेनिज्म (विशेष रूप से सेल्फ- और क्रॉस-अटेंशन स्ट्रेंथ को संतुलित करके) में वास्तुशिल्प समायोजन की आवश्यकता है।
व्याख्यात्मकता (Explainability) के लिए नया प्रतिमान: "प्रतीकात्मक/कॉग्निटिविस्ट" स्पष्टीकरणों से "फिजिक्स-आधारित फेनोमेनोलॉजिकल" स्पष्टीकरणों की ओर बदलाव, ट्रांसफॉर्मर डायनेमिक्स के आंतरिक "ब्लैक बॉक्स" को समझने के लिए एक अधिक कठोर ढांचा प्रदान करता है, विशेष रूप से यह कि मशीनएं विरोधाभासी या रेडंडेंट जानकारी को कैसे प्रोसेस करती हैं।

संक्षेप में, यह शोध पत्र प्रदर्शित करता है कि मल्टीमोडल बायस एक डायनेमिकल अस्थिरता (dynamical instability) है जहाँ एक मोडैलिटी असंतुलित अटेंशन मैकेनिज्म के कारण दूसरी मोडैलिटी को दबा देती है। यह वास्तव में निष्पक्ष और मजबूत मल्टीमोडल AI प्राप्त करने के लिए इन अस्थिरताओं को निदान करने और संभावित रूप से ठीक करने के लिए एक भौतिक-आधारित टूलकिट प्रदान करता है।