Technische Samenvatting: Naar begrip van modaliteitsinteractie in multimodale taalmodellen via partiële informatie-decompositie

1. Probleemstelling

Multimodale Large Language Models (MLLM's) worden steeds vaker ingezet als besluitvormende agenten in wetenschappelijke, medische en belichaamde contexten. De huidige evaluatieparadigma's beoordelen echter primair de uitkomstnauwkeurigheid, wat beperkt inzicht biedt in hoe modellen sensorische (visuele, audio) en linguïstische inputs gebruiken om tot die beslissingen te komen. Bestaande interpreteerbaarheidsmethoden—zoals representatie-alignement, aandacht-analyse en modaliteits-ablatie—onthullen hoe modaliteiten worden gecodeerd of hoe voorspellingen verschuiven onder perturbaties. Ze falen echter in het bieden van een besluit-niveau decompositie van modaliteitsgebruik. Specifiek kunnen ze niet onderscheiden of een modaliteit informatie bijdraagt die uniek is, redundant met een andere modaliteit, of synergetisch (alleen beschikbaar door gezamenlijke observatie). Bijgevolg worden verschillende vormen van multimodale interactie vaak verward onder dezelfde nauwkeurigheids- of ablatiesignalen.

2. Methodologie

De auteurs formaliseren multimodale redenering als een informatie-decompositieprobleem op besluit-niveau met behulp van Partial Information Decomposition (PID).

2.1. Besluit-niveau PID-framework

In tegenstelling tot eerder werk dat latente representaties analyseert, berekent dit framework informatiemetrieken over model-geïnduceerde voorspellende distributies.

• Bi-modale formulering: Voor visuele-taalmodellen wordt de wederzijdse informatie tussen de voorspelling $Y$ en de inputs (Visie $X_v$, Tekst $X_t$) gedecomposeerd in vier niet-negatieve componenten:
  • $U_{vis}$: Informatie uniek voor visie.
  • $U_{txt}$: Informatie uniek voor tekst.
  • $R_{vl}$: Redundante informatie gedeeld door beide.
  • $S_{vl}$: Synergetische informatie die alleen voortkomt uit gezamenlijke observatie.
• Sensory PID (Tri-modaal): Voor omni-modale modellen (Video $V$, Audio $A$, Tekst $T$) introduceren de auteurs een conditionele formulering die taal behandelt als een directief controlesignaal. Dit decomposeert de sensorische informatie-winst $I(Y; V, A | T)$ in unieke visuele ($U_{vis}$), unieke audio ($U_{aud}$), redundante sensorische ($R_{sens}$), en sensorische synergie ($S_{av}$) componenten. Dit voorkomt combinatorische expansie terwijl het functionele onderscheid tussen taakspecificatie (taal) en sensorisch bewijs behouden blijft.

2.2. Estimatie-pipeline

Om PID te schatten van hoog-dimensionale continue verborgen toestanden zonder de MLLM opnieuw te trainen, gebruiken de auteurs:

1. Gecalibreerde Embedding Masking: Om unimodale conditionalen (bijv. $P(Y|X_v)$) te benaderen, vervangen ze de gemaskeerde modaliteit-token embeddings met gekalibreerde Gaussische ruis, waarbij de distributionele statistieken behouden blijven terwijl de instantie-specifieke informatie wordt verwijderd.
2. BATCH Estimator: Ze maken gebruik van de BATCH-estimator (Liang et al., 2023) om een Sinkhorn-genormaliseerde koppeling $\tilde{Q}$ te leren die bron-doel marginalen behoudt, wat de tractabele optimalisatie van de PID-termen over continue variabelen mogelijk maakt.
3. Lokale Diagnostische Scores: Het framework breidt zich uit naar per-sample additieve bijdragen, wat de identificatie van "synergie-gat" samples (hoog fusiepotentieel, lage huidige synergie) en "shortcut" samples (sterke afhankelijkheid van tekst-unieke informatie) mogelijk maakt.

3. Belangrijkste Bijdragen

1. Besluit-niveau PID voor MLLM's: Een formalisering van modaliteitsinteractie als een informatie-decompositieprobleem, waarbij unieke, redundante en synergetische bijdragen worden gescheiden die niet identificeerbaar zijn via representatiegelijkenis of ablatie alleen.
2. Sensory PID voor Omni-modale Modellen: Een conditionele PID-formulering die taal als een controlesignaal behandelt om video-audio informatie-winst te deconstrueren, wat een principiële analyse van tri-modale besluitvorming mogelijk maakt.
3. Diagnostische, Voorspellende en Actiegerichte Bevindingen:
   • Modaliteitsgebruik-profielen: Identificatie van terugkerende patronen waarbij redeneer-/grondings-taken hoge synergie oproepen, terwijl expert-/kennis-taken een sterke tekst-unieke afhankelijkheid vertonen.
   • Voorspellende Validiteit: PID-termen voorspellen de gevoeligheid voor modaliteits-niveau interventies (bijv. verwijdering van afbeeldingen).
   • Sensorische Synergie Bottleneck: Ontdekking dat omni-modale modellen gedomineerd blijven door visuele informatie, zelfs bij taken die expliciet audio-visuele fusie vereisen.
   • Laag-gewijze Dynamiek: Bewijs dat cross-modale fusie een laat-stadium fenomeen is, waarbij synergie voornamelijk ontstaat in de laatste lagen van het netwerk.
4. PID-gestuurde Herweging: Een proof-of-concept trainingsstrategie die lokale diagnostische scores gebruikt om samples te herwegen tijdens LoRA fine-tuning, waarbij samples met minder synergie worden opgegewogen en "language-shortcut" samples worden afgezwakt.

4. Experimentele Resultaten

4.1. Visie-Taal Analyse

Over 20 modellen en 6 benchmarks heen, onthulde PID twee onderscheidende regimes:

• Synergie-Dominant: Benchmarks zoals MMBench, MMStar en POPE (grounding) vertonen een hoge $S_{vl}$ en een sterke afhankelijkheid van visuele input.
• Tekst-Prior Dominant: Benchmarks zoals MMMU, PMC-VQA en Reefknot vertonen een hoge $U_{txt}$ en zijn grotendeels ongevoelig voor visuele verwijdering.
• Modelfamilies: Qwen, InternVL3 en LLaVA-OV families neigen naar joint-modality-reliance, terwijl Gemma3 en Cambrian taal-prior-reliant zijn. Schaling versterkt deze bestaande profielen eerder dan ze uit te wissen.
• Voorspelling: $S_{vl}$ correleert sterk met nauwkeurigheid en visuele-verwijderingsgevoeligheid op synergie-gedreven taken ($\rho \geq 0.798$), terwijl $U_{txt}$ meer informatief is op prior-dominante taken.

4.2. Omni-modale Analyse

Op de MUSIC-AVQA benchmark (specifiek de AV-Fusion subset):

• Sensorische Synergie Bottleneck: Ondanks taken die ontworpen zijn voor gezamenlijk redeneren, blijft $S_{av}$ een minder belangrijke component. Beslissingen worden gedomineerd door unimodale informatie, met name visuele informatie ($U_{vis} > U_{aud}$).
• Visuele Hegemonie: Functionele validatie via sample shuffling bevestigde dat modellen grotere prestatieverliezen lijden onder visuele misalignment dan audio misalignment.
• Instruction Gating: Laag-gewijze analyse toonde aan dat taalprompts fungeren als controlesignalen; het verzwakken van fusie-veeleisende instructies vermindert de late-layer sensorische synergie aanzienlijk.

4.3. PID-gestuurde Herweging

Het toepassen van PID-afgeleide lokale scores op LoRA fine-tuning op Qwen2.5-VL-7B:

• Prestatiewinst: PID-gestuurde herweging verbeterde de redeneer- en grounding-prestaties (bijv. +2.3 op MMStar, +1.3 op POPE) vergeleken met uniforme fine-tuning en baselines (random, nauwkeurigheid-gebaseerd, ablatie-gebaseerd).
• Profielverschuiving: Post-tuning diagnostiek toonde een verschuiving aan naar hogere synergie ($S_{vl}$ aandeel steeg van 67.5% naar 73.9%) en lagere tekst-unieke afhankelijkheid, wat de bekwaamheid van de methode bevestigt om modelgedrag te sturen.

5. Betekenis en Claims

Het artikel positioneert PID niet louter als een post-hoc interpreteerbaarheidstool, maar als een praktisch signaal voor het diagnosticeren en sturen van multimodale fusie.

• Voorbij Nauwkeurigheid: De auteurs claimen dat totale wederzijdse informatie de algehele prestaties volgt, maar faalt in het vastleggen van interventie-gevoeligheid; PID-decompositie is noodzakelijk om te begrijpen hoe informatie wordt gebruikt.
• Mechanistisch Inzicht: De bevindingen suggereren dat huidige omni-modale modellen lijden onder een "visueel-eerst" computatiepatroon waarbij cross-sensorische integratie vertraagd en gegateerd wordt door taalinstructies, in plaats van een persistent kenmerk te zijn van intermediaire representaties.
• Actiegerichtheid: De studie levert initieel bewijs dat lokale diagnostische scores kunnen dienen als actiegerichte signalen om multimodale fusie te versterken, wat een pad biedt om redeneren en grounding te verbeteren zonder volledige model hertraining.

De auteurs blijven bescheiden en merken op dat hun herwegingsmethode een proof-of-concept is en dat PID statistische afhankelijkheid meet en geen causale mechanismen. Ze erkennen beperkingen met betrekking tot de discrete beslissingsruimte (multiple-choice) en de benadering van unimodale conditionalen via masking.