A Comprehensive Information-Decomposition Analysis of Large Vision-Language Models

Probleemstelling

Grote Visueel-Taalmodellen (LVLMs) presteren indrukwekkend op multimodale taken, maar hun interne besluitvormingsprocessen blijven een "black box". Bestaande evaluatiemethoden, zoals nauwkeurigheid (accuracy), geven alleen het eindresultaat weer, maar niet hoe het model tot dat resultaat komt. Het is onduidelijk of succes voortkomt uit echte multimodale fusie (synergie tussen beeld en tekst) of uit de afhankelijkheid van unimodale prioren (voornamelijk taalkennis). Bestaande interpretatietechnieken zijn vaak te microscopisch (analyseren slechts één modality) of ontberen een stevige theoretische basis. Er is een gebrek aan kwantitatieve tools om de interne strategieën van LVLMs te ontleden.

Methodologie

De auteurs introduceren een nieuw raamwerk gebaseerd op Partial Information Decomposition (PID) om de "informatiespectrum" van LVLMs kwantitatief te meten.

1. Theoretisch Kader (PID):
   In plaats van alleen wederzijdse informatie te meten, decomposeert PID de informatie die de invoer (visie $X_1$ en taal $X_2$) biedt over de output ($Y$) in vier niet-negatieve componenten:

   • Redundantie ($R$): Informatie die zowel door visie als taal wordt gedeeld.
   • Unieke Visie ($U_1$): Informatie die alleen uit visie komt.
   • Unieke Taal ($U_2$): Informatie die alleen uit taal komt (taalkennis/prioren).
   • Synergie ($S$): Nieuwe informatie die alleen ontstaat door de combinatie van visie en taal (echte fusie).

2. Schalbaar Schattingsraamwerk:

   • De auteurs passen de BATCH-schatter (Liang et al., 2023) aan voor moderne LVLM-embeddings.
   • Pipeline: Voor multiple-choice visuele vraag-antwoordtaken (MC-VQA) worden drie conditionele verdelingen gegenereerd: $P(Y|X_1, X_2)$ (multimodaal), $P(Y|X_1)$ (alleen visie) en $P(Y|X_2)$ (alleen taal).
   • Unimodal Conditioning: Om $P(Y|X_1)$ en $P(Y|X_2)$ te schatten, wordt de andere modality gemaskeerd door vervanging met "gekalibreerd ruis" (noise) op het embedding-niveau, zodat de schaal binnen de verdeling blijft.
   • Zachte Aggregatie: Om artefacten te voorkomen bij het schatten van de marginale verdeling $P(Y)$, gebruiken ze een zachte aggregatie van de voorspellingsverdelingen in plaats van harde argmax-keuzes.

3. Experimenteel Ontwerp:
   De analyse wordt uitgevoerd langs drie dimensies:

   • Breedte: Vergelijking van 26 modellen (11 families, 0.5B tot 90B parameters) op 4 datasets (MMBench, POPE, Reefknot, PMC-VQA).
   • Diepte: Laag-voor-laag analyse (via "logit lens") om te zien waar in het neurale netwerk de informatie ontstaat.
   • Tijd: Analyse van het leerproces door checkpoints te bekijken tijdens de twee trainingsfasen (visueel-taal alignement en visuele instructie-tuning).

Belangrijkste Bijdragen en Resultaten

1. Twee Takenregimes (Synergie vs. Kennis)
De analyse onthult dat datasets LVLMs dwingen tot twee verschillende informatiegebruiksregimes:

• Synergie-gedreven (bijv. MMBench, POPE): Prestaties hangen sterk samen met de synergie-component ($S$). Modellen die visie en tekst effectief combineren, presteren beter. Hier is de correlatie tussen $S$ en nauwkeurigheid zeer sterk ($\rho \approx 0.75$).
• Kennis-gedreven (bijv. Reefknot, PMC-VQA): Prestaties worden voornamelijk bepaald door unieke taalinformatie ($U_2$). Synergie is hier beperkt; zelfs met fusie kunnen modellen de ontbrekende domeinspecifieke kennis niet compenseren.

2. Twee Familie-Strategieën (Fusie vs. Taal)
Modelfamilies tonen stabiele, contrastrijke strategieën die over verschillende taken heen consistent blijven:

• Fusie-centric (bijv. InternVL, Qwen2.5-VL): Deze families vertrouwen sterk op synergie ($S$) en tonen een hogere afhankelijkheid van visuele input.
• Taal-centric (bijv. Gemma3, Cambrian): Deze families vertrouwen meer op unieke taalkennis ($U_2$) en tonen minder synergie.
• Scaling Effect: Bij fusie-gedreven taken leidt schaling (grotere modellen) vaak tot een toename van synergie ($S$), niet noodzakelijk tot meer taalkennis ($U_2$).

3. Dynamiek in de Netwerklagen
Er is een consistent drie-fasenpatroon geobserveerd in de laag-voor-laag verwerking:

1. Vroege lagen: Informatie is beperkt.
2. Midden- tot late lagen: Taalunieke informatie ($U_2$) bouwt zich op (representatievorming).
3. Laatste laag: Een scherpe piek in synergie ($S$) en een daling in $U_2$, wat wijst op een definitieve fusie van modaliteiten vlak voor de output.

4. Leer-Dynamiek van Fusie
De analyse van het trainingsproces van LLaVA-1.5 toont aan dat:

• Tijdens de alignement pre-training (Stadium 1) is synergie ($S$) verwaarloosbaar.
• Tijdens de visuele instructie-tuning (Stadium 2) neemt $S$ drastisch toe. Dit is het cruciale stadium waar multimodale fusie wordt "ontgrendeld".
• Grotere modellen (13B) vertonen tijdens deze fase een sterkere groei in taalkennis ($U_2$), terwijl kleinere modellen (7B) meer winst halen uit synergie ($S$).

Significantie en Impact

• Beyond Accuracy: Dit werk biedt een kwantitatief lens om LVLMs te evalueren die verder gaat dan alleen nauwkeurigheid. Het onthult hoe een model een antwoord vindt, niet alleen of het correct is.
• Diagnostisch Gereedschap: Het PID-raamwerk kan dienen als een diagnostisch signaal tijdens het ontwerpen en trainen van modellen. Ontwikkelaars kunnen nu meten of hun model echt fuseert of slechts op prioren leunt.
• Toekomstige Richtingen: De auteurs suggereren dat PID-metrics kunnen worden gebruikt als auxiliary objectives om balans te vinden tussen fusie en taalkennis, en om benchmarks te creëren die specifiek synergie testen.
• Open Science: De code en data zijn openbaar beschikbaar, wat reproduceerbaarheid en verdere onderzoek in interpretability van multimodale modellen stimuleert.

Samenvattend biedt dit paper het eerste systematische, information-theoretische inzicht in de interne werking van LVLMs, waarbij het onderscheid maakt tussen echte multimodale intelligentie en het benutten van taalkennis.