Technische Samenvatting: Evaluatie en Sturing van Modaliteitspreferenties in Multi-modale LLM's

Probleemstelling

Multi-modale Large Language Models (MLLM's) hebben uitzonderlijke capaciteiten getoond in het verwerken van heterogene data (tekst, afbeeldingen, video). Echter, er blijft een kritieke kloof bestaan in het begrijpen of deze modellen een modaliteitspreferentie vertonen — een systematische neiging om één modaliteit boven een andere te verkiezen wanneer ze te maken krijgen met conflicterende multi-modale contexten. Bestaande evaluatiemethoden isoleren vaak modaliteiten (bijv. het testen van tekst-alleen versus beeld-alleen inputs) of vertrouwen op Shapley-waarden, die er niet in slagen realistische scenario's te reflecteren waarin modaliteiten samen voorkomen en potentieel conflicteren. Bovs is het onduidelijk of deze intrinsieke voorkeuren controleerbaar zijn of dat ze correleren met de prestaties bij downstream-taken.

Methodologie

1. De MC2 Benchmark

Om modaliteitspreferentie rigoureus te evalueren, introduceren de auteurs MC2 (Modality Context Conflict), een benchmark die ontworpen is om gecontroleerde scenario's van bewijskonflict te creëren.

• Dataconstructie: De dataset bestaat uit 2.000 samples verdeeld over acht taken (bijv. tellen, attribuutherkenning, sentimentanalyse). Het is afgeleid van TDIUC en MS-COCO.
• Conflictmechanisme: Voor elke sample worden een visuele context ($c_v$) en een tekstuele context ($c_t$) geconstrueerd om tegenstrijdig bewijs te leveren met betrekking tot een specifieke vraag ($q$).
• Validatie: De constructiepipeline waarborgt dat modellen beide modaliteiten in isolatie accuraat kunnen begrijpen (waarbij een nauwkeurigheid van >95% wordt behaald op single-modality tests) voordat ze op het conflict worden getest. Dit elimineert verstorende factoren zoals gebrekkige visuele herkenning of interne kennisbias.
• Annotatie: Een semi-geautomatiseerd framework met behulp van LLM's (DeepSeekV3, GPT-4o-mini) genereert distractor-antwoorden en conflicterende tekst, gevolgd door menselijke verificatie om semantische inconsistentie tussen de modaliteiten te garanderen.

2. Evaluatiemetric: Vision Ratio

De auteurs definiëren de Vision Ratio om de voorkeur te kwantificeren:
$$\text{Vision Ratio} = \frac{S_{\text{vision}}}{S_{\text{vision}} + S_{\text{text}}}$$
Waarbij $S$ de proportie samples vertegenwoordigt waarbij de respons van het model overeenkomt met respectievelijk de visuele of de tekstuele context. Een ratio > 0,5 duidt op een voorkeur voor visie; < 0,5 duidt op een voorkeur voor tekst.

3. Analyse van Drijvers

De studie onderzoekt factoren die deze voorkeuren aansturen:

• Attention Patterns: De auteurs correleren de Vision Ratio met de Attention Ratio (visuele aandacht versus totale aandacht), waarbij zij vaststellen dat een ongelijke verdeling van aandacht de voorkeur drijft.
• Schaal en Training: Experimenten tonen aan dat grotere modellen over het algemeen een sterkere visuele voorkeur vertonen. Daarnaast verschuift de voorkeur door fine-tuning met multi-modale conflictdata, wat suggereert dat blootstelling aan conflicterende contexten tijdens de training deze biases beïnvloedt.

4. Representation Engineering voor Sturing

Op basis van de bevinding dat modaliteitspreferentie is gecodeerd in latente representaties, stellen de auteurs een training-vrije sturingsmethode voor:

• Probing: Het model wordt bevraagd met instructies om ofwel visie of tekst te prioriteren. Het verschil in verborgen toestanden ($x^t_{i,\ell} - x^v_{i,\ell}$) bij het laatste token over de lagen heen wordt berekend om de modality preference direction vector ($u^\ell_t$) te identificeren.
• Laalselectie: Analyse laat zien dat lagen 20–23 (in modellen zoals Qwen2.5VL) de meest stabiele en significante preferentie-signalen vertonen.
• Sturing: Tijdens inferentie wordt een geschaalde sturingsvector ($s^\ell = w \cdot u^\ell$) toegevoegd aan de verborgen toestanden in de geselecteerde laag. Het gewicht $w$ wordt berekend om het gemiddelde van de geprobeerde richting af te stemmen op de oorspronkelijke distributie, om te garanderen dat de interventie effectief is zonder de taalvaardigheden te verstoren.

Belangrijkste Resultaten

Modaliteitspreferenties in MLLM's

• Prevalentie: Alle 20 geteste MLLM's vertonen duidelijke modaliteitspreferenties.
• Tekstbias: De meeste modellen (bijv. LLaVA1.5-7B) vertonen een sterke tekstvoorkeur (Vision Ratio ~13,4%), wat aansluit bij de "language prior" hypothese.
• Visuele Voorkeur: Modellen zoals Qwen2.5VL en InternVL3 vertonen een sterkere visuele voorkeur, die toeneemt met de model schaal.
• Correlatie: Er is een sterke positieve correlatie ($\rho = 0,964$) tussen de Vision Ratio en de visuele begrijpingsprestaties op downstream-benchmarks (bijv. MathVista, TallyQA), wat suggereert dat voorkeur een betrouwbare indicator is van capaciteit.

Effectiviteit van Sturing

De voorgestelde representation engineering methode slaagt erin modellen naar een gewenste modaliteit te sturen zonder fine-tuning:

• MC2 Prestaties: De methode presteert beter dan baselines (Zero-shot, Instruction Design, Chain-of-Thought, Few-shot) bij het aanpassen van de Vision Ratio. Zo verhoogde het sturen van Qwen2.5VL-7B naar tekst de tekst-alignement score van 35,4% naar 63,6%.
• Downstream Taken:
  • Redeneren: Verbeterde nauwkeurigheid op MathVista (62,3% vs. 59,0% baseline) en TallyQA (76,6% vs. 74,4%).
  • Mitigatie van Hallucinaties: Op de PhD benchmark (specifiek de subset met misleidende tekst) verminderde het sturen naar visie de hallucinaties veroorzaakt door conflicterende tekst aanzienlijk.
  • Vertaling: Op AmbigCaps (multi-modale machinevertaling) verbeterde het sturen naar tekst de BLEU-scores door de afhankelijkheid van spookachtige visuele cues te verminderen.

Intern Mechanisme

Attention-analyse bevestigt dat de sturingsmethode succesvol de aandachtverdeling van het model verandert. Wanneer gestuurd naar tekst, neemt het aandachtsgewicht op teksttokens aanzienlijk toe (bijv. van ~55% naar ~83%) terwijl de visuele aandacht afneemt, wat valideert dat de interventie opereert op het niveau van de representatie.

Betekenis en Claims

Het artikel claimt drie primaire bijdragen:

1. Evaluatieframework: De introductie van MC2 biedt de eerste gecontroleerde, grootschalige benchmark om de modaliteitspreferentie in MLLM's systematisch te evalueren, waarbij voorkeur wordt ontkoppeld van begrijpingscapaciteiten.
2. Inzicht in de Latente Ruimte: De studie onthult dat modaliteitspreferenties stuurbaar en identificeerbaar zijn binnen de latente representaties van MLLM's, wat een nieuw perspectief biedt op multi-modale redeneermechanismen.
3. Training-vrije Controle: De voorgestelde probing en sturingsmethode maakt expliciete, controleerbare aanpassing van de modaliteitspreferentie mogelijk zonder extra data of fine-tuning. Dit verbetert de prestaties op downstream-taken waar specifieke modaliteitsafhankelijkheid cruciaal is (bijv. het vermijden van tekst-geïnduceerde hallucinaties bij visueel redeneren).

De auteurs concluderen dat het begrijpen en controleren van de modaliteitspreferentie essentieel is voor het ontwikkelen van meer betrouwbare en robuuste multi-modale systemen, met name in scenario's waar conflicterende informatie aanwezig is.