Why Multimodal In-Context Learning Lags Behind? Unveiling the Inner Mechanisms and Bottlenecks

Probleemstelling

In-context learning (ICL) stelt modellen in staat om zich aan te passen aan nieuwe taken tijdens de inferentie door gebruik te maken van een klein aantal voorbeelden (demonstraties), zonder de modelparameters bij te werken. Hoewel dit paradigma zeer succesvol is in tekstuele Large Language Models (LLMs), is de uitbreiding naar Multimodale Large Language Models (MLLMs) slecht begrepen.

De auteurs stellen vast dat er een significant prestatieverschil bestaat tussen tekst-only ICL en multimodaal ICL. Hoewel modellen in zero-shot settings vergelijkbare prestaties leveren, degradeert de prestatie van multimodale modellen aanzienlijk onder few-shot omstandigheden (met demonstraties die zowel afbeeldingen als tekst bevatten). De kernvraag is: Waarom kunnen MLLMs multimodale context niet zo effectief benutten als tekstuele context, en wat zijn de onderliggende mechanismen die deze beperking veroorzaken?

Methodologie

De auteurs hanteren een systematische, mechanistische analysebenadering om de interne werking van multimodaal ICL te ontrafelen.

1. Gestuurde Experimenten:

   • Ze hebben een gecontroleerd dataset ontworpen voor uitbijterdetectie (outlier detection).
   • Elk probleem wordt gepresenteerd in twee identieke formaten: tekst-only (alle informatie in natuurlijke taal) en multimodaal (informatie in afbeeldingen en tekst).
   • Dit zorgt voor een eerlijke vergelijking waarbij alleen de invoermodus varieert, terwijl de taakstructuur gelijk blijft.
   • Geëvalueerd op modellen zoals Qwen2.5-VL en Gemma-3.

2. Decompositie van het ICL-proces:
   De auteurs splitsen het multimodale ICL-proces op in twee fundamentele stappen:

   • Taakmapping Constructie: Het proces waarbij het model de relatie tussen vragen en antwoorden leert uit de demonstraties (bijv. "deze afbeelding heeft een kleur-uitbijter").
   • Taakmapping Transfer: Het proces waarbij de geleerde mapping wordt toegepast op de query-instantie om de uiteindelijke voorspelling te doen.

3. Interne Analyse (Layer-wise):

   • Attention Visualisatie: Analyse van de attention-weights van label-tokens (in demonstraties) naar beeld-tokens over verschillende lagen van het transformer-model.
   • Kwantificering: Meting van de attention-verdeling naar correcte, foutieve en irrelevante beeldregio's.
   • Causale Interventie: Een experiment waarbij de attention over beeld-tokens wordt vervangen door een uniforme verdeling (Uniform Attention Suppression) om te testen of visuele grounding causaal verantwoordelijk is voor de prestaties.

4. Inferentie-verbetering (MGI):
   Gebaseerd op de bevindingen stellen ze Mapping-Guided Inference (MGI) voor. Dit is een lichte interventie tijdens de inferentie die de geleerde taakmapping uit de demonstraties (geëxtraheerd uit de middenlagen) expliciet injecteert in de attention-mechanismen van de query, zodat de query-token correcte visuele bewijzen "bekijkt".

Kernbevindingen en Mechanismen

De analyse onthult twee cruciale bevindingen die de prestatiedaling verklaren:

1. Constructie is succesvol, maar Transfer faalt:

   • MLLMs zijn wel degelijk in staat om taakmappings te construeren uit multimodale demonstraties. In de middenlagen van het model zien we een duidelijke "grounding": de attention van de label-tokens in de demonstraties richt zich correct op de visuele bewijsregio's (bijv. de uitbijter in de afbeelding).
   • Dit gebeurt zelfs als de uiteindelijke voorspelling fout is. Constructie is dus niet het probleem.

2. Het Bottleneck: Perceptie-Redenering Misalignement:

   • Het probleem ontstaat bij de transfer van deze mapping naar de query.
   • Er is een temporele en modale misalignement: De taakmapping wordt in de middenlagen geconstrueerd, maar de attention van de query-token naar de demonstratie-labels en hun visuele bewijzen stijgt pas scherp in de laatste lagen.
   • Op het moment dat de query-token de beslissing neemt (laatste lagen), is de oorspronkelijke taakmapping (geconstrueerd in de middenlagen) niet langer stabiel of betrouwbaar vertegenwoordigd.
   • Gevolg: De uiteindelijke voorspelling wordt gedreven door perceptuele signalen uit de query-afbeelding zelf, in plaats van door de logische regels die uit de demonstraties zijn afgeleid. De modellagen zijn "ontkoppeld": constructie en toepassing vinden niet in dezelfde lagen plaats en kruisen elkaar niet effectief.

Resultaten

• Prestatiekloof: In few-shot settings (bijv. 4-shot) daalt de nauwkeurigheid van multimodale ICL aanzienlijk ten opzichte van tekst-only ICL (bijv. een daling van ~24% bij Qwen2.5-VL-7B).
• Foutanalyse: De fouten worden onderverdeeld in "Valse Taakherkenning" (model begrijpt de regel niet) en "Correcte Taakherkenning maar Fout Antwoord" (model begrijpt de regel maar kijkt naar het verkeerde deel van de afbeelding). Multimodale modellen vertonen veel meer van beide fouttypes.
• Causale Interventie: Wanneer de visuele grounding in de middenlagen wordt verstoord (via Uniform Attention Suppression), collapseert de prestatie van het model tot het niveau van zero-shot of lager. Dit bevestigt dat visuele grounding causaal noodzakelijk is.
• Effectiviteit van MGI: De voorgestelde Mapping-Guided Inference (MGI) methode, die de attention van de query-token forceert om te aligneren met de visuele bewijzen uit de demonstraties, leidt tot consistente verbeteringen in prestaties op verschillende datasets (TrueMICL, OK-VQA) en modelgroottes.

Bijdragen

1. Gestuurde Vergelijking: Een experimenteel kader dat een directe vergelijking mogelijk maakt tussen tekst-only en multimodaal ICL, waardoor een substantiële prestatiekloof in few-shot settings wordt blootgelegd.
2. Mechanistische Analyse: De eerste diepgravende analyse die het multimodale ICL-proces decomposeert in constructie en transfer. Het identificeert de ontkoppeling tussen middenlagen (constructie) en late lagen (toepassing) als de hoofdoorzaak van falen, veroorzaakt door een misalignement tussen visuele perceptie en tekstuele redenering.
3. Praktische Interventie: Een lichtgewicht, inferentie-tijd methode (MGI) die de transfer van taakmappings versterkt. Dit dient als empirisch bewijs voor de causaliteit van het geïdentificeerde bottleneck en toont de praktische bruikbaarheid van de analyse.

Significantie

Dit paper verschuift de focus van oppervlakkige prestatieverbeteringen (zoals het toevoegen van meer data of fine-tuning) naar een fundamenteel begrip van de interne dynamiek van MLLMs. Het toont aan dat het probleem niet ligt in het leren van de taak, maar in het behouden en toepassen van die kennis tijdens de redenering over de query.

De bevindingen suggereren dat toekomstige modellen en trainingsmethoden zich moeten richten op het behoud van taakstructuren over de lagen heen en het beter aligneren van perceptie en redenering. De voorgestelde MGI-methode biedt een directe weg om bestaande modellen te verbeteren zonder opnieuw te hoeven trainen, wat belangrijk is voor de efficiëntie en toepasbaarheid van multimodale AI.