💬 NLP

Dissecting Multimodal In-Context Learning: Modality Asymmetries and Circuit Dynamics in modern Transformers

Dit artikel onderzoekt de mechanismen van multimodaal in-context leren in moderne transformers door middel van gecontroleerde experimenten op synthetische taken, waarbij wordt aangetoond dat Rotary Position Embeddings de drempel voor datacomplexiteit voor ICL verhogen, terwijl de hoge diversiteit van een primaire modaleit multimodaal ICL mogelijk maakt dat met verrassend lage complexiteit in een secundaire modaleit ontstaat via verfijnde inductiestijl-circuits.

Oorspronkelijke auteurs: Yiran Huang, Karsten Roth, Quentin Bouniot, Wenjia Xu, Zeynep Akata

Gepubliceerd 2026-05-27

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yiran Huang, Karsten Roth, Quentin Bouniot, Wenjia Xu, Zeynep Akata

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een gigantisch, digitaal brein (een Transformer-model) voor dat leert puzzels op te lossen. Normaliter denken we dat deze breinen leren door feiten te memoriseren en op te slaan in hun "hersencellen" (parameters). Maar deze modellen hebben een superkracht genaamd In-Context Learning (ICL). Dit is als het bekijken van een paar voorbeelden direct voor je neus en op dat moment de regel afleiden, zonder dat je van tevoren hoeft te studeren.

Dit artikel onderzoekt hoe deze superkracht werkt wanneer het brein twee verschillende soorten informatie tegelijk moet verwerken (zoals tekst en afbeeldingen), en hoe de interne bedrading van het brein verandert naarmate het groter wordt.

Hier is de uiteenzetting van hun bevindingen met behulp van eenvoudige analogieën:

1. Het "Groot Brein"-paradox

De bevinding: Wanneer je een single-mode brein (alleen tekst) groter maakt, wordt het eigenlijk slechter in het gebruik van de "kijk naar de voorbeelden"-truc en beter in het simpelweg memoriseren van feiten.
De analogie: Stel je een student voor. Als ze klein is, moet ze naar de voorbeelden in het leerboek kijken om een nieuw wiskundeprobleem op te lossen. Maar als je haar een enorme bibliotheek met feiten geeft om te memoriseren (schalen), stopt ze met kijken naar de voorbeelden en probeert ze gewoon een vergelijkbaar feit op te halen dat ze heeft gememoriseerd. Hoe groter de bibliotheek, hoe meer ze vertrouwt op het geheugen in plaats van op redenering.
De twist: Het artikel vond dat moderne "Rotary Position Embeddings" (een specifieke manier waarop het brein de volgorde bijhoudt, zoals RoPE) dit nog moeilijker maken. Het is alsof je de student een verwarrende kaart geeft; ze worstelen om het juiste voorbeeld te vinden om te kopiëren, dus ze vertrouwen nog meer op het geheugen.

2. De "Hoofd- versus Secundaire" Student (De grote ontdekking)

De bevinding: Wanneer je het brein leert om twee modi te hanteren (bijv. Tekst + Afbeeldingen), is er een enorm onbalans. Als het brein al een expert is in Tekst (de "Hoofd"-modus), kan het leren omgaan met Afbeeldingen (de "Secundaire"-modus) met zeer weinig oefening.
De analogie: Denk aan het brein als een meesterkok die jarenlang heeft gewerkt aan het perfectioneren van een complexe saus (Tekst). Nu vraag je hen om een nieuw ingrediënt toe te voegen, zoals een specifieke specerij (Afbeeldingen).

De verrassing: Je hoeft de kok niet te leren hoe je de specerij vanaf nul moet koken. Omdat ze al weten hoe ze de saus moeten koken, hebben ze slechts een klein beetje oefening nodig om uit te zoeken hoe ze de specerij erin moeten mengen.
De asymmetrie: Als je probeerde hen de specerij eerst te leren (zonder de saus-training), zouden ze een enorme hoeveelheid specerij-data nodig hebben om te leren. Maar omdat ze de saus al kennen, is een klein beetje specerij-data voldoende. De "Hoofd"-modus bouwt de motor; de "Secundaire"-modus heeft alleen een kleine sleutel nodig om hem aan te zetten.

3. Schalen helpt het "Twee-Modi"-brein

De bevinding: In tegenstelling tot het single-mode brein (waarbij groter worden de "kijk naar voorbeelden"-vaardigheid schaadt), helpt het groter maken van het "Twee-Modi"-brein het altijd om beter te worden in het gebruik van voorbeelden.
De analogie: In het single-mode geval hoopte een groter brein gewoon meer feiten op. Maar in het twee-modi geval wordt de extra rekenkracht niet gebruikt om meer feiten te memoriseren. In plaats daarvan wordt het gebruikt om een betere "brug" te bouwen tussen het nieuwe ingrediënt (Afbeeldingen) en de meesterlijke saus (Tekst). Hoe groter het brein, hoe beter de brug, en hoe makkelijker het is om de voorbeelden te gebruiken.

4. De "Vertaler" is cruciaal

De bevinding: Om de twee modi samen te laten werken, heb je een goede "vertaler" (een encoder) nodig om de afbeeldingen om te zetten in een taal die het tekst-brein begrijpt.
De analogie: Stel je voor dat het Tekst-Brein Engels spreekt en het Afbeeldingen-Brein een dialect van het Frans spreekt. Als je gewoon de Franse woorden naar de Engels-sprekende gooit, raken ze in de war. Je hebt een vertaler nodig.

Als de vertaler slecht is (encoder van lage kwaliteit), kan de Engels-sprekende de voorbeelden niet begrijpen, zelfs niet als de voorbeelden perfect zijn.
Als de vertaler uitstekend is (encoder van hoge kwaliteit), kan de Engels-sprekende de voorbeelden direct begrijpen en het puzzel oplossen. De kwaliteit van de vertaler voorspelt hoe goed het hele systeem werkt.

5. Binnenin de machine: Het "Kopiëren-en-Plakken"-circuit

De bevinding: Het artikel keek in de interne bedrading (circuits) van het brein om te zien hoe het leert. Ze vonden twee specifieke "draden" (attention heads) die het werk doen:

De "Kijk Terug"-draad: Vindt het vorige item in de lijst.
De "Inductie"-draad: Vindt het overeenkomstige voorbeeld en kopieert het antwoord.
De analogie:

Fase 1 (Training op Tekst): Het brein leert deze draden te bouwen. Het leert: "Hé, als ik een patroon zie, moet ik terugkijken naar het voorbeeld en het antwoord kopiëren."
Fase 2 (Toevoegen van Afbeeldingen): Het brein bouwt geen nieuwe draden. Het polijst gewoon de bestaande "Inductie"-draad. Het wordt beter in het matchen van de afbeelding met het tekst-voorbeeld.
Het bewijs: Toen de onderzoekers deze specifieke draden "doorsneedden" (uitzetten), verloor het brein zijn vermogen om voorbeelden te gebruiken en zakte het terug naar raden. Dit bewijst dat deze draden de echte motor van de vaardigheid zijn.

6. Realiteitstest

De bevinding: Ze testten deze ideeën op een echt, massief AI-model (Qwen2.5-VL) dat in de echte wereld wordt gebruikt.
De analogie: Ze bestudeerden niet zomaar een speelgoedrobot; ze keken naar een echte industriële robot. Ze ontdekten dat dezelfde "Kijk Terug"- en "Inductie"-draden bestonden in de echte robot. Toen ze ze uitschakelden, faalde de robot. Toen ze de robot fijnafstelden, werden die specifieke draden scherper, net als in hun kleine speelgoedexperimenten.

Samenvatting

Het artikel onthult dat multimodaal leren (tekst + afbeeldingen) een asymmetrisch proces is. Je hoeft het brein niet alles vanaf nul te leren. Als je het eerst één taal leert, bouwt het een "redeneermotor". Het toevoegen van een tweede taal is makkelijk omdat de motor er al is; je hoeft alleen de nieuwe invoer aan de oude motor te koppelen. Het groter maken van het brein helpt deze verbinding, en het hele proces is afhankelijk van specifieke interne "kopiëren-en-plakken"-draden die verfijnd worden, niet herbouwd, naarmate het model leert.

Technische Samenvatting: Multimodaal In-Context Learning ontleed

Probleemstelling

Transformer-gebaseerde multimodale grote taalmodellen (MLLMs) vertonen in-context learning (ICL), het vermogen om nieuwe taken uit te voeren op basis van demonstraties zonder parameterupdates. Hoewel de statistische drijfveren en mechanische circuits (specifiek induktiekoppen) van unimodaal ICL zijn onderzocht in vereenvoudigde, alleen-attentie transformers, blijft het onduidelijk hoe deze principes opereren binnen moderne, LLM-achtige architecturen (die componenten zoals RoPE en RMSNorm bevatten) en hoe ze zich uitbreiden naar multimodale settings. Specifiek stelt het artikel de vraag: Wat maakt het voor transformers mogelijk om multimodaal ICL uit te voeren, gezien de statistieken van trainingsdata en onderliggende mechanismen?

Methodologie

De auteurs hanteren een gecontroleerde, reverse-engineering-aanpak met behulp van kleine, architectonisch realistische twee-laagse transformermodellen die zijn getraind op synthetische classificatietaken. Deze opzet maakt nauwkeurige manipulatie van datastatistieken en architecturale componenten mogelijk, waardoor verstorende variabelen die voorkomen in pretrainingscorpora uit de echte wereld worden vermeden.

Belangrijkste experimentele componenten:

Synthetische datageneratie: Data wordt gegenereerd uit Gaussische mengmodellen (GMMs) voor twee modaliteiten ( $M_1$ $M_{1}$ en $M_2$ $M_{2}$ ). De auteurs controleren:
- Class-diversiteit ( $K$ ): Aantal klassen.
- Burstiness ( $B$ ): Frequentie van klassenherhaling in de context.
- Variatie binnen de klasse ( $\epsilon$ ): Ruisniveau binnen een klasse.
- Zipf-scheefheid ( $\alpha$ ): Verdeling van klassenfrequentie.
Trainingsprotocollen:
- Unimodale baseline: Training op één modaliteit om ICL-circuits te vestigen.
- Multimodale opzet: Een tweestapsproces waarbij een decoder eerst wordt vooringesteld op een primaire modaliteit ( $M_1$ ), waarna een secundaire modaliteit ( $M_2$ ) wordt geïntroduceerd via een MLP-projector. Een optionele vooringestelde encoder voor $M_2$ wordt ook getest.
- Architectuurvariaties: Experimenten variëren modeldiepte (lagen), breedte (attentiehoofden) en positionele encoding (Absolute PE versus RoPE).
Evaluatiemetrieken:
- In-Weight Learning (IWL): Prestaties op gezienne klassen die niet in de context aanwezig zijn (meting van memorisatie).
- In-Context Learning (ICL): Prestaties op nieuwe klassen die wel in de context aanwezig zijn (meting van redenering).
- Mechanische probes: Kwantitatieve maten van attentiepatronen, waaronder "Previous Token Head Strength" (PHStrength) en "Induction Head Strength" (IndStrength).
Validatie op productiemodellen: Bevindingen worden gevalideerd op het Qwen2.5-VL-3B-model via hoofdidentificatie, causale ablatie (uitschakeling) en analyse van fijne-tuning-dynamiek.

Belangrijkste bijdragen en resultaten

1. Architecturale uitgangspunten in moderne transformers

Datastatistieken: Kernstatistische drijfveren van unimodaal ICL (hoge class-diversiteit, burstiness en optimale Zipf-scheefheid) blijven bestaan in moderne LLM-achtige architecturen.
Schaaleffecten: In tegenstelling tot vereenvoudigde modellen, bevoordeelt het opschalen van moderne transformers (vergroten van lagen of hoofden) in-weights memorisatie (IWL) boven ICL bij vaste datacomplexiteiten. Grotere modellen vereisen aanzienlijk complexere data om sterk ICL te bereiken. Dit wordt toegeschreven aan multi-head attention die gespecialiseerde subruimten creëert voor memorisatie, wat concurreert met de ICL-oplossing.
Positionele encoding: Het overschakelen van Absolute Positional Encodings (APE) naar Rotary Position Embeddings (RoPE) verhoogt de datacomplexiteitsthorshoud die nodig is voor ICL. RoPE verstoort de vorming van duidelijke "previous-token"- en "inductie"-attentiepatronen, waarschijnlijk vanwege de multiplicatieve rotatiestructuur die discrete offset-hints mist.

2. Asymmetrie in multimodaal leren

Primaire versus secundaire rol: Er bestaat een fundamentele asymmetrie. Wanneer een model is vooringesteld op data met hoge diversiteit vanuit een primaire modaliteit ( $M_1$ ), vereist de secundaire modaliteit ( $M_2$ ) verrassend lage datacomplexiteit (bijvoorbeeld weinig klassen) om multimodaal ICL mogelijk te maken.
Mechanisme: De primaire modaliteit installeert het kern-ICL-circuit. De rol van de secundaire modaliteit is slechts het leveren van een onderscheidbaar signaal dat de projector op het bestaande kenmerkenspectrum afbeeldt.
Schaalvoordeel: In tegenstelling tot het unimodale geval waar schaling memorisatie bevoordeelt, verbetert het opschalen van de decoder in de multimodale setting consistent ICL. De toegevoegde capaciteit wordt gebruikt om de secundaire modaliteit af te beelden op het bestaande circuit in plaats van voor memorisatie.
Afhankelijkheid van trainingschema: Deze asymmetrie wordt gedreven door het pretrainingscurriculum. Bij vroege-fusie gezamenlijke training (trainen van beide modaliteiten vanaf nul) keert de asymmetrie om, waarbij de modaliteit die positioneel naast het label staat dominant wordt.

3. Rol van encoders en uitlijning

Cross-modale uitlijning: Een vooringestelde encoder voor de secundaire modaliteit is cruciaal. Het overbrugt de "misalignment gap" tussen hoogdimensionale $M_2$ -kenmerken en de latente ruimte van de decoder.
Kwaliteit van kenmerken: Hogere encoder-validatie-accuraatheid (betere kenmerkdiscrimineerbaarheid) voorspelt sterk de downstream-prestaties van multimodaal ICL. De encoder comprimeert $M_2$ -data naar een manifold die beter uitlijnt met de decoder, waardoor de inductiekoppen effectief kunnen functioneren.

4. Mechanische dynamiek

Circuitverfijning: Mechanische analyse onthult een tweestaps-evolutie:
1. Unimodale pretraining: Installeert het fundamentele inductiecircuit (leren van "previous-token"-kopiëren en "label matching").
2. Multimodale training: Verfijnt primair de inductiekop die verantwoordelijk is voor label matching (IndStrength) om de nieuwe modaliteit te accommoderen. Het "previous-token"-kopiëringsmechanisme blijft stabiel en wordt hergebruikt.
Causale drijfveren: In beide settings correleert de sterkte van de inductiekop sterk met ICL-accuraatheid. Ablatiestudies bevestigen dat het uitschakelen van deze koppen een catastrofale daling in prestaties veroorzaakt.
Validatie op productieschaal: In Qwen2.5-VL-3B overlappen de inductie- en previous-token-koppen die in de synthetische testomgeving zijn geïdentificeerd grotendeels met die in de LLM-ruggengraat. Deze koppen drijven ICL causaal aan (uitschakeling verlaagt de accuraatheid tot bijna willekeurig), en fijne-tuning verfijnt de sterkte van de inductiekop zonder het kopiëringsmechanisme te veranderen, wat de synthetische bevindingen weerspiegelt.

Betekenis en claims

Het artikel claimt de eerste mechanische uiteenzetting van multimodaal ICL in transformers te bieden. De betekenis hiervan ligt in:

Ontkoppeling van statistieken en architectuur: Aantonen dat hoewel datastatistieken ICL drijven, architecturale keuzes (zoals RoPE en schaling) het in unimodale settings kunnen onderdrukken, maar in multimodale settings op een andere manier worden ingezet.
Uitleg van multimodaal schalen: Het bieden van een mechanische verklaring voor waarom schaling multimodaal ICL consistent ten goede komt (capaciteit wordt gebruikt voor afbeelding, niet voor memorisatie), in contrast met unimodale trends.
Circuitovererving: Vaststellen dat multimodaal ICL vertrouwen op geërfd circuits uit de pretraining van de primaire modaliteit, die vervolgens worden verfijnd in plaats van herbouwd.
Nuttigheid van testomgeving: Het bieden van een gecontroleerde, rekenkracht-efficiënte synthetische testomgeving die causale factoren succesvol isoleert en kwalitatieve inzichten overdraagt naar productiemodellen in grote schaal (Qwen2.5-VL).

De auteurs handhaven bescheidenheid met betrekking tot hun claims, met de opmerking dat hun mechanische conclusies zijn vastgesteld in kleine, gecontroleerde transformers en dat overdracht naar productiemodellen moet worden gezien als een kwalitatieve brug in plaats van een volledig geverifieerde kwantitatieve equivalentie. Zij benadrukken dat hun werk bijdraagt aan het bredere begrip van transformerleerfenomenen in plaats van uitsluitend aan de interpretatie van MLLM's.