💻 computer science

In-Context Collapse in Vision-Language Models and How to Mitigate it?

Dit artikel onthult dat many-shot in-context leren in vision-language modellen een catastrofale "in-context collapse" kan triggeren waarbij de nauwkeurigheid scherp daalt naarmate demonstraties zich ophopen, identificeert dit falen als een specifieke breuk in het vision-language integratiepad, en stelt een lichtgewicht, overdraagbare interventie genaamd CircA voor om robuust leren te herstellen.

Oorspronkelijke auteurs: Mohammad Rostami

Gepubliceerd 2026-08-05

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mohammad Rostami

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Opstelling: Wanneer Meer Voorbeelden Tegenslaan

Stel je voor dat je een superintelligente robot leert hoe hij een nieuw spelletje moet spelen. In plaats van het hele brein van de robot te herschrijven (wat traag en riskant is), laat je hem vlak voordat hij een beurt neemt een paar voorbeelden zien van hoe het spel gespeeld wordt. Dit wordt In-Context Learning genoemd. Het is alsof je de regels in het oor van de robot fluistert terwijl hij aan het spelen is, in de hoop dat hij het patroon onderweg oppikt. Voor tekstgebaseerde AI werkt dit prachtig; hoe meer voorbeelden je geeft, hoe beter het wordt.

Stel je nu voor dat je diezelfde robot een stapel plaatjes geeft om van te leren. Je zou kunnen denken: "Meer plaatjes betekent meer leren!" Maar hier komt de wending: in de wereld van Vision-Language Models (AI die afbeeldingen ziet en tekst leest), kan het geven van te veel voorbeelden ervoor zorgen dat de robot plotseling alles wat hij wist vergeet. Het is alsof je een student honderd wiskundeproblemen laat zien, en in plaats van slimmer te worden, begint hij het antwoord te raden op basis van het allerlaatste probleem dat hij zag, waarbij hij de eigenlijke vraag negeert. Dit artikel duikt in waarom dit gebeurt, waar precies in het "brein" van de robot de fout optreedt, en hoe je het kunt oplossen zonder de rest te breken.

De Grote "In-Context Collapse"

De auteur ontdekte een vreemde fout die ze In-Context Collapse noemen. Normaal gesproken wordt een AI beter als je meer voorbeelden laat zien. Maar voor veel Vision-Language Models zorgt het toevoegen van meer afbeeldingen en labels er juist voor dat ze slechter worden. In sommige gevallen daalt hun nauwkeurigheid zo laag dat ze slechter presteren dan wanneer ze simpelweg willekeurig zouden gokken.

Denk aan een student die een toets maakt. Zonder hulp kent de student de stof en haalt een score van 94%. Maar op het moment dat je hem een blad met tien correcte voorbeelden als referentie geeft, kortsluit zijn brein. Hij stopt met het lezen van de eigenlijke vraag en kopieert gewoon het antwoord van het laatste voorbeeld op het blad. Als het blad zegt: "Het antwoord is Blauw," en de vraag gaat over een rode auto, schrijft de student vol vertrouwen "Blauw". Hoe meer voorbeelden je toevoegt, hoe meer hij de echte vraag negeert en simpelweg het meest recente voorbeeld nabootst.

Het artikel laat zien dat dit niet alleen een formateringsfout is (zoals wanneer de robot onzin uitkraamt). De robot schrijft nog steeds perfecte zinnen; hij maakt alleen vreselijke oordelen. Dit gebeurt bij veel verschillende modellen, van kleine tot de enorme, grensverleggende "frontier" modellen waar iedereen zo enthousiast over is. Het is een gradueel probleem: sommige modellen zijn immuun, sommige crashen hard, en sommige crashen zo hard dat ze onder het niveau van willekeurige kans eindigen.

De Twee Verschillende Superkrachten

Een van de coolste bevindingen is dat het artikel "leren" opsplitst in twee afzonderlijke vaardigheden die we meestal als hetzelfde beschouwen:

Robuustheid: Kan het model omgaan met het zien van meer voorbeelden zonder uit elkaar te vallen?
Leren: Kan het model daadwerkelijk een nieuwe regel leren van die voorbeelden?

De auteur ontdekte dat een model perfect robuust kan zijn (het stort niet in) maar nog steeds totaal niet in staat is om een nieuwe regel te leren. Het is als een student die kalm blijft wanneer je hem een referentieblad laat zien, maar het volledig negeert en vasthoudt aan wat hij al weet. Omgekeerd kan een model proberen te leren, maar direct crashen. Het artikel bewijst dat dit twee verschillende dingen zijn, en dat een model het ene kan hebben zonder het andere.

Waar de Fout Huist: Het "Integratiestation"

Dus, waar zit de bug? De auteur heeft niet alleen gegokt; ze hebben een soort "operatie" uitgevoerd op het brein van de AI. Ze deelden de lagen van het model op in drie zones:

De Connector: Waar de afbeelding wordt vertaald naar een taal die de AI begrijpt.
De Vroege/Middelste Lagen: Waar de AI probeert de afbeelding te mengen met de tekstvoorbeelden.
De Late Lagen: Waar de AI de uiteindelijke beslissing neemt over het antwoord.

Ze ontdekten dat de instorting specif으로 plaatsvindt bij de Connector en de Vroege/Middelste Lagen. Dit is het "Integratiestation". Wanneer er te veel voorbeelden opstapelen, raakt dit station overbelast. In plaats van de nieuwe informatie te mengen met de huidige vraag, raakt de AI in de war en kopieert hij simpelweg het meest recente voorbeeld dat hij zag.

Cruciaal is dat ze bewezen dat het repareren van de Late Lagen (waar het antwoord wordt gekozen) niet helpt. Sterker nog, proberen het daar te repareren maakt het alleen maar erger! Het is alsof je probeert een verkeersopstopping op te lossen bij de afrit, terwijl het probleem eigenlijk bij het invoegpunt ligt. De oplossing moet precies plaatsvinden waar de afbeeldingen en de tekst elkaar voor het eerst ontmoeten.

De Genezing: Het "Integratie-vaccin"

Het artikel stelt een slimme oplossing voor genaamd CircA (Integration-Circuit Adaptation). De ster van de show is het Vaccin.

Stel je hebt een robot die gevoelig is voor deze "kopieer"-fout. In plaats van de hele robot opnieuw te trainen (wat duur en traag is), heeft de auteur een kleine, gespecialiseerde "adapter" getraind (een kleine toevoegmodule) op alleen het Integratiestation. Ze hebben deze adapter één simpele taak geleerd: "Wanneer je voorbeelden ziet, gebruik ze dan echt om de regel te begrijpen, kopieer niet alleen het laatste exemplaar."

Hier is de magie: Zodra deze kleine adapter getraind is op één specifieke taak, werkt het als een vaccin. Het repareert niet alleen die ene taak; het beschermt de robot tegen de instorting bij volledig nieuwe taken die hij nog nooit heeft gezien. De robot wordt plotseling immuun voor de valstrik "meer voorbeelden = slechtere prestaties".

Het artikel stelt ook twee andere hulpmiddelen voor in de gereedschapskist:

De Poort (The Gate): Als je het brein van de robot niet kunt veranderen (bijvoorbeeld als je een gesloten API gebruikt), stop dan met het toevoegen van voorbeelden voordat de robot begint te craschen. Let op het signaal waarbij de robot begint het laatste antwoord te kopiëren, en stop de voorbeelden precies op dat moment.
De Injector (The Inject): Als je een robot hebt die kan leren, maar de voorbeelden zijn te lang om in het geheugen te passen, kun je de voorbeelden comprimeren tot één enkele "taakvector" en deze rechtstreeks in het brein injecteren, waardoor het tonen van alle plaatjes overbodig wordt.

De Belangrijkste Conclusie

De meest verrassende wending is dat de plek waar je het "snelle" leren repareert (het Integratiestation), niet dezelfde plek is waar je "langzame", permanente herinneringen moet opslaan.

Als je een robot een nieuwe vaardigheid permanent wilt aanleren (door de gewichten bij te werken), moet je dat doen in de Late Lagen. Maar als je wilt dat hij snel leert van een paar voorbeelden zonder in te storten, moet je het Integratiestation repareren. Dit zijn twee verschillende taken voor twee verschillende delen van het brein.

Kortom, het artikel laat zien dat het geven van meer voorbeelden aan een AI niet altijd een gratis extraatje is. Soms is het een valstrik. Maar door precies te begrijpen waar de valstrik staat, kunnen we een kleine, goedkope oplossing bouwen waarmee deze modellen van honderden voorbeelden kunnen leren zonder hun verstand te verliezen.

Technische Samenvatting: In-Context Collapse in Vision-Language Modellen

1. Probleemstelling

Het paper identificeert een contra-intuïtief fenomeen in Vision-Language Modellen (VLM's) dat wordt aangeduid als In-Context Collapse. Hoewel many-shot in-context learning (ICL) breed wordt verondersteld de prestaties van modellen te verbeteren naarmate het aantal demonstraties toeneemt, toont de auteur aan dat voor een subset van VLM's de nauwkeurigheid scherp kan dalen—soms catastrofaal en zelfs onder de kansberekening (random chance)—naarmate de demonstraties zich ophopen.

Dit falen is onderscheidend van fouten in de outputformattering; de modellen blijven weliswaar goed gevormde labels genereren, maar hun oordeelsvorming verslechtert. De collapse is niet universeel maar gradueel, en varieert significant tussen modellen van verschillende groottes (0s.5B tot 11B parameters) en architecturen (MLP-projectors, pixel-shuffle, cross-attention). Cruciaal is dat het paper betoogt dat robuustheid (het vermogen om nauwkeurigheid te behouden ondanks toegevoegde demonstraties) en leren (het vermogen om een nieuwe regel te verwerven uit demonstraties) onderscheidbare capaciteiten zijn. Een model kan robuust zijn tegen toegevoegde shots maar erin falen een nieuwe regel te leren, of het kan een nieuwe regel leren terwijl de prestaties op standaardtaken instorten.

2. Methodologie

De auteur maakt gebruik van een combinatie van gedragsanalyse, causale interventie (lesion-and-rescue) en mechanistische interpretatie om de collapse te diagnosticeren en te herstellen.

Experimentele Opzet

Modellen: Een panel van 11 open-weight VLM's (0.5B–11B) en frontier-modellen (via API) werden getest.
Taken: Drie 4-weg classificatietaken werden gebruikt:
1. Synthetische Vormen: Een procedureel gegenereerde, contaminatievrije taak waarbij labels arbitraire tokens zijn (remap-conditie) om te garanderen dat nauwkeurigheid uitsluitend berust op in-context learning, en niet op pretraining-priors.
2. CIFAR-4 & Fashion-4: Natuurlijke beeldtaken met sterke pretraining-priors.
Condities:
- Standard: Natuurlijke klassenamen.
- Remap: Arbitraire tokens die losstaan van de pretraining (meet werkelijk leren).
- Shuffled: Labels gepermuteerd om de gevoeligheid voor de inhoud van de demonstratie versus de format te testen.
Metriek: Gebalanceerde nauwkeurigheid als functie van het aantal shots ( $K$ ).

Causale Lokalisatie (Lesion-and-Rescue)

Om te bepalen waar de collapse optreedt, gebruikte de auteur een parametrisch gematchte lesion-and-rescue benadering:

Partitionering: Het model werd gesplitst in een Integration Locus (Connector + vroege/middelste Transformer-lagen) en een Readout Locus (late Transformer-lagen).
Interventie: Low-rank adapters (LoRA) werden gekoppeld aan specifieke regio's van het bevroren model.
Training: Adapters werden alleen getraind op de remap-conditie (contamination-vrij) om het model te dwingen de in-prompt mapping te leren.
Hypothese: Als de collapse een integratiefout is, zou het toevoegen van capaciteit aan de Integration Locus het leren moeten herstellen, terwijl het toevoegen van een gelijke capaciteit aan de Readout Locus dat niet zou doen.

Voorgestelde Oplossing: CircA

Op basis van de lokalisatie stelt de auteur CircA (Integration-Circuit Adaptation) voor, een framework met drie componenten:

De Vaccinatie (The Vaccine): Een eenmalige, offline training van een kleine adapter op de Integration Locus met behulp van een enkele synthetische taak. Dit "immuniseert" het model tegen de collapse en draagt het vermogen over om demonstraties te integreren naar ongeziene taakfamilies.
De Poort (The Gate): Een runtime-heuristiek die de "copy rate" (fractie van voorspellingen die overeenkomen met de meest recente demonstratie) monitort. Als de copy rate stijgt, stopt het systeem met het toevoegen van demonstraties om de collapse-regime te vermijden.
Het Injectiepad (The Inject Path): Een methode om context te ammortiseren door een "taakvector" uit de integratielocus te extraheren en deze direct te injecteren, waardoor de noodzaak voor lange prompts wordt omzeild (alleen toepasbaar als het model al kan integreren).

3. Belangrijkste Resultaten

Het Fenomeen

Prevalentie: De collapse wordt waargenomen in diverse architecturen en schalen, inclus�s frontier-modellen (bijv. Claude Sonnet 4.5).
Timing: In "clean reasoning" collapse (waarbij outputs nog steeds valide zijn) is de daling in nauwkeurigheid front-loaded; de daling vindt vaak al plaats bij $K=1$ . De eerste demonstratie alleen kan al zorgen voor een daling van 86–100% van de totale afname.
Mechanisme: Collapse-gevoelige modellen vervangen "antwoorden zoals het laatste voorbeeld" (recency copying) voor het lezen van de query. Dit wordt aangetoond door hoge copy rates en ongevoeligheid voor geshuffelde labels.
Dissociatie: Modellen kunnen Robuust maar Niet-Lerend zijn (vlakke nauwkeurigheid, geen remap-winst), Gevoelig maar Niet-Lerend zijn (nauwkeurigheid daalt, geen remap-winst), of Robuuste Leraren zijn (nauwkeurigheid stabiel of stijgend, remap-winst).

Causale Lokalisatie

Integratie vs. Readout: Een kleine adapter op de Connector en de vroege/middelste lagen (Integration Locus) slaagde erin het leren te redden, waarbij de remap-nauwkeurigheid werd hersteld van kansberekening (~~0.39) naar bijna het plafond (~~0.91) op synthetische taken.
Falen van de Readout: Een adapter met gelijke capaciteit op de late lagen (Readout Locus) slaagde er niet in het leren te redden en kan het zelfs actief onderdrukken, waardoor de nauwkeurigheid onder de kansberekening zakt.
Cross-Architectuur: Deze asymmetrie houdt stand bij zowel MLP-projector als pixel-shuffle architecturen, wat bevestigt dat de collapse een eigenschap is van het visuele-linguïstische integratiepad, en niet van een specif specific connector design.

Effectiviteit van CircA

Transfereerbaarheid: De "Vaccine" (adapter getraind op één synthetische taak) verleent weerstand tegen de collapse aan ongeziene taakfamilies (CIFAR, Fashion) zonder verdere training.
- Voorbeeld: Op Qwen2-VL-2B verhoogde de vaccine de remap-nauwkeurigheid op de uitgestelde CIFAR-4 van kansberekening (0.34) naar 0.71.
Noodzaak van Integratie: Training-vrije injectie (taakvectoren) slaagde er niet in een collapse-gevoelig model te repareren, wat bevestigt dat de collapse een afwezigheid is van integratievermogen, en niet louter een verkeerde plaatsing van bestaande computation.
Integratie $\neq$ Consolidatie: In experimenten met continu leren werd de Late Readout laag gevonden als de optimale locus voor duurzame, op gewichten gebaseerde consolidatie (hoogste nauwkeurigheid, minste vergeten), wat verschilt van de Integration Locus die vereist is voor snelle in-context adaptatie.

4. Betekenis en Claims

Het paper claimt de eerste causale verklaring te bieden voor waarom many-shot multimodale ICL faalt in specifieke VLM's, waarbij het verder gaat dan gedragsmatige observaties naar een mechanistische verklaring.

Mechanistisch Inzicht: De collapse wordt geïdentificeerd als een specifiek falen van het visuele-linguïstische integratiepad (Connector + vroege/middelste lagen), waarbij de accumulerende demonstraties het vermogen van het model overweldigen om visuele inputs te koppelen aan in-prompt labels, wat leidt tot een terugval naar pretraining-priors of recency copying.
Dissociatie van Capaciteiten: Het werk stelt vast dat robuustheid tegen demonstraties en het vermogen om nieuwe regels te leren, aparte assen zijn, en dat de lagen verantwoordelijk voor snelle in-context integratie verschillen van de lagen die het best geschikt zijn voor trage, op gewichten gebaseerde consolidatie.
Praktisch Middel: De auteur demonstreert dat de collapse "bewerkbaar" is. Een lichtgewicht, transfereerbare interventie (de Vaccine) kan offline worden toegepast om modellen te "immuniseren" tegen de collapse, wat een praktische oplossing biedt voor het inzetten van many-shot ICL zonder catastrofaal vergeten of prestatievermindering.
Beperkingen: De auteur merkt op dat hoewel de reparatie werkt op open modellen, de toepassing op propriëtaire frontier-modellen (die alleen via API toegankelijk zijn) nog niet is geverifieerd. Daarnaast suggereert de asymmetrie van de interventie (het is makkelijker om een gevoelig model te repareren dan om de collapse te induceren in een robuust model) dat immuniteit een gedistribueerde eigenschap kan zijn, terwijl gevoeligheid een gelokaliseerd tekort is.

Samenvattend betoogt het paper dat many-shot ICL geen "gratis lunch" is, maar een capaciteitsgebonden proces dat specifieke architecturale afstemming vereist. Door de lokalisatie van het falen te vinden in de integratie-interface, biedt de auteur een gerichte, parameterefficiënte methode om echt in-context leren te herstellen.