🤖 machine learning

In-Context Fixation: When Demonstrated Labels Override Semantics in Few-Shot Classification

Dit artikel onthult dat contextlerende modellen mechanisch beperkt zijn tot het behandelen van gedemonstreerde tokens als een exhaustief vocabulaire, waardoor de nauwkeurigheid instort wanneer labelplekken worden gevuld met homogene of zelfs semantisch geldige tokens, een fenomeen dat gelokaliseerd is tot specifieke neurale circuits die semantisch begrip overrulen door formatgedreven tokenretrieval.

Oorspronkelijke auteurs: Ming Liu

Gepubliceerd 2026-05-12

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ming Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar iets letterlijk ingestelde robot leert een raadselspel spelen. Je toont het een paar voorbeelden (demonstraties) van hoe het spel werkt, en vervolgens vraag je het om het antwoord te raden voor een nieuwe situatie. Dit heet "In-Context Learning" (leren uit context).

Meestal denken we dat de robot de regels van het spel leert uit jouw voorbeelden. Maar dit paper ontdekte een vreemde glitch: De robot leert de regels niet echt; hij kopieert gewoon de lijst met antwoorden die je hem hebt gegeven.

Hier is de uiteenzetting van wat de onderzoekers vonden, met gebruikmaking van eenvoudige analogieën:

1. De "Lijst met Antwoorden"-Valstrik

Stel je voor dat je de robot leert dieren te identificeren.

Normaal Scenario: Je toont het 4 foto's van honden en 4 foto's van katten. Het leert: "Oh, het antwoord is meestal 'hond' of 'kat'."
De Glitch (Homogene Labels): Je toont het 8 foto's van katten, maar je vertelt hem dat het antwoord voor alledrie "kat" is. Vervolgens toon je hem een foto van een hond en vraag je: "Wat is dit?"
- Wat je verwacht: De robot ziet de hond en zegt: "Dat is een hond."
- Wat er gebeurt: De robot kijkt naar jouw lijst met 8 "kat"-antwoorden, besluit dat "kat" het enige woord is dat in het spel is toegestaan, en zegt toch "kat" – zelfs al is het fout.

De onderzoekers ontdekten dat als je de robot een lijst met antwoorden geeft die allemaal hetzelfde zijn, zijn nauwkeurigheid instort tot bijna nul (soms minder dan 12%). Hij stopt met denken over de foto en begint te denken: "Ik moet een woord kiezen uit de lijst die je zojuist hebt gegeven."

2. Het "Onzinwoord"-Experiment

Om te bewijzen dat de robot niet gewoon verward was door het woord "kat", probeerden de onderzoekers iets vreemds. Ze gaven de robot voorbeelden waarbij de antwoorden onzinwoorden waren zoals "foo", "bar", "vex", "nit" en "orb".

De Opzet: Ze toonden de robot 8 voorbeelden met deze onzinwoorden. Vervolgens toonden ze hem een foto van een echte hond en vroegen om het antwoord.
Het Resultaat: Hoewel "foo" en "bar" geen zin hebben voor een hond, weigerde de robot om "hond" te zeggen. In plaats daarvan koos hij 42% tot 67% van de tijd een van de onzinwoorden uit jouw lijst.
De Les: De robot behandelt de lijst met woorden die je hem hebt gegeven als een gesloten menu. Als "hond" niet op het menu staat dat je hebt verstrekt, zal de robot verhongeren in plaats van iets buiten het menu te bestellen. Het maakt niet uit of de menu-items onzin zijn; de robot pakt er gewoon een van.

3. Het "Dubbeldenken"-Mechanisme (Hoe het van binnen werkt)

De onderzoekers keken in het brein van de robot (met behulp van een techniek genaamd "mechanistische interpretatie") om te zien hoe dit gebeurt. Ze vonden een tweestapsproces dat ze "Encodeer-then-Override" (Coderen en dan Overschrijven) noemen.

Stel je het voor als een schrijver die een verhaal opstelt:

Stap 1 (Het Slimme Deel): De lagere lagen van het brein van de robot lezen de foto van de hond en denken correct: "Dit is een hond." Het heeft het juiste antwoord klaar.
Stap 2 (De Glitch): De hogere lagen van het brein van de robot kijken naar de lijst met voorbeelden die je hebt gegeven. Ze zien dat de lijst "kat" (of "foo") zegt. Ze besluiten: "Nee, de regels van dit specifieke gesprek zeggen dat we alleen woorden uit die lijst mogen gebruiken."
De Overschrijving: De hogere lagen wissen het juiste antwoord ("hond") en dwingen de robot om in plaats daarvan een woord uit de lijst te outputten.

Het is als een student die weet dat het wiskundeprobleem 2+2=4 is, maar de leraar zegt: "In deze klas gebruiken we alleen de getallen 5, 6 en 7." De student kent de waarheid, maar de "klasregels" (de voorbeelden) dwingen hem om "5" te schrijven in plaats daarvan.

4. Het Gebeurt Zelfs bij Grote Robots

Je zou kunnen denken: "Misschien gebeurt dit alleen bij kleine, domme robots." De onderzoekers testten dit op modellen variërend van zeer klein tot vrij groot (tot 8 miljard parameters).

De Bevinding: De glitch gebeurt bij alle van hen. Zelfs de slimste robots in hun testgroep liepen in de valstrik. Sterker nog, de grotere robots vielen er soms harder in, waarbij hun nauwkeurigheid instortte van 86% naar 0% wanneer de voorbeelden misleidend waren.

5. De "Laatste Woord"-Regel

De onderzoekers ontdekten ook een vreemde eigenaardigheid over wanneer de robot luistert.

Als je hem 7 voorbeelden van "kat" geeft en 1 voorbeeld van "hond" helemaal aan het einde, negeert de robot de eerste 7 en luistert hij naar de laatste.
Als je het "hond"-voorbeeld aan het begin zet, negeert de robot het volledig.
Analogie: De robot heeft een zeer korte aandachtspanne. Hij geeft alleen om de meest recente lijst met antwoorden die hij zag, en hij behandelt die lijst als de absolute wet voor de huidige vraag.

Samenvatting

Het paper concludeert dat deze AI-modellen niet altijd het concept van een taak "leren". In plaats daarvan herroepen ze vaak gewoon de lijst met antwoorden die je hen hebt getoond en kiezen ze uit die lijst, waarbij ze de werkelijke betekenis van de vraag negeren. Als je hen een lijst met onzin geeft, zullen ze antwoorden met onzin. Als je hen een lijst geeft met alleen maar "katten", zullen ze een hond een "kat" noemen.

Waarom dit belangrijk is (volgens het paper):
Als je deze modellen gebruikt voor taken zoals e-mails sorteren of vragen beantwoorden op basis van een database, en de voorbeelden die je ophaalt blijken per ongeluk allemaal hetzelfde label te hebben, zal het model stoppen met denken en gewoon dat label kopiëren, wat leidt tot enorme fouten. De oplossing? Zorg ervoor dat de voorbeelden die je aan de robot toont divers zijn, en plaats misschien een correct voorbeeld helemaal aan het einde van de lijst om zijn brein te "resetten".

Technische Samenvatting: In-Context Fixatie

Probleemstelling

Hoewel eerdere research (Min et al., 2022) vaststelde dat willekeurige demonstratielabels minimale impact hebben op de prestaties van In-Context Learning (ICL), identificeert dit artikel een kritieke faalmodus die In-Context Fixatie wordt genoemd. De auteurs tonen aan dat wanneer demonstraties homogene labels delen (zelfs als ze semantisch geldig zijn), de modelnauwkeurigheid instort tot $\le$ 12% over verschillende architecturen en taken.

Cruciaal is dat het artikel betoogt dat de trigger niet de juistheid van de labels is, maar de inhoud van het labelslot zelf. Het model lijkt de tokens die het labelpositie in de demonstraties innemen te behandelen als een exhaustieve antwoordvocabulaire. Dit gedrag staat in contrast met Bayesiaanse rekeningen op basis van latente concepten (Xie et al., 2022), die voorspellen dat diverse nonsens-labels zouden moeten leiden tot een diffuse posterior die semantische inferentie toelaat om te herstellen. In plaats daarvan bindt het model zijn output strikt aan het gedemonstreerde token-inventaris, waardoor semantische plausibiliteit wordt genegeerd.

Methodologie

De studie hanteert een veelzijdige aanpak die gedragsanalyse, causale mechanistische interpretatie en validatie over verschillende architecturen combineert:

Experimentele Opstelling:
- Taken: Vier single-token binaire classificatietaken (Categorie, Sentiment, Temperatuur, Grootte) en 4-weg multiclassificatie.
- Modellen: Zes basismodellen uit drie families (Pythia, Llama, Qwen) variërend van 0,8B tot 8B parameters.
- Voorwaarden:
  - Garden-Path (GP): Alle 8 demonstraties delen één label dat tegengesteld is aan het testantwoord.
  - Varied Nonsense: Demonstraties gebruiken diverse nonsens-tokens uit een set $\{foo, bar, vex, nit, orb\}$ .
  - Multi-token: Het gebruik van verbalizers zoals "zeer positief" om format- versus contentfixatie te ontleden.
- Maten: Nauwkeurigheid, waarschijnlijkheidsmassa op gedemonstreerde sets versus correcte antwoorden, en herstelpercentages via patching.
Mechanistische Analyse:
- Per-Item Paired Activation Patching: Toegepast op Pythia-1B om activaties van de attentielagen te ruilen van controlevragen (correcte labels) naar garden-path vragen om causale circuits te identificeren.
- Logit Lens: Toegepast op Llama-3.2-1B om de evolutie van logits door de lagen te traceren, waarbij de "encode-then-override"-trajectorie wordt waargenomen.
- Direct Logit Attribution (DLA): Om specifieke attentiekoppen te identificeren die bijdragen aan fixatie.

Belangrijkste Bijdragen

Taken-Generaal Fenomeen: Het fixatie-effect is robuust over vier taken, zes modellen en drie modelfamilies (0,8B–8B). In alle 12 taken $\times$ model-combinaties daalt de GP-nauwkeurigheid onder de 15%, met verschillen van 64–100 procentpunten ten opzichte van gebalanceerde controles.
Set-niveau Fixatie (Gedwongen Vocabulaire Retrieval): Het artikel toont aan dat fixatie werkt over de gehele gedemonstreerde labelset, niet slechts één token. Zelfs met gevarieerde nonsens-labels concentreert het model 42–67% van de waarschijnlijkheid op de gedemonstreerde set terwijl het het semantisch correcte antwoord onderdrukt ( $P(hond) < 0,2\%$ ). Dit bewijst dat het model ophaalt uit het gedemonstreerde inventaris in plaats van te infereren vanuit latente concepten.
Generalisatie naar Multiclass en Multi-Token:
- Fixatie strekt zich uit tot 4-weg classificatie, waarbij de nauwkeurigheid daalt tot 0% wanneer labels homogeen zijn.
- Bij multi-token verbalizers ontleedt fixatie zich in format-niveau (aannemen van het "zeer X"-sjabloon) en content-niveau (polariteitsoverride) componenten, die experimenteel van elkaar te scheiden zijn.
Eerste Causaal Circuit voor een ICL Faalmodus:
- Bij Pythia-1B herstelt per-item paired patching 98,4% van het nauwkeurigheidsverschil.
- Het circuit is gelokaliseerd tot een laag-7-gecentreerd circuit (specifiek met lagen 7, 10 en 11).
- Een schaarse coalitie van slechts 4 koppen (over 3 lagen) bereikt 87,6% herstel, hoewel het circuit verspreid is (er bestaan redundante paden).
Cross-Architectuur Replicatie: Logit lens-analyse op Llama-3.2-1B bevestigt de encode-then-override-trajectorie: tussenliggende lagen (L9–L11) coderen het correcte antwoord, maar bovenste lagen (L12–L15) negeren dit onder garden-path voorwaarden. Per-item patching op Llama bevestigt causale toereikendheid (89% herstel met top-5 lagen).

Resultaten

Dosis-Respons: De nauwkeurigheid daalt monotoon naarmate het aantal misleidende demonstraties toeneemt. Bij Qwen3-8B veroorzaakt één extra misleidend demonstratie (van $k=7$ naar $k=8$ ) een bijna-discontinue instorting van 42% naar 0% nauwkeurigheid.
Set-niveau Grenzen: Wanneer een correct label (bijv. "hond") wordt uitgesloten van de gedemonstreerde set, wordt zijn waarschijnlijkheid met 1,6–9,4 $\times$ onderdrukt ten opzichte van gebalanceerde controles, ongeacht de semantische geldigheid van de demonstratielabels.
Recency Bias: Een enkel corrigerend demonstratie op de laatste positie (positie 8) kan fixatie volledig omkeren (0% $\to$ 100% nauwkeurigheid), waardoor zeven tegenstrijdige demonstraties worden genegeerd.
Kalibratiefout: Contextuele kalibratiemethoden slagen er niet in fixatie op te lossen, waardoor een restverschil van 40pp overblijft.
Instructie-aanpassing: Modellen die zijn aangepast met instructies vertonen fixatie onder ruwe prompting, hoewel chat-sjablonen het verschil bij sommige modellen kunnen verkleinen (bijv. Llama-3.2-3B-Instruct), wat suggereert dat het effect interageert met prompt-opmaak.

Betekenis en Claims

Het artikel beweert aan te tonen dat ICL-output gedwongen vocabulaire retrieval is in plaats van semantische inferentie of Bayesiaanse updating van latente concepten. Het model bindt zijn output aan het gedemonstreerde token-inventaris, ongeacht semantische plausibiliteit.

Mechanistisch Inzicht: De "encode-then-override"-trajectorie biedt een mechanistische verklaring voor ICL-fouten: het model berekent het antwoord correct in middenlagen, maar gooit het weg in bovenste lagen ten gunste van de gedemonstreerde labelset.
Theoretische Implicaties: Deze bevinding daagt het beeld van ICL als puur impliciete Bayesiaanse inferentie uit. Het suggereert een "slot-geconditioneerde set retrieval"-mechanisme waarbij het labelslot de steun van de outputverdeling definieert.
Praktische Implicaties: De auteurs identificeren dit als een concrete betrouwbaarheidsfaalmodus voor ingevoerde systemen (bijv. RAG-pijplijnen, agent-scaffolds). Zij stellen dat diversiteit in demonstraties cruciaal is; specifiek kan het toevoegen van één gevarieerd, correct gelabeld demonstratie aan het einde van een prompt het effect mitigeren.
Veiligheid: Het mechanisme vormt een aanvalsoppervlak voor prompt-injectie waarbij een tegenstander die de selectie van demonstraties controleert, modelvoorspellingen deterministisch kan overrulen door labelhomogeniteit te garanderen.

Het artikel concludeert dat hoewel het effect aanhoudt bij 8B parameters, de specifieke circuitarchitectuur varieert per model (bijv. Pythia versus Llama), en dat het fenomeen verder onderzoek vereist bij grotere modellen en redeneertaken.