💬 NLP

Function-Vector Heads Are Two Populations: Writers and Cancellers in In-Context Learning

Dit artikel daagt de aanname uit dat function-vector heads een homogene groep vormen door te onthullen dat ze bestaan uit twee tegengestelde subpopulaties — schrijvers die correcte regels bevorderen en cancellers die deze onderdrukken — die onzichtbaar zijn voor rangschikking op basis van enkel grootte, maar die de prestaties van het model significant beïnvloeden wanneer ze worden geïdentificeerd en geablateerd.

Oorspronkelijke auteurs: Han-yu Wang

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Han-yu Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een groot taalmodel (zoals die waarmee je chat) voor als een enorm orkest dat een puzzel probeert op te lossen op basis van een paar voorbeelden. In dit orkest zijn er specifieke muzikanten genaamd attention heads (aandachtskoppen). Lange tijd dachten onderzoekers dat de belangrijkste muzikanten simpelweg degenen waren die de hardste noten speelden. Ze namen aan dat als een muzikant heel hard speelde, diegene zeker hielp om de juiste melodie te spelen.

Dit artikel ontdekt echter dat deze aanname onjuist is. Het blijkt dat de "hardste" muzikanten eigenlijk tot twee totaal verschillende, tegenovergestelde groepen behoren: De Schrijvers en De Annuleerders.

Hier is de uitsplitsing van wat het artikel heeft gevonden, met behulp van eenvoudige analogieën:

1. Het Grote Misverstand: Volume versus Richting

Voorheen keken onderzoekers naar deze muzikanten en rangschikten ze ze op basis van volume (hoeveel ze bijdroegen aan het antwoord). Ze namen aan dat de 20 hardste muzikanten allemaal "helpers" waren.

De auteurs van dit artikel realiseerden zich dat volume niet genoeg is; je moet de richting weten.

De Schrijvers: Deze muzikanten spelen een harde noot die het orkest richting het juiste antwoord duwt.
De Annuleerders: Deze muzikanten spelen ook een harde noot, maar ze duwen het orkest naar het foute antwoord. Ze proberen actief het juiste antwoord te annuleren.

De Analogie: Stel je een touwtrekken voor.

Schrijvers zijn het team dat aan het touw trekt richting de finishlijn.
Annuleerders zijn een tweede team dat net zo hard aan het touw trekt, maar in de tegenovergestelde richting.
Als je alleen kijkt naar hoe hard ze trekken (grootte/magnitude), denk je dat ze beiden even belangrijke "trekkers" zijn. Maar als je naar de richting kijkt, zie je dat ze met elkaar vechten.

2. De Ontdekking: Twee Populaties

De onderzoekers testten dit op verschillende modellen (variërend van klein tot groot) en verschillende soorten logische puzzels. Ze ontdekten dat in bijna alle gevallen de "top" muzikanten zich splitsen in deze twee tegenovergestelde kampen.

De "Schrijvers" duwen de waarschijnlijkheid van het correcte antwoord omhoog.
De "Annuleerders" duwen de waarschijnlijkheid van het correcte antwoord omlaag.

Toen de onderzoekers de Annuleerders stillegden (ablatie), werd het model zelfs beter in het oplossen van de puzzels. Het was alsof je een saboteur uit het touwtrekkende team verwijderde; plotseling konden de "Schrijvers" het touw naar de finishlijn trekken zonder weerstand.

3. Waarom Vorig Onderzoek Dit Miste

Het artikel legt uit dat eerdere studies (zoals één door Todd et al., 2024) een methode gebruikten die alleen keek naar de "luidheid" van de bijdrage. Hierdoor pikten ze per ongelife een mix van Schrijvers en Annuleerders op, maar die mix veranderde afhankelijk van de puzzel.

Bij sommige puzzels waren de "Annuleerders" luider, waardoor de oude methode dacht dat zij de belangrijkste helpers waren.
Bij andere puzzels waren de "Schrijvers" luider, waardoor de oude methode dacht dat zij de belangrijkste helpers waren.

Het artikel laat zien dat door de "teken" (richting) te negeren, vorig onderzoek in feite de helden en de schurken door elkaar haalde, denkend dat ze allemaal gewoon "luide helpers" waren.

4. Zijn de Annuleerders Gewoon Fouten?

De onderzoekers wilden zeker weten dat de "Annuleerders" niet gewoon defecte onderdelen van het model of accidentele ruis waren. Ze voerden veel tests uit om te bewijzen dat het echte, functionele onderdelen van het systeem zijn:

Ze lezen andere dingen: Schrijvers focussen op de "labels" (de antwoorden) in de voorbeelden. Annuleerders focussen op de "format" (de interpunctie en spaties). Ze kijken naar andere delen van de pagina.
Ze zijn inhoudgestuurd: De Annuleerders zijn niet zomaar willekeurig bezig met het onderdrukken van antwoorden; ze proberen specifiek het antwoord te onderdrukken dat net in de voorbeelden is gedemonstreerd.
Het zijn geen "Kopie-onderdrukkers": Het artikel sloot de mogelijkheid uit dat dit slechts generieke "niet kopiëren"-mechanismen zijn. Ze zijn specifiek voor de logica van de taak.

5. De Studie van het Karakter "L11.H4"

Het artikel zoomt in op één specifieke muzikant, L11.H4, om te zien hoe deze werkt.

Deze muzikant is een "Annuleerder" bij de logische puzzels (het probeert het foute antwoord te duwen).
Echter, als je de puzzel verandert naar een vocabulaire-taak (zoals het koppelen van antoniemen), verandert dezezelfde muzikant van rol en wordt het een "Schrijver" (het helpt het juiste antwoord).
De Les: Deze muzikant is niet inherent "goed" of "slecht". De taak is om te onderdrukken wat zojuist is gedemonstreerd. Als de demonstratie het juiste antwoord is, onderdrukt het dit (Annuleerder). Als de demonstratie het foute antwoord is (in een andere context), onderdrukt het het foute antwoord, wat effectief helpt bij het juiste antwoord (Schrijver).

6. De Kernboodschap

De belangrijkste conclusie is dat we de meest "actieve" onderdelen van een AI-model niet kunnen behandelen als één enkele, uniforme groep.

Oude Visie: "Dit zijn de top 20 belangrijkste koppen. Laten we deze gebruiken om het model te sturen."
Nieuwe Visie: "Deze top 20 koppen zijn eigenlijk een burgeroorlog. De helft duwt het model naar de juiste plek, en de andere helft duwt het naar de verkeerde plek. Als je het model wilt sturen, moet je de Annuleerders stilzetten, niet alleen de Schrijvers versterken."

Het artikel beweert niet dat dit het model "veilig" maakt of klaar voor gebruik in de medische of juridische praktijk. Het stelt simpelweg dat om te begrijpen hoe deze modellen regels leren van voorbeelden, we moeten erkennen dat hun interne "muzikanten" vaak tegen elkaar vechten, in plaats van samen te werken.

Technische Samenvatting: Function-Vector Heads zijn twee populaties: Writers en Cancellers in In-Context Learning

1. Probleemstelling

In het veld van mechanistische interpreteerbaarheid worden Function-Vector (FV) heads doorgaans geïdentificeerd als een ijle set aandachtskoppen (attention heads) met grote causale bijdragen aan in-context learning (ICL) regel-taken. De standaard identificatie-pipeline (bijv. Todd et al., 2024) rangschikt deze heads op basis van de magnitude van hun causale bijdrage (bijv. Direct Logit Attribution of AIE) en behandelt de top-gerangschikte set als een homogene functionele klasse.

Dit artikel daagt de impliciete aanname uit dat heads met een hoge magnitude uniform de beweging van het model richting de gedemonstreerde regel stimuleren. De auteurs stellen dat magnitude-gebaseerde rangschikking een cruciale structurele heterogeniteit maskeert: de top-set kan heads bevatten met tegengestelde causale effecten. Als deze aanname niet klopt, kunnen standaard aggregatiemethoden (zoals steering vectors) onbedoeld tegenstrijdige krachten mengen, wat leidt tot suboptimale of tegenstrijdige interventies.

2. Methodologie

De auteurs stellen een sign-behoudende identificatie-pipeline voor en een rigoureus validatiekader over drie modelfamilies (Pythia, Qwen2.5, GPT-2) en zes schalen (410M–12B).

Verfijnde Directe Logit Attributie (DLA): In plaats van te rangschikken op absolute magnitude, berekenen de auteurs de gesigneerde bijdrage van elke head aan het verschil tussen de correcte en incorrecte logit ( $\Delta \ell$ ). Ze passen een permutatie-gebaseerde False Discovery Rate (FDR) controle toe ( $q=0.10$ ) om een kandidaat-set van FV heads te identificeren die zowel positieve als negatieve bijdragers bevat.
Path Patching Validatie: Kandidaten worden gevalideerd met behulp van path patching om directe effecten te isoleren. Heads worden verdeeld in twee populaties op basis van hun directe effect-magnitude ten opzichte van de prompt-swing:
- Writers ( $W$ ): Heads met een positief direct effect ( $\ge +5\%$ van de swing), die de logit van het correcte token verhogen.
- Cancellers ( $C$ ): Heads met een negatief direct effect ( $\le -5\%$ van de swing), die de logit van het correcte token verlagen.
Het Canonieke Verdict: Het bestaan van twee tegengestelde populaties wordt geverifieerd via een vier-conditie-test op groep-ablaties (zeroing of mean-ablation):
1. Ablatie van $W$ vermindert de correcte logit significant ( $\Delta \ell_W < 0$ ).
2. Ablatie van $C$ verhoogt de correcte logit significant ( $\Delta \ell_C > 0$ ).
3. De tekens zijn tegengesteld.
4. Gezamenlijke ablatie ( $W \cup C$ ) vertoont attenuatie (het effect is kleiner dan de som van de individuele effecten), wat aangeeft dat ze op dezelfde readout opereren maar in tegengestelde richtingen.
Artefact Rejectie: De auteurs sluiten zes alternatieve verklaringen uit voor het "canceller"-signaal:
1. Induction Overlap: Canceller heads zijn geen eenvoudige induction heads.
2. Attention Sinks: Het effect is geen artefact van het aandacht schenken aan format-prefixes of BOS-tokens (geverifieerd via per-source DLA bucketing).
3. Generieke Belangrijkheid: Cancellers zijn niet simpelweg heads met veel aandacht en een willekeurig teken.
4. Rank-1 Copy-Suppression: Het mechanisme is geen eenvoudige rank-1 onderdrukking van gekopieerde tokens (in tegen tegenstelling tot GPT-2 L10.H7).
5. V-Cascade: Het effect is niet het resultaat van het remmen van een upstream writer via een specifieke V-compositie cascade.
6. Rank-Nearest Controls: Willekeurige heads met een vergelijkbare magnitude vertonen niet hetzelfde cancellation-gedrag.

3. Belangrijkste Resultaten

Populatie-splitsing: Over 15 cellen (6 hoofd Pythia-cellen + 9 extensies) splitst de FV head set zich helder op in writers en cancellers. Het canonieke verdict houdt stand in 13/15 cellen.
Asymmetrische overlap met eerder werk: Magnitude-only rangschikking (Todd et al., 2024) is bevooroordeeld naar de lokaal dominante sub-populatie.
- Bij de Hierarchical taak vangt de top-20 van Todd 64% van de cancellers maar slechts 4% van de writers.
- Bij de Modular taak vangt de top-20 van Todd 59% van de writers maar slechts 8% van de cancellers.
Causale Impact van Cancellers: Het zero-ablateren van de canceller-populatie levert een consistente logit-winst van +0.13 tot +0.29 nats op en een verbetering van de nauwkeurigheid van +2 tot +7 procentpunten in 6/6 hoofdcellen.
Structureel Onderscheid:
- QK Bronnen: Writers concentreren aandacht op demonstratie-labels; cancellers verschuiven de aandachtsmassa naar format-prefix tokens en weg van de labels.
- OV Geometrie: De write-richtingen (OV) van writers en cancellers zijn bijna orthogonaal (perpendicular fraction mean 0.96), waardoor ze samen kunnen bestaan bij dezelfde readout zonder elkaar volledig te neutraliseren in de residual stream.
- Laagdistributie: Cancellers clusteren in vroege-tot-middelste lagen, vaak gepositioneerd downstream van een writer in dezelfde cel, wat late-stage suppressie uitsluit.
Casestudy (L11.H4): De dominante canceller in Pythia-410M wordt geïdentificeerd als een "distributed-bias content reader". De rol ervan kantelt op basis van de taak-template (canceller op rule tasks, writer op antonym tasks), wat de hypothese ondersteunt dat het "wat gedemonstreerd is" onderdrukt in plaats van een onvoorwaardelijke logit-onderdrukking uit te voeren. Het past niet in de rank-1 copy-suppression of V-cascade templates.

4. Betekenis en Claims

Het artikel claimt dat de FV head populatie niet een homogene klasse is, maar een structurele eigenschap bestaande uit twee tegengestelde sub-circuits.

Methodologische Correctie: De standaard "magnitude-only" rangschikking is onvoldoende voor het identificeren van het volledige functionele landschap van FV heads. Het mist systematisch de sub-populatie die het dominante signaal tegenwerkt, wat leidt tot onvolledige circuit-modellen.
Implicaties voor Interventie: Het artikel maakt onderscheid tussen ablatie, transplantatie en additieve steering.
- Ablatie: Het verwijderen van cancellers verbetert de prestaties.
- Transplantatie: Het vervangen van heads door hun taak-gemiddelde (wat effectief het specifieke per-prompt gedrag van cancellers neutraliseert) verbetert de prestaties vergeleken met writer-only transplantaties.
- Steering: De auteurs benadrukken expliciet dat zij niet beweren dat een geaggregeerde steering vector (combinatie van $W$ en $C$ ) de juiste operatie is voor praktische steering. Omdat $W$ en $C$ tegengestelde tekens hebben, kan het aggregeren van hen in één enkele vector het steering-effect verwateren. De identificatie op populatieniveau dient om te definiëren welke heads men moet interveniëren, niet noodzakelijkerwijs hoe men ze aggregeert.
Generaliseerbaarheid: Het fenomeen wordt waargenomen in verschillende modelarchitecturen (GPT-NeoX, Llama-stijl, Conv1D) en schalen, wat suggereert dat het een fundamentele eigenschap is van hoe transformers in-context rule following implementeren, in plaats van een artefact van een specifiek model of taak.

5. Beperkingen

De auteurs tonen bescheidenheid over de reikwijdte van hun bevindingen:

Taakbereik: De primaire analyse is beperkt tot korte, gesloten-label, synthetische ICL-taken (hiërarchische en modulaire regels) en twee vocabulaire-ICL templates (antoniemen, land-hoofdstad). Het dekt geen langvormige generatie of open-ended instructie-opvolging.
Mechanistische Generalisatie: Hoewel de existentie van de twee populaties een bevinding op populatieniveau is, wordt de specifieke mechanistische karakterisering van de dominante canceller (L11.H4) als een "distributed-bias content reader" niet geëxtrapoleerd naar de gehele canceller-populatie.
Steering Claims: Het artikel maakt geen positieve claim dat vector-gebaseerde steering met de geïdentificeerde populaties de praktische modelcontrole verbetert boven de specifieke logit-verschuivingen die waargenomen zijn. De winst in nauwkeurigheid door ablatie vertaalt zich niet automatisch naar een bewezen voordeel voor additieve steering vectors zonder verdere afstemming.