Ablation-Reversible Heads Don't Transfer: A Stress Test for Mechanistic Role Claims in Transformers
Dit artikel daagt de geldigheid van veelvoorkomende mechanistische rolclaims voor transformer-attentionheads uit door aan te tonen dat heads die voldoen aan standaardcriteria voor noodzakelijkheid, codering en herstel vaak er niet in slagen berekeningen over prompts heen te transfereren, wat aanleiding geeft tot de introductie van een nieuw KID-framework en een rigoureuze testpipeline om te onthullen dat veel van dergelijke heads louter trajecten stabiliseren of outputs beïnvloeden in plaats van specifieke semantische berekeningen uit te voeren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je probeert te begrijpen hoe een enorm, complex orkest (een Large Language Model) een specifiek nummer speelt (een wiskundig probleem oplost of een vraag beantwoordt). Lange tijd hebben onderzoekers geprobeerd naar een enkele muzikant (een "attention head") te wijzen en te zeggen: "Ah, deze violist is degene die de melodie van 'optellen' speelt."
Hun gebruikelijke manier om dit te bewijzen omvat drie stappen:
- De muzikant het zwijgen opleggen: Als je die violist dempt, valt het nummer uit elkaar. (Noodzakelijkheid)
- De bladmuziek lezen: Als je naar de noten van de violist kijkt, zie je duidelijk het woord "optellen" op de noten staan. (Lineaire decodabiliteit)
- De "ongedaan maken"-knop: Als je de violist dempt en vervolgens direct hun opname over de stilte afspeelt, is het nummer weer perfect. (Ablatie-omkeerbaarheid)
Als een muzikant alle drie de tests doorstaat, gaan onderzoekers er traditioneel van uit: "Deze violist is het concept optellen."
De Grote Onthulling: De "Fake Transfer"
De auteurs, Philip Quirke en team, stelden een veel strengere test op. Ze namen die "perfecte" violisten die de eerste drie tests hadden doorstaan en probeerden hen naar een ander nummer te verplaatsen.
Stel je voor dat je een violist hebt die geweldig is in het spelen van "Optellen". Je neemt hun bladmuziek (hun hersentoestand) en probeert deze in een liedje te plakken dat vraamos "Aftrekken".
- De verwachting: Als die violist echt het concept optellen is, zou het plakken van hun toestand in het aftreksliedje ervoor moeten zorgen dat het orkest probeert op te tellen in plaats van af te trekken.
- De realiteit: Het werkte niet. Het orkest bleef aftrekken doen. De "toestand" van de violist heeft het concept optellen niet overgedragen naar het nieuwe liedje.
De auteurs ontdekten dat over drie verschillende modellen en vijf soorten taken (wiskunde, datums, vergelijkingen, etc.) heen, elke keer dat een muzikant de eerste drie tests doorstond, hij de vierde, cruciale test faalde. Ze waren noodzakelijk voor het nummer, en hun noten zagen eruit als "optellen", maar ze konden het orkest niet leren om in een nieuwe context op te tellen.
De Nieuwe Lens: KID (Knowing, Intent, Doing)
Om te verklaren wat deze muzikanten eigenlijk doen, introduceren de auteurs een nieuwe manier van denken die KID wordt genoemd:
- Knowing (Weten): De muzikant helpt het orkest te begrijpen wat de prompt vraagt. (bijv. "Oh, dit is een wiskundig probleem, geen geschiedenisvraag.")
- Intent (Intentie): De muzikant is degene die beslist welke specifieke operatie wordt uitgevoerd (bijv. "We gaan absoluut optellen, en niet aftrekken"). Dit is de heilige graal. Het paper beweert dat zij géén enkele muzikant hebben gevonden die daadwerkelijk deze "Intent" bezit.
- Doing (Doen): De muzikant helpt het orkest om het antwoord op te schrijven. (bijv. "Oké, het antwoord is 5, laten we dat opschrijven.")
Wat ze daadwerkelijk vonden
In plaats van "Intent"-muzikanten te vinden, vonden ze twee andere typen spelers die zich voordeden als de echte deal:
- De "Traject-stabilisatoren" (De Knowing-rol): Deze muzikanten zijn als een dirigent die het orkest op koers houdt. Als je hen dempt, raakt het orkest in de war over wat voor soort probleem het aan het oplossen is. Maar ze bevatten niet de "optellen"-schakelaar zelf; ze houden alleen de "wiskundige probleem"-vibe levend. Wanneer je hen naar een nieuw nummer verplaatst, behouden ze de vibe, niet de specifieke wiskundige operatie.
- De "Logit-Bias Heads" (De Doing-rol): Deze muzikanten zijn als een kopiist die zo dol is op het opschrijven van het antwoord "5", dat ze het orkest richting dat getal duwen. Als je hen dempt, schrijft het orkest misschien "4" of "6" in plaats van "5". Ze zijn essentieel voor het krijgen van het juiste antwoord, maar ze doen niet aan het denken over de wiskunde.
De "Hetzelfde Antwoord"-valstrik
Het paper belicht een slimme truc die ze gebruikten om deze bedriegers te betrappen: De "Same-Answer Control" (Controle op hetzelfde antwoord).
Stel je hebt een prompt die vraagt "Wat is 2 + 2?" (Antwoord: 4).
Je neemt de "hersentoestand" van een muzikant uit een prompt die vraagt "Wat is 3 + 1?" (Antwoord: ook 4).
Als je die toestand in de "2 + 2" prompt plakt, en het orkest zegt nog steeds "4", is dat dan omdat de muzikant het concept "optellen" heeft overgedragen?
Nee. Het is alleen omdat de muzikant geobsedeerd is door het getal "4".
De auteurs ontdekten dat veel "succesvolle" transfers simpelweg het gevolg waren van muzikanten die bekend waren met de antwoordstring, en niet met de berekening. Ze droegen "Ik weet dat het antwoord 4 is" over, en niet "Ik weet hoe ik moet optellen".
De Conclusie
Het paper concludeert dat de standaardinstrumenten die worden gebruikt om "mechanismen" in AI te vinden, te gemakkelijk te misleiden zijn. Alleen omdat een onderdeel van het model noodzakelijk, leesbaar en omkeerbaar is, betekent dit niet dat het de specifieke "intentie" of het "concept" bevat dat we denken dat het is.
- Het goede nieuws: We hebben nu een betere kaart. We weten hoe we een muzikant die alleen de band op koers houdt (Knowing), een muzikant die alleen de laatste noot schrijft (Doing), en een muzikant die daadwerkelijk de melodie bepaalt (Intent), van elkaar kunnen onderscheiden.
- Het slechte nieuws: In de modellen die ze hebben getest, konden ze geen enkele muzikant vinden die duidelijk de "Intent"-beslisser was. Het "besluitvormingsgedeelte" van de AI is misschien zo dun verspreid dat geen enkele enkele violist de bladmuziek voor "optellen" vasthoudt.
Kortom: Vertrouw niet alleen op de "ongedaan maken"-knop. Als je de toestand van een component niet naar een nieuwe situatie kunt verplaatsen om daar hetzelfde te laten doen, is het niet het "brein" van die specifieke taak — het is slechts een zeer behulpzame assistent.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.