🤖 machine learning

Spectral Probe-Circuits: A Three-Step Recipe for Identifying Attention-Head Circuits in Pretrained Transformers

Dit artikel introduceert een onbewaakte methode in drie stappen voor het identificeren van causale circuits van attention-heads in vooraf getrainde transformers, waarbij wordt aangetoond dat een op spectrale signalen gebaseerde aanpak succesvol taakspecifieke induktiecircuits isoleert over diverse modelgroottes, architecturen en trainingspijplijnen heen.

Oorspronkelijke auteurs: Yongzhong Xu

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yongzhong Xu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een gigantische bibliotheek van boeken voor (een neurale netwerk) die miljoenen verhalen heeft gelezen om te leren spreken. Binnen deze bibliotheek bevinden zich duizenden kleine bibliothecarissen (zogenaamde "attention heads") die beslissen welke woorden ze in de gaten houden bij het vormen van een zin.

Dit artikel presenteert een drie-stapsrecept om de specifieke groep bibliothecarissen te vinden die verantwoordelijk is voor een bepaalde truc, zoals "inductie" (een patroon zoals "A, B... A, B" opsporen en de volgende B voorspellen). De auteurs willen weten: Welke specifieke bibliothecarissen doen dit werk, en kunnen we dat bewijzen?

Hier is het recept, eenvoudig uitgelegd:

Stap 1: De "Activiteitsmeter" (Het spectrale signaal)

Het probleem: Je kunt niet zomaar naar de bibliotheek kijken en weten wie er aan het werk is. Je hebt een manier nodig om bibliothecarissen op te sporen die echt nadenken over de inhoud van het verhaal, in plaats van alleen maar leeg te staren of een starre regel te volgen.

De oplossing: De auteurs hebben een "participatie-ratio"-meter uitgevonden.

De analogie: Stel je een bibliothecaris voor die altijd naar hetzelfde plankje wijst, ongeacht welk boek je vraagt. Dat is saai; ze denken niet echt na. Stel je nu een bibliothecaris voor die voor elk boek dat je vraagt naar een ander plankje kijkt. Die bibliothecaris verwerkt actief de inhoud.
Het hulpmiddel: De auteurs meten hoe "verspreid" de aandacht van een bibliothecaris in de tijd is. Als de aandacht van een bibliothecaris, afhankelijk van het verhaal, naar veel verschillende plaatsen springt, gaat hun "meter" omhoog. Dit helpt hen bibliothecarissen te vinden die gespecialiseerd werk doen, zonder dat ze nog hoeven te weten welke specifieke taak ze uitvoeren. Het is als de meest actieve werkers in een fabriek vinden door gewoon te kijken hoe veel ze rondlopen.

Stap 2: Het "Functieomschrijving"-scherm

Het probleem: De "Activiteitsmeter" uit Stap 1 vindt alle drukke werkers. Maar we willen de werkers vinden die één specifieke baan doen (zoals inductie). De meter kan een werker markeren die druk bezig is met iets heel anders.

De oplossing: Ze passen een "scherm" toe om de lijst te filteren.

De analogie: Je hebt een lijst van 100 actieve werkers. Je vraagt hen: "Wie kijkt naar het woord direct voor het huidige woord?" (Vorig-token) of "Wie kijkt naar het patroon 'A... A'?" (Inductie).
Het hulpmiddel: Ze controleren de aandachtspatronen van de actieve werkers. Als een werker naar de juiste plek kijkt voor de specifieke taak (bijvoorbeeld terugkijken naar de eerste "A" wanneer ze de tweede "A" zien), krijgen ze een "ticket" voor de kandidatenlijst. Dit zet een algemene lijst van "drukke werkers" om in een specifieke lijst van "inductiewerkers".

Stap 3: De "Brandoefening" (Causale verificatie)

Het probleem: Alleen omdat een werker naar de juiste plek kijkt, betekent niet dat ze het resultaat veroorzaken. Misschien kijken ze alleen maar toe, en doet iemand anders het echte werk.

De oplossing: Ze voeren een "brandoefening" uit (ablatie).

De analogie: Je vertelt de specifieke groep "inductiewerkers" die in Stap 2 is geïdentificeerd om te stoppen met werken (je zet hun output op nul).
- De test: Stopt de bibliotheek dan met het correct voorspellen van het volgende woord?
- De controle: Om zeker te zijn dat je de bibliotheek niet gewoon kapotmaakt door willekeurig mensen te ontslaan, ontsla je ook een andere groep werkers uit dezelfde afdeling die niet op je lijst stonden.
- Het resultaat: Als de bibliotheek crasht alleen wanneer je de "inductiewerkers" ontslaat, maar gewoon doorgaat met werken wanneer je de willekeurige groep ontslaat, heb je bewezen dat jouw specifieke groep degene was die het werk deed.

Wat hebben ze gevonden?

Het recept werkt overal: Ze hebben dit getest op modellen variërend van zeer klein (51 miljoen parameters) tot vrij groot (1 miljard parameters). In elk enkel model vonden ze een klein team van 3 tot 6 bibliothecarissen dat verantwoordelijk is voor de inductietruc.
Het is voorspellend: Ze konden deze specifieke teams vinden tijdens het trainingsproces, voordat het model zelfs maar klaar was. De "Activiteitsmeter" ging voor de juiste werkers al branden voordat het model zelfs maar goed werd in de taak.
De "Specialist"-ratio is constant: Hoe groot de bibliotheek ook wordt, het percentage bibliothecarissen dat deze gespecialiseerde, hoogwaardige banen doet, blijft ongeveer hetzelfde (ongeveer 17–19%). De rest van de bibliotheek behandelt algemene zaken.
Verschillende modellen, verschillende teams: Hoewel de baan (inductie) hetzelfde is, gebruiken verschillende modellen verschillende teams bibliothecarissen om het te doen. Het ene model gebruikt misschien werkers in de eerste paar rijen; een ander gebruikt werkers in de middelste rijen. Maar het recept vindt het juiste team voor elk specifiek model.

Samenvatting

Dit artikel geeft ons een betrouwbare, drie-stapsmethode om de "hersencellen" in AI te vinden die specifieke trucs uitvoeren. Het raadt niet alleen; het vindt de actieve werkers, filtert ze op functieomschrijving, en bewijst vervolgens dat ze essentieel zijn door ze uit te schakelen en te kijken wat er kapotgaat. Het laat zien dat zelfs naarmate AI-modellen enorm groot worden, de kernteams die het slimme werk doen klein en consistent blijven.

Technische Samenvatting: Spectrale Probe-Circuits

Probleemstelling

Mechanistische interpretatie van vooraf getrainde transformers is doorgaans afhankelijk van post-hoc analyse: het identificeren van circuits van attention-heads nadat een model volledig is getraind, door heads te ableren en prestatievermindering te observeren op een vaste, vooraf gespecificeerde taak. Deze werkwijze is computatieverduurzaam (vereist forward passes over volledig getrainde netwerken voor elke conditie) en inherent reactief, aangezien de doelcapaciteit moet worden gedefinieerd voordat de zoektocht begint. Bovendien hebben bestaande methoden vaak moeite om onderscheid te maken tussen algemene, inhoudsafhankelijke berekening en taakspecifieke causale circuits, met name in grotere modellen waar "attention sinks" (heads die naar het eerste token kijken) het landschap domineren.

Methodologie: Een Drie-Stappenrecept

Het artikel stelt een drie-stappenrecept voor voor het identificeren van attention-head circuits dat per head werkt, geen taaklabels of attributie-gradiënten vereist, en kan worden toegepast tijdens training of op definitieve checkpoints.

Stap 1: Per-Head Spectraal Signaal (Het Algemene Indicator)

De eerste stap identificeert heads die aanhoudende, inhoudsafhankelijke berekening uitvoeren met behulp van een spectrale metriek afgeleid van de theorie van willekeurige matrices.

Metriek: Voor elke head bij elk training checkpoint wordt de Participatieverhouding (PR) van de per-head attention-outputmatrix berekend. De PR meet de effectieve rang (dimensie) van de outputverdeling.
Trajectiekarakteristiek: De methode integreert de tijdsontwikkeling van dit signaal: $I(L, H) = \sum_t \max(PR(L, H, t) - 1, 0) \cdot \Delta \log(\text{tokens}_t)$ .
Functie: Deze "PR-integraal" rangschikt heads die gedurende de tijd een hoge effectieve rang behouden (veel richtingen overspannend). Het dient als een algemeen specialisatie-indicator, waarbij heads worden gefilterd die instorten naar laag-rang (inhoud-onafhankelijke) toestanden of ruisachtig blijven. Cruciaal is dat het niet onderscheidt wat de head doet, maar alleen dat het gespecialiseerde berekening uitvoert.

Stap 2: Taakpatroon Screen (Het Taakspecifieke Filter)

Het algemene spectraalsignaal wordt gespecialiseerd voor een doeltaak door attentionpatronen te meten tegenover canonieke doelen.

Mechanisme: Een "all-head" screen meet de selectiviteit van elke head voor specifieke attentionpatronen (bijv. induktie, vorige-token, duplicaat-token, eerste-token/BOS, zelf, lokaal).
Definitie van Selectiviteit: Selectiviteit is de verhouding van attention naar doelposities versus een uniforme basislijn.
Drempels: Heads worden geclassificeerd als hun selectiviteit een drempel overschrijdt (bijv. $\ge 30\times$ voor toewijzing, $\ge 50\times$ voor lidmaatschap van het induktiecircuit).
Functie: Deze stap zet het algemene "specialisatie"-signaal om in een kandidaat-circuit voor een specifieke capaciteit. Het adresseert de beperking van Stap 1, die in door attention-sinks gedomineerde modellen generieke inhoudsafhankelijke heads hoger zou rangschikken dan taakspecifieke.

Stap 3: Causale Verificatie (De Falsifieerbare Claim)

Kandidaat-circuits worden gevalideerd via groepsablatie met rigoureuze controles om ervoor te zorgen dat het effect causaal is en geen artefact van laagcompositie.

Procedure: De per-head slice van de residual stream bij de attention-outputprojectie wordt op nul gezet.
Controles:
1. Gelijkgestelde Willekeur: Ableren van een gelijk aantal heads in dezelfde lagen die niet door de screen zijn geselecteerd. Dit weerlegt de hypothese dat "het ableren van willekeurige heads in deze lagen degradatie veroorzaakt".
2. Bovenste Grens: Ableren van alle heads in de geselecteerde lagen. Dit stelt het maximaal mogelijke effect voor die laag vast.
Criterium: Een circuit wordt als causaal beschouwd als de door de screen geselecteerde heads een significante degradatie produceren die groter is dan de gelijkgestelde-willekeur-controle, terwijl de bovenste grens nabij nul verzadigt.

Belangrijkste Resultaten

1. Replicatie Over Architecturen en Schalen

Het recept werd gevalideerd over een 8 $\times$ parameterbereik (51M tot 1B-actief / 7B-totaal) en drie architectuurfamilies (dichte GPT-NeoX, dichte Llama-stijl, en Llama-stijl MoE) getraind op verschillende datapipelines (TinyStories, FineWeb, Pile, DCLM).

Induktiecircuit: Een klein induktiecircuit (3–6 heads) bleek causaal noodzakelijk voor synthetische induktietaken in elk getest model.
Sublineaire Schaling: Hoewel het totale aantal heads lineair toeneemt met de modelgrootte, blijft de grootte van het induktiecircuit sublineair (3–11 heads), wat aangeeft dat de specifieke capaciteit niet lineair schaalt met de modelcapaciteit.

2. De Behouden Fractie van Gespecialiseerde Heads

Over het 8 $\times$ schaalbereik (124M tot 410M) is de fractie heads die identificeerbare gespecialiseerde berekening uitvoeren behouden op $\sim$ 17–19%.

Deze fractie werd onafhankelijk hersteld met twee methoden: (1) het classificeren van top- $K$ spectrale keuzes in capaciteitsklassen, en (2) het tellen van heads met induktieselectiviteit boven een ruisvloer van een nulverdeling.
In grotere 1B-klasse modellen varieert deze fractie aanzienlijker (4,7% tot 27,3%) en correleert met de dominantie van BOS-aantrekkers (attention sinks) in plaats van modelschaal, wat suggereert dat de behouding een eigenschap is binnen specifieke architectuur/datapipelines.

3. Voorspellende Kracht en Zaadspecificiteit

Zaadspecificiteit: In een 51M-parameter model getraind met zes verschillende willekeurige zaden, identificeerde het recept onderscheiden, zaadspecifieke circuits voor dezelfde taak. Het ableren van het circuit geïdentificeerd voor Zaad A had geen effect op het model van Zaad B, wat bevestigt dat de methode de daadwerkelijke implementatie van het model vindt in plaats van een universeel patroon.
Voorspellend Tijdstip: Het spectraalsignaal (Stap 1) stijgt voordat de capaciteitselectiviteit zijn functionele drempel overschrijdt. Het recept kan het circuit identificeren met slechts een klein deel (0,3–2%) van de totale trainingstokens, voorafgaand aan de volledige emergentie van de capaciteit.

4. Robuustheid tegen Dataverschuivingen

In een model getraind op FineWeb en vervolgens voortgezet op OpenWebText, bleef het bij het FineWeb-eindpunt geïdentificeerde induktiecircuit invariant (Jaccard = 1,00) door de dataverschuiving. De heads behielden hun selectiviteit en PR-trajecten, wat suggereert dat de methode structurele specialisatie identificeert in plaats van corpus-specifieke statistieken.

5. Compositie-afhankelijkheden

De methode identificeerde succesvol het "vorige-token"-circuit (8–9 heads) en demonstreerde zijn causale rol in induktie. Het ableren van het vorige-token-circuit vernietigde de induktieprestaties, wat de standaard compositiestructuur bevestigt waarbij vorige-token-heads de key-vectoren bouwen die door induktie-heads worden gebruikt.

Betekenis en Claims

Het artikel positioneert zichzelf als het methodologische anker voor een programma van drie artikelen. De primaire claims zijn bescheiden en gericht op de geldigheid van het recept zelf:

Het Recept is een Recept, Geen Universele Screen: De auteurs stellen expliciet dat Stap 1 (spectraalsignaal) een algemeen specialisatie-indicator is, geen taakspecifieke detector. Stap 2 (screen) biedt taakspecificiteit, en Stap 3 (ablatie) biedt causale falsifieerbaarheid. De combinatie is wat de methode robuust maakt.
Eerlijke Framing van Causale Claims: Het artikel benadrukt dat de "gelijkgestelde-willekeur"-differentiatie is wat de causale claim eerlijk maakt. Zonder deze controle kan men geen onderscheid maken tussen een specifiek circuit en een algemeen lagedeffect.
Ontwikkelingsvoorrang: Het spectraalsignaal gaat de emergentie van capaciteitselectiviteit vooraf, wat een potentieel venster biedt voor het monitoren van circuitvorming tijdens pretraining (gedetailleerd in een begeleidend artikel).
Beperkingen: De auteurs merken op dat voor samengestelde taken (bijv. Indirect Object Identification) het primaire attentionpatroon kan ontkoppelen van de taak-causale structuur over verschillende modelfamilies, wat een bredere set kandidaat-screens vereist. Bovendien vertrouwt de methode op vaste evaluatiebatches, en kunnen de specifieke circuitheads variëren bij hertraining (hoewel de fractie gespecialiseerde heads stabiel lijkt).

Kortom, het artikel biedt een reproduceerbaar, labelvrij raamwerk voor het isoleren van kleine, causaal noodzakelijke attention-head circuits, en demonstreert dat een behouden fractie van modelcapaciteit is toegewijd aan gespecialiseerde berekening die sublineair schaalt met de modelgrootte.