🤖 machine learning

Conditional Co-Ablation: Recovering Self-Repair Backups in Transformer Circuits

Dit artikel introduceert Conditional Co-Ablation (CoAx), een labelvrije methode die slapende back-upcomponenten in transformer-circuits blootlegt door te meten hoe hun belang toeneemt nadat primaire componenten zijn verwijderd, waardoor de misleidende attributie veroorzaakt door zelfherstelmechanismen wordt overwonnen en effectievere modelpruning en capability knockout mogelijk wordt gemaakt.

Oorspronkelijke auteurs: Zhiren Gong, Zihao Zeng, Chau Yuen, Wei Yang Bryan Lim

Gepubliceerd 2026-07-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhiren Gong, Zihao Zeng, Chau Yuen, Wei Yang Bryan Lim

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Ghost" Backup

Stel je voor dat je een hightech auto hebt met een hoofdmotor en een verborgen reservemotor. De reservemotor is ontworpen om volledig stil te blijven en helemaal niets te doen zolang de hoofdmotor draait. Hij komt pas in actie als de hoofdmotor uitvalt.

Stel je nu voor dat je een monteur bent die probeert uit te zoeken welke onderdelen van de auto belangrijk zijn. Je besluit de belangrijkheid van de hoofdmotor te testen door deze te verwijderen.

De Oude Manier (First-Order Scoring): Je haalt de hoofdmotor eruit. De auto blijft perfect rijden omdat de verborgen reservemotor onmiddellijk het overneemt. Je kijkt naar de auto en zegt: "Wauw, de hoofdmotor was eigenlijk niet eens zo belangrijk; de auto is zelfs niet eens gestopt!"
De Fout: Je kijkt ook naar de reservemotor terwijl de auto normaal rijdt. Omdat deze stil was en niets deed, zeg je: "Deze reservemotor is nutteloos; het is gewoon dood gewicht."

Het Resultaat: Je hebt het meest cruciale deel van de auto gemist. Je denkt dat de hoofdmotor zwak is, en je denkt dat de reservemotor waardeloos is. In werkelijkheid is de reservemotor een "ghost" die pas zichtbaar wordt wanneer de hoofdmotor weg is.

In de wereld van AI (specifiek bij Large Language Models zoals GPT) gebeurt dit de hele tijd. AI-modellen hebben "zelfherstellende" mechanismen. Als je een essentieel deel van het AI-brein verwijdert (een "primaire" component), wordt een sluimerende "backup" component wakker en herstelt de fout. Standaard testmethoden missen deze backups omdat ze alleen kijken naar hoe onderdelen zich gedragen wanneer de AI normaal functioneert.

De Oplossing: COAX (Conditional Co-Ablation)

De auteurs introduceren een nieuwe methode genaamd COAX. Zie COAX als een "Wat als"-simulator voor de monteur.

In plaats van alleen te vragen: "Hoe belangrijk is dit onderdeel?", vraagt COAX een andere vraag: "Hoe belangrijk wordt dit onderdeel nadat we de hoofdmotor al hebben verwijderd?"

Stap 1: De Primaire Verwijdering. Eerst identificeren de onderzoekers de hoofdmotor (de primaire componenten) en verwijderen deze. De prestaties van de AI dalen licht, maar de verborgen backup wordt wakker en herstelt het grootste deel van de schade.
Stap 2: De Conditionele Test. Nu, met de hoofdmotor al verwijderd, beginnen de onderzoekers de andere onderdelen te testen. Ze vragen: "Als we dit specifieke backup-onderdeel nu verwijderen, stopt de auto dan eindelijk?"
De Ontdekking: Plotseling zien de "nutteloze" backup-onderdelen er ongelooflijk belangrijk uit. COAX meet deze "groei in belangrijkheid". Het vindt de verborgen helden die voorheen onzichtbaar waren.

Een Praktijkvoorbeeld: De "Name-Mover"

De paper testte dit op een specifieke AI-taak genaamd "Indirect Object Identification" (IOI).

De Taak: De AI leest een zin als "John en Mary gingen naar de winkel. John gaf een drankje aan..." en moet raden dat het volgende woord "Mary" is.
De Primaire Component: Er zijn specifieke delen van de AI (genaamd "Name-Mover heads") die dit werk normaal gesproken doen.
De Backup: Als je die primaire onderdelen verwijdert, faalt de AI niet. Andere onderdelen (de "Backup Name-Movers") worden wakker en nemen de taak over.
De Oude Methode: Deze rangschikte de backups als bijna nutteloos (0,33 van de 1,0 nauwkeurigheid bij het vinden ervan).
De COAX-Methode: Deze rangschikte de backups als de belangrijkste onderdelen om te vinden (0,91 van de 1,0). Het vond succesvol de verborgen helpers die de oude methoden misten.

Waarom Dit Belangrijk Is (De "Downstream" Effecten)

De paper laat zien dat het vinden van deze "ghost backups" drie grote problemen in AI-analyse oplost:

Betere Attributie (Credit geven):
- Analogie: Als je de hoofdchef ontslaat, neemt de sous-chef het over en smaakt het eten nog steeds geweldig. Als je alleen de hoofdchef de eer geeft, mis je het feit dat de sous-chef eigenlijk essentieel is.
- Resultaat: COAX helpt ons om de juiste onderdelen van de AI de eer te geven, zelfs als ze normaal gesproken stil zijn.
Echte "Knockout" (De AI uitschakelen):
- Analogie: Als je wilt voorkomen dat een auto beweegt, is het verwijderen van de hoofdmotor niet genoeg als de reservemotor er nog is. Je moet beide verwijderen.
- Resultaat: Als je een specifiek AI-gedrag wilt uitschakelen (zoals het stoppen met liegen of het stoppen met het oplossen van een wiskundig probleem), moet je ook de backups verwijderen. COAX vertelt je precies welke backups je moet verwijderen om het gedrag echt te "breken".
Slimmer Pruning (AI kleiner maken):
- Analogie: Stel je voor dat je een auto lichter wilt maken door onderdelen te verwijderen. Als je de hoofdmotor verwijdert omdat je denkt dat dit het enige belangrijke onderdeel is, kan de auto nog steeds rijden op de backup. Maar als je de backup verwijdert voordat de hoofdmotor wordt verwijderd, stopt de auto.
- Resultaat: COAX helpt ingenieurs om de omvang van AI-modellen te verkleinen (pruning) zonder ze per ongeluk te breken. Het zorgt ervoor dat als je een primair onderdeel verwijdert, je de bijbehorende backup veilig houdt, of als je de backup verwijdert, je weet dat de primaire component er nog steeds is.

Samenvatting

De paper betoogt dat belangrijkheid geen vaste eigenschap is. Een onderdeel van een AI is niet simpelweg "belangrijk" of "onbelangrijk" op zichzelf. De belangrijkheid ervan hangt af van wat er nog meer in het systeem aanwezig is.

Oude Visie: "Dit onderdeel is stil, dus het is nutteloos."
COAX-Visie: "Dit onderdeel is stil alleen omdat het hoofdonderdeel werkt. Als het hoofdonderdeel breekt, wordt dit onderdeel de held."

Door deze "conditionele" benadering te gebruiken, kunnen de onderzoekers de verborgen backups vinden die AI-modellen robuust en betrouwbaar maken, waardoor de blinde vlekken van eerdere methoden worden opgelost.

Technische Samenvatting: Conditional Co-Ablation (COAX)

1. Probleemstelling

Mechanistische interpreteerbaarheid steunt op het toekennen van belangsscores aan individuele modelcomponenten (bijv. attention heads) om te begrijpen hoe een model specifieke gedragingen produceert. De standaardaanpak gebruikt eerste-orde scoring: het ableren van een eenheid in isolatie, het meten van de verandering in de output, en het aggregeren van deze effecten. Dit gaat uit van de aanname dat componentbelang additief is.

Deze aanname faalt echter in de aanwezigheid van zelfherstel (het "Hydra-effect"), waarbij een model beschikt over slapende back-upcomponenten die activeren zodra een primaire component wordt verwijderd.

De blinde vlek: Op een intact model lijkt een back-upcomponent irrelevant (lage belangrijkheid) omdat deze stil is. Wanneer een primaire component wordt geableerd, neemt de back-up het over, herstelt de schade en dempt het effect van de primaire component.
Gevolg: Eerste-orde scores lezen beide kanten van de redundantie verkeerd: ze onderschatten de primaire component (omdat de back-up de fout herstelt) en missen de back-up volledig (omdat deze slapend is). Dit leidt tot onjuiste attributie, mislukte uitschakeling van capaciteiten (capability knockouts) en suboptimale modelpruning.

2. Methodologie: Conditional Co-Ablation (COAX)

De auteurs herformuleren het probleem als conditionele circuit-completie: gegeven een set primaire componenten $S$ , identificeer de resterende eenheden waarvan het belang significant groeit zodra $S$ wordt verwijderd.

De COAX-score

COAX is een label-vrije, op de output gebaseerde score die de conditionele groei van het ablatie-effect van een eenheid meet.

Fisher-geometrie: De methode meet ablatie-effecten in de metriek geïnduceerd door de outputverdeling (Fisher-informatie). Voor een eenheid $u$ is het ablatie-effect de logit-perturbatie $\delta z_u = z_0 - z_{\{u\}}$ . De energie van dit effect is de gemiddelde KL-kosten, benaderd door de Fisher-gewogen norm van de gecentreerde feature $\tilde{\delta z}_u$ .
Conditionele Groei:
- Laat $S$ een zaadset (seed set) zijn van primaire componenten (bijv. geïdentificeerd door een eerste-orde methode).
- Bereken de energie van het ableren van een kandidaat-eenheid $u$ in isolatie: $E(\delta z_u | \emptyset)$ .
- Bereken de energie van het ableren van $u$ nadat $S$ is geableerd: $E(\delta z_u | S)$ .
- De COAX-score is het verschil:
  $\text{comp}_u(S) = E(\delta z_u | S) - E(\delta z_u | \emptyset)$
Theoretische Basis:
- Propositie 1: Vestigt de Fisher-identiteit, die de inproduct van gecentreerde features koppelt aan de Fisher-Gram-matrix.
- Propositie 2 (Additiviteits-blinde vlek): Bewijst dat elke score die uitsluitend gebaseerd is op statistieken in de 'clean state' (bijv. schone activaties of gradiënten) een pure back-up (slapend op het schone model) niet kan onderscheiden van een inerte eenheid.
- Propositie 3 (Conditionele Groei als Synergie): Toont aan dat voor een slapende eenheid de conditionele groei-score de energie van de paargewijze synergie van de eenheid met de zaadset $S$ benadert. Zo herstelt COAX de tweede-orde interactie die eerste-orde scores verwaarlozen.

Efficiëntie

In tegenstelling tot expliciete paargewijze synergieberekeningen die $O(|U|^2)$ forward passes vereisen, vereist COAX slechts $O(|U|)$ passes (één enkele-ablatie scan en één conditionele scan per zaad). Het is forward-only en vereist geen backward passes of taaklabels.

3. Belangrijkste Bijdragen

Formalisering van Zelfherstel: Het artikel formaliseert zelfherstel als een falen van additiviteit in componentbelang en introduceert "conditionele circuit-completie" als de taak van het terugwinnen van slapende compensatoren.
COAX-score: Introduceert een label-vrije, op Fisher gebaseerde score die slapende back-ups blootlegt door de groei in ablatie-energie te meten na conditionering op een primaire set.
Causale Validatie: Demonstreert dat teruggewonnen heads echte back-ups zijn via mechanistische controles (wake-up curves, direct-logit attributie hand-off) en counterfactual patching (het bevriezen van back-ups verwijdert het zelfherstel).
Downstream Nut: Toont aan dat het terugwinnen van deze back-ups de gemaskeerde attributie corrigeert, volledige uitschakeling van capaciteiten mogelijk maakt en gestructureerde pruning verbetert.

4. Experimentele Resultaten

Back-up Ontdekking (GPT-2-small IOI Circuit)

Taak: Identificeer 8 gedocumenteerde "name-mover" back-up heads gegeven de 3 primaire name-movers.
Prestaties:
- Eerste-orde baselines: Single-ablation saliency (0.33 AUC), AtP (0.60), EAP-IG (0.70), en de zelfherstel-bewuste AtP*GradDrop (0.82).
- COAX: Behaalt 0.91 ROC-AUC.
- Significantie: COAX plaatst 6 van de 8 gedocumenteerde back-ups in de top 20 kandidaten. De verbetering ten opzichte van de beste gradiënt-gebaseerde baseline (AtP*) is statistisch significant ( $p < 0.05$ ) bij controle voor de zaadset.
Synthetische Benchmark: Op een synthetische benchmark met 100 geplante back-ups presteren scores in de 'clean state' op niveau van toeval of daaronder (0.42–0.51), terwijl COAX 0.90 bereikt, wat de theoretische blinde vlek van eerste-orde methoden bevestigt.

Generalisatie

Schaal: Het "wake-up" fenomeen (toename van de output norm bij primaire ablatie) wordt waargenomen in GPT-2-small, medium en large modellen.
Architectuur: Toegepast op het inductie-circuit over 8 modellen (Pythia, GPT-Neo, Gemma, Llama, Qwen, OLMo). COAX herstelt compenserende sets die de inductie log-waarschijnlijkheid significant laten dalen (2.1x tot 12x meer dan willekeurig), wat de label-vrije overdraagbaarheid aantoont.

Downstream Applicaties

Attributie Herstel: Alleen het ableren van primaires componenten verlaagt de IOI logit-verschil met slechts 0.22 (gemaskeerd door zelfherstel). Het toevoegen van COAX-teruggewonnen back-ups herstelt de daling naar 1.76, wat het ware causale effect onthult.
Capaciteit Knockout: Om het IOI-gedrag uit te schakelen, moeten de back-ups worden verwijderd.
- Verwijderen van alleen primaires componenten: Accuratesse blijft ~0.97 (zelfherstel actief).
- Verwijderen van primaires + COAX back-ups: Accuratesse daalt naar 0.70, wat overeenkomt met de gedocumenteerde oracle (0.72).
- Verwijderen van primaires + "eigen" eerst-gerangschikte heads (first-order top-up): Accuratesse daalt naar 0.24, wat wijst op over-ablatie in kerncomponenten.
Gestructureerde Pruning: Een sequentiële pruning strategie die COAX-scores opnieuw meet na elke verwijdering (om nieuw blootgestelde back-ups te accounten) presteert beter dan alle baselines (Random, Magnitude, Wanda, Taylor) over verschillende schalen van 124M tot 7B parameters. Bij 50% sparsity behoudt COAX de perplexiteit aanzienlijk dichter bij het dichte model dan welke concurrent ook.

5. Significantie en Claims

Het artikel betoogt dat componentbelang geen intrinsieke eigenschap is van een eenheid, maar conditioneel is op de staat van de rest van het circuit.

Motivatie: In robuuste circuits zijn de componenten die het belangrijkst zijn, vaak de componenten die stil blijven totdat de primaire faalt. Eerste-orde methoden, die eenheden in isolatie scoren, missen systematisch deze "verborgen helden".
Operationele Verschuiving: COAX verschuift het paradigma van "het scoren van eenheden in isolatie" naar "het scoren van eenheden relatief aan wat er is verwijderd".
Beperkingen & Reikwijdte:
- COAX is een completie-instrument, geen op zichzelf staand ontdekkingsinstrument; het vereist een primaire zaadset (die gevonden kan worden door eerste-orde methoden).
- Het is het meest effectief in dormant-substitution regimes (zoals IOI back-ups). In regimes waar redundantie gedeeld wordt tussen co-firing homogene heads (zoals inductie), vindt COAX load-bearing sets, maar identificeert het niet uniek een afzonderlijke "back-up klasse".
- De methode is momenteel geïnstancieerd op de aandacht-head granulariteit; het herstelt geen sterke signalen in MLP-gedomineerde circuits (bijv. de "greater-than" circuit), wat suggereert dat de mechanisme van het circuit (MLP vs. Attention) de herstelbaarheid van zelfherstel bepaalt.

Het artikel concludeert dat een getrouwe interpreteerbaarheid van robuuste modellen conditioneel moet zijn: redundantie is geen ruis die gemiddeld moet worden, maar een structuur waarover geconditioneerd moet worden om het volledige circuit te onthullen.