Technische Samenvatting: Verborgen Helden en Gradientenbloats

Probleemstelling

Attributie op basis van gradienten is een fundamenteel instrument in mechanistische interpretabiliteit, veel gebruikt voor het snoeien, ontdekken van circuits en auditeren van Transformer-modellen. De heersende aanname is dat de grootte van de gradiënt van een component betrouwbaar de causale belangrijkheid aangeeft in het sturen van modelgedrag, met name voor generalisatie buiten de verdeling (OOD). Deze paper betoogt echter dat deze aanname grotendeels ongetest blijft tegenover causale interventies. Als de grootte van de gradiënt systematisch faalt in het identificeren van de architecturale componenten die de werkelijke berekening aandrijven, lopen pipelines die erop vertrouwen het risico kritieke componenten te verwijderen of "circuits" te identificeren die louter artefacten zijn van de attributiemethode in plaats van echte computationele structuren.

Methodologie

De auteurs evalueren de betrouwbaarheid van gradiëntattributie met behulp van een gecontroleerde experimentele opstelling die is ontworpen om causale structuren te isoleren:

• Taken en Modellen: De studie maakt gebruik van twee algoritmische benchmarks—Sequentie Omkeren en Sequentie Sorteren—met gehele getallen $x \in \{1, \dots, 99\}$. De modellen zijn decoder-only Transformers met $L=4$ lagen en $H=4$ koppen (20 totale componenten: 16 attention-koppen en 4 MLP's). Deze taken zijn gekozen omdat hun causale structuren volledig meetbaar zijn en circuits relatief eenvoudig zijn, wat een "best-case" scenario voor gradiëntattributie vertegenwoordigt.
• Grootte van de Gradiënt ($G$): Voor elke component berekenen de auteurs de genormaliseerde gemiddelde Frobenius-norm van de gradiënt over 50 OOD-batches. Om een eerlijke vergelijking te garanderen over heterogene sublagen (bijv. attention-matrices versus MLP-matrices), worden gradienten genormaliseerd door de vierkantswortel van het aantal parameters. De maat isoleert $W_V$ en $W_{out}$ om de bijdrage aan de reststroom te begrenzen.
• Causale Belangrijkheid ($C$): Functionele noodzaak wordt gemeten via ablatie-experimenten op OOD-sequentielengtes ($N \in \{8, 9, 10, 11\}$). Er worden twee baselines gebruikt:
  • Gemiddelde Ablatie: Het vervangen van de output van een component door zijn gemiddelde activatie.
  • Nul-Ablatie: Het vervangen van de output door een nulvector.
  • Nauwkeurigheid wordt gemeten als de exacte sequentie-overeenkomst.
• Gap-Quantificatie: De misalignement wordt gekwantificeerd met behulp van de Spearman-correlatie ($\rho$) tussen de grootte van de gradiënt en de causale belangrijkheid. Componenten worden geclassificeerd op basis van het rangverschil ($\Delta_i$):
  • Verborgen Helden: Lage-gradiënt maar causaal essentieel ($\Delta_i \le -6$).
  • Gradientenbloats: Hoge-gradiënt maar verwaarloosbaar causaal effect ($\Delta_i \ge 6$).
  • Gelijkgericht: Overeenstemming tussen maatstaven ($|\Delta_i| < 6$).
• Validatie: De studie omvat tot 10 willekeurige zaden en bevat gezamenlijke ablatie-experimenten om redundantie te testen.

Belangrijkste Resultaten

1. Systematisch Falen van Gradiëntattributie

De correlatie tussen de grootte van de gradiënt en de causale belangrijkheid is sterk taakafhankelijk en stort vaak in:

• Sequentie Omkeren: Toont een matige correlatie ($\rho = 0.72$).
• Sequentie Sorteren: Toont een ernstige ineenstorting ($\rho = 0.27$).
• Individuele Zaden: In specifieke zaden daalt de correlatie tot bijna nul ($\rho \approx 0.00$) of wordt negatief voorspellend ($\rho = -0.18$), wat aangeeft dat hoge gradienten actief kunnen misleiden met betrekking tot functionele noodzaak.

2. Structurele Inversie per Laag

Het falen is geen willekeurige ruis, maar vertoont een stabiele, laag-voor-laag structuur:

• Gradientenbloats: Concentreren zich in vroege lagen (specifiek Laag 1). Deze componenten ontvangen hoge gradiëntsignalen maar zijn individueel overbodig.
• Verborgen Helden: Concentreren zich in late lagen (specifiek Laag 3). Deze componenten hebben lage gradiëntsignalen maar zijn causaal onmisbaar.
• Stabiliteit: Specifieke koppen vervullen consistente rollen over zaden heen (bijv. L3 H3 is een Verborgen Held in 7/10 sorteerseden; L1 H1 en L1 H3 zijn Bloats in 6/10 zaden).

3. Het Redundantieparadox en Superadditiviteit

Het mechanisme dat het falen aandrijft, wordt geïdentificeerd als collectieve redundantie:

• Individuele versus Gezamenlijke Ablatie: Wanneer Gradientenbloats individueel worden geablateerd, is de daling in nauwkeurigheid verwaarloosbaar (3,1% per component). Echter, wanneer ze gezamenlijk worden geablateerd, stort de nauwkeurigheid in met 43,8%.
• Superadditiviteit: De gezamenlijke schade is 14× groter dan de som van individuele voorspellingen. Dit onthult dat Bloats een gedistribueerd, redundant circuit vormen waarbij componenten elkaar compenseren.
• Beperking van Eerste-orde Methoden: Gradiëntattributie, die alleen lokale verliesgevoeligheid meet, kent een hoog signaal toe aan alle actieve componenten in een redundant circuit, en faalt in het onderscheid maken tussen individueel-redundante en individueel-kritieke eenheden.

4. Impact op Generalisatie

• Verborgen Helden: Het ablaten van deze componenten veroorzaakt een verwoestende daling in OOD-nauwkeurigheid (gemiddelde verandering van $-36,4\% \pm 22,8\%$ bij omkeren), ondanks hun lage gradiëntrangschikking.
• Gradientenbloats: Hoewel individueel minder kritiek, onthult hun collectieve verwijdering de verborgen redundantie, wat zorgt voor significante variatie in snoeieruitkomsten afhankelijk van de specifieke circuittopologie van het zaad.

Betekenis en Aanspraken

De paper beweert dat de grootte van de gradiënt een systematisch omgekeerde proxy is voor causale belangrijkheid in algoritmische taken, gedreven door een arbeidsverdeling waarbij vroege lagen brede, hoog-gradiente kenmerkextractoren leren en late lagen schaarse, causaal onmisbare logica implementeren.

• Mechanistisch Inzicht: De bevindingen suggereren dat "circuits" geïdentificeerd via gradiëntgebaseerde methoden artefacten kunnen zijn van de attributiemethode, waarbij de ware drijvers van generalisatie (Verborgen Helden) worden genegeerd en redundante vroege-laagkenmerken (Gradientenbloats) worden overschat.
• Voorwaarde voor Aanspraken: De auteurs betogen dat causale validatie (via ablatie of patching) een voorwaarde moet zijn voor enige circuitniveau-aanspraken of snoeistrategieën, aangezien gradiëntgebaseerde heuristieken alleen ontoereikend en potentieel destructief zijn voor OOD-generalisatie.
• Reikwijdte: De studie positioneert deze bevindingen als een ondergrens voor attributiefalen; de auteurs suggereren dat de kloof kan worden verergerd in naturalistische omgevingen met grotere redundantie en complexiteit.

De paper concludeert met een oproep tot herwaardering van attributiemethoden in het licht van redundante circuittopologieën en benadrukt de noodzaak om de temporele dynamiek van "grokking" te volgen om te begrijpen hoe deze laag-voor-laag structuren tijdens het trainen ontstaan.