Technische Samenvatting: Individuele Parameters in Gewicht-Sparse Transformers Schijnen Interpreteerbaar

Probleemstelling

Een centraal doel van mechanistische interpreteerbaarheid is het begrijpen van de functie van individuele componenten binnen neurale netwerken. Dominante benaderingen, zoals het vinden van circuits (circuit finding), reconstrueren gewichten op basis van specifieke gedragingen binnen de bijbehorende subverdelingen. De bestaande literatuur suggereert echter dat individuele gewichten vaak deel uitmaken van meerdere circuits en verschillend bijdragen aan diverse subsets van de inputverdeling.

In standaard dichte (dense) transformers wordt het begrijpen van individuele gewichten op globale schaal belemmerd door superpositie, waarbij de gewichtsbasis geen interpreteerbare basis is voor de parameters van het netwerk. Dit paper onderzoekt of gewicht-sparse transformers—modellen die getraind zijn met een hoog deel aan gewichten die naar nul worden gedwongen—een hanteerbaar testveld bieden voor globale interpreteerbaarheid. De kernvraag is: Kan een enkel niet-nul gewicht globaal over de volledige trainingsverdeling begrepen worden door de specifieke inputs te karakteriseren waarop het relevant is?

Methodologie

De auteurs introduceren een geautomatiseerde, op LLM gebaseerde pipeline die ontworpen is om menselijk leesbare beschrijvingen te genereren en te verifiëren van wanneer een specifiek gewicht actief is. De pipeline werkt in drie stadia:

1. Bepalen van de Belangrijke Locatie (Importance Location):

   • Voor een doelgewicht $w$ wordt het model gedraaid op een corpus zowel normaal als met $w$ geablateerd (op nul gezet).
   • De per-positie Kullback–Leibler (KL) divergentie tussen het originele en het geableteerde model wordt berekend.
   • De posities met de hoogste cumulatieve KL-divergentie (top 90%) worden geïdentificeerd als de "belangrijke locatie" waar het gewicht het meest significante effect heeft.

2. Genereren van Kandidaat-predicaten:

   • De token-contexten rondom de top-impact posities worden door een LLM verwerkt.
   • De LLM wordt geprompt om $N$ kandidaat Python-functies (predicaten) te genereren van de vorm $f(\text{tokens}, \text{pos}) \to \text{bool}$, die de overeenkomsten van deze contexten beschrijven.
   • De prompt legt de nadruk op de dekking van de beïnvloede contexten boven code-elegantie.

3. Scoren en Verificatie:

   • Kandidaten worden gescoord met een conditionele-nul ablatie-test op een corpus dat apart wordt gehouden (tekst die de LLM nog nooit heeft gezien).
   • Recovery (Herstel): Meet hoeveel van het ablatie-effect wordt hersteld wanneer het gewicht alleen wordt ingeschakeld waar het predicaat waar is.
   • Inverse (Omgekeerd): Meet het effect van het herstellen van het gewicht alleen waar het predicaat onwaar is (ter controle tegen te brede predicaten).
   • Coverage Gate (Dekking-poort): Een predicaat is alleen geldig als het afvuurt op ten minste één positie maar niet meer dan 50% van het corpus ($0 < p(f) \leq 0,5$).
   • Interpreteerbaarheids-score: Gedefinieerd als $\min(\text{recovery}, 1 - \text{inverse})$. Een gewicht wordt als interpreteerbaar beschouwd als de beste kandidaat een drempelwaarde overschrijdt (bijv. $T=0,75$) en de coverage gate passeert.
   • Robuustheid: Om generalisatie te waarborgen, wordt het beste predicaat opnieuw gescoord op $K=10$ disjuncte held-out slices. Een gewicht wordt pas geteld als "robuust interpreteerbaar" als de gemiddelde score over deze slices betrouwbaar boven de drempelwaarde uitkomt.

Experimentele Opzet

De pipeline werd geëvalueerd op vier modellen:

• Sparse Modellen:
  • Gao et al. (2025): Een weight-sparse coding transformer (~99% sparsity) getraind op Python-code.
  • Drori (2026): Een sparse-en-dense paar getraind op de SimpleStories corpus (~98% sparsity voor de sparse kern).
• Dense Controls:
  • Drori (2026) Dense: Een tegenhanger van het sparse model zonder sparsity-restricties.
  • Pythia-70m: Een standaard dense pretrained model getraind op The Pile.

Belangrijkste Resultaten

1. Sparse Modellen zijn Significant Meer Interpreteerbaar

Het deel van de niet-nul gewichten dat een enkele korte, generaliseerbare beschrijving toelaat, is aanzienlijk hoger in sparse transformers dan in dense modellen.

• Robuuste Interpreteerbaarheidspercentages:
  • Gao et al. (2025) Sparse: ~15,0% van de niet-nul gewichten.
  • Drori (2026) Sparse: ~9,6% van de niet-nul gewichten.
  • Drori (2026) Dense: ~1,5% van de niet-nul gewichten.
  • Pythia-70m: ~0,4% van de niet-nul gewichten.
• Het gat wordt groter wanneer onbetrouwbare beschrijvingen (die falen op held-out data) worden weggefilterd.

2. Stabiliteit van Scores

In sparse modellen is de interpreteerbaarheids-score een stabiele eigenschap van het gewicht zelf, en geen artefact van de specifieke corpus-slice die voor testen wordt gebruikt.

• Betrouwbaarheid: Voor sparse modellen reflecteert ~85–90% van de variantie in scores tussen verschillende held-out slices de werkelijke verschillen tussen gewichten.
• Dense Instabiliteit: Voor dense modellen (specifiek Pythia-70m) is slechts ~47% van de score-variantie stabiel; de rest is steekproefruis. Dit suggereert dat schijnbare interpreteerbaarheid in dense modellen vaak voortkomt uit overfitting op oppervlakkige patronen in de specifieke trainings-slice in plaats van het vangen van een globale gewichtsfunctie.

3. Aard van de Predicaten

De door de LLM gegenereerde predicaten zijn over het algemeen kort en lokaal:

• Meest voorkomende vorm: Single-token lookups (bijv. "is de token een cijfer", "is het in de set {th, ode, b}").
• Secundaire vorm: Directe buur-testen (bijv. "het vorige woord eindigt op -ed").
• Predicaten behouden zelden een status over lange prompts of beslaan meer dan 2–3 aangrenzende tokens.

4. Casestudies

• Cijferdetectie: Een neuron in de Gao sparse model, die activeert op numerieke tokens, deelt zich op in negen individueel interpreteerbare gewichten, die elk specifieke cijferhoeveelheden gate'n (enkelvoudig cijfer, tweecijferig, enz.).
• Spreekwerkwoorden: Een neuron in de Drori sparse model, die op activatieniveau verschijnt als een "speech-verb detector", deelt zich op in vijf parallelle functionele rollen op gewichts niveau: speech-verb activatoren, mental-verb suppressors, modal-verb suppressors, punctuatie gates en specifieke-token gates.

Betekenis en Claims

Het paper claimt dat een betekenend deel (12–31%) van de gewichten in weight-sparse transformers individueel interpreteerbaar kan zijn met een enkele korte beschrijving die generaliseert over de trainingsverdeling. Dit staat in schril contrast met dense modellen, waar globale interpreteerbaarheid bijna niet bestaat (0–3%).

De auteurs positioneren dit werk als een stap naar het begrijpen van de "algoritmen" die door neurale netwerken worden geïmplementeerd. Door aan te tonen dat sparse training overlevende gewichten dwingt om compacte, leesbare circuits te vormen, suggereert het paper dat weight-sparse transformers een natuurlijk testveld zijn voor het ontwikkelen van per-parameter interpreteerbaarheids-pipelines. De auteurs merken op dat zodra een interpreteerbare basis is geïdentificeerd voor dense modellen, deze pipelines potentieel toegepast kunnen worden op frontier taalmodellen.

Beperkingen

De auteurs benoemen expliciet enkele beperkingen:

• Omvang van de Uitleg: De methode identificeert wanneer een gewicht actief is, niet wat het berekent zodra het actief is.
• Taalrestricties: De predicaat-taal (Python-functies over token-context) kan geen semantische kenmerken (bijv. "verwijst naar een persoon") of complexe stateful structuren die meerdere tokens overspannen, uitdrukken. Gewichten die op dergelijke structuren vertrouwen, worden geclassificeerd als "niet interpreteerbaar", zelfs als ze een duidelijke functionele rol hebben.
• Distributieverschuiving: De held-out corpus is afkomstig uit dezelfde pretraining-verdeling; overleving onder distributieverschuiving is niet getest.
• Ondergrens: De gerapporteerde cijfers zijn een ondergrens van wat de methode zou kunnen vinden, beperkt door de expressiviteit van de huidige predicaat-taal.