Technische Samenvatting: Taalmodel-circuits zijn ijl in de neuron-basis

Probleemstelling

Onderzoek naar de interpreteerbaarheid van taalmodellen is grotendeels weg bewogen van het analyseren van individuele neuronen, vanuit de overtuiging dat hoogwaardige concepten verdeeld zijn over neuronen en dat de neuron-basis oninterpreteerbaar is. Als gevolg hiervan heeft het vakgebied technieken zoals Sparse Autoencoders (SAE's) en transcoders geadopteerd om representaties te ontleden in ijle (sparse), interpreteerbare feature-bases. Deze geleerde bases introduceren echter benaderingsfouten, lijden aan feature-splitting en absorptie (polysemanticiteit) en vereisen extra trainingsoverhead. De centrale vraag die dit artikel adresseert, is of de oorspronkelijke neuron-basis inherent oninterpreteerbaar is, of dat de waargenomen afwezigheid van ijleheid een artefact is van suboptimale analysemethoden.

Methodologie

De auteurs stellen een end-to-end gradiënt-gebaseerde attributie-pipeline voor om circuits direct op de MLP neuron-basis (specifiek de pre-down projectie activaties) te traceren, in plaats van op geleerde SAE-features. De methodologie steunt op twee cruciale technische verschuivingen om het prestatiekloof tussen neuronen en SAE's te dichten:

1. Privileged Basis Selectie: In plaats van de post-down projectie MLP-outputs te gebruiken (de standaard baseline), maken de auteurs gebruik van pre-down projectie MLP-activaties. Zij hypothetiseren dat omdat de architectuur elementgewijze niet-lineariteiten (bijv. SiLU) toepast vóór de down-projectie, deze activatiecoördinaten een "privileged basis" vormen waar features natuurlijker uitgelijnd zijn, wat resulteert in aanzienlijk ijlere circuits.
2. Geavanceerde Attributie (RelP): Het paper vervangt Integrated Gradients (IG), wat ruisig is op diepe modellen en computationeel duur (vereist meerdere backward passes), door RelP (Relevance Patching). RelP is een gradiënt-gebaseerde attributiemethode die opereert op een "vervangingsmodel" waarbij niet-lineariteiten worden gelineariseerd (bijv. door SiLU-gates als constanten te behandelen). Dit maakt getrouwe circuit-ontdekking mogelijk met een enkele backward pass. De auteurs implementeren een "half-rule" voor gated MLP's om ervoor te zorgen dat de volledigheidseigenschap (completeness property) van attributiescores behouden blijft.

De pipeline evalueert circuits met twee standaardmetrieken:

• Faithfulness (Getrouwheid): Het vermogen van het complement van het circuit (de rest van het model) om het gedrag van het oorspronkelijke model te reproduceren wanneer het circuit wordt geablateerd.
• Completeness (Volledigheid): Het vermogen van het circuit zelf om het gedrag van het model te reproduceren wanneer de rest van het model wordt geablateerd.

Experimenten werden uitgevoerd op de Subject-Verb Agreement (SVA) benchmark (Marks et al., 2025) en een multi-hop stad-staat-hoofdstad redeneertaak (Lindsey et al., 2025) met behulp van Llama 3.1-8B-Instruct, met aanvullende validatie op Gemma-2 modellen.

Belangrijkste Resultaten

1. MLP-activaties zijn een ijle basis

De auteurs demonstreren dat MLP-activaties circuits opleveren die orden van grootte ijler zijn dan die afgeleid van MLP-outputs.

• Op de SVA-benchmark zijn circuits geconstrueerd uit MLP-activaties ongeveer 100x kleiner dan die van MLP-outputs, terwijl ze vergelijkbare getrouwheid en volledigheid bereiken.
• Deze bevinding verkleint de kloof tussen de neuron-basis en SAE-gebaseerde representaties aanzienlijk.

2. RelP presteert beter dan Integrated Gradients

De overstap van IG naar RelP verbetert de ijleheid en getrouwheid verder.

• Door RelP op MLP-activaties te gebruiken, bereiken de auteurs bijna perfecte getrouwheid en volledigheid met slechts ~200 neuronen op de SVA-benchmark.
• RelP sluit de resterende kloof tussen neuron-gebaseerde circuits en SAE-gebaseerde circuits, waardoor neuronen competitief worden met geleerde dictionaries wat betreft ijleheid.
• Op de Mechanistic Interpretability Benchmark (MIB) behaalt RelP state-of-the-art prestaties (laagste CMD-scores) op drie van de vijf taken, waarmee het bestaande IG-gebaseerde baselines overtreft.

3. Casestudy: Multi-hop Redeneren

In een casestudy betreffende het ophalen van staatshoofdsteden (bijv. "Wat is de hoofdstad van de staat die Dallas bevat?"), hebben de auteurs circuits getraceerd in Llama 3.1-8B-Instruct.

• Zij identificeerden een ijl circuit van ~23 sleutelneuronen (uit een grotere getraceerde set) die corresponderen met specifieke redeneerstappen: het mappen van een stad naar een staat, en het mappen van een staat naar de hoofdstad.
• Deze neuronen clusterden in groepen met interpreteerbare beschrijvingen (bijv. "Dallas", "Texas", "hoofdstad") die overeenkwamen met bevindingen uit eerder werk met Cross-Layer Transcoders (CLTs).
• Steering Experimenten: Door te interveniëren op specifieke neuron-clusters (bijv. het onderdrukken van de "Texas"-cluster), konden de auteurs het outputgedrag van het model causaal veranderen, wat bevestigt dat deze specifieken neuronen causaal effectief zijn in de redeneerketen.

4. Generaliseerbaarheid

De bevindingen houden stand over verschillende modelarchitecturen (Gemma-2 2B en 9B) en verschillende datasettings (gepaarde counterfactuals en ongepaarde data met zero baselines).

Betekenis en Claims

Het paper claimt het eerste empirische bewijs te leveren dat MLP-neuronen even ijle een feature-basis zijn als SAE's, wat de heersende aanname dat neuronen oninterpreteerbaar zijn, uitdaagt.

• Praktiseerbaarheid: De neuron-basis biedt een "geprivilegieerde" en getrouwe representatie zonder de reconstructiefouten, splitting of absorptieproblemen die inherent zijn aan geleerde dictionaries.
• Efficiëntie: De voorgestelde pipeline vermijdt de computationele kosten van het trainen van SAE's of transcoders, aangezien er via RelP slechts één backward pass per input nodig is.
• Reproduceerbaarheid: Het vermogen om complexe circuit-bevindingen (zoals die van Lindsey et al., 2025) te reproduceren met enkel de natuurlijke neuron-basis suggereert dat de "donkere materie" van taalmodellen toegankelijker is dan voorheen gedacht.

De auteurs concluderen dat, hoewel menselijke interpretatie van grote circuits een uitdaging blijft, de neuron-basis volledig uitgeput moet worden als primaire route voor interpreteerbaarheid voordat men overgaat tot geleerde ijle dictionaries. Zij kaderen dit werk als een stap naar het democratiseren van AI-veiligheidsonderzoek door efficiënte, schaalbare tools te bieden voor het traceren van interne berekeningen.