💬 NLP

Mechanistic Interpretability as Statistical Estimation: A Variance Analysis

Dit artikel betoogt dat mechanistische interpreteerbaarheid fundamenteel een statistisch schattingsprobleem is dat wordt geplaagd door een hoge intrinsieke variantie in causale mediatiescores, wat ervoor zorgt dat pipelines voor circuitontdekking instabiele en fragiele resultaten produceren die een verschuiving naar rigoureuze statistische robuustheid en stabiliteitsrapportage noodzakelijk maken.

Oorspronkelijke auteurs: Maxime Méloux, François Portet, Maxime Peyrard

Gepubliceerd 2026-06-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Maxime Méloux, François Portet, Maxime Peyrard

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Een Stad in Kaart Brengen met een Trillend Kompas

Stel je voor dat je probeert een kaart te tekenen van een complexe stad (een neuraal netwerk) om te begrijpen hoe men van Punt A naar Punt B komt (hoe een probleem wordt opgelost). Wetenschappers in het vakgebied van Mechanistic Interpretability zijn als stedelijke ontdekkingsreizigers. Ze willen de specifieke "wegen" en "kruispunten" (neuronen en verbindingen) vinden die de stad gebruikt om beslissingen te nemen. Ze noemen deze speciale routes "circuits".

Het artikel betoogt dat deze ontdekkingsreizigers op dit moment een kompas gebruiken dat wild ronddraait. Ze denken dat ze de één ware kaart vinden, maar in werkelijkheid tekenen ze elke keer een andere kaart, afhankelijk van kleine, willekeurige veranderingen in het weer of de manier waarop ze het kompas vasthouden.

Het Kernprobleem: De "Draaiende Kompas" (Variantie)

De onderzoekers ontdekten dat de instrumenten die worden gebruikt om deze circuits te vinden, fundamenteel instabiel zijn. Ze braken het probleem af in drie lagen van instabiliteit:

1. Het Ruwe Signaal is Ruisig (Intrinsieke Variabiliteit)

De Analogie: Stel je voor dat je de kracht van een specifieke windstroom in een storm probeert te meten. Als je op één exact moment een meting doet, krijg je een getal. Als je een seconde later meet, kan de wind iets sterker of zwakker zijn door willekeurige turbulentie.
De Bewering van het Artikel: De "belangrijkheid" van een specifiek deel van de AI is geen vast getal zoals het gewicht van een steen. Het is meer als de windsnelheid. Het verandert drastisch afhankelijk van de specifieke input (de "storm") waar je naar kijkt. Het artikel laat zien dat zelfs als je dit perfect berekent, de score voor een enkele verbinding zo sterk fluctueert dat het moeilijk is te zeggen of het echt belangrijk is of gewoon een willekeurige windvlaag.

2. De Instrumenten Voegen Meer Ruis Toe (Approximatiefouten)

De Analogie: Omdat het te veel tijd kost om de wind perfect te meten, gebruiken de ontdekkingsreizigers een goedkope, snelle sensor (approximatiemethoden zoals EAP) om de windsnelheid te raden. Maar deze goedkope sensor is schokkerig. Het voegt zijn eigen statische ruis en fouten toe aan de al veranderende wind.
De Bewering van het Artikel: De snelle methoden die wetenschappers gebruiken om tijd te besparen (zoals Edge Attribution Patching), introduceren nog meer ruis. Ze maken de scores vaak zelfs instabieler dan ze al waren. De "signaal-ruisverhouding" is zo laag dat de instrumenten vaak alleen maar statische ruis oppikken in plaats van het echte signaal.

3. De Kaart Verandert bij Elke Stap (Aggregatie-instabiliteit)

De Analogie: Om de definitieve kaart te tekenen, nemen de ontdekkingsreizigers 100 verschillende metingen en middelen deze uit. Maar omdat de metingen zo onstabiel zijn, ziet de uiteindelijke kaart er compleet anders uit als je de lijst van 100 metingen slechts een klein beetje verandert (bijvoorbeeld door er één te vervangen voor een andere). De ene dag toont de kaart een snelweg; de volgende dag een zandpad.
De Bewering van het Artikel: Wanneer wetenschappers deze schokkerige scores combineren om een "circuit" te bouwen, is het resultaat ongelooflijk fragiel.

Data verandert: Als ze een iets andere set voorbeelden gebruiken om hun kaart te trainen, vinden ze een totaal ander circuit.
Methode verandert: Als ze een instelling aanpassen (zoals de manier waarop ze de getallen middelen), vinden ze een ander circuit.
Perturbatie verandert: Als ze de manier veranderen waarop ze de AI "breken" om het te testen (de counterfactual), verschuift het gevonden circuit opnieuw.

Het "Dead Salmon" Effect

Het artikel vermeldt dat huidige methoden gevoelig zijn voor "dead salmon" artefacten.
De Analogie: In de neurowetenschap vonden onderzoekers ooit "hersenactiviteit" in een dode zalm, simpelweg omdat ze niet corrigeerden voor statistische ruis. Het artikel suggereert dat AI-onderzoekers hetzelfde doen: ze vinden "circuits" die echt lijken, maar die eigenlijk gewoon willekeurige ruis zijn die toevallig met elkaar overeenkwamen.

Wat de Onderzoekers Vonden (Het Bewijs)

Ze voerden experimenten uit op verschillende AI-modellen (zoals GPT-2 en Llama) en taken (zoals wiskunde of grammatica).

Het Resultaat: Wanneer ze hetzelfde experiment 100 keer uitvoerden met licht verschillende data, overlapten de gevonden "circuits" nauwelijks. Soms was de overlap minder dan 10%.
De Conclusie: Er is niet één enkel "Waar Circuit" dat wacht om ontdekt te worden. In plaats daarvan is er een wolk van mogelijke circuits, en de huidige methoden kiezen slechts één willekeurig punt uit die wolk en noemen dat de waarheid.

De Voorgestelde Oplossing: Stop met Gissen, Begin met het Meten van Onzekerheid

De auteurs zeggen niet: "geef de interpretatie van AI op." Ze zeggen eerder: "stop met doen alsof we meer weten dan we doen."

Het Nieuwe Regelboek:

Rapporteer de Variantie: Toon niet slechts één kaart. Toon 100 kaarten en zeg: "Dit is het gemiddelde, en dit is hoeveel ze van elkaar verschillen."
Controleer Stabiliteit: Voordat je beweert een circuit te hebben gevonden, controleer of het hetzelfde blijft wanneer je de data licht verandert. Als het circuit verdwijnt bij een kleine verandering, is het niet betrouwbaar.
Omarm Onzekerheid: Behandel deze bevindingen als weersvoorspellingen (bijv. "70% kans op regen") in plaats van absolute feiten (bijv. "Het gaat regenen").

Samenvatting

Het artikel betoogt dat Mechanistic Interpretability momenteel probeert wetenschap te bedrijven zonder toe te geven dat het met statistiek te maken heeft. Het is alsof je probeert de hoogte van een berg te meten terwijl je op een trampoline staat. De auteurs willen dat het vakgebied stopt met het zoeken naar één perfect "ground truth" circuit en begint met het rapporteren hoe wankel en variabel hun bevindingen eigenlijk zijn. Alleen door deze instabiliteit te erkennen, kunnen we de kaarten vertrouwen die we tekenen van de AI-geesten.

Technische Samenvatting: Mechanistische Interpreteerbaarheid als Statistische Schatting: Een Variantieanalyse

Probleemstelling

Mechanistische Interpreteerbaarheid (MI) streeft ernaar diepe neurale netwerken te reverse-engineeren door "circuits" te identificeren—functionele sub-netwerken die verantwoordelijk zijn voor specifieke gedragingen van het model. Deze circuits worden doorgaans ontdekt met behulp van Causal Mediation Analysis (CMA), waarbij wordt geïntervenieerd op de computationele graaf om het causale effect van specifieke componenten (knopen of randen) op de output van het model te meten.

De wetenschappelijke validiteit van deze bevindingen wordt echter steeds vaker in twijfel getrokken vanwege een gebrek aan stabiliteit. De huidige MI-praktijken produceren vaak "punt-schattingen" (enkele structurele samenvattingen) zonder onzekerheid te kwantificeren. Het artikel betoogt dat circuitontdekking geen op zichzelf staande taak is, maar een statistisch schattingsprobleem dat is opgebouwd uit CMA. Het kernprobleem dat wordt geïdentificeerd is fundamentele instabiliteit: het causale effect van een component is geen vaste eigenschap, maar een volatiele willekeurige variabele. Gevolgelijk leveren kleine perturbaties in inputdata, hyperparameters of interventie-definities zeer verschillende circuits op, wat de betrouwbaarheid en generaliseerbaarheid van MI-bevindingen ondermijnt.

Methodologie

De auteurs kaderen circuitontdekking als een downstream pipeline die wordt gevoed door CMA en analyseren de stabiliteit ervan vanuit een statistisch perspectief, waarbij instabiliteit wordt gedecomposeerd in twee primaire bronnen:

Variantie (Steekproefgevoeligheid): Fluctuaties die voortvloeien uit het vertrouwen op eindige datasets om populatieverwachtingen te benaderen.
Robuustheid (Methodologische Gevoeligheid): Gevoeligheid voor de specificatie van contrafectuals (interventiestrategieën) en hyperparameters.

De studie maakt gebruik van de volgende experimentele opzet:

Taken: Drie standaard interpreteerbaarheids-taken: Indirect Object Identification (IOI), Subject-Verb Agreement (SVA) en Greater-Than.
Modellen: GPT-2-small, Llama-3.2-1B, en Llama-3.2-1B-Instruct.
Estimatoren: De studie richt zich op de Edge Attribution Patching (EAP) familie, inclusclusief exacte CMA (waar computationeel haalbaar), EAP, en EAP-IG (met integrated gradients voor inputs en activaties).
Stabiliteitsmetrieken:
- Structurele Stabiliteit: Gemeten via de paarwijze Jaccard-index van ontdekte edge-sets.
- Functionele Stabiliteit: Gemeten via Circuit Error (CE) en KL-divergentie tussen het volledige model en het geïsoleerde circuit.
Perturbatie-regimes:
- Data Resampling: Bootstrap resampling om beperkte steekproefgroottes te simuleren.
- Distributieverschuivingen: Gebruik van meta-datasets en prompt-parafrasering.
- Interventie-definitie: Variëren van de ruisamplitude in de generatie van contrafectuals (Gaussische ruis op token embeddings).
- Methodologische Perturbaties: Variëren van aggregatiefuncties (gemiddelde versus mediaan), patching-typen en de keuze van de estimator.

Belangrijkste Bijdragen en Resultaten

1. Intrinsieke Variabiliteit van CMA-scores

De auteurs demonstreren dat zelfs exacte CMA-scores een hoge intrinsieke variabiliteit vertonen. Voor een enkele edge is het causale effect niet constant over inputs getrokken uit dezelfde distributie.

Bevinding: De coëfficiënt van variatie (CV) voor exacte edge-scores is vaak dicht bij 0,5.
Implicatie: Het causale effect is een willekeurige variabele die afhankelijk is van de specifieke input-contrafectual paren, en niet een vaste eigenschap van de component.

2. Amplificatie door Approximatiemethoden

Approximatiemethoden zoals EAP en EAP-IG introduceren extra schattingsruis bovenop de intrinsieke variantie.

Bevinding: Approximatieve estimatoren hebben vaak een CV > 1, wat betekent dat de standaarddeviatie van de score de gemiddelde waarde overstijgt. Dit resulteert in een lage signaal-ruisverhouding, waardoor de identificatie van stabiele circuits uit eindige steekproeven statistisch precair is.

3. Circuitinstabiliteit door de Pipeline heen

De instabiliteit van edge-scores plant zich voort naar de uiteindelijke circuitstructuur, wat leidt tot sterk uiteenlopende resultaten bij kleine wijzigingen:

Data Resampling: Bootstrap resampling levert de laagste structurele consistentie op (gemiddelde Jaccard-index $\approx$ 0,56 voor GPT-2-small) en de hoogste variabiliteit. Circuits ontdekt uit geresamplede data zijn vaak structureel disjoint en minder getrouw aan het originele model.
Modelgrootte: Stabiliteit degradeert significant in grotere modellen (Llama-3.2-1B) vergeleken met GPT-2-small, wat suggereert dat het identificeren van betrouwbare circuits in meer capabele modellen niet triviaal is.
Methodologische Gevoeligheid: Het veranderen van hyperparameters (bijv. aggregatie van som naar mediaan, of patching-type) kan de Jaccard-gelijkenis laten dalen tot bijna nul (bijv. 0,086), wat effectief een disjoint subgraaf oplevert. Verschillende EAP-varianten isoleren vaak verschillende artefacten van de hoog-variabele distributie in plaats van te convergeren op één enkel circuit.
Interventiegevoeligheid: Het geïdentificeerde circuit is niet invariant voor de magnitude van de perturbatie. Het variëren van de ruisamplitude in de generatie van contrafectuals verschuift de set componenten die als belangrijk worden beschouwd, waarbij kritieke regimes (bijv. ruisamplitude $\approx$ 0,2) een piek in instabiliteit vertonen.

4. Niet-identificeerbaarheid versus Estimatorinstabiliteit

Het artikel maakt onderscheid tussen niet-identificeerbaarheid (een theoretische onmogelijkheid om een uniek circuit te herstellen, zelfs met oneindige data) en estimatorinstabiliteit (empirische gevoeligheid voor eindige sampling en approximatie). Hoewel hoge instabiliteit consistent is met niet-identificeerbaarheid, tonen de auteurs aan dat de geobserveerde variabiliteit groot genoeg is om de huidige rapportagepraktijken te ondermijnen, ongeacht de grondoorzaak.

Betekenis en Aanbevelingen

Het artikel betoogt dat voor Mechanistische Interpreteerbaarheid om te evolueren tot een rigoureuze wetenschap, het de standaarden van statistische inferentie moet adopteren die in de natuurwetenschappen worden gebruikt. De huidige praktijk van het rapporteren van enkelvoudige punt-circuitontdekkingen zonder onzekerheidsschattingen is onvoldoende.

Voorgestelde Best Practices:

Rapporteer Stabiliteitsmetrieken: Onderzoekers zouden routinematig stabiliteitsmetrieken moeten rapporteren naast circuitontdekkingsresultaten. Specifiek de variantie van de circuitstructuur (bijv. gemiddelde paarwijze Jaccard-index) en prestaties (CV van de circuit error) onder bootstrap resampling ( $n \ge 100$ $n \geq 100$ ).
- Voorgestelde Drempelwaarde: Een gemiddelde paarwijze Jaccard-index boven de 0,8 onder bootstrap resampling zou als een voorlopige lat kunnen dienen om een circuit als stabiel te rapporteren.
Kwantificeer Estimatoronzekerheid: Gevoeligheidsanalyses met betrekking tot hyperparameters en aggregatiemethoden moeten worden uitgevoerd en gerapporteerd. Als een mechanisme alleen zichtbaar is onder specifieke hyperparameters, moet deze fragiliteit worden onthuld.
Karakteriseer Interventiegevoeligheid: In plaats van te vertrouwen op een enkele vaste interventie, zouden onderzoekers moeten analyseren hoe circuits veranderen naarmate de definities van contrafectuals (bijv. ruisamplitude) variëren, om kernmechanismen te onderscheiden van gelokaliseerde artefacten.

Conclusie:
De auteurs concluderen dat het veld moet bewegen van het zoeken naar één enkel "waar" circuit. In plaats daarvan zou toekomstig werk moeten streven naar het karakteriseren van een distributie over mogelijke circuits (Probabilistic Circuit Discovery) en optimalisatie-objectieven moeten ontwikkelen die expliciet variantie bestraffen, waarbij de voorkeur wordt gegeven aan componenten die betrouwbare mediatoren zijn over datasets en perturbaties heen. Deze statistische inkadering wordt gepresenteerd als een noodzakelijke stap naar het bouwen van betrouwbare AI-systemen en het waarborgen dat interpreteerbaarheidsinstrumenten een solide basis bieden voor veiligheids- en beleidsbeslissingen.