💬 NLP

Position: Mechanistic Interpretability Must Disclose Identification Assumptions for Causal Claims

Dit artikel betoogt dat onderzoek naar mechanistische interpreteerbaarheid validatiemetrics vaak verward met causale identificatie door de noodzakelijke aannames niet expliciet te benoemen, en het stelt een nieuwe openbaarheidsnorm voor die auteurs verplicht hun identificatiestrategieën en de robuustheid van hun causale claims duidelijk te formuleren.

Oorspronkelijke auteurs: Zezheng Lin, Fengming Liu

Gepubliceerd 2026-05-11

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zezheng Lin, Fengming Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die probeert uit te vinden waarom een complexe machine (een AI) doet wat hij doet. Je vermoedt dat een specifiek tandwiel (een "circuit" of "feature") de oorzaak is van een specifieke actie. Je haalt dat tandwiel eruit en de machine stopt met werken. Je roept uit: "Aha! Dat tandwiel was de oorzaak!"

Dit artikel betoogt dat onderzoekers op het gebied van "mechanistische interpretatie" van AI deze verklaringen veel te vaak afgeven zonder de regels van bewijsvoering te volgen. Ze claimen de oorzaak te hebben gevonden, maar hebben niet uitgelegd waarom hun experiment bewijst dat het de oorzaak is en niet slechts een toevalstreffer.

Hier is de uiteenzetting van het argument van het artikel, gebruikmakend van eenvoudige analogieën:

1. Het Kernprobleem: "Validatie" is niet "Identificatie"

Het artikel maakt een cruciaal onderscheid tussen twee dingen:

Validatie (Het "Wat"): "Ik heb het tandwiel eruit gehaald en de machine stopte." Dit is een feit. Het is een geslaagde test.
Identificatie (Het "Waarom"): "Ik weet met zekerheid dat alleen dat tandwiel ervoor zorgde dat de machine stopte, en niet een verborgen reserve-tandwiel of een neveneffect van mijn handeling."

De Analogie:
Stel je voor dat je een arts bent. Je geeft een patiënt een pil en de koorts zakt.

Validatie: "De koorts zakte na de pil." (Dit is waar).
Identificatie: "De pil veroorzaakte dat de koorts zakte." (Dit vereist aannames).

Misschien zakte de koorts omdat het het tijdstip van de dag was waarop de koorts natuurlijk afnam. Misschien dronk de patiënt op hetzelfde moment water. Misschien werkte de pil niet, maar was de koorts toch al aan het verdwijnen.

In AI-onderzoek zeggen papers vaak: "We hebben dit deel van de AI veranderd en het gedrag veranderde, dus dit deel is de oorzaak." Het artikel betoogt dat ze de stap overslaan om te bewijzen dat geen enkele andere verklaring die verandering had kunnen veroorzaken. Ze behandelen het "zakken van de koorts" (validatie) als bewijs van het "werken van de pil" (identificatie), zonder te controleren of de patiënt een natuurlijke koortscurve had.

2. De Valstrik van "Verborgen Aannames"

Elke keer dat een onderzoeker claimt een oorzaak te hebben gevonden, staat hij op een reeks onzichtbare aannames. Het artikel stelt dat deze aannames momenteel verborgen zijn.

De Analogie:
Stel je voor dat een goochelaar beweert: "Ik liet het konijn verdwijnen omdat ik met mijn toverstaf zwaaide."

De Verborgen Assume: "Het konijn is niet door de achterdeur gesprongen."
De Verborgen Assume: "Het konijn was niet al weg voordat ik zwaaide."

In AI-papers zijn de "goocheltrucs" dingen zoals:

Activation Patching: "We hebben dit deel van het brein van de AI vervangen. Het gedrag veranderde."
- Verborgen Assume: "We hebben per ongeluk geen slapend reservesysteem wakker gemaakt dat ook dit werk doet."
Sparse Autoencoders (SAE's): "We hebben een specifieke 'feature' in de AI gevonden die het concept van 'eerlijkheid' vertegenwoordigt."
- Verborgen Assume: "Deze feature is een uniek, zelfstandig bouwblok, en niet slechts een rommelige mix van andere dingen die toevallig op 'eerlijkheid' lijkt."

Het artikel auditteert 10 grote papers (en controleert 30 andere) en stelt vast dat geen enkele van hen een aparte sectie heeft waarin ze deze verborgen aannames opsommen. Ze tonen gewoon de goocheltruc (het resultaat) en zeggen "Kijk, het werkt!" zonder toe te geven welke regels ze aannemen dat het universum volgt.

3. De "Substitutie"-Fout

Het artikel noemt de huidige gewoonte "Validatiemetric Substitutie".

De Analogie:
Stel je voor dat een automonteur zegt: "Ik heb je motor gerepareerd omdat de auto startte."

De Fout: De monteur substitueert het resultaat (de auto startte) voor het bewijs (ik weet precies welk onderdeel ik heb gerepareerd en dat niets anders de auto had kunnen laten starten).
De Realiteit: De auto kan zijn gestart omdat de batterij zichzelf oplaadde, of omdat de monteur op de sleutel stootte, of omdat de motor de hele tijd in orde was.

In AI-papers rapporteren onderzoekers metrics zoals "faithfulness" (stemt de uitleg overeen met het model?) of "completeness" (hebben we alle onderdelen gevonden?). Het artikel betoogt dat dit slechts momenten zijn van "de auto startte". Ze zijn goed om te hebben, maar ze zijn geen bewijs van causaliteit tenzij je de aannames vermeldt die ze tot bewijs maken.

4. Het Voorgestelde Oplossing: Het "Disclosure Protocol"

De auteur suggereert dat het vakgebied een regel moet lenen van Econometrie (de studie van economische data). In de economie moet je, als je claimt "X veroorzaakt Y", expliciet vermelden:

Wat je claimt: "We claimen dat X Y veroorzaakt."
De Strategie: "We gebruiken methode Z om dit te bewijzen."
De Aannames: "We veronderstellen dat [Voorwaarde A] en [Voorwaarde B] waar zijn."
De Stress-test: "Als [Voorwaarde A] onwaar is, valt onze conclusie uiteen. Hier is hoe we hebben getest of het waar is."

De Analogie:
In plaats van alleen te zeggen "De pil werkte", moet de arts een rapport schrijven:

"We claimen dat de pil de koorts verlaagde."
"We veronderstellen dat de patiënt geen andere medicijnen nam."
"We veronderstellen dat de koorts niet natuurlijk aan het eindigen was."
"Als de patiënt wel andere medicijnen nam, is onze conclusie onjuist. Hier zijn de gegevens die tonen dat ze dat niet deden."

5. Wat de Audit Vond

De auteur keek naar 10 sleutelpapers in het vakgebied (die verschillende methoden behandelen zoals circuit discovery en autoencoders) en controleerde vervolgens 30 andere.

Resultaat: 0 van de 30 papers had een aparte sectie waarin hun identificatie-aannames werden vermeld.
Resultaat: De meeste papers (ongeveer 19 tot 26 van de 30, afhankelijk van hoe streng je bent) gebruikten "validatiemetrics" (zoals "de AI gedroeg zich zoals verwacht") als vervanging voor het bewijzen dat hun aannames waar waren.
Resultaat: Zelfs de meest zorgvuldige papers, die fouten vonden in het werk van anderen, vermelden niet expliciet de aannames die ze gebruikten om die fouten te vinden.

Samenvatting

Het artikel is een oproep tot eerlijkheid en helderheid. Het zegt niet dat AI-onderzoek verkeerd is; het zegt dat AI-onderzoek onvolledig is.

Op dit moment zeggen onderzoekers: "Kijk, we hebben de oorzaak gevonden!"
Het artikel zegt: "Stop alsjeblieft en vertel ons welke regels je aanneemt om die claim te doen. Als je ons de regels niet vertelt, weten we niet of je 'oorzaak' echt is of slechts een gelukkige gok."

Het vraagt het vakgebied om over te stappen van "Kijk hoe cool onze goocheltruc is" naar "Hier is precies hoe de truc werkt, en hier is waarom we weten dat het geen truc is."

Technische Samenvatting: Mechanistische Interpretatie moet Identificatieaannames voor Causale Claims Openbaar Maken

Probleemstelling
Onderzoek naar mechanistische interpretatie (MI) maakt steeds vaker gebruik van causale terminologie—zoals "circuits", "mediatoren", "causale abstractie" en "monosemantischeheid"—om modelgedrag te beschrijven. De paper betoogt echter dat deze causale claims vaak ontbrekende expliciete identificatieaannames hebben. In causale inferentie is een claim alleen geldig als de voorwaarden waaronder de causale grootheid uit waarneembare data wordt geïdentificeerd, worden vermeld. De paper identificeert een terugkerend patroon waarbij onderzoekers validatiemetrics (bijvoorbeeld trouw, volledigheid, monosemantischeheid, uitlijning of ablatie-effecten) substitueren voor identificatieaannames. Hoewel deze metrics aantonen dat een beschrijving consistent is met het model of de data, stellen ze niet vast dat het voorgestelde mechanisme de oorzaak is in plaats van een correlaat. De paper stelt dat zonder het vermelden van de aannames waaronder een claim wordt geïdentificeerd, de causale claim ongeïdentificeerd blijft, ongeacht hoge validatiescores.

Methodologie
De paper hanteert een doelgerichte audit van de MI-literatuur om het ontbreken van openbaarmaking van identificatieaannames te documenteren.

Primaire Audit (n=10): Een audit door één coder van tien invloedrijke papers die vier methodologische strengen bestrijken: circuitontdekking, sparse autoencoders (SAE), causale abstractie en probing. De steekproef omvat werken van NeurIPS, ICLR, CLeaR, BlackboxNLP en de Anthropic Transformer Circuits Thread.
Extensie Audit (n=30): Een audit door twee menselijke coders op een uitgebreide set van 30 papers om robuustheid te testen en de inter-rater betrouwbaarheid te schatten.
Coderingsdimensies:
- Dim A: Type abstracte claim (expliciet causaal met/zonder ID-basis, impliciet causaal, of uitsluitend associatie).
- Dim B: Aanwezigheid van een dedicated sectie "Identificatieaannames" in de hoofdtekst.
- Dim C: Aanwezigheid van falsificeerbaarheidstests of sensitiviteitsanalyses.
- Dim D: "Substitutie van validatiemetrics" (het rapporteren van een validatiemetric als causale ondersteuning zonder deze te scheiden van identificatieaannames).
Validatie: De studie omvat een tweede codering door een menselijke coder van een subset om overeenstemming ( $\kappa$ ) te meten, en een audit door één coder op een gestratificeerde substeekproef om structurele bevindingen te verifiëren.

Belangrijkste Bijdragen

Conceptueel Onderscheid: De paper onderscheidt formeel tussen validatie (het beantwoorden van "Wat veranderde toen we intervenieerden?") en identificatie (het beantwoorden van "Waarom identificeert die verandering dit mechanisme?"). Zij betoogt dat validatiemetrics noodzakelijk maar onvoldoende zijn voor causale claims.
Documentatie van de Kloof: De audit onthult een systemisch gebrek aan openbaarmaking van aannames. In de geselecteerde papers bevatte geen enkele paper een dedicated sectie voor identificatieaannames. De meerderheid van de papers maakte impliciet causale claims en substitueerde validatiemetrics voor identificatieverklaringen.
Method-specifieke Opsomming van Aannames: De paper somt de specifieke, vaak impliciete, identificatieaannames op die nodig zijn voor gangbare MI-methoden:
- Activatie Patching: Gaat uit van circuitvolledigheid (doelgerichte componenten verklaren alle paden) en padexclusiviteit (patching activeert geen slapende parallelle circuits).
- Sparse Autoencoders: Gaat uit van herstelbaarheid van de basis van het woordenboek (kenmerken corresponderen met een ware basis, niet met een willekeurige rotatie) en atoomheid/monosemantischeheid van kenmerken.
- Causale Abstractie: Gaat uit van uitlijningstrouw en optimalisatievaliditeit.
- Probing: Gaat uit van causale localiteit en volledigheid van interventies.
Voorgestelde Protocol voor Openbaarmaking: De paper stelt een norm van vijf stappen voor voor MI-papers die causale claims doen:
- Vermeld in het abstract of de claim causaal of associatief is.
- Noem de identificatiestrategie.
- Voeg een genummerde sectie "Identificatieaannames" toe in de hoofdtekst.
- Lever een falsificeerbaarheidstest, sensitiviteitsanalyse of een duidelijke verklaring voor tegenbewijs voor minstens één kernaanname.
- Bespreek hoe conclusies verschuiven als kernaannames falen.

Resultaten

Afwezigheid van Dedicated Secties: In zowel de n=10 als de n=30 audit bevatten 0/30 papers een dedicated sectie voor identificatieaannames onder welke coderingsregel of coder dan ook.
Prevalentie van Substitutie: In de n=30 audit werden 19/30 papers (onder strikte adjudicatie) of 26/30 (onder permissieve regels) gecodeerd als het substitueren van een validatiemetric voor een identificatieverklaring.
Heterogeniteit per Streng: Het substitutiepatroon was het meest geconcentreerd in de strengen Sparse Autoencoder en Causale Abstractie (respectievelijk 6/6 en 3/3 papers in de n=30 steekproef toonden volledige substitutie). Activatie patching vertoonde een lagere substitutierate, mogelijk vanwege bestaande literatuur over "illusies en faalmodi" (bijvoorbeeld Makelov et al., 2024) die gedeeltelijke bescherming biedt.
Inter-rater Betrouwbaarheid: De overeenstemming over de aanwezigheid van een dedicated sectie (Dim B) was laag ( $\kappa = 0.26$ ), wat aangeeft dat huidige papers geen stabiele, gemakkelijk identificeerbare aannamesverklaringen bieden. Echter, de structurele bevinding van nul dedicated secties was robuust voor alle coders en regels.

Betekenis en Claims
De paper claimt dat de huidige praktijk in mechanistische interpretatie validatiemetrics behandelt als een proxy voor causale identificatie, wat leidt tot "interpretatie-illusies" waarbij hoge scores samengaan met gefaalde identificatie (zoals aangetoond door eerdere werken zoals Makelov et al., 2024, en Leask et al., 2025).

Geen Opgelegd Kader: De paper importeert geen specifieke econometrische kaders (bijvoorbeeld instrumentvariabelen, do-calculus) naar MI. In plaats daarvan importeert zij de meta-praktijk van causale inferentie: de vereiste dat causale claims worden geëvalueerd via vermeldde aannames.
Logische Noodzaak: De auteurs betogen dat openbaarmaking een logische vereiste is van elke causale claim, niet louter een stijlkeuze. Zonder vermeldde aannames kan de wetenschappelijke gemeenschap niet beoordelen of een resultaat een echte causale structuur weerspiegelt of een artefact van ongemelde voorwaarden.
Gemeenschapsstandaard: De audit dient als bewijs dat de kloof wijdverbreid genoeg is over belangrijke venues om een gemeenschapsstandaard te rechtvaardigen. Het voorgestelde protocol is ontworpen om generatief in plaats van restrictief te zijn, waardoor cumulatieve kritiek mogelijk wordt door aannames expliciet en falsificeerbaar te maken.

De paper concludeert dat hoewel de auditsteekproef klein en doelgericht is (geen prevalentieschatting voor de gehele literatuur), de consistentie van het patroon over strengs en jaren suggereert dat het veld de basale praktijk van openbaarmaking van aannames nog niet heeft overgenomen, ondanks de toenemende afhankelijkheid van causale taal.