💬 NLP

Everything, Everywhere, All at Once: Is Mechanistic Interpretability Identifiable?

Dit artikel onderzoekt de identificeerbaarheid van mechanistische interpreteerbaarheid door via experimenten met Booleaanse functies en kleine neurale netwerken aan te tonen dat unieke verklaringen vaak onbereikbaar zijn vanwege systematische niet-identificeerbaarheid, wat daarmee aanleiding geeft tot een heroverweging van de vraag of strikte uniciteit noodzakelijk is voor geldige AI-verklaringen.

Oorspronkelijke auteurs: Maxime Méloux, Silviu Maniu, François Portet, Maxime Peyrard

Gepubliceerd 2026-06-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Maxime Méloux, Silviu Maniu, François Portet, Maxime Peyrard

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, black-box robot hebt die een specifieke puzzel perfect kan oplossen. Je wilt weten hoe hij het doet. Je wilt niet alleen weten dat het werkt; je wilt het gordijn opzij schuiven en de kleine tandwielen, hendels en schakelaars binnenin zien die de magie mogelijk maken. Dit is het doel van Mechanistische Interpreteerbaarheid: proberen een neuraal netwerk (het brein van de robot) te reverse-engineeren om een simpel, menselijk begrijpelijk verhaal te vinden over hoe het denkt.

Dit paper stelt een zeer eenvoudige, maar diepgaande vraag: Als we in deze robot kijken om het verhaal te vinden van hoe hij werkt, zullen we dan allemaal exact hetzelfde verhaal vinden? Of zouden twee verschillende mensen naar dezelfde robot kunnen kijken, dezelfde regels gebruiken om onderzoek te doen, en twee totaal verschillende, maar even geldige verhalen kunnen bedenderen?

De auteurs zeggen: Nee, we zijn niet gegarandeerd een uniek verhaal. Sterker nog, er zijn vaak tientallen, honderden of zelfs duizenden verschillende "verhalen" die de data perfect verklaren.

Hier is een overzicht van hun bevindingen met behulp van eenvoudige analogieën:

De twee manieren om onderzoek te doen

Het paper kijkt naar twee belangrijke manieren waarop onderzoekers proberen deze verhalen te vinden:

"Waar-dan-Wat" (De Detective-aanpak):
- Het idee: Eerst probeer je een kleine groep neuronen (een "circuit") in de robot te vinden die al het zware werk doet. Zodra je die groep hebt gevonden, probeer je te raden welke logica ze gebruiken (bijv. "Oh, deze drie neuronen werken als een EN-poort").
- Het probleem: Stel je voor dat je een enorme bibliotheek met boeken hebt. Je wilt de specifieke pagina's vinden die een verhaal vertellen. Je vindt misschien één set pagina's die het verhaal perfect vertelt. Maar dan vind je een andere set pagina's, volkomen anders dan de eerste, die ook het verhaal perfect vertelt. Het paper vond dat er voor een simpele taak 85 verschillende groepen neuronen waren die allemaal de klus perfect konden klaren. Er is geen enkele "juiste" groep tandwielen.
"Wat-dan-Waar" (De Architect-aanpak):
- Het idee: Eerst raad je een simpel verhaal of algoritme (bijv. "De robot gebruikt een OF-poort"). Vervolgens scan je het brein van de robot om te zien of je een plek kunt vinden waar dat verhaal wordt uitgevoerd.
- Het probleem: Stel je voor dat je luistert naar een specifieke melodie die wordt gespeeld door een enorm orkest. Je ziet misschien dat de melodie door de violen wordt gespeeld. Maar dan realiseer je je dat de cello's precies dezelfde melodie tegelijkert met de violen spelen, en dat de fluiten dat ook doen. Het paper vond dat er voor één enkel simpel algoritme 159 verschillende plekken in het brein van de robot waren waar dat algoritme perfect werd uitgevoerd.

Het "XOR"-experiment

Om dit te bewijzen, trainden de auteurs een piepkleine, simpele robot om een klassieke logische puzzel op te lossen genaamd XOR (wat lijkt op een lichtschakelaar die alleen aangaat als één van de twee knoppen wordt ingedrukt, maar niet bij beide).

Het resultaat: Ze vonden niet slechts één verklaring. Ze vonden meer dan 45.000 verschillende verklaringen (combinaties van circuits en verhalen) die allemaal wiskundig perfect waren.
De analogie: Het is alsof je vraagt: "Hoe heeft de bakker deze perfecte taart gemaakt?"
- Verklaring A: "Ze gebruikte bloem, suiker en eieren in Kom X."
- Verklaring B: "Ze gebruikte bloem, suiker en eieren in Kom Y."
- Verklaring C: "Ze gebruikte een andere mix van ingrediënten in Kom Z."
- Ze zijn allemaal waar. De taart smaakt hetzelfde, maar het "mechanisme" waarnaar je wijst, is elke keer anders.

Waarom is dit belangrijk?

In de statistiek hebben we een concept genaamd identificeerbaarheid. Dat betekent dat als je de data hebt, er slechts één set "ware" getallen moet zijn die deze hebben gecreëerd. Dit paper betoogt dat voor AI-verklaringen de identificeerbaarheid gebroken is.

De "Unieke Waarheid"-mythe: We gaan er vaak van uit dat als we diep genoeg graven, we de éne ware manier zullen vinden waarop de AI denkt. Dit paper zegt dat die aanname waarschijnlijk onjuist is. De AI kan op veel verschillende manieren tegelijkertijd denken, of er kunnen veel verschillende manieren zijn om het denken ervan te beschrijven die allemaal even correct zijn.
De consequentie: Als je twee experts vraagt om dezelfde AI uit te leggen, kunnen ze je twee totaal verschillende antwoorden geven, en beiden zouden gelijk hebben volgens de huidige regels van de wetenschap.

De conclusie: Wat moeten we doen?

De auteurs zeggen niet: "geef het op." In plaats daarvan suggereren ze dat we onze mindset moeten veranderen:

Stop met zoeken naar het "Ene Ware Verhaal": We moeten misschien accepteren dat er niet één unieke uitleg is.
Focus op Nut: Misschien maakt het niet uit of de uitleg uniek is. Misschien is het alleen belangrijk of de uitleg ons helpt te voorspellen wat de AI hierna gaat doen of om de AI te manipuleren om te doen wat wij willen.
Gebruik Meerdere Controles: Als we echt zeker willen zijn, moeten we niet op slechts één methode vertrouwen. We zouden veel verschillende tests moeten gebruiken om te zien of een uitleg vanuit elke hoek standhoudt.

Kortom: Het paper betoogt dat de "vingerafdruk" van het denken van een AI niet uniek is. Er zijn veel verschillende sleutels die hetzelfde slot kunnen openen, en veel verschillende kaarten die hetzelfde gebied kunnen beschrijven. We moeten stoppen met het verwachten van een enkele, perfecte kaart en beginnen te accepteren dat de "waarheid" van hoe AI werkt een verzameling van veel verschillende, overlappende verhalen kan zijn.

Technische Samenvatting: "Everything, Everywhere, All at Once: Is Mechanistic Interpretability Identifiable?"

Probleemstelling

Nu AI-systemen worden ingezet in kritieke toepassingen, is het waarborgen van hun interpreteerbaarheid cruciaal. Mechanistische Interpreteerbaarheid (MI) streeft ernaar neurale netwerken te reverse-engineeren door menselijk begrijpelijke algoritmen (computationele abstracties) te extraheren die in hun structuren zijn ingebed. Een computationele abstractie bestaat uit twee componenten: de wat (het verklarende algoritme) en de waar (de specifieke subgraaf of circuit binnen het netwerk waar dit algoritme wordt geïmplementeerd).

Hoewel MI-methoden vaak opereren onder een impliciete aanname van verklarende uniciteit—het geloof dat er een unieke, correcte verklaring bestaat voor het gedrag van een model—stelt dit artikel deze premisse systematisch ter discussie. Gebruikmakend van een analogie met identificeerbaarheid in de statistiek (waarbij parameters uniek worden afgeleid uit data onder specifieke aannames), vragen de auteurs zich af: Is de verklaring voor een vaststaand gedrag, onder de door MI gestelde criteria, gegarandeerd uniek?

Het onderzoek onderzoekt twee primaire strategieën voor het genereren van MI-verklaringen:

Waar-dan-wat: Het detecteren van een deelverzameling van het netwerk (een circuit) dat het gedrag van het model repliceert, om vervolgens de interpretatie van de componenten ervan af te leiden.
Wat-dan-waar: Beginnen met kandidaat-verklarende algoritmen en zoeken naar activatieruimtes in het netwerk waar deze algoritmen causaal uitgelijnd zijn.

De kernvraag is of deze strategieën, onder hun respectievelijke geldigheidscriteria (circuitfout en causale uitlijning), een enkele, unieke verklaring opleveren of dat meerdere, incompatibele verklaringen aan dezelfde criteria kunnen voldoen.

Methodologie

De auteurs voeren een stresstest uit op de identificeerbaarheid van MI met behulp van een gecontroleerde, kleinschalige setting die een uitputtende enumeratie van kandidaat-verklaringen mogelijk maakt, een prestatie die onmogelijk is bij grootschalige modellen.

Experimentele Opzet

Taken: Het trainen van Multi-Layer Perceptrons (MLP's) om Booleaanse functies te implementeren, specifiek de XOR-functie en combinaties van logische poorten.
Architectuur: Kleine MLP's (bijv. inputgrootte 2, verborgen lagen van grootte $k$ , outputgrootte $n$ ) getraind op binaire inputs met toegevoegde Gaussische ruis tot een lage verliesdrempel is bereikt.
Uitputtende Zoektocht:
- Voor "Waar-dan-wat": De auteurs enumereren alle mogelijke subgrafen (circuits) van het netwerk. Ze testen elk circuit op validatiedata om "perfecte circuits" (nul circuitfout) te identificeren. Voor elk perfect circuit zoeken ze recursief naar alle geldige mappings (interpretaties) van neuronactivaties naar logische poorten (AND, OR, NOT) die voldoen aan consistentie (de mapping commuteert met de berekening).
- Voor "Wat-dan-waar": De auteurs enumereren kandidaat Booleaanse algoritmen (parse trees) die de doelunctie implementeren. Vervolgens zoeken ze naar alle mogelijke deelverzamelingen van neuronen en mappings die een perfecte causale uitlijning bereiken met het algoritme, gemeten door de Intervention Interchange Accuracy (IIA). Een IIA van 1 betekent dat contrafeitelijke interventies op het algoritme identieke effecten hebben op de interne toestanden van het netwerk.

Definities van Identificeerbaarheid

Het artikel definieert een verklaring als niet-identificeerbaar als de huidige MI-criteria er niet in slagen om tussen twee incompatibele verklaringen te differentiëren. Incompatibiliteit ontstaat als:

Twee verklaringen verschillende algoritmen postuleren voor hetzelfde gedrag.
Hetzelfde algoritme in verschillende subruimtes van het netwerk is ingebed.

Belangrijkste Resultaten

De experimenten leveren overweldigend bewijs voor niet-identificeerbaarheid in alle stadia van het MI-proces:

Niet-unieke circuits (Waar): Meerdere verschillende circuits kunnen het gedrag van het model perfect repliceren (nul circuitfout). In het XOR-voorbeeld werden 85 unieke circuits met perfecte nauwkeurigheid gevonden.
Niet-unieke interpretaties (Wat): Voor één enkel geldig circuit bestaan meerdere geldige interpretaties (mappings van neuronen naar logische poorten). In het XOR-voorbeeld werden gemiddeld 535,8 interpretaties per circuit gevonden.
Niet-unieke algoritmen (Wat): Verschillende algoritmen kunnen perfect causaal uitgelijnd zijn met de computationele berekening (IIA = 1). Zelfs toen slechts twee kandidaat-algoritmen voor XOR werden getest, bleek dat beide een perfecte implementatie hadden.
Niet-unieke lokalisaties (Waar): Voor één causaal uitgelijnd algoritme kunnen meerdere verschillende subruimtes van het netwerk even goed uitgelijnd zijn (IIA = 1). In het XOR-voorbeeld werden 159 perfecte minimale mappings geïdentificeerd voor slechts twee kandidaat-algoritmen.

Kwantitatieve Bevindingen:

Naarmate de netwerkomvang ( $k$ ) toeneemt, groeit het aantal geldige computationele abstracties exponentieel (de mediaan steeg van 38 naar 910.000 in de circuit-eerst benadering).
Minder dan 2% van de getrainde netwerken bevatte exact één geldige minimale mapping, en geen enkel netwerk bevatte exact één circuitinterpretatie.
Het verhogen van de taakcomplexiteit (het gelijktijdig trainen op meerdere logische poorten) verminderde het aantal interpretaties, maar elimineerde de niet-identificeerbaarheid niet.

Belangrijkste Bijdragen

Formalisering van Identificeerbaarheid in MI: Het artikel introduceert het concept van de "identificeerbaarheid van verklaring" in het veld van mechanistische interpreteerbaarheid, waarbij een statistisch concept wordt aangepast om de uniciteit van verklaringen onder vaste geldigheidscriteria te definiëren.
Systematische Stresstest: Door gebruik te maken van kleinschalige modellen om uitputtende enumeratie mogelijk te maken, levert het werk het eerste rigoureuze, empirische bewijs dat huidige MI-criteria (circuitfout en IIA) geen unieke verklaringen garanderen.
Categorisering van Strategieën: Het werk differentieert en evalueert duidelijk de "Waar-dan-wat" en "Wat-dan-waar" strategieën, en laat zien dat beide lijden onder niet-identificeerbaarheid.
Empirisch Bewijs van Incompatibiliteit: De studie toont aan dat een enkel getraind model honderdduizenden onderling incompatibele computationele abstracties kan ondersteunen die allemaal voldoen aan de standaardcriteria voor een "goede" verklaring.

Betekenis en Claims

De auteurs stellen dat dit werk tot doel heeft constructief bij te dragen aan de lopende inspanningen om de verwachtingen voor AI-verklaringen te formaliseren. Het artikel beweert niet dat MI nutteloos is, maar daagt de "uniciteitsintuïtie" uit die vaak in het veld wordt aangenomen.

Pragmatische Houding: De auteurs suggereren dat als het doel voorspelling of manipuleerbaarheid is, uniciteit niet noodzakelijk is, en men een pragmatische houding kan aannemen door meerdere geldige verklaringen te accepteren.
Strikte Houding: Als uniciteit wordt beschouwd als essentieel voor het bieden van een werkelijk "begrip", betoogt het artikel dat de huidige criteria onvoldoende zijn en dat minder permissieve criteria (of het "inner interpretability" kader dat meerdere complementaire validaties vereist) nodig zijn.
Toekomstige Richting: Het werk benadrukt de noodzaak van rigoureuze definities van wat een verklaring in AI vormt, waarbij men verder moet gaan dan de aanname dat er één "ware" mechanisme bestaat dat gemakkelijk via huidige methoden ontdekt kan worden.

Het artikel concludeert dat het huidige landschap van Mechanistische Interpreteerbaarheid te maken heeft met een fundamenteel identificeerbaarheidsprobleem: zonder aanvullende beperkingen of criteria kunnen we niet garanderen dat de verklaringen die we afleiden de unieke, correcte mechanismen zijn die het gedrag van een model beheersen.