🤖 machine learning

Formal Mechanistic Interpretability: Automated Circuit Discovery with Provable Guarantees

Dit paper introduceert een suite van geautomatiseerde algoritmen voor het ontdekken van neurale netwerkcircuits met bewezen garanties op het gebied van robuustheid, patching en minimaliteit, waarbij gebruik wordt gemaakt van recente vooruitgang in neurale netwerkvérificatie om een principieel fundament te leggen voor mechanische interpreteerbaarheid.

Oorspronkelijke auteurs: Itamar Hadad, Guy Katz, Shahaf Bassan

Gepubliceerd 2026-02-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Itamar Hadad, Guy Katz, Shahaf Bassan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: De "Onbreekbare" Schakelkast van Kunstmatige Intelligentie

Stel je voor dat een kunstmatige intelligentie (zoals een zelfrijdende auto of een medische diagnose-app) een enorme, ingewikkelde schakelkast is met duizenden knoppen, draden en lampjes. We weten vaak wel wat deze machine doet, maar niet precies hoe of waarom. Dit noemen we "interpretatie".

Tot nu toe hebben onderzoekers geprobeerd om de belangrijkste draden in deze kast te vinden. Ze deden dit vaak door een beetje te gissen: "Laten we deze draad even losmaken en kijken wat er gebeurt." Als de machine nog steeds goed werkt, denken ze: "Ah, die draad was niet belangrijk!" Maar dit is gevaarlijk. Het is alsof je een auto test op een rustige parkeerplaats en denkt dat hij veilig is, terwijl hij op een gladde weg in de regen misschien toch uit elkaar valt. De eerdere methodes waren te kwetsbaar voor kleine veranderingen.

De Nieuwe Oplossing: Een Wiskundige Garantie

Dit nieuwe onderzoek, gepubliceerd voor een grote conferentie in 2026, introduceert een manier om deze schakelkast te ontrafelen met wiskundige zekerheid. Ze gebruiken geavanceerde wiskunde (verificatie) om te bewijzen dat hun gevonden "schakelcircuit" niet alleen werkt, maar ook onbreekbaar is, zelfs als je de input een beetje verandert.

Hier zijn de drie belangrijkste dingen die ze doen, vertaald in alledaagse taal:

1. De "Onbreekbare" Test (Input-Robuustheid)

Stel je voor dat je een toetsenbord hebt. Als je op een toets drukt, moet het juiste lettertje op het scherm verschijnen.

De oude manier: Je drukt op de 'A' en het werkt. Je denkt: "Goed zo!" Maar wat als je de 'A' een heel klein beetje naar links duwt (een kleine verstoring)? Dan werkt het misschien niet meer.
De nieuwe manier: De onderzoekers zeggen: "We testen niet alleen of het werkt als je precies op de 'A' drukt. We bewijzen wiskundig dat het werkt als je op de 'A' drukt, of als je er een beetje omheen tikt, of als je de hele toets een beetje verwarmt." Ze garanderen dat het circuit werkt in een continu gebied, niet alleen op één punt.

2. De "Vaste Waarde" Test (Patching-Robuustheid)

In een schakelkast zijn sommige draden verborgen. Om te zien wat een specifieke groep draden doet, moet je de andere draden "stilleggen" (patchen).

De oude manier: Je legt de andere draden stil door ze op "nul" te zetten. Maar wat als die draden normaal gesproken nooit nul zijn? Dan is je test onrealistisch.
De nieuwe manier: Ze zeggen: "We testen of het circuit werkt, ongeacht welke waarden de andere draden hebben, zolang die waarden maar binnen een redelijk bereik liggen." Het is alsof je zegt: "Zelfs als de achtergrondruis varieert, blijft dit specifieke circuit zijn werk doen."

3. De "Minimale" Test (Kleinste Noodzakelijke Deel)

Vaak vinden onderzoekers een circuit dat te groot is. Ze hebben misschien 10 draden nodig, terwijl er eigenlijk maar 3 echt nodig waren.

Het probleem: Als je één draad verwijdert, werkt het misschien nog wel. Als je twee verwijdert, werkt het misschien ook nog. Maar als je drie verwijdert, crasht het. Hoe weet je nu wat het kleinste mogelijke circuit is?
De oplossing: De onderzoekers hebben een slimme wiskundige truc bedacht (een soort "spiegelbeeld" tussen circuits en blokkades). Ze zoeken naar het kleinste mogelijke groepje draden dat nog steeds het werk doet. Ze bewijzen dat je geen enkele draad meer kunt weghalen zonder dat het systeem faalt.

Hoe doen ze dit? (De "Tweeling"-Truc)

Om al deze bewijzen te leveren, gebruiken ze een techniek die ze een "Siamese Encoding" noemen.
Stel je voor dat je een tweeling hebt.

Tweeling A is de volledige, oorspronkelijke machine.
Tweeling B is het kleine circuit dat je wilt testen.
Ze laten deze twee tweelingen tegelijkertijd werken met dezelfde input. De wiskundige software kijkt dan precies naar het verschil tussen hen. Als het verschil altijd klein blijft, zelfs als je de input een beetje verandert, dan is het bewijs geleverd: het circuit is perfect en veilig.

Waarom is dit belangrijk?

Voor nu is dit onderzoek nog een beetje zwaar en traag (het kost meer rekenkracht dan de oude methodes), maar het is een enorme stap vooruit.

Veiligheid: Voor kritieke systemen (zoals zelfrijdende auto's of medische apparatuur) is het niet genoeg om te hopen dat het werkt. Je wilt weten dat het werkt, zelfs als er iets onverwachts gebeurt.
Vertrouwen: Het geeft ons een manier om te zeggen: "Wij hebben bewezen dat dit specifieke deel van de AI verantwoordelijk is voor deze beslissing, en dat het betrouwbaar is."

Kortom:
De onderzoekers hebben een manier gevonden om de "hersenen" van een AI niet alleen te bestuderen, maar om er een officieel certificaat voor te krijgen. Ze vinden de kleinste, sterkste en meest betrouwbare schakels in de machine, zodat we kunnen vertrouwen op wat de AI doet, zelfs als de wereld om ons heen een beetje onvoorspelbaar is.

Probleemstelling

Automatische circuitontdekking is een kernonderdeel van mechanistische interpretabiliteit (MI), waarbij het doel is om subgrafieken (circuits) binnen neurale netwerken te identificeren die verantwoordelijk zijn voor specifieke modelgedragingen. Bestaande methoden maken echter vaak gebruik van heuristieken of benaderingen die afhankelijk zijn van discrete steekproeven.

Het kernprobleem: Deze methoden bieden geen wiskundig bewezen garanties (provable guarantees) voor de betrouwbaarheid van de gevonden circuits over continue invoerdomeinen. Zelfs kleine perturbaties (veranderingen) in de invoer of in de manier waarop niet-circuit-componenten worden "gepatcht" (geïsoleerd), kunnen de betrouwbaarheid van een circuit breken.
De consequentie: Zonder deze garanties is het moeilijk om te vertrouwen op circuitontdekking voor veiligheidskritieke toepassingen, aangezien een circuit dat op een paar steekproeven werkt, faalt kan bij continue variatie.

Methodologie

De auteurs introduceren een nieuw algoritmisch raamwerk dat voortbouwt op recente doorbraken in verificatie van neurale netwerken (neural network verification). In plaats van te vertrouwen op steekproeven, gebruiken ze formele verificatietechnieken om eigenschappen over het volledige continue domein te garanderen.

1. Formele Definities van Robuustheid:
Het paper definieert drie soorten garanties die strikt gelden over continue domeinen:

Invoer-robustheid (Input-domain robustness): Het circuit moet overeenkomen met het volledige model over een continu gebied van invoer (bijv. een $\ell_p$ -bal rondom een punt).
Patching-robustheid (Patching-domain robustness): Het circuit moet zijn betrouwbaarheid behouden wanneer de niet-circuit-componenten worden gepatcht met waarden die voortkomen uit een continu bereik van mogelijke activaties (in plaats van alleen nul of gemiddelde waarden).
Minimaliteit: Het vinden van de kleinste mogelijke circuits, gedefinieerd via verschillende gradaties:
- Quasi-minimaal: Minimaal in de zin dat het verwijderen van één component het circuit breekt.
- Lokaal minimaal: Het verwijderen van elk enkel component breekt het circuit.
- Subset-minimaal: Het verwijderen van elk deelverzameling van componenten breekt het circuit.
- Cardinaal minimaal: Het circuit met de absolute kleinste grootte (globale optimum).

2. Technische Innovaties:

Siamese Encoderings: Om de bovenstaande garanties te verifiëren, gebruiken de auteurs een unieke "Siamese" architectuur. Hierbij wordt het neurale netwerk verdubbeld: één tak bevat het volledige model en de andere het circuit. Door deze te "stapelen" met een gedeelde invoer (voor invoer-robustheid) of gescheiden invoer (voor patching-robustheid), kunnen bestaande verificatietools (zoals $\alpha$ - $\beta$ -CROWN) direct bewijzen of het circuit voldoet aan de eisen over het hele domein.
Circuit Monotonie: De auteurs ontdekken een theoretische connectie: als de "faithfulness predicate" (de test of een circuit correct is) monotoon is (d.w.z. het toevoegen van componenten breekt de betrouwbaarheid nooit), dan garanderen bepaalde zoekalgoritmen het vinden van subset-minimale circuits. Ze bewijzen dat deze monotonie optreedt wanneer het patching-domein het invoerdomein omvat.
Dualiteit en Minimaliteit: Om cardinaal-minimale circuits te vinden (wat een NP-moeilijk probleem is), gebruiken ze een dualiteit tussen circuits en "blocking sets" (subgrafieken die, als ze worden verwijderd, de betrouwbaarheid breken). Door het Minimum Hitting Set (MHS) probleem op te lossen voor deze blocking sets, kunnen ze efficiënt benaderingen vinden voor de kleinste mogelijke circuits.

3. Algoritmes:
Er worden drie algoritmes gepresenteerd:

Algorithm 1 (Gierig): Iteratief verwijderen van componenten totdat de betrouwbaarheid predicate niet meer geldt. Garandeert quasi-minimaliteit.
Algorithm 3 (Uitputtend): Herhaalt het proces totdat geen enkele component meer verwijderd kan worden. Garandeert lokale minimaliteit.
Algorithm 2 (MHS Dualiteit): Gebruikt de dualiteit met blocking sets om cardinaal-minimale circuits te benaderen of exact te vinden.

Belangrijkste Bijdragen

Formele Garanties: Het is het eerste werk dat mechanistische interpretabiliteit koppelt aan formele verificatie, waardoor circuits worden gevonden met wiskundig bewezen garanties voor invoer- en patching-robustheid.
Theoretische Verbindingen: Het paper onthult diepe theoretische relaties tussen invoer-robustheid, patching-robustheid en minimaliteit, met name via het concept van monotonie.
Nieuwe Minimaliteitsnoties: Het formaliseert en onderscheidt vier niveaus van minimaliteit (quasi, lokaal, subset, cardinaal) en koppelt deze aan specifieke optimalisatiealgoritmes.
Efficiënte Benadering: Door de MHS-dualiteit te gebruiken, bieden ze een praktische manier om naar de kleinste mogelijke circuits te zoeken, wat anders computationeel onhaalbaar zou zijn.

Resultaten

De auteurs hebben hun methode getest op standaard benchmarks uit de verificatieliteratuur: MNIST, CIFAR-10, GTSRB en TaxiNet (een regressietaken voor vliegtuigtaxiën). Ze gebruikten de state-of-the-art verifier $\alpha$ - $\beta$ -CROWN.

Robuustheid: De voorgestelde methode bereikte 100% robustheid voor zowel invoer- als patching-perturbaties. In tegenstelling hiermee presteerden traditionele, op steekproeven gebaseerde methoden aanzienlijk slechter (vaak < 60% robustheid), wat betekent dat hun circuits al faalden bij zeer kleine perturbaties.
Circuitgrootte: De circuits gevonden met de provable methode waren vergelijkbaar in grootte met die van de steekproefmethoden, maar met veel sterkere garanties.
Minimaliteit: De experimenten toonden aan dat de MHS-methode (Algorithm 2) vaak kleinere circuits vindt dan de gierige methoden, en dat de gevonden circuits voldoen aan de strengste minimaliteitscriteria.
Kosten: De methode is computatievriendelijker dan steekproeven (tijdens de zoektocht), maar vereist meer rekentijd voor de verificatiestappen (verificatie is duurder dan een enkele forward pass). Toch is de trade-off gunstig gezien de kwaliteit van de garanties.

Betekenis en Impact

Dit werk markeert een fundamentele verschuiving in het veld van mechanistische interpretabiliteit:

Van Heuristiek naar Formeel: Het verplaatst circuitontdekking van een gebied dat gebaseerd is op empirische observaties en heuristieken naar een discipline met formele, wiskundige garanties.
Veiligheid: Voor toepassingen waar veiligheid cruciaal is (zoals autonoom rijden of medische diagnose), is het essentieel om te weten dat een geïnterpreteerd circuit niet faalt bij kleine variaties. Deze methode biedt die zekerheid.
Toekomstig Onderzoek: Het legt de basis voor toekomstig onderzoek naar probabilistische en statistische garanties voor interpretabiliteit en toont aan dat formele verificatie en interpretability kunnen worden geïntegreerd.

Kortom, het paper biedt een principieel raamwerk om "betrouwbare" circuits te vinden die niet alleen op steekproeven werken, maar wiskundig bewezen robuust zijn in de echte wereld van continue data.