🤖 AI

Certified Circuits: Stability Guarantees for Mechanistic Circuits

Dit artikel introduceert "Certified Circuits", een framework dat de stabiliteit en betrouwbaarheid van mechanistische interpreteerbaarheid verbetert door het gebruik van gerandomiseerde datasubsampling om bewijsbare garanties te bieden dat ontdekte neurale circuits invariant zijn voor datasetperturbaties, wat resulteert in meer compacte en nauwkeurige verklaringen over diverse architecturen en taken heen.

Oorspronkelijke auteurs: Alaa Anani, Tobias Lorenz, Bernt Schiele, Mario Fritz, Jonas Fischer

Gepubliceerd 2026-06-01

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Alaa Anani, Tobias Lorenz, Bernt Schiele, Mario Fritz, Jonas Fischer

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert uit te zoeken hoe een briljante maar mysterieuze chef (een neuraal netwerk) een specifiek gerecht bereidt, zoals "Krokodillensoep". Je wilt precies weten welke ingrediënten en stappen essentieel zijn voor het recept.

Het Probleem: Het Instabiele Recept
In het verleden gebruikten wetenschappers, wanneer ze probeerden dit "recept" (een circuit genoemd) in de computer te vinden, een methode die erg fragiel was. Het was alsoals de chef vragen: "Wat maakt deze soep naar krokodil?" op basis van slechts één foto van een krokodil op een strand.

De chef zou kunnen zeggen: "Ah! Het zijn de tanden en de schubben!" Maar als je de chef een foto van een krokodil in een moeras laat zien, of een tekenfilm, zou de chef plotseling kunnen zeggen: "Nee, nee! Het is eigenlijk het modderige water en de vogel die daar in de buurt zit!"

Het probleem was dat de chef (de computer) aanwijzingen memoriseerde die specifiek waren voor die ene foto (zoals de vogel of de modder) in plaats van het werkelijke concept van een krokodil. Als je de foto ook maar een klein beetje veranderde, zou het "recept" dat de wetenschappers hadden gevonden, volledig veranderen. Dit maakte de uitleg onbetrouwbaar.

De Oplossing: Gecertificeerde Circuits
Dit artikel introduceert een nieuwe methode genaamd Certified Circuits. Denk aan dit als een "Stabiliteitstest" voor het recept.

In plaats van de chef naar slechts één foto te vragen, doen de onderzoekers het volgende:

De Shuffle: Ze nemen een grote stapel krokodillofoto's en gooien er willekeurig een paar weg, wisselen er wat uit, of voegen er een paar nieuwe aan toe. Ze doen dit honderden keren, waardoor er duizenden lichtelijk verschillende "fotostapels" ontstaan.
De Stemming: Voor elke afzonderlijke fotostapel vragen ze de chef: "Wat is het belangrijkste onderdeel van dit?"
De Consensus: Ze kijken naar de antwoorden.
- Als de chef in 99% van de verschillende fotostapels zegt "Tanden", dan zeggen ze: "Gecertificeerd! Tanden maken absoluut deel uit van het recept."
- Als de chef in 50% van de stapels "Vogel" zegt en in de andere 50% "Tanden", dan zeggen ze: "Onthoud ik." Ze weigeren om "Vogel" in het definitieve recept op te nemen omdat het te instabiel is. Het zou slechts een toevalstreffer kunnen zijn.

Wat Dit Bereikt
Door alleen de onderdelen te behouden waar de chef het over eens is, ongeacht hoe je de foto's door elkaar husselt, krijgen de onderzoekers een veel beter resultaat:

Kleiner en Schoner: Het uiteindelijke recept is veel korter. Ze hebben alle "ruis" (zoals de vogel of de modder) eruit gehaald die de oorspronkelijke methode in de war bracht.
Accurater: Omdat ze de verwarrende, instabiele aanwijzingen hebben verwijderd, werkt het recept beter. In het artikel verbeterde dit de nauwkeurigheid met wel 56% bij lastige, onbekende voorbeelden.
Werkt Overal: Als het recept gebouwd is op het ware concept van een krokodil (tanden, schubben, snuit), dan zal het werken of je de chef nu een echte krokodil, een tekenfilm of een krokodil in een moeras laat zien. Het "gecertificeerdeerde" recept generaliseert goed omdat het de vluchtige aanwijzingen negeert die alleen werkten voor de originele foto's.

De Kern van het Verhaal
Het artikel beweert dat door dit "stemmechanisme" (dat ze randomized smoothing noemen) te gebruiken, ze kunnen bewijzen dat hun ontdekte "circuits" (de delen van de computer die het werk doen) stabiel zijn.

Ze raden niet alleen maar; ze kunnen wiskundig garanderen dat als je de invoergegevens lichtjes verandert (binnen een bepaalde limiet), de kern van het recept dat ze hebben gevonden, niet zal veranderen. Dit verandelt het "recept" van een fragiele gok in een solide, betrouwbare uitleg van hoe de computer daadwerkelijk denkt.

Technische Samenvatting: Certified Circuits

Probleemstelling

Mechanistische interpreteerbaarheid streeft ernaar om "circuits" te identificeren—minimale subnetwerken binnen neurale netwerken die verantwoordelijk zijn voor specifieke gedragingen of concepten. Bestaande methoden voor het ontdekken van circuits lijden echter aan een kritiek gebrek aan robuustheid. Ontdekte circuits zijn zeer gevoelig voor de specifieke voorbeelden die voor de conceptdataset zijn gekozen; het toevoegen, verwijderen of vervangen van semantisch equivalente voorbeelden kan leiden tot onvoorspelbare veranderingen in de circuitstructuur. Bovenergens falen deze circuits vaak bij out-of-distribution (OOD) data. Deze instabiliteit roept een fundamentele vraag op: leggen huidige methoden de ware mechanistische representatie van een concept vast, of overfitten ze slechts op datasetspecifieke spurieuze aanwijzingen en artefacten?

Methodologie: Certified Circuits

De auteurs stellen Certified Circuits voor, een framework dat algoritme-agnostische stabiliteitsgaranties biedt voor circuitontdekking. Het kernidee is om circuitontdekking te behandelen als een mapping van een conceptdataset naar een subgraaf, en te certificeren dat deze mapping invariant blijft onder begrensde bewerkingen aan de dataset.

Kernframework

Randomized Subsampling (Smoothing): Het framework omvat elk black-box circuitontdekkingsalgoritme $\mathcal{A}$ . Het genereert meerdere willekeurige subsamples van de conceptdataset $D$ door een deletie-gebaseerd perturbatiemechanisme toe te passen. Specifiek worden samples genomen van een binaire masker waarbij elk voorbeeld behouden blijft met een waarschijnlijkheid van $1 - p_{del}$ en wordt verwijderd met een waarschijnlijkheid van $p_{del}$ .
Aggregatie: Het basisalgoritme $\mathcal{A}$ wordt uitgevoerd op elke gesubsamplede dataset om kandidaat-circuits te produceren. Het framework aggregeert vervolgens de resultaten om de gesmoothde inclusiewaarheid ( $p_u$ ) voor elk circuitcomponent (neuron of edge) te berekenen. Deze waarschijnlijkheid vertegenwoordigt de frequentie waarmee een component wordt geselecteerd over de gerandomiseerde deleties heen.
Gecertificeerde Beslisregel: Een betrouwbaarheidsdrempel $\tau$ $τ$ wordt toegepast op $p_u$ $p_{u}$ om een beslissing te nemen voor elk component:
- Gecertificeerd In: Als $p_u > \tau$ , is het component robuust opgenomen.
- Gecertificeerd Uit: Als $1 - p_u > \tau$ , is het component robuust uitgesloten.
- Onthouding (Abstain): Als aan geen van beide voorwaarden wordt voldaan, wordt het component uitgesloten van het uiteindelijke circuit. Deze adaptieve sparsiteit verwijdert componenten waarvan de inclusie instabiel is onder datasetperturbaties.

Theoretische Garantie

De methode maakt gebruik van Dataset Deletion Smoothing (RS-Del) om een formele garantie af te leiden. Stelling 3.1 stelt dat, met een hoge betrouwbaarheid ( $1-\alpha$ ), elk component dat als "in" of "out" is gecertificeerd, invariant blijft voor elke conceptdataset $D'$ binnen een specifieke edit-afstand $r$ van de oorspronkelijke dataset $D$ . De gecertificeerde radius $r$ is een functie van de deletiewaarschijnlijkheid $p_{del}$ en de drempelwaarde $\tau$ . Componenten die de status "onthouding" krijgen, worden uitgesloten, waardoor het uiteindelijke circuit uitsluitend bestaat uit bewijsbaar stabiele elementen.

Belangrijkste Bijdragen

Eerste Bewijsbaar Stabiel Framework: Het artikel introduceert het eerste framework dat bewijsbaar, algoritme-agnostisch robuustheidsgaranties biedt voor circuitontdekking, wat ervoor zorgt dat de circuitstructuur invariant is voor begrensde datasetbewerkingen.
Theoretische Grenzen: De auteurs leiden bewijsbare grenzen af voor gecertificeerde radii en karakteriseren hun afhankelijkheid van de waarschijnlijkheidsdrempel en de deletiewaarschijnlijkheid.
Empirische Validatie: Het framework wordt gevalideerd over drie architecturen (ResNet, ViT, GPT-2), twee modaliteiten (visie en taal) en vier ontdekkingsalgoritmen.

Experimentele Resultaten

De auteurs hebben Certified Circuits geëvalueerd tegen standaard baselines (bijv. Top-K relevantie, EAP-IG) op ImageNet en diverse OOD-benchmarks (ImageNet-A, ImageNet-O, ImageNet-C, OOD-CV) voor visie, en IOI/IOI-Hard/Greater-Than taken voor taal.

Voldoendeheid en Compactheid: Gecertificeerde circuits bereiken een hogere nauwkeurigheid (voldoendeheid) met aanzienlijk minder componenten (compactheid).
- Visie: Op ImageNet bereikten gecertificeerde circuits 95% nauwkeurigheid (vs. 83% baseline) terwijl ze 52% minder neuronen gebruikten. Op OOD-datasets zoals ImageNet-A verbeterde de nauwkeurigheid met wel 56% (bereikte 94%) met een reductie in grootte van 15%.
- Taal: Gecertificeerde circuits evenaarden of overtroffen de piek-nauwkeurigheid van de baseline terwijl ze tot wel 80% minder edges gebruikten (bijv. een reductie van 75% op de Greater-Than taak).
Feature Analyse: Visualisatie van "onthoudende" neuronen (die in baselines werden opgenomen maar door certificering werden uitgesloten) onthulde dat zij vaak vuren op co-occurrent maar niet-klasse-specifieke cues (bijv. handen/polsen voor de klasse "horloge"), terwijl "gecertificeerd-in" neuronen consistent reageerden op klasse-definiërende kenmerken.
OOD Generalisatie: Circuits ontdekt op in-distributie data behielden een significant hogere nauwkeurigheid op OOD-shifts vergeleken met baselines, wat suggereert dat ze overdraagbare mechanistische structuren vastleggen in plaats van dataset-artefacten.
Structurele Stabiliteit: Wanneer circuits opnieuw werden ontdekt op verschoven distributies, vertoonden gecertificeerde circuits een hogere Intersection-over-Union (IoU) met de oorspronkelijke structuur, wat wijst op convergentie naar een invariante kern.

Betekenis en Claims

Het artikel claimt dat Certified Circuits circuitontdekking op een formeel fundament plaatst door mechanistische verklaringen te produceren die bewijsbaar stabiel zijn en beter zijn afgestemd op het doelconcept. Door instabiele componenten systematisch te verwijderen via adaptieve onthouding, levert de methode circuits op die niet alleen compacter en nauwkeuriger zijn, maar ook robuust tegen variaties in de dataset en distributieverschuivingen.

De auteurs benadrukken dat dit werk de "interpretatie-illusie" aanpakt waarbij verklaringen getrouw lijken op de ontdekkingsdistributie maar falen bij generalisatie. Door een dreigingsmodel te bieden gebaseerd op begrensde datasetbewerkingen, biedt Certified Circuits een betrouwbaar instrument voor het debuggen, auditen en begrijpen van neurale netwerken, waarmee de kloof tussen interpreteerbaarheid en betrouwbaarheid wordt overbrugd. Het framework is ontworpen om agnostisch te zijn voor de onderliggende modelarchitectuur en het specifieke circuitontdekkingsalgoritme, wat het een generaliseerbare oplossing maakt voor het vakgebied.