🤖 AI

Certified Circuits: Stability Guarantees for Mechanistic Circuits

Dieses Paper führt „Certified Circuits“ ein, ein Framework, das die Stabilität und Zuverlässigkeit der mechanistischen Interpretierbarkeit durch die Verwendung von randomisiertem Daten-Subsampling verbessert, um beweisbare Garantien dafür zu liefern, dass entdeckte neuronale Schaltkreise invariant gegenüber Datensatz-Perturbationen sind, was zu kompakteren und genaueren Erklärungen über verschiedene Architekturen und Aufgaben hinweg führt.

Ursprüngliche Autoren: Alaa Anani, Tobias Lorenz, Bernt Schiele, Mario Fritz, Jonas Fischer

Veröffentlicht 2026-06-01

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Alaa Anani, Tobias Lorenz, Bernt Schiele, Mario Fritz, Jonas Fischer

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen herauszufinden, wie ein brillanter, aber geheimnisvoller Koch (ein neuronales Netz) ein bestimmtes Gericht, wie zum Beispiel „Krokodilsuppe“, zubereitet. Sie möchten genau wissen, welche Zutaten und Schritte für das Rezept essenziell sind.

Das Problem: Das instabile Rezept
In der Vergangenheit versuchten Wissenschaftler, wenn sie nach diesem „Rezept“ (genannt Circuit) innerhalb des Computers suchten, eine Methode, die sehr zerbrechlich war. Es war so, als würde man den Koch fragen: „Was macht diese Suppe nach Krokodil schmecken?“, basierend auf nur einem einzigen Foto eines Krokodils am Strand.

Der Koch könnte sagen: „Ah! Es sind die Zähne und die Schuppen!“ Aber wenn man dem Koch ein Foto eines Krokodils im Sumpf oder eine Cartoon-Zeichnung zeigen würde, könnte der Koch plötzlich sagen: „Nein, nein! Es ist eigentlich das schlammige Wasser und der Vogel, der in der Nähe sitzt!“

Das Problem war, dass der Koch (der Computer) Hinweise memorisierte, die spezifisch für dieses eine Foto waren (wie den Vogel oder den Schlamm), anstatt das eigentliche Konzept eines Kriokodils zu erfassen. Wenn man das Foto auch nur leicht veränderte, würde sich das „Rezept“, das die Wissenschaftler gefunden hatten, komplett ändern. Dies machte die Erklärung unzuverlässig.

Die Lösung: Zertifizierte Schaltkreise (Certified Circuits)
Dieses Paper stellt eine neue Methode vor, die Certified Circuits genannt wird. Betrachten Sie dies als einen „Stabilitätstest“ für das Rezept.

Anstatt den Koch nach nur einem Foto zu fragen, machen die Forscher Folgendes:

Das Mischen: Sie nehmen einen großen Stapel Krokodilfotos und werfen zufällig ein paar weg, tauschen einige aus oder fügen einige neue hinzu. Dies tun sie hunderte Male, wodurch Tausende von leicht unterschiedlichen „Foto-Stapeln“ entstehen.
Die Abstimmung: Für jeden einzelnen Foto-Stapel fragen sie den Koch: „Was ist der wichtigste Teil davon?“
Der Konsens: Sie werten die Antworten aus.
- Wenn der Koch in 99 % der verschiedenen Foto-Stapel „Zähne“ sagt, sagen sie: „Zertifiziert! Zähne sind definitiv Teil des Rezepts.“
- Wenn der Koch in 50 % der Stapel „Vogel“ und in den anderen 50 % „Zähne“ sagt, sagen sie: „Enthaltung (Abstention).“ Sie weigern sich, „Vogel“ in das endgültige Rezept aufzunehmen, weil es zu instabil ist. Es könnte bloß ein Zufall sein.

Was dies bewirkt
Indem sie nur die Teile behalten, auf die sich der Koch bezieht, egal wie man die Fotos mischt, erzielen die Forscher ein viel besseres Ergebnis:

Kleiner und Sauberer: Das endgültige Rezept ist viel kürzer. Sie haben den gesamten „Lärm“ (wie den Vogel oder den Schlamm) herausgeschnitten, der das ursprüngliche Verfahren verwirrt hat.
Genauer: Da sie die verwirrenden, instabilen Hinweise entfernt haben, funktioniert das Rezept besser. In dem Paper verbesserte dies die Genauigkeit bei schwierigen, ungesehenen Beispielen um bis zu 56 %.
Funktioniert Überall: Wenn das Rezept auf dem wahren Konzept eines Krokodils basiert (Zähne, Schuppen, Schnauze), wird es funktionieren, egal ob man dem Koch ein echtes Krokodil, einen Cartoon oder ein Krokodil im Sumpf zeigt. Das „zertifizierte“ Rezept generalisiert gut, weil es die flüchtigen Hinweise ignoriert, die nur bei den ursprünglichen Fotos funktionierten.

Das Fazit
Das Paper behauptet, dass sie durch die Verwendung dieses „Abstimmungssystems“ (das sie Randomized Smoothing nennen) beweisen können, dass ihre entdeckten „Circuits“ (die Teile des Computers, die die Arbeit verrichten) stabil sind.

Sie raten nicht einfach nur; sie können mathematisch garantieren, dass sich das Kernrezept, das sie gefunden haben, nicht ändern wird, wenn man die Eingangsdaten innerhalb eines bestimmten Limits leicht verändert. Dies verwandelt das „Rezept“ von einer zerbrechlichen Vermutung in eine solide, vertrauenswürdige Erklärung dafür, wie der Computer tatsächlich denkt.

Technisches Resümee: Certified Circuits

Problemstellung

Die mechanistische Interpretierbarkeit zielt darauf ab, „Schaltkreise“ (Circuits) zu identifizieren – minimale Subnetzwerke innerhalb neuronaler Netze, die für bestimmte Verhaltensweisen oder Konzepte verantwortlich sind. Bestehende Methoden zur Entdeckung von Schaltkreisen leiden jedoch unter einem kritischen Mangel an Robustheit. Entdeckte Schaltkreise reagieren hochsensibel auf die spezifischen Beispiele, die für den Konzeptdatensatz gewählt wurden; das Hinzufügen, Entfernen oder Ersetzen semantisch äquivalenter Beispiele kann zu unvorhersehbaren Änderungen der Schaltkreisstruktur führen. Darüber hinaus versagen diese Schaltkreise oft bei Out-of-Distribution (OOD)-Daten. Diese Instabilität wirft eine grundlegende Frage auf: Erfassen aktuelle Methoden die wahre mechanistische Repräsentation eines Konzepts, oder überoptimieren sie lediglich auf datensatzspezifische, spurende Artefakte (Spurious Cues)?

Methodik: Certified Circuits

Die Autoren schlagen Certified Circuits vor, ein Framework, das beweisbare, algorithmusagnostische Stabilitätsgarantien für die Schaltkreisentdeckung bietet. Die Kernidee besteht darin, die Entdeckung von Schaltkreisen als eine Abbildung von einem Konzeptdatensatz auf einen Subgraphen zu behandeln und zu zertifizieren, dass diese Abbildung unter begrenzten Änderungen am Datensatz invariant bleibt.

Kern-Framework

Randomisierte Unterabtastung (Smoothing): Das Framework umschließt jeden Black-Box-Schaltkreisentdeckungsalgorithmus $\mathcal{A}$ . Es generiert mehrere randomisierte Unterstichproben des Konzeptdatensatzes $D$ , indem es einen löschbasierten Perturbationsmechanismus anwendet. Konkret wird eine binäre Maske gesampelt, bei der jedes Beispiel mit der Wahrscheinlichkeit $1 - p_{del}$ beibehalten und mit der Wahrscheinlichkeit $p_{del}$ gelöscht wird.
Aggregation: Der Basisalgorithmus $\mathcal{A}$ wird auf jedem unterabgetasteten Datensatz ausgeführt, um Kandidaten-Schaltkreise zu erzeugen. Das Framework aggregiert anschließend die Ergebnisse, um die geglättete Inklusionswahrscheinlichkeit ( $p_u$ ) für jede Schaltkreiskomponente (Neuron oder Kante) zu berechnen. Diese Wahrscheinlichkeit repräsentiert die Häufigkeit, mit der eine Komponente über die randomisierten Löschungen hinweg ausgewählt wird.
Zertifizierte Entscheidungsregel: Ein Konfidenzschwellenwert $\tau$ $τ$ wird auf $p_u$ $p_{u}$ angewendet, um eine Entscheidung für jede Komponente zu treffen:
- Zertifiziert enthalten (Certified In): Wenn $p_u > \tau$ , ist die Komponente robust enthalten.
- Zertifiziert ausgeschlossen (Certified Out): Wenn $1 - p_u > \tau$ , ist die Komponente robust ausgeschlossen.
- Enthaltung (Abstain): Wenn keine der Bedingungen erfüllt ist, wird die Komponente aus dem endgültigen Schaltkreis ausgeschlossen. Diese adaptive Sparsamkeit entfernt Komponenten, deren Inklusion unter Datensatz-Perturbationen instabil ist.

Theoretische Garantie

Die Methode nutzt Dataset Deletion Smoothing (RS-Del), um eine formale Garantie abzuleiten. Theorem 3.1 besagt, dass jede als „enthalten“ oder „ausgeschlossen“ zertifizierte Komponente mit hoher Konfidenz ( $1-\alpha$ ) für jeden Datensatz $D'$ invariant bleibt, der innerhalb einer spezifischen Edit-Distanz $r$ zum ursprünglichen Datensatz $D$ liegt. Der zertifizierte Radius $r$ ist eine Funktion der Löschwahrscheinlichkeit $p_{del}$ und des Schwellenwerts $\tau$ . Als „enthaltung“ klassifizierte Komponenten werden ausgeschlossen, wodurch sichergestellt wird, dass der endgültige Schaltkreis nur aus beweisbar stabilen Elementen besteht.

Wichtigste Beiträge

Erstes beweisbares Stabilitäts-Framework: Das Paper führt das erste Framework ein, das beweisbare, algorithmusagnostische Robustheitsgarantien für die Schaltkreisentdeckung bietet und sicherstellt, dass die Schaltkreisstruktur gegenüber begrenzten Datensatzänderungen invariant ist.
Theoretische Schranken: Die Autoren leiten beweisbare Schranken für zertifizierte Radien ab und charakterisieren deren Abhängigkeit von der Wahrscheinlichkeitsschwelle und der Löschwahrscheinlichkeit.
Empirische Validierung: Das Framework wird über drei Architekturen (ResNet, ViT, GPT-2), zwei Modalitäten (Vision und Sprache) und vier Entdeckungsalgorithmen hinweg validiert.

Experimentelle Ergebnisse

Die Autoren evaluierten Certified Circuits gegen Standard-Baselines (z. B. Top-K Relevance, EAP-IG) auf ImageNet und verschiedenen OOD-Benchmarks (ImageNet-A, ImageNet-O, ImageNet-C, OOD-CV) für Vision sowie auf IOI/IOI-Hard/Greater-Than Aufgaben für Sprache.

Suffizienz und Kompaktheit: Certified Circuits erreichen eine höhere Genauigkeit (Suffizienz) mit signifikant weniger Komponenten (Kompaktheit).
- Vision: Auf ImageNet erreichten Certified Circuits eine Genauigkeit von 95 % (gegenüber 83 % Baseline) bei gleichzeitig 52 % weniger Neuronen. Auf OOD-Datensätzen wie ImageNet-A verbesserte sich die Genauigkeit um bis zu 56 % (erreicht 94 %) bei einer Reduktion der Größe um 15 %.
- Sprache: Certified Circuits erreichten oder übertrafen die Spitzengenauigkeit der Baselines bei der Verwendung von bis zu 80 % weniger Kanten (z. B. 75 % Reduktion beim Greater-Than Task).
Merkmalsanalyse: Die Visualisierung der „enthaltenen“ (Abstain) Neuronen (die in Baselines enthalten, aber durch Zertifizierung ausgeschlossen wurden) zeigte, dass diese oft auf koexistierende, aber nicht klassenspezifische Merkmale reagierten (z. B. Hände/Handgelenke für die Klasse „Armbanduhr“), während „zertifiziert enthaltene“ Neuronen konsistent auf klassendefinierende Merkmale reagierten.
OOD-Generalisierung: Auf den ursprünglichen Verteilungen entdeckte Schaltkreise zeigten im Vergleich zu Baselines eine signifikant höhere Genauigkeit auf OOD-Shifts, was darauf hindeutet, dass sie transferierbare mechanistische Strukturen statt Datensatz-Artefakte erfassen.
Strukturelle Stabilität: Wenn Schaltkreise auf verschobenen Verteilungen neu entdeckt wurden, zeigten Certified Circuits eine höhere Intersection-over-Union (IoU) mit der ursprünglichen Struktur, was auf eine Konvergenz zu einem invarianten Kern hindeutet.

Bedeutung und Ansprüche

Das Paper behauptet, dass Certified Circuits die Schaltkreisentdeckung auf eine formale Grundlage stellt, indem es mechanistische Erklärungen produziert, die beweisbar stabil und besser mit dem Zielkonzept abgestimmt sind. Durch das systematische Entfernen instabiler Komponenten mittels adaptiver Enthaltung liefert die Methode Schaltkreise, die nicht nur kompakter und genauer, sondern auch robuster gegenüber Datensatzvariationen und Verteilungsverschiebungen sind.

Die Autoren betonen, dass diese Arbeit die „Interpretations-Illusion“ adressiert, bei der Erklärungen auf der Entdeckungsverteilung zwar treu erscheinen, aber bei der Generalisierung versagen. Durch Bereitstellung eines Bedrohungsmodells basierend auf begrenzten Datensatzänderungen bietet Certified Circuits ein zuverlässiges Werkzeug für das Debugging, Auditing und Verständnis neuronaler Netze und schließt die Lücke zwischen Interpretierbarkeit und Vertrauenswürdigkeit. Das Framework ist so konzipiert, dass es unabhängig von der zugrunde liegenden Modellarchitektur und dem spezifischen Schaltkreisentdeckungsalgorithmus ist, was es zu einer generalisierbaren Lösung für das Feld macht.