🤖 machine learning

Certified Interventional Fidelity: Anytime-Valid, Adaptive Evaluation of Causal Claims in Mechanistic Interpretability

Dieses Paper führt Certified Interventional Fidelity (CIF) ein, ein statistisches Framework, das jederzeit-valide Konfidenzintervalle und Sequenzen für kausale Behauptungen in der mechanistischen Interpretierbarkeit bereitstellt, wodurch eine adaptive Evaluierung von Modellinterventionen ermöglicht wird, während stabile Effekte rigoros von Stichprobenartefakten unterschieden werden.

Ursprüngliche Autoren: Amir Asiaee

Veröffentlicht 2026-07-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Amir Asiaee

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht herauszufinden, wie das Gehirn eines superintelligenten Roboters funktioniert. Sie wollen nicht nur raten; Sie wollen ihn kitzeln, seine internen Zahnräder austauschen und sehen, ob er immer noch die gleichen Rätsel löst. Das nennt man „mechanistische Interpretierbarkeit“. Aber hier liegt das Problem: Die meisten Detektive führen nur ein paar Tests durch, erhalten eine einzige Zahl (wie „95 % genau!“) und erklären den Fall damit für gelöst. Das Problem ist, wenn Sie ständig in Ihre Ergebnisse hineinspähen oder nur nach den Zahnrädern suchen, die scheinbar defekt sind, könnte diese einzelne Zahl ein glücklicher Zufall sein und keine stabile Tatsache.

Hier kommt Certified Interventional Fidelity (CIF) ins Spiel. Denken Sie an CIF als einen „wahrheitssprechenden Schiedsrichter“, den Sie in Ihr Detektivspiel bringen können. Er gibt Ihnen nicht nur eine Punktzahl; er liefert Ihnen ein Konfidenznetz, das stabil bleibt, egal wie oft Sie in die Ergebnisse hineinspähen oder Ihre Strategie mitten im Spiel ändern.

Die Falle des „Glückstreffers“

Normalerweise, wenn Wissenschaftler das Gehirn eines Roboters testen, führen sie vielleicht 1.000 Tests durch, sehen ein Ergebnis, führen 500 weitere aus, sehen ein besseres Ergebnis und hören genau dann auf, wenn es gut aussieht. Oder sie konzentrieren sich nur auf die Teile des Gehirns, die offensichtlich versagen. Das Papier argumentiert, dass dies gefährlich ist. Es ist, als wäre es ein Schüler, der eine Prüfung ablegt, dabei ständig in den Lösungsschlüssel schaut und seine falschen Antworten korrigiert, bis er eine perfekte Punktzahl erreicht hat. Das Papier weist ausdrücklich darauf hin, dass es ohne ein Sicherheitsnetz schwer zu sagen ist, ob eine gemeldete Punktzahl eine stabile kausale Behauptung oder nur eine Folge von endlicher Stichprobenziehung und Evaluationsentscheidungen ist. Eine einzelne „Punktschätzung“ (eine einzige Zahl) reicht nicht aus, um zu beweisen, dass das Gehirn eines Roboters so funktioniert, wie wir denken, ohne Unsicherheitsgarantien.

Das Werkzeugkasten des Schiedsrichters: Das „Anytime-Valid“-Netz

CIF führt eine neue Art der Messung namens Konfidenzsequenzen ein. Stellen Sie sich vor, Sie versuchen, das durchschnittliche Gewicht eines Beutels voller Murmeln zu erraten.

Der alte Weg: Sie wiegen 100 Murmeln, berechnen den Durchschnitt und sagen: „Es sind 5 Gramm.“ Wenn Sie 10 weitere wiegen und sich der Durchschnitt ändert, könnte Ihre ursprüngliche Behauptung falsch sein.
Der CIF-Weg: Sie beginnen mit einem weiten Netz, das sagt: „Das Gewicht liegt zwischen 1 und 10 Gramm.“ Während Sie mehr Murmeln wiegen, zieht sich das Netz langsam zusammen. Die Magie von CIF ist, dass dieses Netz „anytime-valid“ (jederzeit gültig) ist. Das bedeutet, Sie können das Netz nach 10 Murmeln, 100 Murmeln oder 1.000 Murmeln überprüfen, und das Netz ist immer garantiert korrekt. Sie können jederzeit aufhören, und die Behauptung innerhalb des Netzes ist immer noch wahr.

Fehler suchen, ohne zu schummeln

Manchmal wollen Sie die Schwachstellen des Roboters schnell finden. Sie entscheiden sich vielleicht dazu, nur die Zahnräder zu testen, die verdächtig aussehen. Dies wird als „adaptives Sampling“ bezeichnet.

Das Risiko: Wenn Sie nur die defekten Zahnräder testen, wird Ihre durchschnittliche Punktzahl schlecht aussehen und Sie werden denken, der ganze Roboter sei defekt.
Die CIF-Lösung: CIF nutzt einen cleveren Trick namens „Importance Weighting“ (Gewichtung nach Wichtigkeit). Stellen Sie sich vor, Sie sind ein Juror bei einer Talentshow. Wenn Sie entscheiden, nur die Acts anzusehen, die danach aussehen, als könnten sie scheitern, müssen Sie diesen Acts ein besonderes „Gewicht“ in Ihrer Endwertung geben, um das auszugleichen, dass Sie die guten Acts ignoriert haben. CIF macht dies mathematisch. Es ermöglicht Ihnen, Fehler aggressiv zu suchen, aber Ihren endgültigen Bericht ehrlich und unvoreingenommen zu halten.

Die Magie des „Wettens“, um Zeit zu sparen

Das Papier testete zwei Wege, um diese Konfidenznetze aufzubauen:

Das „Hoeffding“-Netz: Dies ist ein sicheres, Standard-Netz. Es schrumpft langsam und stetig, wie eine Schildkröte, die läuft. Es ist sehr zuverlässig, kann aber lange dauern, um eine präzise Antwort zu erhalten.
Das „Betting“-Netz: Dies ist ein intelligentes Netz, das auf die Daten „wettet“. Wenn die Ergebnisse konsistent sind (geringe Varianz), schrumpft es superschnell.

In den Experimenten des Papers war das „Betting“-Netz ein Game-Changer.

Bei einem einfachen Bildtest (MNIST) reduzierte es die Anzahl der benötigten Tests, um eine Behauptung zu beweisen, um das 10- bis 30-fache.
Bei einem komplexen Sprachmodell (GPT-2 Small) bedeutete es, dass statt 1.875 Vorwärtsläufen nur 102 nötig waren, um zu beweisen, dass ein Schaltkreis gut funktioniert.
Die Autoren maßen dies in Simulationen und fanden heraus, dass die „Betting“-Methode eine massive Menge an Computerzeit spart, ohne an Genauigkeit einzubüßen.

Was CIF nicht tut

Es ist wichtig zu wissen, was dieser Schiedsrichter nicht tut. CIF sagt Ihnen nicht, welches Robotergehirn-Design das beste ist. Es beweist nicht, dass eine spezifische Erklärung darüber, wie der Roboter denkt, die „wahre“ Wahrheit ist. Es liefert lediglich Unsicherheitsgarantien, dass eine spezifische Behauptung (wie „Dieser Roboter verhält sich unter diesen spezifischen Tests so“) statistisch solide und kein Zufall ist. Es ist ein Werkzeug zur Verifizierung, nicht ein magischer Stab zur Entdeckung.

Der Kernpunkt

Das Papier legt nahe, dass Forscher durch die Verwendung von CIF aufhören können zu raten und anfangen können zu zertifizieren. Sie können sagen: „Wir sind uns zu 95 % sicher, dass das Gehirn dieses Roboters so funktioniert“, und sie können das auch dann sagen, wenn sie ihre Ergebnisse während der Tests ständig überprüft haben. Es verwandelt eine wackelige, informelle Vermutung in eine robuste, zertifizierte Tatsache und bewahrt Forscher davor, Zeit mit falschen Fährten zu verschwenden und hilft ihnen, die wahren Geheimnisse darüber zu entdecken, wie KI denkt.

Technisches Resümee: Certified Interventional Fidelity (CIF)

Problemstellung

Die mechanistische Interpretierbarkeit stützt sich zunehmend auf interventionelle Evaluationen, um kausale Behauptungen über neuronale Netze zu validieren. Diese Experimente beinhalten die Modifikation interner Zustände (z. B. Activation Patching, Ablation, Austausch von Hidden States), um zu testen, ob eine vorgeschlagene Erklärung (wie ein komprimiertes Modell, ein Schaltkreis oder eine Menge von Neuronen) das Verhalten des Originalmodells getreu reproduziert.

Die aktuellen Evaluierungspraktiken leiden unter einem Mangel an statistischer Rigorosität. Typischerweise ziehen Forscher eine feste Anzahl von Eingaben und Interventionen, berechnen einen Punktschätzer (z. B. Interchange Intervention Accuracy oder Patching Recovery) und berichten diesen als definitive Behauptung. Die Arbeitsabläufe der Interpretierbarkeit sind jedoch inhärent sequenziell und adaptiv: Forscher überwachen Ergebnisse, passen die Evaluationssets an, suchen nach Gegenbeispielen und stoppen, wenn die Evidenz stark genug erscheint. Ohre die fehlende Quantifizierung der Unsicherheit, welche diese Adaptivität berücksichtigt, können berichtete Fidelitäten Artefakte endlicher Stichproben oder „P-Hacking“ (datenabhängiges Stoppen) sein, was zu übertriebenen Behauptungen oder falsch gerankten Methoden führt.

Methodik: Certified Interventional Fidelity (CIF)

Die Autoren schlagen Certified Interventional Fidelity (CIF) vor, ein statistisches Framework, das interventionelle Interpretierbarkeits-Evaluationen in formale kausale Inferenzprobleme mit Anytime-Validitätsgarantien transformiert. CIF ist als „statistische Schicht“ konzipiert, die um bestehende Evaluations-Pipelines gelegt werden kann.

1. Formalisierung als kausale Estimanden

CIF erfordert, dass jeder berichtete Metrik explizit als beschränkter kausaler Estimand definiert wird.

Zielwert: Ein Erwartungswert $\theta = \mathbb{E}_{(X, I) \sim \mathcal{D} \times \Pi}[Y(X, I)]$ $θ = E_{(X, I) \sim D \times Π} [Y (X, I)]$ , wobei:
- $\mathcal{D}$ eine deklarierte Eingangsverteilung ist.
- $\Pi$ eine deklarierte Interventionsverteilung ist.
- $Y$ ein beschränkter Score ist (typischerweise $Y \in [0, 1]$ ), wie etwa ein Disagreement-Indikator oder ein normalisierter Recovery-Score.
Klassen von Behauptungen:
- Abstraktions-/Reduktions-Fidelität: Misst die Diskrepanz zwischen einem High-Level-Modell $M_H$ und dem Originalmodell $M_L$ unter entsprechenden Interventionen.
- Komponenten-Effekt/Recovery: Misst das Ausmaß, in dem die Wiederherstellung einer spezifischen Komponente (z. B. durch Patching) das ursprüngliche Verhalten wiederherstellt.

2. Anytime-Valid Confidence Sequences (CS)

Um das Problem der Überwachung und des adaptiven Stoppens anzugehen, nutzt CIF Confidence Sequences anstelle von Feststichproben-Konfidenzintervallen. Eine Sequenz von Intervallen $(C_n)_{n \ge 1}$ ist gültig, wenn $P(\forall n \ge 1, \theta \in C_n) \ge 1 - \delta$ . Dies ermöglicht es Evaluatoren, Ergebnisse zu jedem beliebigen Zeitpunkt zu prüfen und frühzeitig zu stoppen, ohne die Typ-I-Fehlerraten künstlich aufzublähen.

Hoeffding-artige CS: Bietet einfache, transparente Schranken basierend auf der Spannweite des Scores und der Stichprobengröße $n$ .
Wettbewerbsbasierte (Betting-based) CS: Verwendet einen Kapitalprozess (Martingal) – spezifisch die Online Newton Step Strategie –, der sich an die empirische Varianz der beobachteten Scores anpasst. Diese Methode reduziert die Anzahl der benötigten Stichproben zur Zertifizierung im Vergleich zu Hoeffding-Schranken signifikant.

3. Adaptives Sampling mit beschränkter Importance Weighting

CIF unterstützt adaptives, fehlersuchendes Sampling (failure-directed sampling), bei dem die Interventionsverteilung $\Pi$ im Zeitverlauf modifiziert wird, um sich auf wahrscheinliche Fehler oder hochwirksame Komponenten zu konzentrieren.

Mechanismus: Um die Validität des Ziel-Estimanden $\theta$ trotz Änderung der Stichprobenverteilung zu bewahren, verwendet CIF Mixture Importance Weighting. In jedem Schritt $t$ zieht der Sampler aus einer Mischung $q_t = (1-\alpha)\Pi + \alpha \tilde{q}_t$ , wobei $\tilde{q}_t$ ein adaptiver Vorschlag basierend auf der Historie ist.
Garantie: Die Importance-Gewichte $w_t = \Pi(I_t)/q_t(I_t)$ sind beschränkt durch $W_{max} = 1/(1-\alpha)$ . Das Framework nutzt Horvitz-Thompson-ähnliche Schätzer und Martingal-basierte Schranken, um sicherzustellen, dass die Confidence Sequences für das ursprüngliche Ziel $\Pi$ gültig bleiben, selbst wenn adaptiv gesampelt wird.

4. Mehrfachtests und Selektion

Beim Scannen mehrerer Komponenten oder Schaltkreise adressiert CIF das Problem des Selektionsbias durch folgende Empfehlungen:

Bonferroni-Korrektur (Zuweisung von $\delta/K$ pro Komponente).
Sequenzielles „Peeling“ (Stoppen des Samplings für offensichtlich suboptimale Kandidaten).
Anytime-valide Verfahren zur Kontrolle der False Discovery Rate (FDR).

Wichtigste Beiträge

Reformulierung: Das Paper definiert interventionalistische Interpretierbarkeitsmetriken als sequenzielle kausale Inferenzprobleme um und trennt die wissenschaftliche Fragestellung (den Estimanden) vom Sampling-Verfahren.
Statistische Garantien: Es liefert endliche Konfidenzsequenzen (Confidence Sequences) für diese Estimanden, die unter beliebiger Überwachung und datenabhängigem Stoppen gültig sind.
Adaptive Effizienz: Es führt adaptives CIF mittels beschränkter Mixture Importance Weighting ein, was eine effiziente Fehlersuche ermöglicht und gleichzeitig die statistische Validität wahrt.
Varianz-adaptive Wettstrategie: Es zeigt, dass wettbasierte (betting-based) CS die Zertifizierungskosten im Vergleich zu Standard-Hoeffding-Schranken um den Faktor 10–30 $\times$ senken können, indem sie die empirische Varianz ausnutzen.
Praktische Werkzeuge: Die Autoren stellen Algorithmen für die Zertifizierung, Paarvergleiche und adaptives Sampling bereit sowie eine Reporting-Checkliste für die Anwendung von CIF auf neue Evaluationen.

Experimentelle Ergebnisse

Die Autoren evaluierten CIF anhand zweier primärer Benchmarks:

MNIST Neural Abstractions:
- Setup: Evaluierung der Abstraktions-Fidelität (Interchange Intervention Accuracy) für verschiedene Pruning- und Kompressionsmethoden an einem 3-schichtigen MLP.
- Ergebnisse: Unter aggressiver Intervention ( $p=0.5$ ) konnte keine Methode als hochfidel zertifiziert werden ( $F \ge 0.90$ ) – ein negatives Ergebnis, das durch Punktwerte allein möglicherweise verschleiert worden wäre. Unter milderen Interventionen ( $p=0.1$ ) zertifizierten wettbasierte CSs High-Fidelity-Behauptungen mit drastisch weniger Forward Passes (z. B. 64 Samples vs. 1.141 für Hoeffding). Adaptives Sampling erwies sich als effektiver für das Finden von Fehlern als für die Zertifizierung bereits hoher Fidelitäten.
GPT-2 Small IOI Circuits:
- Setup: Evaluierung der Patching-Recovery-Scores für Schaltkreise, die via ACDC, Attribution Patching oder manuell identifiziert wurden, im Kontext der Indirect Object Identification Aufgabe.
- Ergebnisse: Alle Schaltkreise zeigten hohe Punktwerte ( $\hat{\mu} \in [0.959, 0.972]$ ). Jedoch waren die Hoeffding-Schranken zu breit, um hohe Schwellenwerte innerhalb des Budgets von 2.000 Samples zu zertifizieren. Wettbasierte CSs konnten $\mu \ge 0.95$ für den vollen 13-Head-Schaltkreis in nur 357 Samples zertifizieren, während Hoeffding über 2.000 Samples benötigt hätte.
Sensitivität und Coverage:
- Die Sensitivitätsanalyse zeigte, dass bei hohen Perturbationsraten die Wahl der Diskrepanzmetrik (z. B. 0-1 Loss vs. KL-Divergenz) zu nicht-überlappenden Konfidenzintervallen führen kann, was die Wahl der Metrik zu einem kritischen Faktor für qualitative Schlussfolgerungen macht.
- Die Validierung der Coverage bestätigte, dass sowohl Hoeffding- als auch Wett-CSs die nominelle Coverage (z. B. 95 %) auch unter aggressiven Peeking-Protokollen erreichten.

Bedeutung und Ansprüche

Das Paper positioniert CIF nicht als neue Methode zur Entdeckung von Schaltkreisen oder Abstraktionen, sondern als eine Verifizierungsschicht für die Schätzseite der mechanistischen Interpretierbarkeit.

Adressierung des „fehlenden Puzzlestücks“: Die Autoren argumentieren, dass zwar der kausale Rahmen der Interpretierbarkeit etabliert ist, die statistische Praxis jedoch oft informell bleibt. CIF füllt diese Lücke, indem es eine rigorose Unsicherheitsschätzung bietet, die der adaptiven Natur der Interpretierbarkeitsforschung standhält.
Kostensenkung: Ein wesentlicher praktischer Anspruch ist, dass die Wahl der statistischen Konstruktion (Hoeffding vs. Betting) die Zertifizierungskosten um eine Größenordnung verändern kann, was eine rigorose Evaluation für teure Modelle wie GPT-2 erst praktikabel macht.
Transparenz: CIF zwingt Forscher dazu, die Eingangs- und Interventionsverteilungen explizit zu deklarieren, wodurch der Umfang der Behauptung explizit wird und die Sensitivität gegenüber diesen Designentscheidungen offengelegt wird.
Limitierungen: Die Autoren stellen explizit klar, dass CIF das Identifikationsproblem nicht löst (d. h. ob eine gewählte Abstraktion tatsächlich die kausale Struktur von Interesse einfängt), sondern lediglich das Schätzproblem (die zuverlässige Schätzung der Fidelität einer vorgeschlagenen Behauptung gegeben eine spezifische Metrik und Verteilung). Es setzt zudem voraus, dass Scores beschränkt sind, wobei Clipping oder sub-Gauss-Varianten dies erweitern können.

Zusammenfassend bietet CIF ein Framework, um „Punktschätzer“ in „zertifizierte Behauptungen“ zu verwandelt, wodurch sichergestellt wird, dass Schlussfolgerungen über mechanistische Erklärungen robust gegenüber endlicher Stichprobenmenge, Überwachung und adaptiven Suchstrategien sind.