🤖 machine learning

Conditional Co-Ablation: Recovering Self-Repair Backups in Transformer Circuits

Dieses Paper stellt Conditional Co-Ablation (CoAx) vor, eine label-freie Methode, die ruhende Backup-Komponenten in Transformer-Schaltkreisen aufdeckt, indem sie misst, wie deren Bedeutung nach der Entfernung primärer Komponenten zunimmt, wodurch die durch Selbstreparaturmechanismen verursachte irreführende Attribuierung überwunden und ein effektiveres Pruning sowie das gezielte Ausschalten von Fähigkeiten ermöglicht wird.

Ursprüngliche Autoren: Zhiren Gong, Zihao Zeng, Chau Yuen, Wei Yang Bryan Lim

Veröffentlicht 2026-07-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhiren Gong, Zihao Zeng, Chau Yuen, Wei Yang Bryan Lim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das „Geister“-Backup

Stellen Sie sich vor, Sie haben ein hochmodernes Auto mit einem Hauptmotor und einem versteckten Ersatzmotor. Der Ersatzmotor ist darauf ausgelegt, völlig lautlos zu bleiben und absolut nichts zu tun, solange der Hauptmotor läuft. Er springt erst ein, wenn der Hauptmotor ausfällt.

Stellen Sie sich nun vor, Sie sind ein Mechaniker, der herausfinden will, welche Teile des Autos wichtig sind. Sie entscheiden sich, die Wichtigkeit des Hauptmotors zu testen, indem Sie ihn entfernen.

Der alte Weg (First-Order Scoring): Sie nehmen den Hauptmotor heraus. Das Auto fährt perfekt weiter, weil der versteckte Ersatzmotor sofort übernimmt. Sie sehen sich das Auto an und sagen: „Wow, der Hauptmotor war gar nicht so wichtig; das Auto ist nicht einmal stehen geblieben!“
Der Fehler: Sie schauen sich auch den Ersatzmotor während des normalen Betriebs an. Da er lautlos war und nichts getan hat, sagen Sie: „Dieser Ersatzmotor ist nutzlos; er ist nur totes Gewicht.“

Das Ergebnis: Sie haben den kritischsten Teil des Autos übersehen. Sie denken, der Hauptmotor sei schwach und der Ersatzmotor sei Schrott. In Wirklichkeit ist der Ersatzmotor ein „Geist“, der erst sichtbar wird, wenn der Hauptmotor weg ist.

In der Welt der KI (speziell bei Large Language Models wie GPT) passiert das ständig. KI-Modelle besitzen „Selbstreparatur“-Mechanismen. Wenn man einen Schlüsselteil des KI-Gehirns (eine „primäre“ Komponente) entfernt, wacht eine schlummernde „Backup“-Komponente auf und behebt den Fehler. Standardmäßige Testmethoden übersehen diese Backups, weil sie nur beobachten, wie Teile funktionieren, wenn die KI normal arbeitet.

Die Lösung: COAX (Conditional Co-Ablation)

Die Autoren führen eine neue Methode namens COAX ein. Denken Sie an COAX als einen „Was-wäre-wenn“-Simulator für den Mechaniker.

Anstatt nur zu fragen: „Wie wichtig ist dieses Teil?“, fragt COAX eine andere Frage: „Wie wichtig wird dieses Teil, nachdem wir den Hauptmotor bereits entfernt haben?“

Schritt 1: Die primäre Entfernung. Zuerst identifizieren die Forscher den Hauptmotor (die primären Komponenten) und entfernen ihn. Die Leistung der KI sinkt leicht, aber das versteckte Backup wacht auf und behebt den Großteil des Schadens.
Schritt 2: Der bedingte Test. Jetzt, da der Hauptmotor bereits weg ist, beginnen die Forscher, die anderen Teile zu testen. Sie fragen: „Wenn wir dieses spezifische Backup-Teil jetzt entfernen, bleibt das Auto dann endlich stehen?“
Die Entdeckung: Plötzlich wirken diese „nutzlosen“ Backup-Teile unglaublich wichtig. COAX misst diesen „Anstieg der Wichtigkeit“. Es findet die verborgenen Helden, die zuvor unsichtbar waren.

Ein Praxisbeispiel: Der „Name-Mover“

Die Arbeit testete dies an einer spezifischen KI-Aufgabe namens „Indirect Object Identification“ (IOI).

Die Aufgabe: Die KI liest einen Satz wie „John und Mary gingen zum Laden. John gab ... zu ...“ und muss erraten, dass das nächste Wort „Mary“ ist.
Das Primäre: Es gibt bestimmte Teile der KI (genannt „Name-Mover Heads“), die normalerweise diese Aufgabe erledigen.
Das Backup: Wenn man diese primären Teile löscht, versagt die KI nicht. Andere Teile (die „Backup Name-Mover“) werden wach und übernehmen den Job.
Die alte Methode: Sie stufte die Backups als fast nutzlos ein (0,33 von 1,0 Genauigkeit beim Finden dieser Teile).
Die COAX-Meth Methode: Sie stufte die Backups als die wichtigsten Teile zur Identifizierung ein (0,91 von 1,0). Sie fand erfolgreich die verborgenen Helfer, die die alten Methoden übersehen hatten.

Warum das wichtig ist (Die „Downstream“-Effekte)

Die Arbeit zeigt, dass das Finden dieser „Geister-Backups“ drei große Probleme in der KI-Analyse löst:

Bessere Attribution (Zuschreibung von Verdiensten):
- Analogie: Wenn Sie den Chefkoch entlassen, übernimmt der Sous-Chef und das Essen schmeckt immer noch großartig. Wenn Sie nur dem Chefkoch die Anerkennung geben, übersehen Sie, dass der Sous-Chef tatsächlich unverzichtbar ist.
- Ergebnis: COAX hilft uns, den richtigen Teilen der KI die Anerkennung zu geben, selbst wenn sie normalerweise still sind.
Echter „Knockout“ (Deaktivierung der KI):
- Analogie: Wenn Sie ein Auto stoppen wollen, reicht es nicht aus, den Hauptmotor zu entfernen, wenn der Ersatzmotor noch da ist. Sie müssen beide entfernen.
- Ergebnis: Wenn Sie ein bestimmtes KI-Verhalten deaktivieren wollen (z. B. damit sie aufhört zu lügen oder ein Matheproblem zu lösen), müssen Sie auch die Backups entfernen. COAX sagt Ihnen genau, welche Backups Sie entfernen müssen, um das Verhalten wirklich zu „brechen“.
Intelligenteres Pruning (KI kleiner machen):
- Analogie: Stellen Sie sich vor, Sie versuchen, ein Auto leichter zu machen, indem Sie Teile entfernen. Wenn Sie den Hauptmotor entfernen, weil Sie denken, er sei das einzige Wichtige, fährt das Auto vielleicht noch mit dem Backup weiter. Aber wenn Sie das Backup vor dem Hauptmotor entfernen, bleibt das Auto stehen.
- Ergebnis: COAX hilft Ingenieuren, die Größe von KI-Modellen zu reduzieren (Pruning), ohne versehentlich etwas zu beschädigen. Es stellt sicher, dass man, wenn man ein primäres Teil entfernt, das dazugehörige Backup sicherstellt, oder wenn man das Backup entfernt, weiß, dass das primäre Teil noch da ist.

Zusammenfassung

Die Arbeit argumentiert, dass Wichtigkeit keine feste Eigenschaft ist. Ein Teil einer KI ist nicht einfach nur „wichtig“ oder „unwichtig“. Seine Wichtigkeit hängt davon ab, was sonst noch im System vorhanden ist.

Alte Sichtweise: „Dieses Teil ist lautlos, also ist es nutzlos.“
COAX-Sichtweise: „Dieses Teil ist nur deshalb lautlos, weil das Hauptteil funktioniert. Wenn das Hauptteil ausfällt, wird dieses Teil zum Helden.“

Durch diesen „bedingten“ Ansatz können die Forscher die verborgenen Backups finden, die KI-Modelle robust und zuverlässig machen, und so die blinden Flecken früherer Methoden beheben.

Technisches Resümee: Conditional Co-Ablation (COAX)

1. Problemstellung

Die mechanistische Interpretierbarkeit stützt sich auf die Zuweisung von Wichtigkeitswerten zu einzelnen Modellkomponenten (z. B. Attention-Heads), um zu verstehen, wie ein Modell spezifische Verhaltensweisen erzeugt. Der Standardansatz verwendet die Ordnung-1-Bewertung (first-order scoring): Eine Einheit wird isoliert ablatiert, die Änderung des Outputs gemessen und diese Effekte aggregiert. Dies setzt voraus, dass die Bedeutung einer Komponente additiv ist.

Diese Annahme scheitert jedoch in Anwesenheit von Selbstreparatur (dem „Hydra-Effekt“), bei der ein Modell über inaktive Backup-Komponenten verfügt, die erst aktiviert werden, wenn eine primäre Komponente entfernt wird.

Der blinde Fleck: In einem intakten Modell erscheint eine Backup-Komponente irrelevant (geringe Wichtigkeit), weil sie stumm ist. Wenn eine primäre Komponente ablatiert wird, übernimmt das Backup, repariert den Schaden und dämpft den gemessenen Effekt der primären Komponente.
Konsequenz: Ordnung-1-Scores lesen beide Seiten der Redundanz falsch: Sie unterschätzen die Primärkomponente (weil das Backup den Fehler behebt) und übersehen das Backup vollständig (weil es im Ruhezustand ist). Dies führt zu fehlerhafter Attribution, gescheiterten Deaktivierungen von Fähigkeiten (Capability Knockouts) und suboptimalem Modell-Pruning.

2. Methodik: Conditional Co-Ablation (COAX)

Die Autoren formulieren das Problem als bedingte Schaltkreis-Vervollständigung (conditional circuit completion): Gegeben sei eine Menge primärer Komponenten $S$ , identifiziere die verbleibenden Einheiten, deren Wichtigkeit signifikant ansteigt, sobald $S$ entfernt wurde.

Der COAX-Score

COAX ist ein labelfreier, output-gestützter Score, der das bedingte Wachstum des Ablations-Effekts einer Einheit misst.

Fisher-Geometrie: Die Methode misst Ablations-Effekte in der durch die Output-Verteilung induzierten Metrik (Fisher-Information). Für eine Einheit $u$ ist der Ablations-Effekt die Logit-Perturbation $\delta z_u = z_0 - z_{\{u\}}$ . Die Energie dieses Effekts ist die mittlere KL-Kosten, approximiert durch die Fisher-gewichtete Norm des zentrierten Features $\tilde{\delta z}_u$ .
Bedingtes Wachstum:
- Sei $S$ eine Seed-Menge primärer Komponenten (z. B. identifiziert durch eine Ordnung-1-Methode).
- Berechne die Energie der Ablation einer Kandidaten-Einheit $u$ in Isolation: $E(\delta z_u | \emptyset)$ .
- Berechne die Energie der Ablation von $u$ nachdem $S$ ablatiert wurde: $E(\delta z_u | S)$ .
- Der COAX-Score ist die Differenz:
  $\text{comp}_u(S) = E(\delta z_u | S) - E(\delta z_u | \emptyset)$
Theoretische Basis:
- Proposition 1: Belegt die Fisher-Identität, die den Skalarprodukt-Zusammenhang zentrierter Features mit der Fisher-Gram-Matrix herstellt.
- Proposition 2 (Additivitäts-Blinder Fleck): Beweist, dass jeder Score, der ausschließlich auf Clean-State-Statistiken basiert (z. B. Clean Activation oder Clean Gradients), nicht zwischen einem reinen Backup (im Clean-Modell im Ruhezustand) und einer inerten Einheit unterscheiden kann.
- Proposition 3 (Bedingtes Wachstum als Synergie): Zeigt, dass für eine im Ruhezustand befindliche Einheit der bedingte Wachstums-Score die Energie ihrer paarweisen Synergie mit der Seed-Menge $S$ approximiert. Somit stellt COAX die Ordnung-2-Interaktion wieder her, die Ordnung-1-Scores verwerfen.

Effizienz

Im Gegensatz zu expliziten paarweisen Synergie-Berechnungen, die $O(|U|^2)$ Vorwärts-Passagen erfordern, benötigt COAX nur $O(|U|)$ Passagen (einen einzelnen Ablations-Scan und einen bedingten Scan pro Seed). Es ist ein reiner Vorwärts-Prozess und benötigt keine Rückwärts-Passagen (Backpropagation) oder Task-Labels.

3. Zentrale Beiträge

Formalisierung von Selbstreparatur: Das Paper formalisiert Selbstreparatur als Versagen der Additivität der Komponenten-Wichtigkeit und führt die „bedingte Schaltkreis-Vervollständigung“ als Aufgabe zur Wiederherstellung inaktiver Kompensatoren ein.
COAX-Score: Führt einen labelfreien, Fisher-basierten Score ein, der inaktive Backups durch Messung des Wachstums der Ablations-Energie nach Konditionierung auf eine primäre Menge aufdeckt.
Kausale Validierung: Demonstriert, dass die wiedergefundenen Heads echte Backups sind, mittels mechanistischer Checks (Wake-up Curves, Direct-Logit-Attribution Hand-off) und kontrafaktischem Patching (das Einfrieren von Backups verhindert die Selbstreparatur).
Downstream-Nutzen: Zeigt, dass die Wiederherstellung dieser Backups die maskierte Attribution korrigiert, eine vollständige Deaktivierung von Fähigkeiten ermöglicht und strukturiertes Pruning verbessert.

4. Experimentelle Ergebnisse

Backup-Entdeckung (GPT-2-small IOI-Schaltkreis)

Aufgabe: Identifikation der 8 dokumentierten Backup-Name-Mover-Heads gegeben die 3 primären Name-Mover.
Performance:
- Ordnung-1-Baselines: Single-Ablation Saliency (0.33 AUC), AtP (0.60), EAP-IG (0.70) und die selbstreparatur-bewusste AtP*GradDrop (0.82).
- COAX: Erreicht 0.91 ROC-AUC.
- Signifikanz: COAX platziert 6 der 8 dokumentierten Backups unter seinen Top-20-Kandidaten. Die Verbesserung gegenüber der besten Gradienten-basierten Baseline (AtP*) ist statistisch signifikant ( $p < 0.05$ ), wenn man die Seed-Menge kontrolliert.
Synthetischer Benchmark: Auf einem synthetischen Benchmark mit 100 platzierten Backups leisten Clean-State-Scores nur Zufallsleistung oder darunter (0.42–0.51), während COAX 0.90 erreicht, was den theoretischen blinden Fleck von Ordnung-1-Methoden bestätigt.

Generalisierung

Skalierung: Das „Wake-up“-Phänomen (erhöhte Output-Norm bei Ablation der Primärkomponenten) wird in GPT-2-small, medium und large Modellen beobachtet.
Architektur: Anwendung auf den Induktions-Schaltkreis über 8 Modelle (Pythia, GPT-Neo, Gemma, Llama, Qwen, OLMo). COAX stellt kompensierende Mengen wieder her, die die Induktions-Log-Wahrscheinlichkeit signifikant senken (2,1- bis 12-fach stärker als zufällig), was die labelfreie Übertragbarkeit demonstriert.

Downstream-Anwendungen

Attributions-Wiederherstellung: Die Ablation der Primärkomponenten allein senkt die IOI-Logit-Differenz nur um 0.22 (maskiert durch Selbstreparatur). Das Hinzufügen der durch COAX wiederhergestellten Backups stellt den Abfall auf 1.76 wieder her und offenbart den wahren kausalen Effekt.
Fähigkeits-Knockout (Capability Knockout): Um das IOI-Verhalten zu deaktivieren, müssen die Backups entfernt werden.
- Entfernen nur der Primärkomponenten: Genauigkeit bleibt bei ~0.97 (Selbstreparatur aktiv).
- Entfernen der Primärkomponenten + COAX-Backups: Genauigkeit sinkt auf 0.70, was dem dokumentierten Oracle (0.72) entspricht.
- Entfernen der Primärkomponenten + der „eigenen“ nächstrangigen Heads (Ordnung-1-Top-up): Genauigkeit sinkt auf 0.24, was auf eine Über-Ablation in Kernkomponenten hindeutet.
Strukturiertes Pruning: Eine sequentielle Pruning-Strategie, die die COAX-Scores nach jeder Entfernung neu misst (um neu exponierte Backups zu berücksichtigen), übertrifft alle Baselines (Random, Magnitude, Wanda, Taylor) über verschiedene Skalen von 124M bis 7B Parametern hinweg. Bei 50 % Sparsität hält COAX die Perplexität signifikant näher am dichten Modell als jeder Wettbewerber.

5. Bedeutung und Ansprüche

Das Paper argumenttiert, dass Komponenten-Wichtigkeit keine intrinsische Eigenschaft einer Einheit ist, sondern bedingt vom Zustand des restlichen Schaltkreises.

Motivation: In robusten Schaltkreisen sind die Komponenten, die am wichtigsten sind, oft jene, die stumm bleiben, bis ihre Primärkomponente versagt. Ordnung-1-Methoden, die Einheiten isoliert bewerten, übersehen systematisch diese „verborgenen Helden“.
Operativer Wechsel: COAX verschiebt das Paradigma von der „Bewertung von Einheiten in Isolation“ hin zur „Bewertung von Einheiten relativ zu dem, was entfernt wurde“.
Einschränkungen & Umfang:
- COAX ist ein Vervollständigungswerkzeug, kein eigenständiges Entdeckungswerkzeug; es benötigt eine primäre Seed-Menge (die durch Ordnung-1-Methoden gefunden werden kann).
- Es ist am effektivsten in Dormant-Substitution-Regimen (wie IOI-Backups). In Regimen, in denen Redundanz unter gemeinsam feuernden, homogenen Heads geteilt wird (wie bei der Induktion), findet COAX lasttragende Mengen, identifiziert aber keine distinkte „Backup-Klasse“.
- Die Methode ist derzeit auf die Granularität von Attention-Heads instanziiert; sie stellt keine starken Signale in MLP-dominierten Schaltkreisen wieder her (z. B. den „Greater-Than“-Schaltkreis), was darauf hindeutet, dass der Mechanismus des Schaltkreises (MLP vs. Attention) die Wiederherstellbarkeit der Selbstreparatur bestimmt.

Das Paper schließt mit dem Argument, dass eine treue Interpretierbarkeit robuster Modelle bedingt sein muss: Redundanz ist kein Rauschen, das herausgemittelt werden muss, sondern eine Struktur, auf die konditioniert werden muss, um den vollständigen Schaltkreis zu enthüllen.