💬 NLP

Position: Mechanistic Interpretability Must Disclose Identification Assumptions for Causal Claims

Dieser Beitrag argumentiert, dass die Forschung zur mechanistischen Interpretierbarkeit Validierungsmetriken häufig mit kausaler Identifikation vermischt, indem sie die notwendigen Annahmen nicht explizit darlegt, und schlägt eine neue Offenlegungsnorm vor, die von Autorinnen und Autoren verlangt, ihre Identifikationsstrategien sowie die Robustheit ihrer kausalen Behauptungen klar zu artikulieren.

Ursprüngliche Autoren: Zezheng Lin, Fengming Liu

Veröffentlicht 2026-05-11

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zezheng Lin, Fengming Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der herausfinden soll, warum eine komplexe Maschine (eine KI) das tut, was sie tut. Sie vermuten, dass ein bestimmtes Zahnrad (ein „Schaltkreis" oder eine „Funktion") die Ursache für eine bestimmte Handlung ist. Sie ziehen dieses Zahnrad heraus, und die Maschine hört auf zu funktionieren. Sie rufen aus: „Aha! Dieses Zahnrad war die Ursache!"

Dieser Artikel argumentiert, dass Forscher im Bereich der „mechanistischen Interpretierbarkeit" von KI diese Erklärungen viel zu häufig abgeben, ohne die Regeln der Beweisführung einzuhalten. Sie behaupten, die Ursache gefunden zu haben, haben aber nicht erklärt, warum ihr Experiment beweist, dass es sich um die Ursache handelt und nicht nur um einen Zufall.

Hier ist die Aufschlüsselung des Arguments des Artikels unter Verwendung einfacher Analogien:

1. Das Kernproblem: „Validierung" ist nicht „Identifizierung"

Der Artikel trifft eine entscheidende Unterscheidung zwischen zwei Dingen:

Validierung (Das „Was"): „Ich habe das Zahnrad herausgezogen, und die Maschine hat aufgehört zu funktionieren." Dies ist eine Tatsache. Es ist ein erfolgreicher Test.
Identifizierung (Das „Warum"): „Ich weiß mit Sicherheit, dass nur dieses Zahnrad dafür verantwortlich war, dass die Maschine aufhörte zu funktionieren, und nicht etwa ein verstecktes Ersatzrad oder eine Nebenwirkung meines Herausziehens."

Die Analogie:
Stellen Sie sich vor, Sie sind ein Arzt. Sie geben einem Patienten eine Pille, und sein Fieber sinkt.

Validierung: „Das Fieber ist nach der Einnahme der Pille gesunken." (Das ist wahr).
Identifizierung: „Die Pille hat bewirkt, dass das Fieber sinkt." (Dies erfordert Annahmen).

Vielleicht ist das Fieber gesunken, weil es die Tageszeit war, zu der das Fieber natürlich abklingt. Vielleicht hat der Patient zur gleichen Zeit Wasser getrunken. Vielleicht hat die Pille nicht gewirkt, aber das Fieber wäre sowieso verschwunden.

In der KI-Forschung sagen Arbeiten oft: „Wir haben diesen Teil der KI verändert, und das Verhalten hat sich geändert, also ist dieser Teil die Ursache." Der Artikel argumentiert, dass sie den Schritt überspringen, zu beweisen, dass keine andere Erklärung diese Veränderung hätte bewirken können. Sie behandeln das „Sinken des Fiebers" (Validierung) als Beweis für das „Wirken der Pille" (Identifizierung), ohne zu prüfen, ob der Patient einen natürlichen Fieberzyklus hatte.

2. Die Falle der „versteckten Annahmen"

Jedes Mal, wenn ein Forscher behauptet, eine Ursache gefunden zu haben, steht er auf einer Reihe unsichtbarer Annahmen. Der Artikel sagt, dass diese Annahmen derzeit versteckt sind.

Die Analogie:
Stellen Sie sich vor, ein Zauberer behauptet: „Ich habe das Kaninchen verschwinden lassen, weil ich meinen Zauberstab geschwenkt habe."

Die versteckte Annahme: „Das Kaninchen ist nicht durch die Hintertür hinausgesprungen."
Die versteckte Annahme: „Das Kaninchen war nicht schon weg, bevor ich den Stab geschwenkt habe."

In KI-Arbeiten sind die „Zauberkünste" Dinge wie:

Aktivierungs-Patching: „Wir haben diesen Teil des KI-Gehirns ausgetauscht. Das Verhalten hat sich geändert."
- Versteckte Annahme: „Wir haben nicht versehentlich ein schlafendes Backup-System geweckt, das dieselbe Aufgabe erledigt."
Sparse Autoencoder (SAEs): „Wir haben eine spezifische 'Funktion' in der KI gefunden, die das Konzept der 'Ehrlichkeit' repräsentiert."
- Versteckte Annahme: „Diese Funktion ist ein einzigartiger, eigenständiger Baustein und nicht nur eine unordentliche Mischung aus anderen Dingen, die zufällig wie 'Ehrlichkeit' aussieht."

Der Artikel prüft 10 wichtige Arbeiten (und überprüft weitere 30) und stellt fest, dass keine einzige von ihnen einen eigenen Abschnitt hat, in dem diese versteckten Annahmen aufgelistet werden. Sie zeigen nur den Zauberkunsttrick (das Ergebnis) und sagen „Schauen Sie, es funktioniert!", ohne zuzugeben, welche Regeln sie voraussetzen, dass das Universum befolgt.

3. Der „Substitutions"-Fehler

Der Artikel nennt die aktuelle Gewohnheit „Validierungsmetrik-Substitution".

Die Analogie:
Stellen Sie sich vor, ein Automechaniker sagt: „Ich habe Ihren Motor repariert, weil das Auto gestartet ist."

Der Fehler: Der Mechaniker substituiert das Ergebnis (das Auto ist gestartet) durch den Beweis (Ich weiß genau, welchen Teil ich repariert habe und dass nichts anderes das Auto hätte starten können).
Die Realität: Das Auto könnte gestartet sein, weil sich die Batterie selbst aufgeladen hat, oder weil der Mechaniker den Schlüssel gestoßen hat, oder weil der Motor die ganze Zeit in Ordnung war.

In KI-Arbeiten berichten Forscher über Metriken wie „Treue" (entspricht die Erklärung dem Modell?) oder „Vollständigkeit" (haben wir alle Teile gefunden?). Der Artikel argumentiert, dass dies nur Momente sind wie „das Auto ist gestartet". Sie sind gut zu haben, aber sie sind kein Beweis für Kausalität, es sei denn, Sie geben die Annahmen an, die sie zum Beweis machen.

4. Die vorgeschlagene Lösung: Das „Offenlegungsprotokoll"

Der Autor schlägt vor, dass das Feld eine Regel aus der Ökonometrie (der Studie ökonomischer Daten) übernehmen sollte. In der Wirtschaftswissenschaft müssen Sie, wenn Sie behaupten, „X verursacht Y", explizit angeben:

Was Sie behaupten: „Wir behaupten, dass X Y verursacht."
Die Strategie: „Wir verwenden Methode Z, um dies zu beweisen."
Die Annahmen: „Wir gehen davon aus, dass [Bedingung A] und [Bedingung B] wahr sind."
Der Stresstest: „Wenn [Bedingung A] falsch ist, bricht unsere Schlussfolgerung zusammen. Hier ist, wie wir getestet haben, ob sie wahr ist."

Die Analogie:
Anstatt nur zu sagen „Die Pille hat gewirkt", muss der Arzt einen Bericht schreiben:

„Wir behaupten, dass die Pille das Fieber gesenkt hat."
„Wir gehen davon aus, dass der Patient keine anderen Medikamente eingenommen hat."
„Wir gehen davon aus, dass das Fieber nicht natürlich abklingt."
„Wenn der Patient doch andere Medikamente eingenommen hat, ist unsere Schlussfolgerung falsch. Hier sind die Daten, die zeigen, dass er keine eingenommen hat."

5. Was die Prüfung ergab

Der Autor betrachtete 10 Schlüsselarbeiten im Feld (die verschiedene Methoden wie Schaltkreis-Entdeckung und Autoencoder abdecken) und überprüfte dann weitere 30.

Ergebnis: 0 von 30 Arbeiten hatten einen eigenen Abschnitt, in dem ihre Identifizierungsannahmen aufgelistet wurden.
Ergebnis: Die meisten Arbeiten (etwa 19 bis 26 von 30, je nachdem, wie streng man ist) verwendeten „Validierungsmetriken" (wie „die KI verhielt sich wie erwartet") als Ersatz für den Beweis, dass ihre Annahmen wahr waren.
Ergebnis: Selbst die sorgfältigsten Arbeiten, die Fehler in der Arbeit anderer fanden, listeten nicht explizit die Annahmen auf, die sie verwendeten, um diese Fehler zu finden.

Zusammenfassung

Der Artikel ist ein Aufruf zu Ehrlichkeit und Klarheit. Er sagt nicht, dass die KI-Forschung falsch ist; er sagt, dass die KI-Forschung unvollständig ist.

Im Moment sagen Forscher: „Schauen Sie, wir haben die Ursache gefunden!"
Der Artikel sagt: „Bitte halten Sie inne und sagen Sie uns, welche Regeln Sie voraussetzen, um diese Behauptung aufzustellen. Wenn Sie uns die Regeln nicht nennen, wissen wir nicht, ob Ihre 'Ursache' real ist oder nur ein glücklicher Zufall."

Es fordert das Feld auf, vom „Schauen, wie cool unser Zauberkunsttrick ist" zu „Hier ist genau, wie der Trick funktioniert, und hier ist, warum wir wissen, dass es kein Trick ist" überzugehen.

Technisches Fazit: Mechanistische Interpretierbarkeit muss Identifikationsannahmen für kausale Behauptungen offenlegen

Problemstellung
Die Forschung zur mechanistischen Interpretierbarkeit (MI) verwendet zunehmend kausale Vokabeln – wie „Schaltungen", „Vermittler", „kausale Abstraktion" und „Monosemantizität" –, um Modellverhalten zu beschreiben. Das Papier argumentiert jedoch, dass diese kausalen Behauptungen häufig explizite Identifikationsannahmen vermissen lassen. In der kausalen Inferenz ist eine Behauptung nur dann gültig, wenn die Bedingungen angegeben sind, unter denen die kausale Größe aus beobachtbaren Daten identifiziert wird. Das Papier identifiziert ein wiederkehrendes Muster, bei dem Forscher Validierungsmetriken (z. B. Glaubwürdigkeit, Vollständigkeit, Monosemantizität, Ausrichtung oder Ablationseffekte) anstelle von Identifikationsannahmen verwenden. Während diese Metriken zeigen, dass eine Beschreibung mit dem Modell oder den Daten konsistent ist, belegen sie nicht, dass der vorgeschlagene Mechanismus die Ursache und nicht lediglich eine Korrelation ist. Das Papier geht davon aus, dass ohne Angabe der Annahmen, unter denen eine Behauptung identifiziert wird, die kausale Behauptung ungeachtet hoher Validierungswerte nicht identifiziert bleibt.

Methodik
Das Papier führt eine zielgerichtete Prüfung der MI-Literatur durch, um das Fehlen einer Offenlegung von Identifikationsannahmen zu dokumentieren.

Hauptprüfung (n=10): Eine Prüfung durch einen einzelnen Kodierer von zehn einflussreichen Papieren, die vier methodische Stränge abdecken: Schaltungsentdeckung, sparse Autoencoder (SAE), kausale Abstraktion und Probing. Die Stichprobe umfasst Arbeiten von NeurIPS, ICLR, CLeaR, BlackboxNLP und dem Anthropic Transformer Circuits Thread.
Erweiterte Prüfung (n=30): Eine Prüfung durch zwei menschliche Kodierer an einer erweiterten Menge von 30 Papieren, um die Robustheit zu testen und die Übereinstimmung zwischen den Kodierern zu schätzen.
Kodierungsdimensionen:
- Dim A: Typ der abstrakten Behauptung (explizit kausal mit/ohne Identifikationsgrundlage, implizit kausal oder nur Assoziation).
- Dim B: Vorhandensein eines dedizierten Abschnitts „Identifikationsannahmen" im Haupttext.
- Dim C: Vorhandensein von Falsifizierungstests oder Sensitivitätsanalysen.
- Dim D: „Substitution durch Validierungsmetriken" (Meldung einer Validierungsmetrik als kausale Unterstützung, ohne sie von Identifikationsannahmen zu trennen).
Validierung: Die Studie umfasst eine erneute Kodierung eines Teilsatzes durch einen zweiten menschlichen Kodierer zur Messung der Übereinstimmung ( $\kappa$ ) sowie eine Prüfung durch einen einzelnen Kodierer an einer geschichteten Teilstichprobe zur Verifizierung struktureller Befunde.

Hauptbeiträge

Konzeptionelle Unterscheidung: Das Papier unterscheidet formal zwischen Validierung (Beantwortung der Frage: „Was hat sich geändert, als wir eingegriffen haben?") und Identifikation (Beantwortung der Frage: „Warum identifiziert diese Änderung diesen Mechanismus?"). Es wird argumentiert, dass Validierungsmetriken für kausale Behauptungen notwendig, aber nicht hinreichend sind.
Dokumentation der Lücke: Die Prüfung offenbart ein systematisches Fehlen einer Offenlegung von Annahmen. In den beprobten Papieren enthielt kein einziges Papier einen dedizierten Abschnitt zu Identifikationsannahmen. Die Mehrheit der Papiere stellte kausale Behauptungen implizit auf und ersetzte Identifikationsaussagen durch Validierungsmetriken.
Auflistung methodenspezifischer Annahmen: Das Papier listet die spezifischen, oft impliziten Identifikationsannahmen auf, die für gängige MI-Methoden erforderlich sind:
- Activation Patching: Nimmt die Vollständigkeit der Schaltung an (zielgerichtete Komponenten decken alle Pfade ab) und die Exklusivität der Pfade (Patching aktiviert keine schlafenden parallelen Schaltungen).
- Sparse Autoencoder: Nimmt die Wiederherstellbarkeit der Dictionaries-Basis an (Features entsprechen einer wahren Basis, nicht einer willkürlichen Rotation) sowie die Atomizität/Monosemantizität von Features.
- Kausale Abstraktion: Nimmt Ausrichtungs-Glaubwürdigkeit und Validität der Optimierung an.
- Probing: Nimmt kausale Lokalität und Vollständigkeit der Intervention an.
Vorgeschlagenes Offenlegungsprotokoll: Das Papier schlägt eine fünfstufige Norm für MI-Papiere vor, die kausale Behauptungen aufstellen:
- Im Abstract angeben, ob die Behauptung kausal oder assoziativ ist.
- Die Identifikationsstrategie benennen.
- Einen nummerierten Abschnitt „Identifikationsannahmen" im Haupttext aufnehmen.
- Für mindestens eine Kernannahme einen Falsifizierungstest, eine Sensitivitätsanalyse oder eine klare Aussage zu gegenteiligen Beweisen bereitstellen.
- Diskutieren, wie sich die Schlussfolgerungen verschieben, wenn Schlüsselannahmen nicht zutreffen.

Ergebnisse

Fehlen dedizierter Abschnitte: Sowohl in der n=10- als auch in der n=30-Prüfung enthielten 0/30 Papiere unter irgendeiner Kodierungsregel oder durch irgendeinen Kodierer einen dedizierten Abschnitt zu Identifikationsannahmen.
Verbreitung der Substitution: In der n=30-Prüfung wurden 19/30 Papiere (unter strenger Schlichtung) oder 26/30 (unter großzügigen Regeln) so kodiert, dass sie eine Validierungsmetrik durch eine Identifikationsaussage ersetzten.
Heterogenität der Stränge: Das Substitutionsmuster war am stärksten in den Strängen Sparse Autoencoder und Kausale Abstraktion konzentriert (jeweils 6/6 bzw. 3/3 Papiere in der n=30-Stichprobe zeigten eine vollständige Substitution). Activation Patching wies eine geringere Substitutionsrate auf, möglicherweise aufgrund bestehender Literatur zu „Illusionen und Fehlermodi" (z. B. Makelov et al., 2024), die einen gewissen Schutz bietet.
Übereinstimmung zwischen den Kodierern: Die Übereinstimmung bezüglich des Vorhandenseins eines dedizierten Abschnitts (Dim B) war gering ( $\kappa = 0.26$ ), was darauf hindeutet, dass aktuelle Papiere keine stabilen, leicht identifizierbaren Aussagen zu Annahmen liefern. Das strukturelle Ergebnis von null dedizierten Abschnitten war jedoch über alle Kodierer und Regeln hinweg robust.

Bedeutung und Behauptungen
Das Papier behauptet, dass die aktuelle Praxis in der mechanistischen Interpretierbarkeit Validierungsmetriken als Stellvertreter für kausale Identifikation behandelt, was zu „Interpretierbarkeits-Illusionen" führt, bei denen hohe Scores mit gescheiterter Identifikation koexistieren (wie durch frühere Arbeiten wie Makelov et al., 2024, und Leask et al., 2025 demonstriert).

Keine Auferlegung eines Rahmens: Das Papier importiert keine spezifischen ökonometrischen Rahmenwerke (z. B. instrumentelle Variablen, do-Kalkül) in die MI. Stattdessen importiert es die Meta-Praxis der kausalen Inferenz: die Anforderung, dass kausale Behauptungen durch angegebene Annahmen bewertet werden müssen.
Logische Notwendigkeit: Die Autoren argumentieren, dass Offenlegung eine logische Voraussetzung jeder kausalen Behauptung ist und nicht lediglich eine stilistische Wahl. Ohne angegebene Annahmen kann die wissenschaftliche Gemeinschaft nicht bewerten, ob ein Ergebnis eine genuine kausale Struktur oder ein Artefakt nicht genannter Bedingungen widerspiegelt.
Community-Standard: Die Prüfung dient als Beleg dafür, dass die Lücke über wichtige Veranstaltungsorte hinweg weit verbreitet ist und einen Community-Standard rechtfertigt. Das vorgeschlagene Protokoll ist so konzipiert, dass es generativ und nicht restriktiv ist und eine kumulative Kritik ermöglicht, indem es Annahmen explizit und falsifizierbar macht.

Das Papier kommt zu dem Schluss, dass die Stichprobe der Prüfung zwar klein und zielgerichtet ist (keine Schätzung der Prävalenz für die gesamte Literatur), die Konsistenz des Musters über Stränge und Jahre hinweg jedoch darauf hindeutet, dass das Feld die Basalpraxis der Offenlegung von Annahmen trotz der zunehmenden Abhängigkeit von kausaler Sprache noch nicht übernommen hat.