💬 NLP

Everything, Everywhere, All at Once: Is Mechanistic Interpretability Identifiable?

Diese Arbeit untersucht die Identifizierbarkeit der Mechanistischen Interpretierbarkeit, indem sie durch Experimente an booleschen Funktionen und kleinen neuronalen Netzen demonstriert, dass eindeutige Erklärungen aufgrund systematischer Nicht-Identifizierbarkeit oft unerreichbar sind, was somit eine Neubewertung der Frage anstößt, ob strikte Eindeutigkeit für valide KI-Erklärungen notwendig ist.

Ursprüngliche Autoren: Maxime Méloux, Silviu Maniu, François Portet, Maxime Peyrard

Veröffentlicht 2026-06-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Maxime Méloux, Silviu Maniu, François Portet, Maxime Peyrard

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten Black-Box-Roboter, der ein bestimmtes Rätsel perfekt lösen kann. Sie möchten wissen, wie er es macht. Sie wollen nicht nur wissen, dass es funktioniert; Sie wollen den Vorhang beiseiteziehen und die winzigen Zahnräder, Hebel und Schalter im Inneren sehen, die die Magie bewirken. Dies ist das Ziel der Mechanistischen Interpretierbarkeit: zu versuchen, ein neuronales Netz (das Gehirn des Roboters) rückwärts zu entwickeln, um eine einfache, für Menschen lesbare Geschichte darüber zu finden, wie es denkt.

Dieses Paper stellt eine sehr einfache, aber tiefgreifende Frage: Wenn wir in diesen Roboter schauen, um die Geschichte zu finden, wie er funktioniert, werden wir dann alle exakt dieselbe Geschichte finden? Oder könnten zwei verschiedene Personen denselben Roboter betrachten, dieselben Regeln zur Untersuchung anwenden und zu zwei völlig unterschiedlichen, aber gleichermaßen gültigen Geschichten kommen?

Die Autoren sagen: Nein, wir sind nicht garantiert eine eindeutige Geschichte zu finden. Tatsächlich gibt es oft Dutzende, Hunderte oder sogar Tausende von verschiedenen „Geschichten“, die perfekt zu den Daten passen.

Hier ist eine Aufschlüsselung ihrer Ergebnisse unter Verwendung einfacher Analogien:

Die zwei Wege der Untersuchung

Das Paper untersucht zwei Hauptwege, wie Forscher versuchen, diese Geschichten zu finden:

„Wo-dann-Was“ (Der Detektiv-Ansatz):
- Die Idee: Zuerst versucht man, eine kleine Gruppe von Neuronen (einen „Schaltkreis“) im Roboter zu finden, die die ganze schwere Arbeit erledigt. Sobald man diese Gruppe gefunden hat, versucht man zu erraten, welche Logik sie verwendet (z. B. „Oh, diese drei Neuronen fungieren wie ein UND-Gatter“).
- Das Problem: Stellen Sie sich vor, Sie haben eine riesige Bibliothek voller Bücher. Sie wollen die spezifischen Seiten finden, die eine Geschichte erzählen. Sie finden vielleicht einen Satz von Seiten, der die Geschichte perfekt erzählt. Aber dann finden Sie einen anderen Satz von Seiten, der völlig anders ist als der erste, der aber ebenfalls die Geschichte perfekt erzählt. Das Paper fand heraus, dass es für eine einfache Aufgabe 85 verschiedene Gruppen von Neuronen gab, die alle die Aufgabe perfekt erledigen konnten. Es gibt keine einzige „richtige“ Gruppe von Zahnrädern.
„Was-dann-Wo“ (Der Architekten-Ansatz):
- Die Idee: Zuerst raten Sie eine einfache Geschichte oder einen Algorithmus (z. B. „Der Roboter muss ein ODER-Gatter verwenden“). Dann scannen Sie das Gehirn des Roboters, um zu sehen, ob Sie einen Ort finden können, an dem diese Geschichte abgespielt wird.
- Das Problem: Stellen Sie sich vor, Sie suchen nach einer bestimmten Melodie, die von einem riesigen Orchester gespielt wird. Sie entdecken vielleicht, dass die Melodie von den Violinen gespielt wird. Aber dann stellen Sie fest, dass die Celli zur exakt gleichen Zeit dieselbe Melodie spielen, und die Flöten tun es auch. Das Paper fand heraus, dass es für einen einzigen einfachen Algorithmus 159 verschiedene Orte im Gehirn des Roboters gab, an denen dieser Algorithmus perfekt implementiert wurde.

Das „XOR“-Experiment

Um dies zu beweisen, trainierten die Autoren einen winzigen, einfachen Roboter, um ein klassisches Logikrätsel namens XOR zu lösen (das ist wie ein Lichtschalter, der nur angeht, wenn einer von zwei Knöpfen gedrückt wird, aber nicht beide).

Das Ergebnis: Sie fanden nicht nur eine Erklärung. Sie fanden über 45.000 verschiedene Erklärungen (Kombinationen aus Schaltkreisen und Geschichten), die alle mathematisch perfekt waren.
Die Analogie: Es ist, als würde man fragen: „Wie hat die Bäckerin diesen perfekten Kuchen gebacken?“
- Erklärung A: „Sie hat Mehl, Zucker und Eier in Schüssel X verwendet.“
- Erklärung B: „Sie hat Mehl, Zucker und Eier in Schüssel Y verwendet.“
- Erklärung C: „Sie hat eine andere Mischung aus Zutaten in Schüssel Z verwendet.“
- Alle sind wahr. Der Kuchen schmeckt gleich, aber der „Mechanismus“, auf den man zeigt, ist jedes Mal ein anderer.

Warum ist das wichtig?

In der Statistik gibt es ein Konzept namens Identifizierbarkeit. Es bedeutet, dass es, wenn man die Daten hat, nur einen Satz von „wahren“ Zahlen geben sollte, die sie erzeugt haben. Dieses Paper argumentt, dass für KI-Erklärungen die Identifizierbarkeit gebrochen ist.

Der Mythos der „einzig wahren Wahrheit“: Wir gehen oft davon aus, dass wir, wenn wir tief genug graben, die eine wahre Art und Weise finden werden, wie die KI denkt. Dieses Paper sagt, dass diese Annahme wahrscheinlich falsch ist. Die KI könnte auf viele verschiedene Arten gleichzeitig denken, oder es könnte viele verschiedene Wege geben, ihr Denken zu beschreiben, die alle gleichermaßen korrekt sind.
Die Konsequenz: Wenn Sie zwei Experten bitten, dieselbe KI zu erklären, könnten sie Ihnen zwei völlig unterschiedliche Antworten geben, und beide wären im Sinne der aktuellen wissenschaftlichen Regeln richtig.

Das Fazit: Was sollten wir tun?

Die Autoren sagen nicht: „Gebt auf“. Stattdessen schlagen sie vor, dass wir unsere Denkweise ändern müssen:

Hören Sie auf, nach der „einen wahren Geschichte“ zu suchen: Wir müssen vielleicht akzeptieren, dass es nicht die eine, einzigartige Erklärung gibt.
Konzentrieren Sie sich auf den Nutzen: Vielleicht ist es nicht wichtig, ob die Erklärung eindeutig ist. Vielleicht ist es nur wichtig, ob die Erklärung uns hilft, vorherzusagen, was die KI als Nächstes tun wird, oder sie so zu manipulieren, dass sie tut, was wir wollen.
Nutzen Sie mehrere Prüfungen: Wenn wir wirklich sicher sein wollen, sollten wir uns nicht auf nur eine Methode verlassen. Wir sollten viele verschiedene Tests verwenden, um zu sehen, ob eine Erklärung aus jeder Perspektive Bestand hat.

Kurz gesagt: Das Paper argumentiert, dass der „Fingerabdruck“ des Denkens einer KI nicht eindeutig ist. Es gibt viele verschiedene Schlüssel, die dasselbe Schloss öffnen können, und viele verschiedene Karten, die dasselbe Territorium beschreiben können. Wir müssen aufhören, eine einzige, perfekte Karte zu erwarten, und statfangen an zu akzeptieren, dass die „Wahrheit“ darüber, wie KI funktioniert, eine Sammlung vieler gültiger, sich überschneidender Geschichten sein kann.

Technisches Resümee: „Everything, Everywhere, All at Once: Is Mechanistic Interpretability Identifiable?“

Problemstellung

Da KI-Systeme in Hochrisikoanwendungen eingesetzt werden, ist die Gewährleistung ihrer Interpretierbarkeit von entscheidender Bedeutung. Mechanistische Interpretierbarkeit (MI) zielt darauf ab, neuronale Netze durch die Rückentwicklung menschlich verständlicher Algorithmen (kompütationelle Abstraktionen) zu dekonstruieren, die in deren Strukturen eingebettet sind. Eine komputationelle Abstraktion besteht aus zwei Komponenten: dem Was (der erklärenden Algorithmus) und dem Wo (dem spezifischen Subgraphen oder Schaltkreis innerhalb des Netzwerks, in dem dieser Algorithmus implementiert ist).

Obwohl MI-Methoden oft eine implizite Annahme der erklärenden Unizität treffen – den Glauben, dass eine eindeutige, korrekte Erklärung für das Verhalten eines Modells existiert –, stellt dieses Paper diese Prämisse systematisch in Frage. In Anlehnung an die Identifizierbarkeit in der Statistik (wo Parameter unter bestimmten Annahmen eindeutig aus Daten abgeleitet werden können), fragen die Autoren: Ist die Erklärung für ein festes Verhalten unter den Kriterien der MI garantiert eindeutig?

Das Paper untersucht zwei primäre Strategien zur Generierung von MI-Erklärungen:

Wo-dann-was (Where-then-what): Detektion eines Teilsubsets des Netzwerks (eines Schaltkreises), das das Verhalten des Modells repliziert, gefolgt von der Ableitung der Interpretation seiner Komponenten.
Was-dann-wo (What-then-where): Beginn mit Kandidaten-Algorithmen und die Suche nach Aktivierungs-Subräumen im Netzwerk, in denen diese Algorithmen kausal ausgerichtet sind.

Der Kern des Problems ist, ob diese Strategien unter ihren jeweiligen Gütekriterien (Schaltkreisfehler und kausale Ausrichtung) eine einzige, eindeutige Erklärung liefern oder ob mehrere, inkompatible Erklärungen dieselben Kriterien erfüllen können.

Methodik

Die Autoren führen einen Stresstest der MI-Identifizierbarkeit in einem kontrollierten, kleinskaligen Setting durch, das eine exhaustive Enumeration (vollständige Aufzählung) potenzieller Erklärungen ermöglicht – eine Leistung, die in großskaligen Modellen unmöglich ist.

Experimentelles Setup

Aufgaben: Training von Multi-Layer Perceptrons (MLPs) zur Implementierung boolescher Funktionen, spezifisch der XOR-Funktion und Kombinationen von Logikgattern.
Architektur: Kleine MLPs (z. B. Eingabegröße 2, verborgene Schichten der Größe $k$ , Ausgabegröße $n$ ), trainiert auf binären Eingaben mit hinzugefügtem Gaußschem Rauschen bis zum Erreichen eines niedrigen Verlustschwellenwerts.
Exhaustive Suche:
- Für „Wo-dann-was“: Die Autoren enumerieren alle möglichen Subgraphen (Schaltkreise) des Netzwerks. Sie testen jeden Schaltkreis auf Validierungsdaten, um „perfekte Schaltkreise“ (Null Schaltkreisfehler) zu identifizieren. Für jeden perfekten Schaltkreis suchen sie rekursiv nach allen gültigen Abbildungen (Interpretationen) von Neuronenaktivierungen auf Logikgatter (AND, OR, NOT), die die Konsistenz (die Abbildung vertauscht nicht die Berechnung) erfüllen.
- Für „Was-dann-wo“: Die Autoren enumerieren Kandidaten-Boolesche Algorithmen (Parse-Bäume), die die Zielfunktion implementieren. Sie suchen dann nach allen möglichen Teilmengen von Neuronen und Abbildungen, die eine perfekte kausale Ausrichtung mit dem Algorithmus erreichen, gemessen durch die Intervention Interchange Accuracy (IIA). Eine IIA von 1 bedeutet, dass kontrafaktische Interventionen am Algorithmus identische Effekte auf die internen Zustände des Netzwerks haben.

Definitionen der Identifizierbarkeit

Das Paper definiert eine Erklärung als nicht identifizierbar, wenn die aktuellen MI-Kriterien nicht in der Lage sind, zwischen zwei inkompatiblen Erklärungen zu differenzieren. Inkompatibilität entsteht, wenn:

Zwei Erklärungen unterschiedliche Algorithmen für dasselbe Verhalten postulieren.
Derselbe Algorithmus in unterschiedlichen Subräumen des Netzwerks eingebettet ist.

Zentrale Ergebnisse

Die Experimente liefern überwältigende Beweise für die Nicht-Identifizierbarkeit in allen Phasen des MI-Prozesses:

Nicht-eindeutige Schaltkreise (Wo): Mehrere distinkte Schaltkreise können das Verhalten des Modells perfekt replizieren (Null Schaltkreisfehler). Im XOR-Beispiel wurden 85 eindeutige Schaltkreise mit perfekter Genauigkeit gefunden.
Nicht-eindeutige Interpretationen (Was): Für einen einzelnen gültigen Schaltkreis existieren mehrere gültige Interpretationen (Abbildungen von Neuronen auf Logikgatter). Im XOR-Beispiel wurden im Durchschnitt 535,8 Interpretationen pro Schaltkreis gefunden.
Nicht-eindeutige Algorithmen (Was): Mehrere verschiedene Algorithmen können perfekt kausal mit der booleschen Berechnung ausgerichtet sein (IIA = 1). Selbst beim Testen von nur zwei Kandidaten-Algorithmen für XOR wurde festgestellt, dass beide eine perfekte Implementierung aufweisen.
Nicht-eindeutige Lokalisierung (Wo): Für einen einzelnen kausal ausgerichteten Algorithmus können mehrere distinkte Subräume des Netzwerks gleichermaßen ausgerichtet sein (IIA = 1). Im XOR-Beispiel wurden 159 perfekte minimale Abbildungen für nur zwei Kandidaten-Algorithmen identifiziert.

Quantitative Befunde:

Mit zunehmender Netzwerkgröße ( $k$ ) wächst die Anzahl der gültigen kompütationellen Abstraktionen exponentiell (der Median steigt von 38 auf 910.000 im Schaltkreis-zentrierten Ansatz).
Weniger als 2 % der trainierten Netzwerke enthielten genau eine gültige minimale Abbildung, und kein Netzwerk enthielt exakt eine Schaltkreis-Interpretation.
Eine Erhöhung der Aufgabenkomplexität (gleichzeitiges Training auf mehreren Logikgattern) reduzierte die Anzahl der Interpretationen, eliminierte die Nicht-Identifizierbarkeit jedoch nicht.

Zentrale Beiträge

Formalisierung der Identifizierbarkeit in der MI: Das Paper führt das Konzept der „Identifizierbarkeit der Erklärung“ in das Feld der mechanistischen Interpretierbarkeit ein, indem es ein statistisches Konzept adaptiert, um die Eindeutigkeit von Erklärungen unter festen Gütekriterien zu definieren.
Systematischer Stresstest: Durch die Nutzung kleinskaliger Modelle, die eine exhaustive Enumeration ermöglichen, liefert die Arbeit den ersten rigorosen, empirischen Nachweis, dass aktuelle MI-Kriterien (Schaltkreisfehler und IIA) keine eindeutigen Erklärungen garantieren.
Kategorisierung von Strategien: Die Arbeit differenziert und evaluiert klar die „Wo-dann-was“- und „Was-dann-wo“-Strategien und zeigt auf, dass beide unter dem Problem der Nicht-Identifizierbarkeit leiden.
Empirischer Nachweis der Inkompatibilität: Die Studie demonstriert, dass ein einziges trainiertes Modell hunderttausende von sich gegenseitig inkompatiblen kompütationellen Abstraktionen unterstützen kann, die alle die Standardkriterien für eine „gute“ Erklärung erfüllen.

Bedeutung und Ansprüche

Die Autoren geben an, dass diese Arbeit darauf abzielt, konstruktiv beizutragen, um die Bemühungen um eine Formalisierung von KI-Erklärungen voranzutreiben. Das Paper behauptet nicht, dass MI nutzlos sei, sondern stellt vielmehr die „Unizitäts-Intuition“ in Frage, die oft im Feld vorausgesetzt wird.

Pragmatische Haltung: Die Autoren schlagen vor, dass, falls das Ziel Vorhersage oder Manipulierbarkeit ist, Unizität nicht notwendig sein muss, und man eine pragmatische Haltung einnehmen könnte, die mehrere gültige Erklärungen akzeptiert.
Strikte Haltung: Falls Unizität als essenziell erachtet wird, um ein echtes „Verständnis“ zu vermitteln, argumentiert das Paper, dass die aktuellen Kriterien unzureichend sind und weniger permissive Kriterien (oder das „Inner Interpretability“-Framework, das mehrere komplementäre Validierungen erfordert) notwendig sein könnten.
Zukünftige Ausrichtung: Die Arbeit unterstreicht die Notwendigkeit rigoroser Definitionen dessen, was eine Erklärung in der KI ausmacht, und geht über die Annahme hinaus, dass ein einziger „wahrer“ Mechanismus existiert und mittels aktueller Methoden leicht entdeckbar ist.

Das Paper schließt mit dem Hinweis, dass die aktuelle Landschaft der Mechanistischen Interpretierbarkeit vor einem fundamentalen Identifizierbarkeitsproblem steht: Ohne zusätzliche Einschränkungen oder Kriterien können wir nicht garantieren, dass die von uns abgeleiteten Erklärungen die einzig korrekten Mechanismen sind, die das Verhalten eines Modells steuern.