🤖 machine learning

From Mechanistic to Compositional Interpretability

Dieser Beitrag führt die „kompositionelle Interpretierbarkeit" ein, ein kategorientheoretisches Rahmenwerk, das mechanistische Erklärungen als kommutierende syntaktische und semantische Abbildungen formalisiert, um eine objektive Verifikation, Optimierung und systematische Modellverfeinerung hin zu prägnanteren, menschlich ausgerichteten Interpretationen zu ermöglichen.

Ursprüngliche Autoren: Ward Gauderis, Thomas Dooms, Steven T. Holmer, Kola Ayonrinde, Geraint A. Wiggins

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ward Gauderis, Thomas Dooms, Steven T. Holmer, Kola Ayonrinde, Geraint A. Wiggins

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine unglaublich komplexe Blackbox-Maschine vor, die erstaunliche Dinge leisten kann, wie etwa Tiere zu erkennen oder Sprachen zu übersetzen. Sie wissen, was sie tut, aber Sie haben keine Ahnung, wie sie es tut. Im Inneren ist sie ein verworrenes Durcheinander aus Zahnrädern, Drähten und Hebeln, das kein Mensch leicht verstehen kann. Dies ist der aktuelle Zustand vieler fortschrittlicher KI-Modelle.

Das von Ihnen bereitgestellte Papier schlägt einen neuen Weg vor, dieses Durcheinander zu entwirren. Es geht vom bloßen „Raten", wie die Maschine funktioniert, hin zur Erstellung eines strengen, mathematischen Regelbuchs für ihre Erklärung. Hier ist die Kernidee, aufgeschlüsselt mit einfachen Analogien.

1. Das Problem: Die „Just-So"-Geschichte

Derzeit schauen Wissenschaftler, wenn sie diese KI-Modelle erklären wollen, oft auf die Eingaben und Ausgaben (z. B. „Es sah eine Katze, also sagte es ‚Miau'"). Sie könnten auf einen bestimmten Draht zeigen und sagen: „Dieser Draht leuchtet auf, wenn er Fell sieht."

Das Papier argumentiert, dass dies riskant ist. Es ist so, als würde man einen Automotor betrachten und sagen: „Dieser Kolben bewegt sich, wenn das Auto schnell fährt." Das mag zwar wahr sein, aber es erklärt nicht den Mechanismus, wie der Kraftstoff in Bewegung umgewandelt wird. Wenn man nur die Oberfläche betrachtet, erzählt man möglicherweise eine Geschichte, die sich richtig anhört, aber in Wirklichkeit falsch darüber ist, wie die Maschine wirklich funktioniert. Dies wird als „Just-So-Geschichte" bezeichnet – eine Erzählung, die zu den Fakten passt, aber die echte innere Logik vermissen lässt.

2. Die Lösung: Die „kommutative" Karte

Die Autoren führen ein Konzept namens Kompositionelle Interpretierbarkeit ein. Stellen Sie sich dies wie ein Übersetzungsprojekt für eine komplexe Maschine vor.

Um die Maschine richtig zu erklären, benötigen Sie zwei Karten, die perfekt miteinander übereinstimmen müssen:

Karte A (Der Bauplan): Diese zeigt die interne Struktur der Maschine – die Drähte, die Zahnräder, die „Syntax".
Karte B (Das Verhalten): Diese zeigt, was die Maschine tatsächlich tut, wenn Sie einen Knopf drücken – die „Semantik".

Das Papier besagt, dass eine gute Erklärung nur dann gültig ist, wenn diese beiden Karten kommutativ sind. Auf Deutsch bedeutet das:

Wenn Sie im Bauplan dem Pfad eines bestimmten Zahnrads folgen, muss dies zum exakt gleichen Ergebnis führen wie das Beobachten der Bewegung dieses Zahnrads in der Verhaltenskarte.
Wenn die Karten nicht übereinstimmen, ist Ihre Erklärung fehlerhaft. Sie können ein Zahnrad nicht einfach als „Geschwindigkeitsregler" bezeichnen, wenn es tatsächlich etwas anderes tut.

Dies stellt sicher, dass Ihre Erklärung nicht nur eine Vermutung ist, sondern ein verifizierter Zusammenhang zwischen dem Inneren der Maschine und ihren Handlungen.

3. Das Ziel: Die „kürzeste Geschichte" (Ockhams Rasiermesser)

Sobald Sie eine gültige Karte haben, wie wissen Sie dann, welche Erklärung die beste ist? Das Papier verwendet ein Prinzip namens Minimale Beschreibungslänge.

Stellen Sie sich vor, Sie müssen einem Freund einen komplexen Zaubertrick erklären.

Erklärung 1: „Der Zauberer winkte mit einem Zauberstab, sagte ein Zauberwort, und der Hase erschien." (Einfach, aber vielleicht wird die versteckte Falltür übersehen).
Erklärung 2: „Der Zauberer nutzte eine versteckte Falltür, einen Federmechanismus und einen bestimmten Lichtwinkel, um den Hasen erscheinen zu lassen." (Komplexer, aber genau).
Erklärung 3: „Der Zauberer nutzte eine versteckte Falltür, eine Feder, einen Lichtwinkel, einen bestimmten Luftzug und einen geheimen Code." (Zu komplex, übermäßig erklärt).

Das Papier argumentiert, dass die beste Erklärung die kürzeste ist, die dennoch perfekt genau ist. Es ist der Sweet Spot, bei dem Sie keine wichtigen Details auslassen (Treue), aber auch keinen unnötigen Ballast hinzufügen (Komplexität).

4. Die Methode: „Komprimierende Verfeinerung"

Wie finden wir diese perfekte, kurze Erklärung? Die Autoren schlagen einen Prozess namens Komprimierende Verfeinerung vor.

Stellen Sie sich das KI-Modell als ein chaotisches Haufen von Lego-Steinen vor.

Aktueller Zustand: Die Steine sind in seltsamen, verwickelten Klumpen zusammengeklebt. Es ist schwer zu erkennen, was jedes Teil tut.
Der Prozess: Sie nehmen die Klumpen sorgfältig auseinander und bauen sie zu ordentlichen, distincten Strukturen wieder zusammen. Sie fügen möglicherweise ein paar zusätzliche „Verbinder" (Verkabelung) hinzu, um die Struktur klar zu machen, aber Sie vereinfachen die einzelnen Teile, damit sie leichter verständlich sind.
Das Ergebnis: Sie enden mit einem Modell, bei dem die „Atome der Berechnung" (die kleinsten nützlichen Teile) einfach und klar sind und die Art und Weise, wie sie verbunden sind, logisch ist.

Das Papier beweist, dass Sie, wenn Sie diese „Neuzusammenstellung" korrekt durchführen, garantiert eine einfachere, für den Menschen freundlichere Erklärung erhalten, ohne das zu ändern, was die Maschine tatsächlich tut.

5. Warum dies funktioniert: Die „Optimismus"-Annahme

Das Papier trifft eine hoffnungsvolle Vermutung (eine Konjektur), um dies zu ermöglichen: Die Muster, die die KI verwendet, um Probleme zu lösen, sind wahrscheinlich dieselben Muster, die Menschen verwenden, um diese Probleme zu verstehen.

Wenn die KI gut darin ist, Katzen zu erkennen, nutzt sie wahrscheinlich einfache, logische Merkmale (Ohren, Schnurrhaare) und nicht irgendeine fremde, unverständliche Mathematik. Indem wir das Modell komprimieren, um diese einfachen Muster zu finden, „filtern" wir im Wesentlichen das Rauschen heraus und finden die für Menschen lesbare Logik, die im Inneren verborgen ist.

Zusammenfassung

Kurz gesagt sagt dieses Papier:

Hören Sie auf zu raten: Schauen Sie nicht nur darauf, was die KI tut; ordnen Sie ihre internen Teile ihren Handlungen zu und stellen Sie sicher, dass sie perfekt übereinstimmen.
Halten Sie es einfach: Die beste Erklärung ist die kürzeste, die dennoch zu 100 % genau ist.
Stellen Sie die Maschine neu zusammen: Strukturieren Sie die interne Verkabelung der KI systematisch um, um sie einfacher und klarer zu machen, was natürlich zu Erklärungen führt, die Menschen tatsächlich verstehen können.

Dies bietet ein mathematisches „Regelbuch", um die Blackbox der KI in eine transparente, verständliche Maschine zu verwandeln.

Technisches Fazit: Von der mechanistischen zur kompositionellen Interpretierbarkeit

Problemstellung
Die mechanistische Interpretierbarkeit zielt darauf ab, neuronale Modelle in für Menschen verständliche Komponenten zu zerlegen. Allerdings fehlt aktuellen Ansätzen ein formaler Rahmen, was es schwierig macht, Erklärungen objektiv zu verifizieren, zu vergleichen oder zu komponieren. Bestehende Methoden approximieren die Treue oft eher, als sie strukturell durchzusetzen. Ferner laufen Erklärungen ohne eine messbare Definition der Interpretationsqualität Gefahr, zu „Just-so-Stories" zu werden, die mit oberflächlichem Verhalten korrelieren, aber interne Mechanismen nicht erfassen. Die Kernherausforderung besteht darin, Interpretierbarkeit so zu definieren, dass sie kompositionell (Teile summieren sich zum Ganzen), treu (entspricht der internen Berechnung) und prägnant (geringe Beschreibungslänge für Menschen) ist.

Methodik
Die Autoren stellen die Kompositionelle Interpretierbarkeit vor, einen Rahmen, der auf der Kategorientheorie und dem Prinzip der Minimalen Beschreibungslänge (MDL) basiert.

Formale Definitionen via Kategorientheorie:
- Kompositionelles Modell: Definiert als Tupel $(D, S, C, [[\cdot]])$ , wobei $D$ ein String-Diagramm ist, das die Syntax (Struktur) des Modells darstellt, $S$ die syntaktische Kategorie, $C$ die semantische Kategorie (konkrete Implementierung) und $[[\cdot]]$ ein Funktor ist, der Syntax auf Semantik abbildet.
- Kompositionelle Interpretation: Definiert als Paar von Abbildungen: eine syntaxbasierte Interpretation $I_S: S \to H$ (weist Erklärungen strukturellen Komponenten zu) und eine semantikbasierte Interpretation $I_C: C \to H$ (weist Erklärungen Verhaltensweisen zu).
- Kommutativität: Eine gültige Interpretation erfordert, dass das Diagramm kommutiert ( $I_S = I_C \circ [[\cdot]]$ ). Dies erzwingt Konsistenz und stellt sicher, dass Erklärungen, die aus der Struktur des Modells abgeleitet werden, mit Erklärungen übereinstimmen, die aus dem beobachteten Verhalten abgeleitet werden.
Optimierung via MDL:
- Interpretierbarkeit wird als ein eingeschränktes Optimierungsproblem formuliert: die Suche nach der prägnantesten Erklärung, die treu zur Semantik des Modells bleibt.
- Treue: Gemessen durch die Informationskosten, die erforderlich sind, um eine Erklärung zu korrigieren, damit sie mit der wahren Semantik des Modells übereinstimmt. Die Autoren definieren kompositionelle Treue, die verlangt, dass die Erklärung die Rekonstruktion der Semantik einzelner Komponenten ermöglicht, nicht nur das globale Eingabe-Ausgabe-Verhalten.
- Komplexität: Gemessen durch die Kompositionelle Beschreibungslänge ( $L(M, I_S)$ $L (M, I_{S})$ ), die sich zerlegt in:
  - Repräsentationskomplexität ( $L_{rep}$ ): Die Kosten für die Beschreibung der Syntax und der semantischen Komplexität atomarer Komponenten.
  - Interpretationskomplexität ( $L_{int}$ ): Der subjektive Aufwand, diese Komponenten mit menschlichen Konzepten in Einklang zu bringen.
- Die gesamte Beschreibungslänge dient als obere Schranke für die minimale Beschreibungslänge der Erklärung selbst.
Kompressive Verfeinerung:
- Um die Interpretierbarkeit zu optimieren, schlägt das Papier die Syntaktische Verfeinerung vor: einen Funktor $R: S \to S'$ , der die Syntax des Modells neu strukturiert, während die Semantik erhalten bleibt ( $[[\cdot]] = [[\cdot]]' \circ R$ ).
- Eine Kompressive Verfeinerung liegt vor, wenn diese Neustrukturierung die Repräsentationskomplexität reduziert ( $L_{rep}(M') \leq L_{rep}(M)$ ).
- Sparsamkeitskriterium: Eine Verfeinerung liefert nur dann eine bessere Erklärung, wenn die Reduktion der Repräsentationskomplexität jede Zunahme der Interpretationskomplexität überwiegt.

Hauptbeiträge

Formaler Rahmen: Das Papier etabliert eine kategorientheoretische Grundlage für Interpretierbarkeit, unterscheidet zwischen Syntax (Struktur) und Semantik (Verhalten) und verlangt deren Ausrichtung via kommutativer Diagramme.
Quantifizierbares Ziel: Es fasst Interpretierbarkeit als ein eingeschränktes Optimierungsproblem unter Verwendung von MDL, das Treue (Verzerrung) und Komplexität (Beschreibungslänge) trennt.
Kompressive Verfeinerung: Es führt eine systematische Methode ein, Modelle in einfachere Teile umzustrukturieren, ohne die Funktion zu verändern, und verallgemeinert bestehende mechanistische Methoden (wie zerlegungen auf Sparsamkeit basierend) als Unterklasse der Verfeinerung.
Sparsamkeitskriterium & Theoretische Garantien:
- Die Autoren beweisen, dass kompressive Verfeinerung prägnantere Erklärungen garantiert, wenn die Kodierungsverteilung komonoton zur Interpretationsverteilung ist (was strukturelle Einfachheit mit menschlicher Verständlichkeit verknüpft).
- Sie berufen sich auf Kompositionelle Sparsamkeit (Satz 4.5), um zu argumentieren, dass tiefe Netzwerke polynomieller Größe Funktionen approximieren, die spärliche Zerlegungen zulassen, wodurch sichergestellt wird, dass die Suche nach „Atomen der Berechnung" machbar ist und nicht zu unüberschaubaren Diagrammgrößen führt.
- Sie formalisieren das Schwache Prinzip des Erklärungsoptimismus, das nahelegt, dass, wenn ein Modell gut funktioniert, seine Kernmechanismen wahrscheinlich für Menschen verständlich sind, was die Verwendung von Kompression als Filter für diese Mechanismen rechtfertigt.

Ergebnisse und Behauptungen
Das Papier präsentiert keine neuen empirischen Experimente, sondern bietet eine theoretische Vereinheitlichung und einen Proof of Concept:

Es zeigt, dass prominente mechanistische Methoden (z. B. solche, die Sparsamkeitsheuristiken verwenden) als spezifische Instanzen syntaktischer Verfeinerung betrachtet werden können.
Es beweist, dass unter dem Sparsamkeitskriterium die Minimierung der Repräsentationskomplexität theoretisch prägnantere, menschlich ausgerichtete Erklärungen garantiert, sofern die „Erklärungsoptimismus"-Priorität gilt.
Es klärt auf, warum Komprimierbarkeitsheuristiken oft mit menschlicher Interpretierbarkeit übereinstimmen: Sie entfernen Redundanz, um Kernmechanismen zu isolieren, die menschlichen Konzepten entsprechen.

Bedeutung
Das Papier behauptet, eine messbare und optimierbare Grundlage für die Automatisierung der Entdeckung und Bewertung mechanistischer Erklärungen zu liefern. Durch den Übergang von ad-hoc Reverse-Engineering zu einem formalen kompositionellen Rahmen adressiert es das Fehlen objektiver Verifizierung in der aktuellen Interpretierbarkeitsforschung. Die Arbeit verortet Interpretierbarkeit als kontinuierliches Optimierungsziel anstelle einer binären architektonischen Einschränkung und überbrückt die Lücke zwischen intrinsischer Interpretierbarkeit und post-hoc-Erklärung. Die Autoren schlagen vor, dass zukünftige Arbeiten diesen Rahmen nutzen können, um kompressive Verfeinerung mit kausaler Inferenz zu integrieren und Werkzeuge wie Tensor-Netzwerke für skalierbare Optimierung einzusetzen.