🤖 AI

Actionable Interpretability Must Be Defined in Terms of Symmetries

Dieses Paper argumentiert, dass handlungsfähige KI-Interpretierbarkeit durch vier spezifische Symmetrien formal definiert werden muss, welche das rigorose Testen, Entwerfen und Verifizieren interpretierbarer Modelle als eine Unterklasse probabilistischer Systeme ermöglicht, die in der Lage sind, Inferenz, Alignment und Sicherheitskonformität zu vereinigen.

Ursprüngliche Autoren: Pietro Barbiero, Mateo Espinosa Zarlenga, Francesco Giannini, Alberto Termine, Filippo Bonchi, Mateja Jamnik, Giuseppe Marra

Veröffentlicht 2026-06-15

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Pietro Barbiero, Mateo Espinosa Zarlenga, Francesco Giannini, Alberto Termine, Filippo Bonchi, Mateja Jamnik, Giuseppe Marra

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: „Was bedeutet ‚verständlich‘ überhaupt?“

Stellen Sie sich vor, Sie haben einen Roboter, der das Wetter vorhersagt. Er ist unglaublich präzise, aber wenn Sie ihn fragen, warum er glaubt, dass es regnen wird, sagt er nur: „Wegen der Mathematik.“ Sie können die Mathematik nicht verstehen, also können Sie dem Roboter nicht vertrauen.

Jahrelang haben Forscher versucht, „interpretierbare“ KI zu bauen (KI, die für Menschen verständlich ist). Aber dieses Paper argumentt, dass das gesamte Feld kaputt ist. Warum? Weil jeder definiert, was „verständlich“ bedeutet, unterschiedlich. Die einen sagen, es bedeute „einfach“, andere sagen „transparent“ und wieder andere sagen „erklärbar“. Da es kein einheitliches, strenges Regelwerk gibt, können wir nicht wirklich testen, ob ein Modell tatsächlich interpretierbar ist oder nur so tut als ob.

Die Autoren sagen: Wir brauchen ein neues Regelwerk basierend auf „Symmetrien“.

In der Physik ist eine „Symmetrie“ etwas, das gleich bleibt, wenn man etwas verändert (wie das Drehen eines Schneeflocken-Musters, das immer noch gleich aussieht). Die Autoren argumentieren, dass eine KI interpretierbar sein muss, indem sie „gleich bleibt“ (oder vorhersagbar bleibt), selbst wenn wir die Art und Weise ändern, wie wir sie betrachten oder wer auf sie blickt. Sie schlagen vier spezifische Symmetrien vor, die als Checkliste dienen. Wenn ein Modell alle vier besteht, ist es wahrhaft interpretierbar.

Die vier Symmetrien (Die vier Regeln)

Betrachten Sie diese Regeln als eine Methode, um sicherzustellen, dass die KI dieselbe Sprache wie ein Mensch spricht und derselben Logik folgt.

1. Inferenz-Äquivarianz: „Der Übersetzungstest“

Die Idee: Wenn Sie die Ausgabe der KI in menschliche Sprache übersetzen, sollte ein Mensch die Antwort der KI vorhersagen können, bevor sie sie ausspricht.
Die Analogie: Stellen Sie sich einen Geheimcode vor. Wenn Sie einem Menschen einen „Entschlüsselungsring“ (eine Übersetzung) geben, sollte dieser die Nachricht erraten können, die die KI gleich senden wird. Wenn der Mensch das Ergebnis trotz der Übersetzung nicht erraten kann, ist die KI nicht interpretierbar.
Die Behauptung des Papers: Diese Regel zwinget die KI zur Vorhersagbarkeit. Wenn ein Mensch den Denkprozess der KI nicht in seinem Kopf simulieren kann, durchläuft die KI diesen Test nicht.

2. Informations-Invarianz: „Die Mülltonnen-Regel“

Die Idee: Die KI sollte nur die Informationen behalten, die wichtig sind, und den Rest wegwerfen.
Die Analogie: Stellen Sie sich vor, Sie versuchen, einen Hund zu identifizieren. Sie müssen wissen, dass er vier Beine und Fell hat. Sie müssen nicht wissen, welcher exakte Rotton das Hemd des Besitzers im Hintergrund hat.
Die Behauptung des Papers: Ein wirklich interpretierbares Modell agiert wie ein intelligenter Filter. Es verwirft das „Rauschen“ (irrelevante Pixel oder Daten) und behält nur das „Signal“ (die Merkmale, die für die Entscheidung nötig sind). Wenn das Modell jedes winzige Detail behält, ist es zu unübersichtlich.

3. Konzept-Abschluss-Invarianz: „Der Vokabular-Abgleich“

Die Idee: Die KI muss Konzepte verwenden, die Menschen tatsächlich nutzen und verstehen.
Die Analogie: Stellen Sie sich vor, die KI sagt: „Das Objekt ist ‚Glorp‘.“ Wenn „Glorp“ kein Wort ist, das Menschen kennen, können Sie es nicht verstehen. Aber wenn die KI sagt: „Das Objekt ist ‚rot‘ und ‚rund‘“, und Sie wissen, was „rot“ und „rund“ bedeutet, dann verstehen Sie es.
Die Behauptung des Papers: Die internen „Konzepte“ der KI müssen perfekt mit den menschlichen Konzepten übereinstimmen. Wenn die KI ein seltsames internes Label verwendet, das nicht auf eine menschliche Idee abgebildet werden kann, versagt sie. Dies stellt sicher, dass die KI nicht nur einen geheimen Code verwendet, sondern unseren gemeinsamen Wortschatz nutzt.

4. Strukturelle Invarianz: „Der Abgleich des mentalen Modells“

Die Idee: Die interne Logik der KI muss mit der Art und Weise übereinstimmen, wie der Mensch denkt.
Die Analogie: Stellen Sie sich einen Schüler vor, der nur einfache Addition versteht. Wenn Sie ihm eine komplexe Differentialgleichung zeigen, kann er sie nicht verstehen, selbst wenn die Gleichung „korrekt“ ist. Zeigen Sie ihm jedoch eine einfache Additionsaufgabe, kann er sie verstehen.
Die Behauptung des Papers: Eine KI ist nur dann für Sie interpretierbar, wenn ihre Struktur zu Ihrem Gehirn passt. Wenn Sie ein Mensch sind, der in geraden Linien denkt (linearer Logik), muss auch die KI eine gerade Linie sein. Wenn die KI ein verschlungener Knoten aus komplexer Mathematik ist, ist sie für Sie nicht interpretierbar, selbst wenn sie intelligent ist.

Die Lösung: Ein „Rezept“ zum Bau von KI

Die Autoren listen nicht nur Probleme auf; sie bieten ein „Rezept“ (ein mathematisches Framework namens Kategorie) an, um eine KI zu bauen, die diese Tests besteht.

String-Diagramme: Sie verwenden visuelle Diagramme (ähnlich wie Schaltpläne), um zu zeigen, wie diese KI-Modelle aufgebaut sind. Statt einer Blackbox können Sie die Drähte und Boxen sehen.
Die magische Zutat: Indem sie diesen vier Symmetrie-Regeln folgen, wird die KI zu einem „probabilistischen Modell“, das mathematisch garantiert interpretierbar ist.

Warum das wichtig ist: Die „Drei magischen Tricks“

Sobald Sie eine KI mit diesen Symmetrien gebaut haben, können Sie drei mächtige „magische Tricks“ anwenden, die mit Standard-Blackbox-KI unmöglich sind:

Alignment (Anpassung/Lehren): Sie können mathematisch beweisen, dass die Konzepte der KI mit den menschlichen Konzepten übereinstimmen. Es ist wie die Prüfung, ob das Wörterbuch der KI dasselbe ist wie Ihres.
Intervention (Anpassung/Eingriff): Sie können fragen: „Was passiert, wenn ich dieses spezifische Konzept ändere?“ und die KI wird Ihnen das Ergebnis mitteilen. Es ist, als würde man an einem Regler einer Maschine drehen und genau sehen, was passiert.
Counterfactuals (Was wäre wenn?): Sie können fragen: „Was wäre passiert, wenn die Eingabe anders gewesen wäre?“ Die KI kann diese „alternative Realität“ logisch simulieren.

Das Fazit

Das Paper argumentiert, dass wir aufhören sollten, zu raten, was „Interpretierbarkeit“ bedeutet. Stattdessen sollten wir KI bauen, die diese vier strengen Symmetrie-Regeln erfüllt. Wenn eine KI diese Tests besteht, ist sie beweisbar verständlich, vorhersagbar und sicher in der Anwendung. Wenn sie das nicht tut, ist sie nur eine Blackbox, egal wie sehr sie behauptet, „erklärbar“ zu sein.

Kurz gesagt: Bitten Sie die KI nicht einfach, sich selbst zu erklären. Bauen Sie die KI so, dass ihre Struktur sie dazu zwingt, verständlich zu sein, indem sie die menschliche Logik, den Wortschatz und die Informationsbedürfnisse widerspiegelt.

Technisches Resümee: Handlungsorientierbare Interpretierbarkeit muss in Bezug auf Symmetrien definiert werden

1. Problemstellung

Das Paper argumentiert, dass die aktuelle Forschung im Bereich der interpretierbaren Künstlichen Intelligenz (KI) fundamental schlecht gestellt (ill-posed) ist. Obwohl zahlreiche Definitionen von Interpretierbarkeit existieren (z. B. Kim et al., 2016; Miller, 2019; Doshi-Velez & Kim, 2017), sind diese weitgehend informell und deskriptiv. Infolgedessen mangelt es dem Feld an:

einem formalen Rahmenwerk, um zu verifizieren, ob ein Modell interpretierbar ist.
einer Reihe von Designprinzipien, um interpretierbare Modelle zu konstruieren.

Bestehende Definitionen versäumen es, festzulegen, wie Interpretierbarkeit formal getestet oder technisch realisiert werden kann. Die Autoren postulieren, dass ohne ein rigoroses Fundament wesentliche Einschränkungen übersehen werden und das Feld in Listen wünschenswerter Eigenschaften (z. B. Sparsamkeit, Modularität) fragmentiert bleibt, statt vereinheitlichte Prinzipien zu entwickeln.

2. Methodik: Das symmetriebasierte Rahmenwerk

Inspiriert vom Erlanger Programm (Klein, 1893), schlagen die Autoren vor, dass eine handlungsorientierbare Definition von Interpretierbarkeit in Bezug auf Symmetrien (strukturerhaltende Transformationen) formuliert werden muss. Sie adoptieren eine kompositionale probabilistische Sichtweise unter Verwendung von Markov-Kategorien (speziell der Kategorie BorelStoch), um menschliche Nutzer und Modelle zu formalisieren.

Die Methodik führt vier spezifische Symmetrien ein, deren Erfüllung die Klasse der Modelle charakterisiert, die für einen gegebenen menschlichen Nutzer $h$ interpretierbar sind:

Symmetrie I: Inferenz-Äquivarianz
- Definition: Ein Modell $P_{Y|X}$ ist interpretierbar, wenn ein Nutzer den Entscheidungsprozess des Modells „simulieren“ kann. Formal muss eine „mentale Modell“ $P^{[h]}_{Y|X}$ in der Hypothesenraum des Nutzers $H_m$ existieren, sodass das Übersetzen von Eingaben in den Nutzerraum und das anschließende Vorhersagen dasselbe Ergebnis liefert wie das Vorhersagen im ursprünglichen Raum und das anschließende Übersetzen des Outputs.
- Mechanismus: Dies wird durch ein kommutatives Diagramm dargestellt, bei dem der Pfad „Übersetzung-dann-Vorhersage“ gleich „Vorhersage-dann-Übersetzung“ ist.
- Limitierung: Eine naive Verifizierung ist für große Eingaberäume unpraktikabel (Herausforderung C1).
Symmetrie II: Informationsinvarianz
- Definition: Um die Unpraktikabilität zu adressieren, muss das Modell nur die für die Aufgabe ausreichende Information der Eingabe beibehalten und irrelevante Details verwerfen.
- Mechanismus: Eine surjektive Abbildung $P_{Z|X}$ komprimiert die Eingabe $X$ in eine latente Variable $Z$ , sodass die gegenseitige Information $I(Y; X)$ unter Marginalisierung invariant bleibt ( $I(Y; X|Z) = 0$ ).
- Ergebnis: Dies reduziert die Verifizierung der Inferenz-Äquivarianz vom exponentiellen Raum von $X$ auf den handhabbaren Raum von $Z$ .
Symmetrie III: Konzept-Abschluss-Invarianz (Concept-Closure Invariance)
- Definition: Um sicherzustellen, dass die Übersetzung zwischen Modell-Outputs und menschlichem Verständnis „stimmig“ ist (Bedeutung bewahrt), muss das Modell auf Konzepten operieren, die mit der menschlichen Semantik übereinstimmen.
- Mechanismus: Unter Verwendung der Formalen Begriffsanalyse wird ein „Konzept“ als Fixpunkt einer Relation zwischen Objekten und Sätzen definiert. Eine Übersetzung $\tau_C$ ist stimmig, wenn sie den Konzeptschluss bewahrt (das Diagramm von Objekten, Sätzen und deren Abbildungen kommutiert).
- Ergebnis: Dies stellt sicher, dass die vom Modell verwendeten latenten Variablen mit menschlich verständlichen Konzepten korrespondieren, was widersprüchliche Interpretationen verhindert.
Symmetrie IV: Strukturelle Invarianz
- Definition: Die interne Struktur des Modells muss mit den kognitiven Fähigkeiten des Nutzers (seinem „mentalen Modell“ bzw. Hypothesenraum $H_m$ ) kompatibel sein.
- Mechanismus: Wenn ein Nutzer nur linear argumentieren kann, muss das Modell linear sein. Formal werden strukturelle Eigenschaften durch einen Funktor $F$ bewahrt, der die Kategorie interpretierbarer Modelle auf die Kategorie menschlicher mentaler Modelle abbildet.
- Ergebnis: Dies macht Interpretierbarkeit explizit nutzerzentriert; ein Modell ist nur dann interpretierbar, wenn seine strukturelle Komplexität der Argumentationskapazität des Nutzers entspricht.

3. Zentrale Beiträge

A. Formale Definition interpretierbarer Modelle
Die Autoren definieren ein interpretierbares Modell als eines, das alle vier Symmetrien erfüllt. Sie konstruieren eine Kategorie interpretierbarer Modelle ( $I_m$ ) als eine Unterkategorie von BorelStoch.

Objekte: Konzepträume ( $C_1, \dots, C_k$ ).
Prozesse: Konzeptbasierte bedingte Wahrscheinlichkeiten, Kopier-Abbildungen und Verwerfungs-Abbildungen.
Komposition: Sequenzielle und parallele Kompositionsregeln.
Diese Kategorie dient als „Rezept“ (via String-Diagramme) zum Bau jedes interpretierbaren Modells.

B. Vereinheitlichung von Inferenztypen als Bayessche Inversion
Das Paper demonstriert, dass unter diesem Rahmenwerk drei kritische Arten der Inferenz, die in der Interpretierbarkeit verwendet werden, als Formen der Bayesschen Inversion vereinheitlicht werden können:

Konzept-Alignment: Lernen menschlicher Konzepte durch Berechnung der Posteriori-Verteilung der Parameter gegeben die Ground-Truth-Konzept-Evidenz.
Interventionen: Aktualisierung des Modellzustands basierend auf externen Interventionen (z. B. $do$-Kalkül oder Ground-Truth-Overrides) via Posteriori-Inferenz.
Counterfactuals (Kontrafaktika): Umschreiben des Modells, um exogene Variablen zu isolieren (Abduktion), Intervenieren und Vorhersagen von Ergebnissen im modifizierten Modell.

C. Ableitung existierender Eigenschaften
Das Rahmenwerk zeigt, dass Eigenschaften, die in der Literatur oft als wünschenswert angeführt werden (Sparsamkeit, Kompaktheit, Treue/Faithfulness, Modularität), keine primären Axiome sind, sondern Konsequenzen aus der Erfüllung der vorgeschlagenen Symmetrien. Zum Beispiel:

Sparsamkeit und Kompaktheit entstehen aus der Informationsinvarianz.
Treue (Faithfulness) und Alignment entstehen aus der Konzept-Abschluss-Invarianz.
Anforderungen an Linearität oder Monotonie entstehen aus der Strukturellen Invarianz.

4. Ergebnisse und Behauptungen

Das Paper präsentiert keine neuen experimentellen Benchmarks oder empirischen Ergebnisse. Stattdessen sind seine „Ergebnisse“ theoretischer und struktureller Natur:

Handhabbarkeit (Tractability): Durch die Durchsetzung der Informationsinvarianz behauptet das Paper, das Problem der Unpraktikbarkeit der Verifizierung der Inferenz-Äquivarianz in hochdimensionalen Räumen gelöst zu zu haben.
Stimmigkeit (Soundness): Durch die Durchsetzung der Konzept-Abschluss-Invarianz liefert das Paper ein formales Kriterium, um stimmige Übersetzungen (z. B. „schwarz“ $\to$ „noir“) von unstimmigen zu unterscheiden.
Nutzerzentrierung: Durch die Durchsetzung der Strukturellen Invarianz formalisiert das Paper, dass Interpretierbarkeit keine intrinsische Eigenschaft eines Modells ist, sondern eine Beziehung zwischen dem Modell und dem Hypothesenraum eines spezifischen Nutzers.
Vereinheitlichung: Das Paper behauptet, disparate Inferenzaufgaben (Alignment, Intervention, Kontrafaktika) unter einer einzigen mathematischen Operation zu vereinen (Bayessche Inversion innerhalb einer Markov-Kategorie).

5. Bedeutung und Handlungsaufruf

Das Paper argumentiert, dass seine Bedeutung darin liegt, das Feld von der informellen Enumeration von Eigenschaften hin zur formalen Verifizierung via Symmetrien zu verschieben.

Replik auf Skepsis: Die Autoren adressieren die Ansicht, dass „keine universelle mathematische Definition existiert“, indem sie argumentieren, dass Symmetrien einen universellen Rahmen bieten, der die Nutzerzentrierung (via $H_m$ ) integriert, ohne die mathematische Strenge zu opfern.
Replik auf Bedenken hinsichtlich der Zugänglichkeit: Sie argumentieren, dass das Formalismus (Kategorientheorie) zwar rigoros ist, die Symmetrien jedoch intuitive, beispielhafte Interpretationen zulassen, die einem breiten Publikum zugänglich sind.
Zukünftige Richtung: Die Autoren rufen die Gemeinschaft dazu auf:
1. Bestehende Interpretierbarkeitsmethoden diesen vier Symmetrien zuzuordnen.
2. Zu identifizieren, welche Symmetrien in aktueller Arbeit implizit vorausgesetzt oder verletzt werden (z. B. anzumerken, dass Concept Bottleneck Models die Konzept-Abschluss-Invarianz erfüllen könnten, aber die Strukturelle Invarianz verletzen könnten, wenn sie unbeschränkte DNNs verwenden).
3. Neue Methoden zu entwickeln, die explizit „symmetrie-vollständig“ für ihre intendierten Aufgaben und Nutzer sind.

Zusammenfassend postuliert das Paper, dass handlungsorientierbare Interpretierbarkeit keine vage Qualität ist, sondern eine spezifische strukturelle Eigenschaft, die dadurch definiert wird, wie ein Modell Informationen, Konzepte und Strukturen relativ zu einem menschlichen Nutzer bewahrt – allesamt Eigenschaften, die mit dem vorgeschlagenen Symmetrie-Rahmenwerk formal verifiziert und entworfen werden können.