💻 computer science

LLM Explainability with Counterfactual Chains and Causal Graphs

Dieses Paper schlägt eine vierphasige Methode vor, die kausale Graphen und eine von MCMC inspirierte kontrafaktische Augmentierung nutzt, um die LLM-Inferenz intern zu modellieren und dadurch transparente Erklärungen auf Konzeptebene darüber zu generieren, wie Modelle Informationen wahrnehmen und organisieren, um Vorhersagen zu treffen.

Ursprüngliche Autoren: Nirit Nussbaum-Hoffer, Nitay Calderon, Liat Ein-Dor, Roi Reichart

Veröffentlicht 2026-06-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nirit Nussbaum-Hoffer, Nitay Calderon, Liat Ein-Dor, Roi Reichart

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine sehr intelligente, aber geheimnisvolle schwarze Box (ein Large Language Model oder LLM). Sie füttern sie mit einer Geschichte und sie gibt Ihnen eine Antwort. Aber Sie haben keine Ahnung, warum sie diese Antwort gewählt hat. Es ist, als würde man einen Koch fragen: „Warum ist diese Suppe salzig?“, und er antwortet nur: „Weil sie es ist“, ohne zu verraten, ob er Salz hinzugefügt, eine salzige Brühe verwendet oder einfach vergessen hat, zu probieren.

Dieses Paper schlägt einen Weg vor, um diese schwarze Box zu öffnen – nicht indem man in die winzigen Zahnräder im Inneren blickt (die für Menschen zu komplex sind), sondern indem man den Gedankengang des Kochs mithilfe eines einfachen Flussdiagramms kartiert.

Hier ist die Erklärung, wie sie es gemacht haben, verdeutlicht durch Alltagsanalogien:

1. Das Ziel: Eine „Gedankenskarte“ erstellen

Anstatt zu versuchen, die Millionen von winzigen Zahlen im Computer zu verstehen, wollen die Autoren die großen Ideen (Konzepte) finden, die das Modell verwendet.

Die Analogie: Stellen Sie sich vor, das Modell ist ein Detektiv, der einen Krimi löst. Die „Konzepte“ sind die Hinweise (z. B. „schlammige Schuhe“, „zerbrochenes Fenster“, „fehlender Schlüssel“). Das Paper möchte eine Karte zeichnen, die zeigt, wie der Detektiv diese Hinweise verknüpft, um den Fall zu lösen.
Die Karte: Sie erstellen einen kausalen Graphen (Causal Graph). Dies ist ein Diagramm, in dem Pfeile Ursache und Wirkung zeigen. Zum Beispiel: Schlammige Schuhe → Verdächtiger war draußen → Schuldiges Urteil. Diese Karte erklärt, wie das Modell Informationen organisiert, um eine Entscheidung zu treffen.

2. Das Problem: Die „spärliche Bibliothek“

Um eine genaue Karte zu zeichnen, muss man sehen, wie der Detektiv jede mögliche Kombination von Hinweisen betrachtet. Aber in der realen Welt hat man nur wenige Fallakten. Man hat vielleicht 100 Geschichten, aber sie alle haben zufällig „schlammige Schuhe“. Man sieht nie einen Fall mit „schlammigen Schuhen“, aber ohne ein „zerbrochenes Fenster“.

Das Problem: Wenn man nur die wenigen Geschichten betrachtet, die man hat, wird die Karte unvollständig und wackelig sein. Man könnte denken, dass „schlammige Schuhe“ immer zu „Schuldig“ führen, während es in Wirklichkeit von anderen Hinweisen abhängt, die man noch nicht gesehen hat.

3. Die Lösung: Die „Was-wäre-wenn“-Maschine (MCMC)

Dies ist die größte Innovation des Papers. Da sie nicht darauf warten können, dass reale Fälle in der echten Welt geschehen, nutzen sie die KI selbst, um neue Fälle zu imaginieren.

Die Analogie: Denken Sie an eine „Was-wäre-wenn“-Maschine. Sie sagen der KI: „Nimm diese Geschichte über einen Regentag, aber was wäre, wenn es nicht regnen würde? Behalte alles andere gleich.“
Der Prozess:
1. Die KI nimmt eine echte Geschichte.
2. Sie fragt: „Was wäre, wenn ich das Konzept von ‚Weichheit‘ von ‚matschig‘ zu ‚fest‘ ändere?“
3. Sie schreibt die Geschichte passend zu dieser Änderung um (z. B. „Heute habe ich eine feste Papaya gegessen“ statt „matschig“).
4. Sie prüft: „Habe ich das Konzept der ‚Weichheit‘ erfolgreich geändert, ohne versehentlich das Konzept von ‚Farbe‘ oder ‚Geruch‘ zu verändern?“
5. Wenn ja, behält sie diese neue Geschichte. Wenn nein, versucht sie es erneut.
Das Ergebnis: Sie erstellen tausende dieser „Was-wäre-wenn“-Geschichten. Dies füllt die Lücken in ihrer Bibliothek und ermöglicht ihnen eine vollständige Sicht darauf, wie das Modell auf jede mögliche Kombination von Hinweisen reagiert.

4. Die Entdeckung: Die finale Karte zeichnen

Sob'n sie diese riesige Bibliothek aus echten und „Was-wäre-wenn“-Geschichten haben, nutzen sie ein spezielles mathematisches Werkzeug (genannt $\sigma$ -CG), um die finale Karte zu zeichnen.

Das Ergebnis: Die Karte zeigt genau, welche Konzepte das Modell wichtig sind und wie sie miteinander verbunden sind.
- Beispiel: In einer medizinischen Diagnoseaufgabe könnte die Karte zeigen, dass „Fieber“ und „Müdigkeit“ beide auf „Grippe“ hindeuten, aber „Fieber“ allein nicht.
- Überraschung: Sie fanden heraus, dass verschiedene KI-Modelle (wie Gemini vs. Qwen) unterschiedliche Karten verwenden. Ein Modell könnte stark auf den „Tonfall“ angewiesen sein, während ein anderes auf „spezifische Details“ setzt, selbst wenn sie dieselbe Antwort geben.

5. Hat es funktioniert? (Der Beweis)

Da es keine „richtige“ Karte gibt, mit der man sie vergleichen könnte (da wir nicht in den Geist der KI schauen können), haben sie die Karten auf zwei Arten getestet:

Vorhersagekraft: Wenn man die „Eltern-Hinweise“ der Karte einem einfachen Taschenrechner gibt, kann dieser die Antwort der KI besser vorhersagen als ein zufälliger Tipp? Ja, die Karten funktionierten sehr gut.
Stabilität: Wenn sie die „Was-wäre-wenn“-Maschine noch ein paar Mal mehr laufen ließen, änderte sich die Karte? Nein, die Karte blieb gleich, was bewies, dass sie solide und nicht nur ein Zufall war.

Zusammenfassung

Das Paper führt eine Methode ein, um KI erklärbar zu machen, indem es:

Die KI fragt, welche „großen Ideen“ sie verwendet.
Die KI nutzt, um tausende von „Was-wäre-wenn“-Szenarien zu imaginieren, um die Lücken zu füllen.
Eine Ursache-Wirkungs-Karte dieser Ideen zeichnet.

Dies gibt Menschen eine klare, übergeordnete Sicht darauf, wie die KI denkt, anstatt nur die endgültige Antwort zu sehen. Es ist, als würde man vom Koch ein Rezeptblatt erhalten, anstatt nur die Suppe zu schmecken.

Technisches Resümee: Erklärbarkeit von LLMs mittels kontrafaktischer Ketten und kausaler Graphen

Problemstellung

Große Sprachmodelle (LLMs) weisen breite Fähigkeiten auf, doch ihre Inferenzmechanismen bleiben opak. Entscheidungfaktoren sind nicht beobachtbar, und die generierten Erklärungen lassen oft die notwendige Treue (Faithfulness) vermissen, was in hochsensiblen Bereichen wie der Medizin oder dem Recht Risiken birgt. Während bestehende Interpretierbarkeitsmethoden (z. B. Attention-Analyse, Merkmalsattribution) korrelative Einblicke bieten, versäumen sie es, die kausale Evidenz zu liefern, die für treue Erklärungen erforderlich ist. Darüber hinaus konzentriert sich die mechanistische Interpretierbarkeit auf Low-Level-Komponenten (Neuronen, Schaltkreise), die oft nicht mit den High-Level-Konzepten übereinstimmen, die Stakeholder verstehen müssen.

Derzeitige kausale Ansätze bei LLMs modellieren typischerweise reale Strukturen (z. B. wie die Änderung des Geschlechts eines Autors eine Vorhersage beeinflusst) oder setzen einen festen kausalen Graphen voraus (Konzept $\to$ Text $\to$ Vorhersage). Es besteht eine kritische Lücke bei Methoden zur Rekonstruktion des LLM-Inferenz-kausalen Graphen selbst: einer Struktur, die abbildet, wie ein spezifisches Modell menschlich interpretierbare Konzepte organisiert, um Eingabetext auf eine Vorhersage zu reduzieren (Text $\to$ Konzepte $\to$ Vorhersage). Ein wesentlicher Engpass bei dieser Rekonstruktion ist die Datendeckung; eine zuverlässige kausale Entdeckung erfordert eine dichte Stichprobenbildung von Konzeptkombinationen, was in realen Szenarien oft unmöglich oder unethisch ist.

Methodik

Die Autoren schlagen eine vollständig automatisierte, modellgestützte vierphasige Pipeline vor, um konzeptbasierte kausale Graphen für Klassifikationsaufgaben zu konstruieren. Die Methode nutzt das Ziel-LLM selbst, um Konzepte zu extrahieren, Daten zu repräsentieren und die Kontrafakten zu generieren, die für eine robuste kausale Entdeckung notwendig sind.

1. Label-Vorhersage

Die Ground-Truth-Labels im Datensatz werden durch die eigenen Vorhersagen ( $\hat{y}$ ) des Ziel-LLMs ersetzt. Dies stellt sicher, dass der resultierende Graph die interne Argumentation des Modells widerspiegelt und nicht die Ground-Truth des Datensatzes.

2. Diskriminante Konzeptentdeckung und Annotation

Das Framework identifiziert iterativ eine Menge menschlich interpretierbarer Konzepte ( $C$ ), die zwischen den vorhergesagten Klassen differenzieren.

Extraktion: Das LLM schlägt Kandidatenkonzepte basierend auf Batches von Texten und vorhergesagten Labels vor.
Filterung: Konzepte werden nur beibehalten, wenn sie sowohl relevant (im Text vorhanden) als auch diskriminant (mit einer strikten Teilmenge von Klassen korreliert, nicht mit allen oder keiner) sind.
Annotation: Jeder Eingabetext wird einer Konzeptvektor $\phi(x)$ zugeordnet, wobei jedem Konzept $c_i$ ein kategorialer Wert zugewiesen wird, der die Teilmenge der Klassen repräsentiert, die das Modell darin wahrnimmt.

3. MCMC-inspirierte Datenerweiterung

Um die Spärlichkeit der Beobachtungsdaten im latenten Konzeptraum zu adressieren, führen die Autoren ein Verfahren zur kontrafaktischen Augmentierung ein, das von Markov-Chain-Monte-Carlo (MCMC) inspiriert ist.

Prozess: Ausgehend von einem Originaltext schlägt der Algorithmus iterativ textuelle Perturbationen vor, um die Ausrichtung spezifischer Konzepte in Richtung oder weg von Zielklassen zu verschieben.
Akzeptanzkriterium: Ein vorgeschlagener Kontrafaktum wird nur akzeptiert, wenn er die intendierte konzeptionelle Verschiebung (Zielausrichtung) erreicht und unbeabsichtigte Änderungen an Nicht-Ziel-Konzepten minimiert (minimale Nebenwirkungen).
Verfeinerung: Fehlgeschlagene Vorschläge durchlaufen eine rekursive Verfeinerung, bei der das LLM angewiesen wird, spezifische Verletzungen zu korrigieren.
Ergebnis: Dies generiert einen dichteren Datensatz ( $D_{mcmc}$ ), der diverse Kombinationen von Konzeptzuständen abdeckt und somit eine stabile kausale Entdeckung ermöglicht.

4. Kausale Entdeckung via $\sigma$ -CG

Der erweiterte, annotierte Datensatz wird in den $\sigma$ -CG-Algorithmus eingespeist, eine Methode zur kausalen Entdeckung, die diskrete Variablen und potenziell zyklische Strukturen handhaben kann. Der resultierende gerichtete Graph $G$ erfasst den kausalen Fluss vom Eingabetext über die vom LLM wahrgenommenen Konzepte bis hin zur finalen Vorhersage, wobei Constraints sicherstellen, dass der Text eine Wurzel und die Vorhersage eine Senke ist.

Kernbeiträge

Kausales Paradigma für globale Erklärbarkeit: Die Arbeit führt ein Framework ein, das das LLM-Reasoning auf kausale Graphen über menschlich interpretierbare Konzepte abbildet und so über lokale, eingabezentrierte Erklärungen zu einer globalen Beschreibung des Inferenzmechanismus übergeht.
MCMC-inspirierte Datenausweitung: Ein neuartiger Algorithmus, der Kontrafakten generiert, um den latenten Konzeptraum dicht zu besetzen, und damit den Engpass der Datendeckung überwindet, der bei der kausalen Entdeckung für Black-Box-Modelle inhärent ist.
Evaluationsprotokoll: Ein rigoroses Protokoll zur Bewertung der strukturellen Stabilität und prädiktiven Treue in Abwesenheit von Ground-Truth-Reasoning-Graphen, welches zeigt, dass die entdeckten kausalen Eltern besser geeignet sind, Knoten vorherzusagen, als alternative Konzept-Teilmengen.

Ergebnisse

Das Framework wurde auf drei LLMs (Gemini-2-Flash, Qwen3-14B, gpt-OSS-20B) über drei Aufgaben evaluiert: Krankheitsdiagnose (synthetisch), Sentiment-Analyse (IMDB) und LLM-as-a-Judge (Reddit).

Prädiktive Treue: In allen Settings übertrafen die Eltern-Sets des kausalen Graphen zufällige Konzept-Teilmengen bei der Vorhersage sowohl des finalen Labels als auch der intermediären Konzeptzustände. In den meisten Fällen rangierten die graphbasierten Eltern unter den Top-3-Prädiktoren, was bestätigt, dass die entdeckten Strukturen bedeutsame Abhängigkeiten erfassen.
Modellspezifische Argumentation: Bei synthetischen Aufgaben konvergierten verschiedene Modelle auf ähnliche erklärende Konzepte (Rekonstruktion der Ground-Truth-Variablen). Bei naturalistischen Daten entwickelten die Modelle jedoch unterschiedliche latente Heuristiken und kausale Topologien, was verdeutlicht, dass die Modellauswahl nicht nur die Performance, sondern auch die Alignment der Argumentation erfordert.
Konvergenz und Stabilität: Die MCMC-Erweiterung zeigte eine distributionale Konvergenz, wobei die Kullback-Leibler-Divergenz stabilisierte, während die Ketten sich dem theoretischen unteren Grenzwert perfekter Überlappung näherten. Die strukturelle Stabilität wurde durch eine Hamming-Distanz bestätigt, die gegen Null sank.
Auswirkung der Augmentierung: Die kontrafaktische Erweiterung verbesserte die Vorhersagegenauigkeit gegenüber den Originaldaten signifikant und bewies damit die Notwendigkeit der Augmentierungsphase für eine robuste kausale Entdeckung.

Bedeutung und Ansprüche

Das Paper positioniert diese Arbeit als einen grundlegenden Schritt hin zu einer „konzeptbasierten Erklärbarkeit“ für LLMs. Durch die Modellierung des Inferenzprozesses als kausaler Graph über menschlich interpretierbare Konzepte argumentieren die Autoren, dass diese Repräsentation eine zugänglichere und handlungsorientiertere Form der Interpretierbarkeit für Entwickler und Domänenexperten bietet.

Die Autoren behaupten bescheiden, dass diese Arbeit eine Basis für eine neue Generation prozessorientierter Erklärbarkeitsmethoden bildet. Sie betonen, dass ihr Ansatz die spezifische Herausforderung der Datensparsamkeit in latenten Räumen durch ihre MCMC-inspirierte Erweiterung adressiert und so die Rekonstruktion globaler kausaler Strukturen ermöglicht, die zuvor unzugänglich waren. Die Arbeit beansprucht nicht, alle Interpretierbarkeitsprobleme zu lösen, sondern etabliert eine lebensfähige Pipeline, um zu entdecken, wie Modelle Konzepte organisieren, um Entscheidungen zu treffen – und unterscheidet dabei zwischen Modellen, die zwar ähnlich performen, aber unterschiedlich argumentieren.