Causally Grounded Mechanistic Interpretability for LLMs with Faithful Natural-Language Explanations

Diese Arbeit stellt eine Pipeline vor, die kausale Analyse von Aufmerksamkeitsköpfen in GPT-2 Small mit natürlichen Spracherklärungen verbindet und dabei zeigt, dass LLM-generierte Erklärungen qualitativ überlegen sind, während die hohe Suffizienz bei geringer Komprehensivität auf verteilte Backup-Mechanismen hindeutet.

Das Wesentliche

Stell dir vor, ein großes Sprachmodell (wie ein sehr cleverer Roboter) ist eine riesige, dunkle Fabrik. Wenn du dem Roboter eine Frage stellst, passiert im Inneren ein komplexes Chaos aus Lichtern, Schaltern und Maschinen, das zur Antwort führt. Das Problem: Niemand weiß genau, welche Schalter welche Funktion haben.

Dieser Forschungsbericht von Ajay Pravin Mahale versucht, genau das zu klären. Er möchte nicht nur sagen, dass der Roboter die richtige Antwort gibt, sondern warum – und zwar auf eine Weise, die für uns Menschen verständlich ist und die wahre Ursache trifft.

Hier ist die einfache Erklärung der Arbeit, verpackt in ein paar Bilder:

1. Das Rätsel: Die "Indirekte Objekt"-Aufgabe

Um zu testen, ob sie ihren Job machen, haben die Forscher dem Roboter (einem kleinen Modell namens GPT-2) ein Rätsel gegeben:

"Wenn Maria und John in den Laden gingen, gab John ein Getränk an..."

Die richtige Antwort ist natürlich Maria. Aber wie weiß der Roboter das? Er muss sich merken, dass John das Getränk nicht an sich selbst, sondern an Maria gibt.

2. Die Detektivarbeit: Das "Aktivitäts-Patching"

Stell dir vor, du willst herausfinden, welche Mitarbeiter in der Fabrik wirklich wichtig sind. Du könntest sie alle beobachten, aber das ist ungenau. Stattdessen macht der Forscher etwas Cleveres:
Er nimmt einen Mitarbeiter (einen "Attention Head", also einen kleinen Teil des neuronalen Netzwerks) und schaltet ihn kurzzeitig aus oder ersetzt ihn durch einen "falschen" Mitarbeiter.

• Wenn die Fabrik dann zusammenbricht: Aha! Dieser Mitarbeiter war entscheidend.
• Wenn die Fabrik weiterläuft: Okay, dieser Mitarbeiter war nur dekorativ.

Mit dieser Methode ("Activation Patching") haben die Forscher sechs spezifische "Mitarbeiter" (Aufmerksamkeitsköpfe) gefunden, die für 61,4 % des Erfolgs verantwortlich sind. Das ist wie wenn man herausfindet, dass nur sechs Leute in der Fabrik die eigentliche Arbeit erledigen, während die anderen 94 % nur herumstehen oder Backup-Pläne haben.

3. Die Erklärung: Warum sind Roboter-Texte oft falsch?

Bisher haben viele Erklärungen einfach gesagt: "Schau mal, dieser Schalter leuchtet hell, also ist er wichtig." Das ist wie zu sagen: "Der Feuerwehrmann steht am Brandherd, also hat er das Feuer gemacht." Das ist oft falsch!

Der Forscher hat zwei Arten von Erklärungen getestet:

1. Die Starre Vorlage (Template): Ein Roboter füllt Lücken in einem Satz aus. Das klingt oft steif und generisch.
2. Der KI-Erklärer (LLM): Ein zweiter, intelligenter Roboter liest die Daten der sechs wichtigen Mitarbeiter und schreibt einen flüssigen, menschlichen Satz darüber.

Das Ergebnis: Der KI-Erklärer war um 66 % besser. Er konnte nicht nur sagen wer wichtig war, sondern auch wie viel (z. B. "66,5 % Aufmerksamkeit") und den Kontext (Maria vs. John) perfekt einbauen.

4. Die große Überraschung: Die "Backup-Maschinen"

Hier wird es spannend. Die Forscher haben geprüft, wie "ehrlich" diese Erklärungen sind.

• Suffizienz (Ausreichend): Wenn man die sechs wichtigen Mitarbeiter nimmt, kann der Roboter die Aufgabe zu 100 % lösen. Die Erklärung ist also ausreichend.
• Comprehensiveness (Umfassend): Aber wenn man nur diese sechs ausschaltet, bricht der Roboter nicht komplett zusammen. Er schafft es immer noch zu 22 %, die richtige Antwort zu geben!

Die Metapher: Stell dir vor, du erklärst einem Freund, wie ein Auto fährt, indem du nur den Motor beschreibst. Wenn du den Motor ausbaust, steht das Auto. Aber wenn du nur den Motor ausbaust und die Räder drehst, rollt das Auto vielleicht noch ein bisschen weiter, weil es eine mechanische Trägheit gibt.
Das bedeutet: Der Roboter hat versteckte Backup-Pläne. Er ist so robust gebaut, dass er auch ohne die "Hauptakteure" noch funktioniert. Das macht es schwierig, eine vollständige Erklärung zu geben, die alle Gründe abdeckt.

5. Das Warnsignal: Vertrauen ist trügerisch

Ein wichtiges Ergebnis ist: Das Selbstbewusstsein des Roboters sagt nichts über die Qualität der Erklärung aus.
Wenn der Roboter zu 99 % sicher ist, "Maria" zu sagen, heißt das nicht, dass die Erklärung, die wir ihm geben, auch zu 99 % die wahre Ursache trifft. Es gibt keine Verbindung zwischen "Ich bin mir sicher" und "Ich habe die richtige Erklärung".

Fazit in einem Satz

Diese Arbeit zeigt, wie man die dunkle Fabrik eines KI-Modells beleuchtet, indem man nicht nur schaut, wo das Licht blinkt, sondern testet, welche Schalter wirklich funktionieren. Sie beweist, dass KI-Erklärungen viel besser werden, wenn eine intelligente KI sie formuliert, aber wir müssen uns immer bewusst sein: Unsere Erklärungen erfassen oft nur die Hauptakteure, während die echten Geheimnisse in den versteckten Backup-Plänen liegen.

Das ist ein wichtiger Schritt, um KI-Systeme transparenter und vertrauenswürdiger zu machen, bevor wir sie in der echten Welt einsetzen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Causally Grounded Mechanistic Interpretability for LLMs with Faithful Natural-Language Explanations" auf Deutsch:

1. Problemstellung

Große Sprachmodelle (LLMs) erzielen zwar hervorragende Leistungen, bleiben aber in ihrer internen Entscheidungsfindung oft undurchsichtig („Black Box"). Zwei Forschungsrichtungen versuchen, dieses Problem zu lösen, arbeiten jedoch meist isoliert:

• Mechanistische Interpretierbarkeit: Rekonstruiert interne Schaltkreise (Circuits) auf Ebene von Attention-Heads und Neuronen. Die Ergebnisse sind jedoch oft technisch und schwer für Menschen verständlich (z. B. „L9H9 trägt 17,4 % bei").
• Explainable AI (XAI): Erzeugt natürliche Spracherklärungen (NL), nutzt aber oft korrelative Signale wie reine Attention-Gewichte, die keine kausalen Mechanismen widerspiegeln.

Das zentrale Problem ist die Lücke zwischen der Identifizierung kausaler Schaltkreise und der Erzeugung vertrauenswürdiger, für Menschen verständlicher Erklärungen, die diesen kausalen Mechanismen treu („faithful") sind.

2. Methodik

Der Autor stellt eine Pipeline vor, die mechanistische Analysen in kausal fundierte natürliche Sprachtexte übersetzt. Die Studie konzentriert sich auf die Indirect Object Identification (IOI)-Aufgabe im Modell GPT-2 Small (124M Parameter).

Die Pipeline besteht aus drei Hauptphasen:

• A. Identifikation des Schaltkreises (Circuit Identification):

  • Es wird Activation Patching verwendet, um kausale Abhängigkeiten zu messen. Dabei wird die Eingabe korruptiert (Namen getauscht), und der Effekt auf den Logit-Unterschied zwischen korrekter und falscher Antwort wird gemessen.
  • Die Formel für den kausalen Effekt eines Heads $h$ lautet:
    $$Effect_h = \frac{LD_{patched} - LD_{corrupt}}{LD_{clean} - LD_{corrupt}}$$
  • Basierend darauf werden die wichtigsten Attention-Heads identifiziert (Ground Truth).

• B. Generierung von Erklärungen:

  • Zwei Ansätze werden verglichen:
    1. Template-basiert: Feste Schemata, die mit Head-Namen und Attributionswerten gefüllt werden.
    2. LLM-basiert: Ein großes Sprachmodell wird mit strukturierten Schaltkreisdaten (Head-Namen, Prozentsätze, Vorhersagekonfidenz) promptet, um kontextuelle, 1–2 Sätze lange Erklärungen zu generieren.

• C. Evaluation der Treue (Faithfulness Evaluation):

  • Die Metriken des ERASER-Frameworks (ursprünglich für Token-Level-Rationale) werden auf Schaltkreis-Komponenten adaptiert:
    • Suffizienz (Sufficiency): Erklären die zitierten Heads die Vorhersage vollständig?
    • Komprehensivität (Comprehensiveness): Ändert sich die Vorhersage, wenn diese Heads entfernt (ablated) werden?
    • Qualität: Bewertung der sprachlichen Qualität (Spezifität, Nennung von Namen, Kürze).

3. Wichtige Beiträge

1. Pipeline-Entwicklung: Eine erste vollständige Pipeline, die mechanistische Schaltkreis-Ergebnisse direkt in natürliche Sprache übersetzt.
2. Metrik-Adaption: Die Anpassung von ERASER-Metriken für die Bewertung auf Ebene von Attention-Heads statt einzelner Tokens.
3. Vergleichsstudie: Der erste systematische Vergleich zwischen Template-basierten und LLM-generierten Erklärungen im Kontext mechanistischer Interpretierbarkeit.
4. Fehler-Taxonomie: Eine Klassifizierung von Fällen, in denen Erklärungen von den tatsächlichen Mechanismen abweichen.

4. Ergebnisse

• Schaltkreis-Identifikation:

  • Sechs Attention-Heads (darunter L9H9 als „Name Mover" und L8H10 als „S-Inhibition") wurden identifiziert.
  • Diese sechs Heads erklären 61,4 % des Logit-Unterschieds, was mit früheren Arbeiten (Wang et al., 2023) übereinstimmt.

• Treue-Evaluation (Faithfulness):

  • Suffizienz: Die Methode erreicht 100 %. Die zitierten Heads sind ausreichend, um die Vorhersage zu erklären.
  • Komprehensivität: Nur 22 %. Das Entfernen dieser Heads führt nur zu einer teilweisen Verschlechterung der Leistung. Dies offenbart verteilte Backup-Mechanismen im Modell; das Modell ist robust gegen das Entfernen einzelner Komponenten.
  • Vergleich Baselines: Die schaltkreisbasierte Methode übertrifft reine Attention-Baselines um 75 % im F1-Score (36,0 % vs. 20,6 %), da hohe Attention-Werte nicht zwingend kausal sind.

• Qualität der Erklärungen:

  • LLM-generierte Erklärungen übertreffen Template-basierte Erklärungen um 66 % in der Gesamtqualität.
  • LLMs nutzen spezifische Prozentwerte und kontextuelle Bezüge, während Templates generisch bleiben.

• Fehleranalyse & Korrelationen:

  • Keine Korrelation: Es gibt keine Korrelation ($r = 0,009$) zwischen der Modellkonfidenz und der Treue der Erklärung. Hohe Konfidenz garantiert keine korrekte Erklärung.
  • Drei Fehlerkategorien:
    1. Verteilte Berechnung: Das Verhalten entsteht aus vielen Heads mit moderaten Beiträgen.
    2. Fehlende zitierte Heads: Die Top-Beiträger für spezifische Prompts sind nicht im festen Top-6-Schaltkreis enthalten.
    3. Redundante Aktivität: Zusätzliche Heads erhöhen die kausale Abdeckung nicht.

5. Bedeutung und Implikationen

• Vertrauenswürdigkeit: Die Arbeit zeigt, dass Erklärungen, die auf kausalen Schaltkreisen basieren, wesentlich treuer sind als solche, die nur auf Attention-Gewichten beruhen.
• Robustheit vs. Erklärbarkeit: Die Diskrepanz zwischen 100 % Suffizienz und 22 % Komprehensivität zeigt, dass Transformer-Modelle redundante Berechnungen implementieren. Dies macht sie robust, erschwert aber die Erstellung kompakter, vollständiger Erklärungen.
• Warnung vor Selbstsicherheit: Da die Modellkonfidenz keine Aussage über die Qualität der Erklärung zulässt, sollten Systeme Metriken zur Komprehensivität explizit ausgeben, um Nutzer nicht in falscher Sicherheit zu wiegen.
• Skalierbarkeit: LLMs eignen sich hervorragend, um komplexe mechanistische Daten in verständliche Sprache zu übersetzen, was Templates bei wachsender Komplexität überlegen ist.

Limitationen: Die Studie beschränkt sich auf eine einzige Aufgabe (IOI) und ein kleines Modell (GPT-2 Small). Es gab keine menschliche Evaluation der Erklärungs-Nützlichkeit, und die Auswahl der Heads war statisch (Top-6) statt instanzspezifisch adaptiv.

Zusammenfassend liefert das Paper einen wichtigen Schritt hin zu transparenten KI-Systemen, indem es zeigt, wie mechanistische Analysen genutzt werden können, um nicht nur dass, sondern warum ein Modell eine Entscheidung trifft, kausal fundiert zu erklären.