🤖 machine learning

Local Causal Attribution of Chain-of-Thought Reasoning

Dieses Paper stellt AttriCoT vor, einen Black-Box-Algorithmus, der ein strukturelles Kausalmodell konstruiert, um eine lokale kausale Attribution auf einzelne Komponenten des Chain-of-Thought-Reasonings durchzuführen, wobei er eine überlegene Treue gegenüber dem Modellverhalten demonstriert und unterschiedliche Denkstrukturen über verschiedene Modelle und Domänen hinweg offenlegt.

Ursprüngliche Autoren: Dennis Wei, Yannis Belkhiter, Erik Miehling, Radu Marinescu

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Dennis Wei, Yannis Belkhiter, Erik Miehling, Radu Marinescu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, ein großes Sprachmodell (wie eine superintelligente KI) löst ein schwieriges mathematisches Problem oder ein Logikrätsel. Anstatt Ihnen einfach nur die Antwort zu geben, schreibt es zuerst einen langen „Gedankengang“ (thought process) Schritt für Schritt auf. Dies wird als Chain-of-Thought (CoT) bezeichnet.

Denken Sie an diesen Gedankengang wie an das Notizbuch eines Detektivs. Der Detektiv notiert Hinweise, Theorien und Berechnungen, bevor er den Fall löst. Aber hier liegt das Problem: Manchmal schreibt der Detektiv Dinge auf, die zwar logisch klingen, aber ihm eigentlich nicht geholfen haben, den Fall zu lösen. Vielleicht schreibt er eine lange Geschichte über ein Ablenkungsmanöver, oder er übersieht dabei einen entscheidenden Hinweis. Wir wollen wissen: Welche spezifischen Notizen im Notizbuch haben tatsächlich zur endgültigen Lösung geführt?

Dieses Paper stellt ein neues Werkzeug namens AttriCoT vor, um genau diese Frage zu beantworten.

Das Problem: „Falsches“ Denken

Derzeit wissen wir nicht wirklich, ob der Text, den die KI aufschreibt, der tatsächliche Grund dafür ist, dass sie die richtige Antwort gefunden hat. Manchmal könnte die KI die richtige Antwort durch Glück erraten und dann eine lange, ausschmückende Geschichte schreiben, um sie zu rechtfertigen. In anderen Fällen überspringt sie vielleicht einen Schritt in ihrem Kopf, schreibt ihn aber trotzdem auf.

Wissenschaftler haben versucht, dies herauszufinden, indem sie:

Die KI fragten: „Hey, welcher Teil deines Gedankengangs war am wichtigsten?“ (Das ist so, als würde man einen Schüler bitten, seine Hausaufgaben selbst zu bewerten; er könnte lügen oder verwirrt sein).
Teile gelöscht und geschaut, was passiert: Wenn man einen Satz aus dem Gedankengang löscht, kommt die KI dann auf die falsche Antwort? Das ist eine gute Idee, aber es für jeden einzelnen Satz zu tun, verbraucht eine gewaltige Menge an Rechenleistung – so als würde man versuchen, ein Haus Stein für Stein wieder aufzubauen, um zu sehen, welcher Stein das Dach hält.

Die Lösung: AttriCoT (Der „kausale Detektiv“)

Die Autoren haben AttriCoT entwickelt, eine Methode, die wie ein Wirtschaftsprüfer für die Gedanken der KI fungiert.

Die Analogie: Der Rezept-Test
Stellen Sie sich vor, Sie versuchen herauszufinden, welche Zutaten in einem komplexen Kuchenrezept tatsächlich dafür sorgen, dass der Kuchen gut schmeckt.

Der alte Weg: Sie backen für jede einzelne Zutat, die Sie testen wollen, einen neuen Kuchen. Wenn das Rezept 50 Zutaten hat, backen Sie 50 Kuchen. Das ist langsam und teuer.
Der Weg von AttriCoT: Sie backen den Kuchen einmal. Dann nutzen Sie einen speziellen mathematischen Trick, um zu simulieren, was passieren würde, wenn Sie den Zucker, oder das Mehl, oder die Eier entfernen würden, ohne jedes Mal einen neuen Kuchen zu backen. Sie messen, wie stark der „Geschmackswert“ (das Vertrauen der KI) sinkt, wenn Sie so tun, als wäre eine Zutat nicht vorhanden.

Wie AttriCoT funktioniert (Die 3 Schritte):

Das „Was-wäre-wenn“-Spiel: Es nimmt einen spezifischen Gedankengang (das Notizbuch der KI) und zerlegt ihn in kleine Stücke, sogenannte „Units“ (Sätze oder Phrasen). Dann erstellt es eine Liste von „Was-wäre-wenn“-Szenarien: „Was wäre, wenn wir Unit 1 entfernen?“ „Was wäre, wenn wir Unit 2 entfernen?“
Der schnelle Check: Anstatt den ganzen Kuchen neu zu backen (die ganze KI erneut laufen zu lassen), führt es eine sehr schnelle, leichtgewichtige Prüfung durch, um zu sehen, wie stark das Vertrauen der KI im nächsten Schritt sinkt, wenn eine Unit fehlt.
Die mathematische Landkarte: Es nutzt ein einfaches mathematisches Modell (ein lineares Modell), um die Punkte zu verbinden. Es berechnet einen Score für jedes Paar von Schritten. Zum Beispiel könnte es sagen: „Schritt 3 war zu 80 % verantwortlich für Schritt 7, aber Schritt 2 hatte fast keinen Effekt auf Schritt 7.“

Was sie herausgefunden haben

Die Forscher haben dies an 5 verschiedenen Arten von Rätseln (Mathematik, Logik, Wissenschaft) und 4 verschiedenen KI-Modellen getestet.

Es ist genauer: AttriCoT war viel besser darin, die wirklich wichtigen Schritte zu finden als die anderen Methoden. Als sie prüften, ob das Entfernen eines „Schlüsselschritts“ tatsächlich die Antwort der KI zerstörte, waren die Vorhersagen von AttriCoT am zuverlässigsten.
Es ist effizient: Es musste die KI nicht tausendfach ausführen. Es musste nur so oft laufen, wie es Schritte im Gedankengang gab. Das macht es schnell genug, um auch lange, komplexe Denkprozesse anzuwenden.
Neue Erkenntnisse: Durch die Betrachtung der von AttriCoT generierten „Scores“ fanden sie interessante Muster:
- Der Anfang und das Ende zählen am meisten: Die allerersten Gedanken (wo die KI die Frage liest) und die letzten Gedanken (wo sie die Antwort überprüft) haben tendenziell den größten Einfluss.
- Zurückblicken: In der Mitte der Lösung eines schwierigen Problems geht die KI oft zurück und liest die ursprüngliche Frage erneut, um sicherzustellen, dass sie kein Detail vergessen hat.
- Unterschiedliche Modelle, unterschiedliche Gewohnheiten: Einige Modelle verlassen sich während des gesamten Prozesses stark auf die ursprüngliche Frage, während andere sich mehr auf ihre eigenen vorherigen Schritte verlassen.

Das Fazit

Dieses Paper behauptet nicht, die KI zu reparieren oder sie intelligenter zu machen. Stattdessen gibt es uns eine Taschenlampe, um in das „Black Box“-Reasoning der KI zu schauen. Es ermöglicht uns, Schritt für Schritt zu sehen, welche Teile des Denkens der KI tatsächlich zur Antwort geführt haben und welche Teile nur Rauschen waren. Dies hilft uns zu verstehen, ob die KI wirklich schlussfolgert oder einfach nur etwas zusammenwürfelt, während sie vorgeht.

Technisches Resümee: Lokale kausale Attribution von Chain-of-Thought-Reasoning

Problemstellung

Der Erfolg von Large Reasoning Models (LRMs) beruht maßgeblich auf Chain-of-Thought (CoT)-Reasoning, bei dem Modelle lange Sequenzen von Zwischenschritten generieren. Die Treue (Faithfulness) dieser verbalisierten CoTs gegenüber dem zugrunde liegenden latenten Denkprozess des Modells bleibt jedoch ein kritisches Anliegen. Forschungen deuten darauf hin, dass CoT-Texte gelegentlich Eingabe-Manipulationen ignorieren oder komplexe, aber falsche Begründungen konstruieren, insbesondere wenn Modelle mit falschen Hinweisen konfrontiert werden. Während bisherige Arbeiten kausale Strukturen auf der Ebene interner Repräsentationen (White-Box) oder der Verteilungen über Reasoning-Trajektorien (via Resampling) untersucht haben, besteht ein Bedarf an effizienten, lokalen Methoden, um die kausalen Beziehungen innerhalb eines spezifischen CoT-Trace zu analysieren. Bestehende Black-Box-Methoden konzentrieren sich oft auf die Antwort-Ebene oder versäumen es, die Auswirkungen zwischengeschalteter Schritte auf nachfolgende Denk-Schritte zu berücksichtigen.

Methodik: AttriCoT

Die Autoren schlagen AttriCoT vor, eine Black-Box-Methode zur Schätzung lokaler kausaler Attributionen innerhalb eines spezifischen CoT-Trace. Der Ansatz basiert auf einem Strukturellen Kausalen Modell (SCM) und arbeitet mit linearer Komplexität in Bezug auf die Anzahl der Reasoning-Einheiten.

1. Formulierung des Strukturellen Kausalen Modells

Die Methode behandelt einen CoT-Trace und dessen Eingabe als eine Sequenz von „Einheiten“ ( $x_1, \dots, x_S$ für den Input; $y_1, \dots, y_T$ für die Output-Schritte und die finale Antwort). Die Kernannahme ist eine autoregressive Eigenschaft, bei der die Log-Wahrscheinlichkeit der Generierung einer Einheit $y_t$ von der Anwesenheit oder Abwesenheit vorangegangener Einheiten abhängt.

Skalarisierung: Die Einheit $y_t$ wird mittels ihrer bedingten Log-Wahrscheinlichkeit skaliert: $S_t(y_t) = \log P(y_t | x, y_{<t})$ .
Lineare Strukturgleichung: Der Einfluss vorangegangener Einheiten wird über eine lineare Gleichung modelliert:
$S_t(y_t) = \sum_{s=1}^S \alpha_{s,t} I(x_s) + \sum_{\tau=1}^{t-1} \beta_{\tau,t} I(y_\tau) + \gamma_t + u_t$
Hierbei sind $I(\cdot)$ Indikatorfunktionen (1, wenn vorhanden, 0, wenn entfernt) und die Koeffizienten $\alpha_{s,t}$ und $\beta_{\tau,t}$ repräsentieren die kausale Wichtigkeit von Input und vorangegangenen Output-Einheiten.

2. Der AttriCoT-Algorithmus

Der Algorithmus schätzt diese Koeffizienten durch drei Schritte:

Intervention: Die Methode führt Interventionen durch, indem sie spezifische Einheiten aus der Sequenz entfernt. Die Standardstrategie ist „Leave-One-Out“ (LOO), wobei jeweils eine Einheit entfernt wird ( $N = S + T$ Interventionen). Eine verbesserte Variante („AttriCoT-2x“) beinhaltet „Leave-Two-Out“-Interventionen.
Messung: Für jede perturbierte Sequenz führt das Modell einen Vorwärtspass durch, um die Log-Wahrscheinlichkeiten der verbleibenden Output-Einheiten zu berechnen. Die Änderung der Log-Wahrscheinlichkeit für eine Ziel-Einheit $y_t$ dient als Zielwert für die Regression.
Regression: Eine lineare Regression (mit optionaler L1-Regularisierung) wird angepasst, um die Koeffizienten $\alpha$ und $\beta$ zu schätzen. Dieser Prozess erfordert $O(N)$ Vorwärtspässe, wodurch die lineare Komplexität in Bezug auf die Anzahl der Einheiten gewahrt bleibt.

3. Evaluierungsmetrik

Die Qualität der Attribution wird mittels der Behavioral Faithfulness bewertet, gemessen durch die Fläche unter der Perturbationskurve (Area Under the Perturbation Curve, AUPC).

Verfahren: Vorangegangene Einheiten werden nach ihren Attributionswerten sortiert. Die obersten $k$ Einheiten werden entfernt, und die resultierende Abnahme der Log-Wahrscheinlichkeit der Ziel-Einheit wird gemessen.
Metrik: Die AUPC aggregiert diese Abnahmen, während $k$ von 0 bis 20 % der vorangegangenen Einheiten variiert. Ein höherer AUPC-Wert zeigt an, dass die Attributionsmethode die Einheiten korrekt identifiziert, die kausal entscheidend für die Generierung nachfolgender Schritte sind.

Zentrale Beiträge

AttriCoT-Framework: Der Vorschlag einer Black-Box-Methode zur lokalen Erklärung, die CoT-Schritte mittels eines strukturellen kausalen Modells auf vorangegangene Einheiten attribuiert und dabei nur eine lineare Anzahl von Vorwärtspässen ( $O(S+T)$ ) erfordert.
Überlegene Faithfulness: Empirische Belege, die zeigen, dass AttriCoT Attributionsleistungen erbringt, die dem Modellverhalten gegenüber alternativen Methoden wie Satz-zu-Satz-Maskierung (Thought Anchors) und Prompting-basierten Baselines treuer (faithful) sind.
Analytische Metriken: Die Einführung von Metriken, die aus Attributionsmatrizen abgeleitet sind (z. B. Score-Dichte, durchschnittlicher Einfluss, Input-Verhältnis), um strukturelle Unterschiede im Reasoning über Modelle und Domänen hinweg aufzuzeigen.

Experimentelle Ergebnisse

Die Methode wurde auf 5 Datensätzen (GSM8K, MATH500, GPQA-Diamond, MMLU-Pro, ZebraLogic) und 4 Reasoning-Modellen (DS-Llama-8B, DS-Qwen-14B, DS-Qwen3-8B, Qwen3-8B) evaluiert.

Leistung: AttriCoT erreichte konsistent die höchsten AUPC-Werte über alle Modelle und Datensätze hinweg. Auf GSM8K zeigte es Verbesserungen von 15–30 % gegenüber Thought Anchors und 70–165 % gegenüber Prompting-Baselines.
Effizienz: Im Gegensatz zu Resampling-basierten Methoden vermeidet AttriCoT die hohen Rechenkosten der Generierung neuer CoT-Trajektorien, da es stattdessen auf nicht-generativen Vorwärtspässen basiert.
Vergleichende Analyse:
- Thought Anchors: Obwohl kompetitiv, schnitten Thought Anchors (die die KL-Divergenz auf Token-Verteilungen nutzen) generell schlechter ab als AttriCoT, was wahrscheinlich daran liegt, dass sie den direkten Einfluss auf die Log-Wahrscheinlichkeit der generierten Einheit nicht auf dieselbe lokale Weise messen.
- Prompting: Das Auffordern von LLMs, Einheiten zu ranken (selbst mittels In-Context Learning), lieferte signifikant niedrigere Faithfulness-Scores.
- White-Box-Attention: Eine explorative White-Box-Methode, die auf Attention-Gewichten interveniert, zeigte Potenzial, konnte aber die kausalen Interventionsmethoden nicht übertreffen.

Analyse der Reasoning-Strukturen

Durch die Analyse der Attributionsmatrizen beobachteten die Autoren distinkte Muster:

Einflussabfall (Influence Decay): Die Wichtigkeit nimmt generell mit zunehmender Distanz zwischen den Schritten schnell ab, flacht dann aber in einen langen Schweif (Long Tail) ab.
Input-Abhängigkeit: Die Metrik „Input Ratio“ zeigt, dass Modelle zu Beginn eines Trace stark auf Input-Einheiten angewiesen sind. Interessanterweise steigt diese Abhängigkeit in der Mitte bis zum Ende des Trace (um 50–80 %) oft wieder an, was darauf hindeutet, dass Modelle auf den Input-Kontext zurückgreifen, um Antworten zu verifizieren oder zu finalisieren.
Modellunterschiede: Größere oder destillierte Modelle (z. B. DS-Llama-8B) wiesen höhere Score-Dichten und andere Einflussmuster auf als nicht-destillierte Gegenstücke, was auf strukturelle Variationen in der Verarbeitung des Reasonings hindeutet.

Bedeutung und Behauptungen

Das Paper behauptet, dass die Behandlung von CoT-Traces als kausale Objekte einen essenziellen Rahmen für Transparenz und Sicherheit bietet. Durch die Zerlegung eines Trace in benutzerdefinierte Einheiten und das Anpassen struktureller Gleichungen bietet AttriCoT eine recheneffiziente Möglichkeit zu verstehen, warum spezifische Reasoning-Schritte produziert werden und ob das zwischengeschaltete Reasoning konsequenziell ist.

Die Autoren betonen, dass ihre Arbeit die „lokale“ Ebene der Kausalität (spezifische Traces) adressiert und nicht interne Mechanismen oder Trajektorien-Verteilungen. Sie kommen zu dem Schluss, dass die resultierenden Attributionsmatrizen suggestive Muster offenbaren, wie etwa den speziellen Einfluss anfänglicher und abschließender Schritte sowie die Tendenz von Modellen, den Input während der Verifikation erneut zu konsultieren. Die Autoren räumen Limitationen ein, einschließlich der Ausdrucksstärke linearer Strukturgleichungen und der Einfachheit der standardmäßigen LOO-Intervention, und positionieren zukünftige Arbeiten in Richtung der Entwicklung recheneffizienter White-Box-Methoden sowie der Untersuchung, wie Reasoning-Strukturen von Modellfamilien und Problemkomplexität abhängen.