🤖 machine learning

Causal Agent Replay: Counterfactual Attribution for LLM-Agent Failures

Dieses Paper führt Causal Agent Replay (CAR) ein, ein neuartiges Framework, das strukturelle Kausalmodellierung und kontrafaktische Interventionen einsetzt, um Fehlfunktionen von LLM-Agenten präzise auf deren Grundursachen zurückzuführen und dabei die Einschränkungen bestehender Observability-Tools sowie unzuverlässiger LLM-Judge-Heuristiken zu überwinden.

Ursprüngliche Autoren: Jaineet Shah

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jaineet Shah

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie schauen einen Film über einen KI-Agenten (ein intelligentes Computerprogramm), der versucht, einem Kunden zu helfen. Plötzlich begeht der Agent einen riesigen Fehler: Er erstattet einem Kunden Geld, der es nicht verdient hat, oder er gibt versehentlich private Daten preis.

Sie haben die vollständige Videoaufnahme dessen, was passiert ist. Sie wissen das Was (den Fehler) und das Wann (den Zeitstempel). Aber Sie wissen nicht das Warum oder welcher spezifische Moment die Katastrophe verursacht hat.

Dies ist das Problem, das das Paper „Causal Agent Replay“ (CAR) lösen will. Hier ist die Erklärung in einfachen Worten, unter Verwendung alltäglicher Analogien.

Das Problem: Den Falschen beschuldigen

Wenn Dinge schiefgehen, neigen unsere Gehirne (und aktuelle Computertools) dazu, das Offensichtlichste zu beschuldigen.

Der Fehler: Der Agent hat das Geld ausgezahlt.
Die falsche Schuldzuweisung: Wir sagen: „Der Schritt, der das Geld ausgezahlt hat, ist der Übeltäter!“
Die Realität: Dieser Schritt war nur ein Roboter, der Befehle befolgt hat. Der eigentliche Fehler passierte zwei Schritte zuvor, als der Agent beschloss, die Regeln zu ignorieren, weil der Kunde eine List in seiner Nachricht angewandt hat.

Aktuelle Tools versuchen, die Ursache zu erraten, indem sie einen anderen KI fragen: „Wer deiner Meinung nach hat Mist gebaut?“ Das Paper sagt, dies sei so, als würde man einen Detektiv bitten, den Täter zu erraten, indem man ihm nur ein Tatortfoto zeigt, ohne zu ermitteln. Das ist unzuverlässig; das Paper stellt fest, dass diese Tools nur etwa 14 % genau sind.

Die Lösung: Der „Was wäre wenn“-Simulator

Die Autoren entwickelten ein Tool namens Causal Agent Replay (CAR). Anstatt zu raten, fungiert CAR wie ein zeitreisender Regisseur, der die „Zurückspulen“-Taste drücken und eine winzige Sache ändern kann, um zu sehen, was passiert.

Stellen Sie sich den Entscheidungsprozess der KI wie ein „Du bist die Spielfigur“-Buch (Choose Your Own Adventure) vor.

Das Setup: Die KI lift eine Seite (Zustand/State), trifft eine Wahl (Aktion/Action) und sieht das Ergebnis (Beobachtung/Observation).
Die Intervention: CAR wählt eine ganz bestimmte Seite aus diesem Buch. Es sagt: „Okay, lassen wir so tun, als hätte die KI hier eine andere Wahl getroffen, oder lassen wir so tun, als hätte sie die Seite neu gelesen und eine frische Entscheidung getroffen.“
Das Replay: Das Tool lässt die Geschichte von diesem Punkt an vorwärtslaufen und spielt den Film 100 Mal ab, um die verschiedenen Enden zu sehen.
- Wenn das Ändern dieser einen Seite das „schlechte Ende“ verschwinden lässt, dann war diese Seite die Ursache.
- Wenn das schlechte Ende trotzdem eintritt, war diese Seite nicht das Problem.

Der knifflige Teil: Der „Schmetterlingseffekt“

Es gibt einen Haken. KI-Entscheidungen sind ein wenig wie das Werfen von Würfeln; sie sind stochastisch (zufällig).
Wenn Sie zu Schritt 3 zurückspulen und die Entscheidung ändern, könnte die KI bei Schritt 4, Schritt 5 und Schritt 6 eine völlig andere Entscheidung treffen, einfach weil die „Würfel“ anders gefallen sind. Das macht es schwierig zu sagen, ob der Fehler durch Schritt 3 verursacht wurde oder durch das zufällige Chaos von Schritt 6.

Die Lösung: Der „Point of Commitment“ (Punkt der Bindung)
Die Autoren haben eine clevere Regel entwickelt, die sie Point of Commitment nennen.
Stellen Sie sich einen Zug vor, der aus einem Bahnhof abfährt.

Wenn Sie den Zug im Bahnhof stoppen (Schritt 1), fährt er nie los.
Wenn Sie ihn auf halber Strecke stoppen (Schritt 5), könnte er später immer noch entgleisen, weil die Gleise kaputt waren.
Der „Point of Commitment“ ist der letzte Moment, in dem man den Zug hätte stoppen können, um den Tag zu retten. Sob sobald der Zug diesen Punkt passiert hat, ist der Absturz unvermeidlich. CAR findet diesen spezifischen Moment, um Ihnen genau zu sagen, wo die Entscheidung schiefgelaufen ist.

Die Schuld aufteilen (Der Shapley-Wert)

Manchmal wird ein Fehler nicht durch nur einen Schritt verursacht. Vielleicht war Schritt 3 seltsam und Schritt 7 war seltsam, aber nur als sie zusammen auftraten, geschah die Katastrophe.

Wenn man Schritt 3 allein beschuldigt, sieht er unschuldig aus.
Wenn man Schritt 7 allein beschuldigt, sieht er unschuldig aus.
Aber zusammen sind sie schuldig.

Um dies zu lösen, nutzt CAR ein mathematisches Konzept namens Shapley-Werte (benannt nach einem Nobelpreisträger für Wirtschaftswissenschaften). Denken Sie an das Aufteilen einer Rechnung im Restaurant. Wenn zwei Personen zusammen eine riesige Pizza bestellt haben, können Sie nicht einfach sagen: „Person A hat die ganze Pizza gegessen.“ Sie müssen berechnen, wie viel jede Person zum Gesamtpreis beigetragen hat. CAR macht dies mathematisch, um die „Schuld“ fair zwischen interagierenden Schritten aufzuteilen.

Hat es funktioniert?

Die Autoren testeten ihr Tool in fiktiven, künstlich erstellten Szenarien, in denen sie die Antwort im Voraus kannten (wie bei einer Matheaufgabe mit bekannter Lösung).

Ergebnis: Das Tool identifizierte korrekt den einzelnen Schritt, der den Fehler verursachte.
Ergebnis: Das Tool teilte die Schuld korrekt zwischen zwei Schritten auf, die gemeinsam zu einem Fehlschlag führten.

Das Fazit

Dieses Paper stellt ein Tool vor, das KI-Agenten nicht nur beim Scheitern beobachtet, sondern den Film zurückspult, eine Entscheidung ändert und den Film erneut laufen lässt, um wissenschaftlich zu beweisen, welcher Schritt das Problem verursacht hat. Es bewegt sich vom „Raten“ zum „Testen“ und gibt Entwicklern eine klare, fundierte Antwort darauf, was zu reparieren ist.

Das Tool ist Open-Source (frei verfügbar) und funktioniert sowohl mit Cloud-basierten als auch mit lokalen KI-Modellen.

Technisches Resümee: Causal Agent Replay (CAR)

Problemstellung

Wenn ein LLM-Agent versagt – sei es durch die Ausführung einer fehlerhaften Rückerstattung, den Aufruf des falschen Tools oder das Leaken von Daten – können bestehende Observability- und Evaluierungstools zwar beschreiben, was passiert ist oder feststellen, ob das Ergebnis ein Pass oder Fail war. Sie scheitern jedoch daran, zu identifizieren, welcher spezifische Schritt die Ursache für das Versagen war.

Aktuelle Heuristiken zur Attribuierung sind fundamental fehlerhaft:

Verwechslung von Mechanik und Entscheidung: Der Schritt, der eine schädliche Aktion ausführt (z. B. den Aufruf von issue_refund), ist oft lediglich die mechanische Konsequenz einer Entscheidung, die in einem vorangegangenen Schritt getroffen wurde. Die Schuld auf den Ausführungsschritt zu schieben, ist ein Kategorienfehler.
Unzuverlässige LLM-Judges: Die Verwendung eines LLMs als Richter über das Transkript ist korrelativ statt kausal. Auf dem „Who&When“-Benchmark liegt die Genauigkeit der Schritt-Level-Attribuierung durch LLM-Judges bei etwa 14 %.

Die Kernherausforderung besteht darin, dass LLM-Agenten über stochastische Policies operieren. Ein einfaches Replay offenbart keine Kausalität, da das Ergebnis das Resultat einer komplexen Trajektorie aus Entscheidungen und Beobachtungen ist.

Methodik: Causal Agent Replay (CAR)

CAR adressiert dies, indem es einen Agentenlauf als Strukturelles Kausales Modell (SCM) modelliert und Kausalität durch Intervention statt durch Korrelation bestimmt.

1. Formalisierung

Ein Agenten-Trajektorie $\tau$ wird als Sequenz von Zuständen, Aktionen, Beobachtungen und einem Ergebnis modelliert:
$\tau = [s_0, (a_1, o_1), (a_2, o_2), \dots, (a_n, o_n), y]$
Wobei $s_k$ der Zustand ist, $a_k \sim \pi(\cdot | s_k)$ die aus der stochastischen Policy gezogene Aktion ist, $o_k$ das Tool-Ergebnis ist und $y$ der Outcome-Score ist.

2. Interventionsalgebra

CAR implementiert eine do(·)-Operation auf spezifischen Schritten, die den Agenten dazu zwingt, nachfolgende Aktionen unter derselben stochastischen Policy neu zu entscheiden. Fünf Operationen sind definiert:

do_resample: Zieht die Aktion $a_k$ erneut aus der unveränderten Policy (die Null-Intervention). Dies misst die intrinsische kausale Sensitivität des Ergebnisses gegenüber diesem Schritt.
do_action: Erzwingt eine spezifische Aktion $a_k$ .
do_observation: Ersetzt die Beobachtung $o_k$ .
do_context: Editiert die Historie zum Zeitpunkt $k$ .
do_policy: Tauscht das Modell ab Schritt $k$ aufwärts aus.

3. Treues Replay und Nichtdeterminismus

Um zum Zeitpunkt $k$ zu intervenieren, muss das System den exakten Zustand $s_k$ rekonstruieren. CAR folgt einer Record-Replay-Disziplin, die alle nichtdeterministischen Inputs aufzeichnet. Es berücksichtigt, dass Hosted-Provider nicht perfekt deterministisch sind (aufgrund von Fließkomma-Nicht-Assoziativität und Batch-Kerneln). Folglich berichtet CAR eine Action-Match-Rate für die Replay-Fidelity, anstatt perfekte Reproduzierbarkeit zu behaupten. Es wird angemerkt, dass lokale Modelle mit festen Seeds exakt replizieren, was die distributionale Rahmung validiert.

4. Attribuierungs-Schätzer

Da Interventionen eine Verteilung von Ergebnissen statt eines einzelnen Pfades liefern, verwendet CAR statistische Schätzer mit Konfidenzintervallen.

Kontrastiver Single-Step-Schätzer:
Für jeden Schritt $k$ hält das System die Schritte $[0, k)$ bei ihren faktischen Aktionen fest, wendet do_resample(k) an und führt $K$ Vorwärtsläufe durch, um die Verschiebung in der Wahrscheinlichkeit eines „schlechten“ Ergebnisses zu schätzen.
- Der Run-Forward-Confound: Das Resampling von Schritt $k$ führt unbeabsichtigt zu einem Neu-Würfeln aller nachfolgenden stochastischen Schritte. Dies führt dazu, dass frühe, irrelevante Schritte kausal erscheinen, weil sie ein neu-Würfeln eines tatsächlich entscheidenden nachfolgenden Schritts auslösen.
- Point-of-Commitment-Regel: Um dies zu lösen, identifiziert CAR den kausalen Locus als den letzten Schritt, dessen Effekt-Konfidenzintervall die Null noch ausschließt. Dies ist der letzte Punkt, an dem ein Neu-Entscheiden den Lauf noch „retten“ kann; jenseits dieses Punktes ist das Ergebnis festgelegt.
Budget-beschränkter Monte-Carlo-Shapley-Schätzer:
Single-Step-Methoden scheitern an der Erfassung von Interaktionen (z. B. ein AND-Fehler, bei dem beide Schritte gleichzeitig fehlschlagen müssen). CAR nutzt Shapley-Werte, um die Verantwortung über interagierende Schritte hinweg aufzuteilen.
- Es schätzt marginale Beiträge über alle Koalitionskontexte mittels Monte-Carlo-Permutations-Sampling mit antithetischem Reverse-Permutation-Pairing.
- Kein Caching: Werte $v(S)$ werden nicht über Permutationen hinweg gecached, um zu verhindern, dass die per-Schritt-marginale Varianz auf Null kollabiert, was zu falscher Sicherheit führen würde.
- Der Schätzer ist budgetbeschränkt mit einem Circuit Breaker und wird bei Bedarf ausgeführt.

Wesentliche Beiträge

SCM-Formalisierung: Formalisierung von Agentenläufen als SCMs und Definition einer fünf-operativen Interventionsalgebra.
Distributionale Rahmung: Aufbau des Systems um Ergebnisverteilungen mit Konfidenzintervallen, um stochastische Policies zu handhaben.
Point-of-Commitment-Regel: Identifizierung und Lösung des Confunds, bei dem das Resampling eines Schritts die nachfolgende Stochastik neu würfelt, unter Verwendung einer Regel zur Lokalisierung des wahren kausalen Locus.
Interaktions-Handhabung: Bereitstellung eines Shapley-Schätzers zur korrekten Kredit-Aufteilung bei Interaktionen, bei denen Single-Step-Methoden strukturell versagen.
Ground-Truth-Validierung: Validierung der Methode gegen synthetische SCMs mit gesetztem Ground Truth, wobei argumentiert wird, dass dies für jede Attribuierungsmethode obligatorisch ist.

Ergebnisse und Validierung

CAR wurde gegen synthetische SCMs mit bekanntem Ground Truth validiert:

Pivotal Step Recovery: In einem Drei-Schritt-SCM, bei dem der mittlere Schritt die entscheidende Entscheidung war, stellte der kontrastive Schätzer den Locus korrekt im mittleren Schritt wieder her. Das Resampling nachfolgender Schritte zeigte keinen signifikanten Effekt, was der Point-of-Commitment-Semantik entspricht.
Interaktions-Recovery: In einem SCM, in dem das Ergebnis nur schlecht war, wenn zwei spezifische Schritte fehlschlugen, teilte der Shapley-Schätzer den Kredit korrekt auf ( $\phi_0 \approx 0,44, \phi_1 \approx 0,45, \phi_2 \approx 0$ ). Die Effizienzsumme betrug 0,909, was eng dem analytischen Wert von 0,91 entspricht.
Kontrastive Limitation: Bei demselben Interaktionslauf überschätzte der kontrastive Schätzer (Effekte überstiegen den tatsächlichen Gesamteintrag), was die Notwendigkeit des Shapley-Schätzers für Interaktionen demonstriert.

Bedeutung und Ansprüche

Das Paper behauptet, dass CAR die Frage „Welcher Schritt hat das Versagen verursacht“ durch Intervention beantwortet, an nicht durch Korrelation. Die Signifikanz liegt in der spezifischen Kombination aus:

Ausgeführten do_resample-Interventionen mit derselben Policy (Vermeidung von Oracle-Substitution oder LLM-Text-Judging).
Distributionalen Ergebnissen mit Konfidenzintervallen.
Der Point-of-Commitment-Regel zur Handhabung von Run-Forward-Confounds.
Shapley-Credit-Splitting für Interaktionen.
Validierung gegen synthetischen Ground Truth.

Das System ist Open Source und für die Nutzung auf sowohl Hosted- als auch freien lokalen Modellen konzipiert.

Limitationen

Die Autoren nennen mehrere Limitationen:

Direkter vs. Totaler Effekt: Der kontrastive Effekt misst den Gesamteffekt durch eine stochastische Fortsetzung. Die Isolierung des direkten Effekts eines Schritts würde gemeinsame Zufallszahlen über verschiedene Zweige hinweg erfordern, was über divergente LLM-Kontexte hinweg schwierig ist.
Outcome-Rauschen: Judge-basierte Outcome-Funktionen injizieren Rauschen; regelbasierte Outcomes sind vorzuziehen, um Vertrauen zu schaffen.
Nebenwirkungen: Echte Tools mit Nebenwirkungen liegen außerhalb des Scopes; Demonstrationen verwenden gemockte, reproduzierbare Tools.
Rechenaufwand: Die Shapley-Schätzung ist im Worst Case exponentiell; der Monte-Carlo-Ansatz ist budgetbeschränkt und stellt einen realen Trade-off zwischen Varianz und Budget dar.