🤖 machine learning

Causal Agent Replay: Counterfactual Attribution for LLM-Agent Failures

Dit artikel introduceert Causal Agent Replay (CAR), een nieuw framework dat structurele causale modellering en contrafactische interventies gebruikt om falen van LLM-agenten accuraat toe te schrijven aan hun grondoorzaken, waarmee de beperkingen van bestaande observabiliteitstools en onbetrouwbare LLM-judge heuristieken worden overwonnen.

Oorspronkelijke auteurs: Jaineet Shah

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jaineet Shah

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een film kijkt van een AI-agent (een slim computerprogramma) die een klant probeert te helpen. Plotseling maakt de agent een enorme fout: het stort geld terug aan een klant die dat niet verdiende, of het lekt per ongeluk privégegevens.

Je hebt de volledige video-opname van wat er gebeurde. Je weet het wat (de fout) en het wanneer (het tijdstip). Maar je weet niet het waarom of welk specifiek moment de ramp heeft veroorzaakt.

Dit is het probleem dat het paper "Causal Agent Replay" (CAR) probeert op te lossen. Hier is de uitleg in eenvoudige termen, met alledaagse analogieën.

Het Probleem: De verkeerde persoon de schuld geven

Wanneer er misgaat, hebben onze hersenen (en huidige computertools) de neiging om de meest voor de hand liggende zaak de schuld te geven.

De Fout: De agent heeft het geld overgemaakt.
De Verkeerde Beschuldiging: We zeggen: "De stap die het geld overmaakte, is de boef!"
De Realiteit: Die stap was slechts een robot die bevelen opvolgde. De echte fout gebeurde twee stappen eerder, toen de agent besloot de regels te negeren vanwege een trucje in het bericht van de klant.

Huidige tools proberen de oorzaak te raden door een andere AI te vragen: "Wie denk jij dat er een fout heeft gemaakt?" Het paper zegt dat dit is alsof je een detective vraagt om de dader te raden door alleen naar een foto van de plaats delict te kijken zonder onderzoek te doen. Het is onbetrouwbaar; het paper merkt op dat deze tools slechts ongeveer 14% accuraat zijn.

De Oplossing: De "Wat Als"-simulator

De auteurs hebben een tool gebouwd genaamd Causal Agent Replay (CAR). In plaats van te gokken, werkt CAR als een regisseur die door de tijd kan reizen, op "terugspoelen" kan drukken en één klein dingetje kan veranderen om te zien wat er gebeurt.

Zie het besluitvormingsproces van de AI als een Kies je eigen avontuur-boek.

De Opzet: De AI leest een pagina (State), maakt een keuze (Action) en ziet het resultschap (Observation).
De Interventie: CAR kiest één specifieke pagina in het boek. Het zegt: "Oké, laten we doen alsof de AI hier een andere keuze maakte, of laten we doen alsof de AI de pagina opnieuw las en een nieuwe keuze maakte."
De Replay: De tool spoelt de film vervolgens vooruit vanaf dat punt en draait de film 100 keer om de verschillende eindes te zien.
- Als het veranderen van die ene pagina het "slechte einde" doet verdwijnen, dan was die pagina de oorzaak.
- Als het slechte einde toch gebeurt, was die pagina niet het probleem.

Het Lastige Deel: Het "Butterfly Effect"

Er is een addertje onder het gras. Beslissingen van AI zijn een beetje zoals het gooien met dobbelstenen; ze zijn willekeurig (stochastisch).
Als je terugspoelt naar Stap 3 en de keuze verandert, kan de AI bij Stap 4, Stap 5 en Stap 6 een totaal andere keuze maken, simpelweg omdat de "dobbelstenen" anders vielen. Dit maakt het moeilijk om te bepalen of de fout werd veroorzaakt door Stap 3 of door de willekeurige chaos van Stap 6.

De Oplossing: Het "Point of Commitment"
De auteurs kwamen met een slimme regel genaamd het Point of Commitment.
Stel je een trein voor die een station verlaat.

Als je de trein bij het station stopt (Stap 1), vertrekt hij nooit.
Als je hem halverwege stopt (Stap 5), kan hij later nog steeds crashen omdat de rails kapot waren.
Het "Point of Commitment" is het laatste moment waarop je de trein had kunnen stoppen en de dag had kunnen redden. Zodra de trein dit punt passeert, is de crash onvermijdelijk. CAR vindt dit specifieke moment om je precies te vertellen waar de beslissing fout ging.

De Schuld Verdelen (De Shapley-waarde)

Soms wordt een fout niet door slechts één stap veroorzaakt. Misschien was Stap 3 vreemd, en Stap 7 vreemd, maar alleen toen ze samen gebeurden, trad de ramp op.

Als je Stap 3 alleen de schuld geeft, lijkt het onschuldig.
Als je Stap 7 alleen de schuld geeft, lijkt het onschuldig.
Maar samen zijn ze schuldig.

Om dit op te lossen, gebruikt CAR een wiskundig concept genaamd Shapley-waarden (genoemd naar een Nobelprijswinnende econoom). Denk aan het splitsen van de rekening in een restaurant. Als twee mensen samen een enorme pizza hebben besteld, kun je niet simpelweg zeggen: "Persoon A heeft de hele pizza opgegeten." Je moet berekenen hoeveel elke persoon heeft bijgedragen aan de totale kosten. CAR doet dit wiskundig om de "schuld" eerlijk te verdelen tussen interagerende stappen.

Heeft het gewerkt?

De auteurs hebben hun tool getest op nep, verzonnen scenario's waarbij ze het antwoord vooraf kenden (zoals een wiskundeprobleem met een bekende oplossing).

Resultaat: De tool identificeerde correct de enkele stap die de fout veroorzaakte.
Resultaat: De tool verdeelde de schuld correct tussen twee stappen die samen een falen veroorzaakten.

De Kern van het Verhaal

Dit paper introduceert een tool die niet alleen kijkt hoe AI-agenten falen; het spoelt de tape terug, verandert één beslissing en draait de film opnieuw om wetenschappelijk te bewijzen welke stap het probleem veroorzaakte. Het beweegt van "gokken" naar "testen", waardoor ontwikkelaars een duidelijk en zelfverzekerd antwoord krijgen op wat ze moeten repareren.

De tool is open-source (gratis te gebruiken) en werkt met zowel cloud-gebaseerde als lokale AI-modellen.

Technische Samenvatting: Causal Agent Replay (CAR)

Probleemstelling

Wanneer een LLM-agent faalt—of het nu gaat om het onterecht verwerken van een terugbetaling, het aanroepen van de verkeerde tool, of het lekken van gegevens—kunnen bestaande observabiliteits- en evaluatietools alleen beschrijven wat er is gebeurd of vaststellen of de uitkomst een pass of fail is. Ze falen in het identificeren van welke specifieik stap de fout heeft veroorzaakt.

Huidige heuristieken voor attributie zijn fundamenteel gebrekkig:

Verwarring tussen Mechanisch en Decisioneel: De stap die een schadelijke actie uitvoert (bijv. het aanroepen van issue_refund) is vaak slechts een mechanisch gevolg van een beslissing die in een eerdere stap is genomen. Het de schuld geven aan de uitvoeringstap is een categoriefout.
Onbetrouwbare LLM-judges: Het gebruik van een LLM om het transcript te beoordelen is correlationeel in plaats van causaal. Op de "Who&When" benchmark is de state-of-the-art stap-niveau attributienauwkeurigheid van LLM-judges ongeveer 14%.

De kernuitdaging is dat LLM-agenten opereren via stochastische policies. Een eenvoudige replay onthult geen causaliteit omdat de uitkomst het resultaat is van een complexe trajectorie van beslissingen en observaties.

Methodologie: Causal Agent Replay (CAR)

CAR adresseert dit door een agent-run te modelleren als een Structural Causal Model (SCM) en causaliteit te bepalen door middel van interventie in plaats van correlatie.

1. Formalisering

Een agent-traject $\tau$ wordt gemodelleerd als een sequentie van staten, acties, observaties en een uitkomst:
$\tau = [s_0, (a_1, o_1), (a_2, o_2), \dots, (a_n, o_n), y]$
Waar $s_k$ de staat is, $a_k \sim \pi(\cdot | s_k)$ de actie is getrokken uit de stochastische policy, $o_k$ het resultaat van de tool is, en $y$ de uitkomstscore is.

2. Interventie-algebra

CAR implementeert een do(·) operatie op specifieke stappen, waarbij de agent wordt gedwongen om downstream acties opnieuw te beslissen onder dezelfde stochastische policy. Vijf operaties zijn gedefinieerd:

do_resample: Trekt opnieuw een actie $a_k$ uit de ongewijzigde policy (de null-interventie). Dit meet de intrinsieke causale sensitiviteit van de uitkomst voor die stap.
do_action: Forceert een specifieke actie $a_k$ .
do_observation: Vervangt de observatie $o_k$ .
do_context: Bewerk de historie bij stap $k$ .
do_policy: Vervangt het model vanaf stap $k$ onward.

3. Getrouwe Replay en Niet-determinisme

Om te interveniëren bij stap $k$ , moet het systeem de exacte staat $s_k$ reconstrueren. CAR hanteert een record-replay discipline, waarbij alle niet-deterministische inputs worden vastgelegd. Het erkent dat hosted providers niet perfect deterministisch zijn (door floating-point non-associativiteit en batch kernels). Bij consequentie rapporteert CAR een action-match rate voor de replay-getrouwheid in plaats van perfecte reproduceerbaarheid te claimen. Lokale modellen met vaste seeds vertonen een exacte replay, wat de distributionele inkadering valideert.

4. Attributie-schatters

Omdat interventies een distributie van uitkomsten opleveren in plaats van één enkel pad, gebruikt CAR statistische schatters met betrouwbaarheidsintervallen.

Contrastieve Single-Step Estimator:
Voor elke stap $k$ houdt het systeem de stappen $[0, k)$ vast op hun feitelijke acties, past het do_resample(k) toe, en voert $K$ keer de forward run uit om de verschuiving in de waarschijnlijkheid van een "slechte" uitkomst te schatten.
- De Run-Forward Confound: Het resamplen van stap $k$ zorgt er onbedoeld voor dat alle downstream stochastische stappen opnieuw worden gerold. Dit veroorzaakt dat vroege, irrelevante stappen causaal lijken omdat ze een een werkelijk cruciale downstream stap triggeren om opnieuw te rollen.
- Point-of-Commitment Rule: Om dit op te lossen, identificeert CAR de causale locus als de laatste stap waarvan het effect-betrouwbaarheidsinterval nog steeds nul uitsluit. Dit is het laatste punt waar herbeslissen nog steeds de run kan "redden"; voorbij dit punt is de uitkomst gecommitteerd.
Budget-Bounded Monte-Carlo Shapley Estimator:
Single-step methoden falen bij het vastleggen van interacties (bijv. een AND-fout waarbij twee stappen beide moeten falen). CAR gebruikt Shapley-waarden om krediet te verdelen over interagerende stappen.
- Het schat marginale bijdragen over alle coalitie-contexten met behulp van Monte-Carlo permutatie-sampling met antithetische reverse-permutation pairing.
- Geen Caching: Waarden $v(S)$ worden niet gecached over permutaties om te voorkomen dat de per-stap marginale variantie naar nul convergeert, wat zou leiden tot valse zekerheid.
- De estimator is budget-gebonden met een circuit breaker en wordt on-demand uitgevoerd.

Belangrijkste Bijdragen

SCM Formalisering: Het formaliseren van agent-runs als SCMs en het definiëren van een vijf-operatie interventie-algebra.
Distributionele Inkadering: Het bouwen van het systeem rondom uitkomst-distributies met betrouwbaarheidsintervallen om stochastische policies te behandelen.
Point-of-Commitment Rule: Het identificeren en oplossen van de specifieke confound waarbij het resamplen van een stap de downstream stochastiek opnieuw laat rollen, gebruikmakend van een regel om de ware causale locus te lokaliseren.
Interactie-afhandeling: Het bieden van een Shapley-estimator om correct krediet te verdelen in interagerende stappen waar single-step methoden structureel falen.
Validatie tegen Ground Truth: Het valideren van de methode tegen synthetische SCMs met bekende ground truth, waarbij wordt beargumenteerd dat dit essentieel is voor elke attributiemethode.

Resultaten en Validatie

CAR werd gevalideerd tegen synthetische SCMs met bekende ground truth:

Pivotal Step Recovery: In een drie-staps SCM waarbij de middelste stap de cruciale beslissing was, herstelde de contrastieve estimator de locus correct bij die stap. Resampling downstream toonde geen significant effect, wat overeenkomt met de point-of-commitment semantiek.
Interaction Recovery: In een SCM waar de uitkomst alleen slecht was als twee specifieke stappen faalden, verdeelde de Shapley-estimator het krediet correct ( $\phi_0 \approx 0,44, \phi_1 \approx 0,45, \phi_2 \approx 0$ ). De efficiëntiesom was 0,909, wat nauw aansluit bij de analytische waarde van 0,91.
Contrastieve Beperking: Bij dezelfde interactie-run overtelde de contrastieve estimator (effecten overschreden de werkelijke totale bijdrage), wat de noodzaak van de Shapley-estimator voor interacties demonstreert.

Betekenis en Claims

Het artikel claimt dat CAR de vraag "welke stap veroorzaakte de fout" beantwoordt door middel van interventie in plaats van correlatie. De betekenis ligt in de specifieke combinatie van:

Uitgevoerde do_resample interventies met dezelfde policy (het vermijden van oracle substitutie of LLM tekst-beoordeling).
Distributionele uitkomsten met betrouwbaarheidsintervallen.
De point-of-commitment rule om run-forward confounds aan te pakken.
Shapley credit-splitting voor interacties.
Validatie tegen synthetische ground truth.

Het systeem is open source en ontworpen om te draaien op zowel hosted als gratis lokale modellen.

Beperkingen

De auteurs noemen enkele beperkingen:

Direct vs. Totaal Effect: Het contrastieve effect meet het totale effect door een stochastische voortzetting. Het isoleren van het directe effect van een stap zou common random numbers over verschillende branches vereisen, wat moeilijk is bij uiteenlopende LLM-contexten.
Uitkomstruis: Judge-gebaseerde uitkomstfuncties introduceren ruis; regel-gebaseerde uitkomsten hebben de voorkeur voor betrouwbaarheid.
Bijwerkingen: Echte tools met bijwerkingen vallen buiten de scope; demonstraties gebruiken gemockte, reproduceerbare tools.
Computationele Kosten: Shapley-estimatie is exponentieel in het slechtste geval; de Monte-Carlo benadering is budget-gebonden en vormt een reële afweging tussen variantie en budget.