Résumé Technique : Causal Agent Replay (CAR)

Énoncé du Problème

Lorsqu'un agent LLM échoue — qu'il s'agisse d'émettre un remboursement incorrect, d'appeler le mauvais outil ou de fuiter des données — les outils d'observabilité et d'évaluation existants ne peuvent que décrire ce qui s'est passé ou déterminer si le résultat est un succès ou un échec. Ils échouent à identifier quelle étape spécifique a causé l'échec.

Les heuristiques actuelles d'attribution sont fondamentalement erronées :

1. Confusion Mécanique vs Décisionnelle : L'étape exécutant une action préjudiciable (ex: appeler issue_refund) n'est souvent que la conséquence mécanique d'une décision prise lors d'une étape antérieure. Blâmer l'étape d'exécution est une erreur de catégorie.
2. Juges LLM peu Fiables : Utiliser un LLM pour juger la transcription est une corrélation plutôt qu'une causalité. Sur le benchmark "Who&When", la précision de l'attribution au niveau de l'étape par les juges LLM est d'environ 14 %.

Le défi central est que les agents LLM opèrent via des politiques stochastiques. Un simple rejeu ne révèle pas la causalité car le résultat est le fruit d'une trajectoire complexe de décisions et d'observations.

Méthodologie : Causal Agent Replay (CAR)

CAR traite ce problème en modélisant l'exécution d'un agent comme un Modèle Causal Structurel (SCM) et en déterminant la causalité par l'intervention plutôt que par la corrélation.

1. Formalisation

Une trajectoire d'agent $\tau$ est modélisée comme une séquence d'états, d'actions, d'observations et d'un résultat :
$$\tau = [s_0, (a_1, o_1), (a_2, o_2), \dots, (a_n, o_n), y]$$
Où $s_k$ est l'état, $a_k \sim \pi(\cdot | s_k)$ est l'action tirée de la politique stochastique, $o_k$ est le résultat de l'outil, et $y$ est le score du résultat.

2. Algèbre d'Intervention

CAR implémente une opération do(·) sur des étapes spécifiques, forçant l'agent à redécider les actions en aval sous la même politique stochastique. Cinq opérations sont définies :

• do_resample : Redessine l'action $a_k$ à partir de la politique inchangée (l'intervention nulle). Cela mesure la sensibilité causale intrinsèque du résultat à cette étape.
• do_action : Force une action $a_k$ spécifique.
• do_observation : Remplace l'observation $o_k$.
• do_context : Édite l'historique à l'étape $k$.
• do_policy : Remplace le modèle à partir de l'étape $k$.

3. Rejeu Fidèle et Non-déterminisme

Pour intervenir à l'étape $k$, le système doit reconstruire l'état exact $s_k$. CAR adopte une discipline de "record-replay" (enregistrement-rejeu), enregistrant toutes les entrées non déterministes. Il reconnaît que les fournisseurs hébergés ne sont pas parfaitement déterministes (en raison de la non-associativité des nombres à virgule flottante et des noyaux de calcul par lots). Par conséquent, CAR rapporte un taux de correspondance d'action pour la fidélité du rejeu plutôt que d'affirmer une reproductibilité parfaite. Les modèles locaux avec des graines (seeds) fixes sont notés comme se rejouant exactement, validant ainsi le cadre distributionnel.

4. Estimateurs d'Attribution

Parce que les interventions produisent une distribution de résultats plutôt qu'un chemin unique, CAR utilise des estimateurs statistiques avec des intervalles de confiance.

• Estimateur Contrastif à Étape Unique :
  Pour chaque étape $k$, le système maintient les étapes $[0, k)$ à leurs actions factuelles, applique do_resample(k), et exécute $K$ fois vers l'avant pour estimer le décalage de la probabilité d'un résultat "mauvais".

  • Le Conflit de Propagation (Run-Forward Confound) : Le rééchantillonnage de l'étape $k$ provoque involontairement le nouveau tirage de toutes les étapes stochastiques en aval. Cela fait apparaître des étapes précoces et non pertinentes comme causales car elles déclenchent un nouveau tirage d'une étape en aval véritablement pivotale.
  • Règle du Point d'Engagement (Point-of-Commitment Rule) : Pour résoudre cela, CAR identifie le locus causal comme la dernière étape dont l'intervalle de confiance de l'effet exclut encore zéro. C'est le dernier point où une nouvelle décision peut encore "sauver" l'exécution ; au-delà de ce point, le résultat est engagé.

• Estimateur de Shapley de Monte-Carlo à Budget Limité :
  Les méthodes à étape unique échouent à capturer les interactions (ex: un échec de type "ET" où deux étapes doivent toutes deux échouer). CAR utilise les valeurs de Shapley pour répartir le crédit entre les étapes en interaction.

  • Il estime les contributions marginales sur tous les contextes de coalitions en utilisant l'échantillonnage par permutations de Monte-Carlo avec appariement de permutations inverses antithétiques.
  • Pas de Mise en Cache : Les valeurs $v(S)$ ne sont pas mises en cache à travers les permutations pour éviter de réduire la variance marginale par étape à zéro, ce qui produirait une fausse confiance.
  • L'estimateur est limité par un budget avec un disjoncteur et est exécuté à la demande.

Contributions Clés

1. Formalisation SCM : Modélisation des exécutions d'agents comme des SCM et définition d'une algèbre d'intervention à cinq opérations.
2. Cadre Distributionnel : Construction du système autour de distributions de résultats avec intervalles de confiance pour gérer les politiques stochastiques.
3. Règle du Point d'Engagement : Identification et résolution du conflit spécifique où le rééchantillonnage d'une étape provoque un nouveau tirage de la stochasticité en aval, en utilisant une règle pour localiser le véritable locus causal.
4. Gestion des Interactions : Fourniture d'un estimateur de Shapley pour attribuer correctement le crédit dans les étapes en interaction là où les méthodes à étape unique échouent structurellement.
5. Validation par Vérité de Terrain : Validation de la méthode contre des SCM synthétiques avec vérité de terrain implantée, arguant que cela est non-optionnel pour toute méthode d'attribution.

Résultats et Validation

CAR a été validé contre des SCM synthétiques avec une vérité de terrain connue :

• Récupération de l'Étape Pivotale : Dans un SCM à trois étapes où l'étape intermédiaire était la décision pivotale, l'estimateur contrastif a correctement récupéré le locus à cette étape. Le rééchantillonnage en aval n'a montré aucun effet significatif, correspondant à la sémantique du point d'engagement.
• Récupération des Interactions : Dans un SCM où le résultat était mauvais uniquement si deux étapes spécifiques échouaient, l'estimateur de Shapley a correctement réparti le crédit ($\phi_0 \approx 0,44, \phi_1 \approx 0,45, \phi_2 \approx 0$). La somme de l'efficacité était de 0,909, correspondant étroitement à la valeur analytique de 0,91.
• Limitation du Contrastif : Sur le même exécution d'interaction, l'estimateur contrastif a surestimé (les effets dépassaient la contribution totale réelle), démontrant la nécessité de l'estimateur de Shapley pour les interactions.

Signification et Revendications

L'article affirme que CAR répond à la question "quelle étape a causé l'échec" par l'intervention plutôt que par la corrélation. Sa signification réside dans la combinaison spécifique de :

1. Interventions do_resample exécutées avec la même politique (évitant la substitution par un oracle ou le jugement textuel par LLM).
2. Résultats distributionnels avec intervalles de confiance.
3. La règle du point d'engagement pour gérer les conflits de propagation.
4. La répartition du crédit par Shapley pour les interactions.
5. La validation par une vérité de terrain synthétique.

Le système est open source et conçu pour fonctionner sur des modèles locaux gratuits et hébergés.

Limitations

Les auteurs notent plusieurs limitations :

• Effet Direct vs Effet Total : L'effet contrastif mesure l'effet total à travers une continuation stochastique. Isoler l'effet direct d'une étape nécessiterait des nombres aléatoires communs entre les branches, ce qui est difficile à travers des contextes de LLM divergents.
• Bruit de Résultat : Les fonctions de résultat basées sur des juges injectent du bruit ; les résultats basés sur des règles sont préférables pour la confiance.
• Effets de Bord : Les outils réels ayant des effets secondaires sont hors de portée ; les démonstrations utilisent des outils simulés (mocked) et reproductibles.
• Coût Computationnel : L'estimation de Shapley est exponentielle dans le pire des cas ; l'approche de Monte-Carlo est limitée par un budget, impliquant un compromis réel entre variance et budget.