💬 NLP

Tracing Agentic Failure from the Flow of Success

Le document propose OAT, un modèle d'attribution de défaillance léger et non supervisé qui utilise l'apprentissage à une classe avec des équations différentielles contrôlées neuronales pour identifier les étapes d'erreur dans les systèmes agentiques basés sur les LLM, en modélisant la dynamique des trajectoires réussies, atteignant ainsi une vitesse et une précision nettement supérieures aux méthodes existantes basées sur le prompting ou supervisées.

Auteurs originaux : Samuel Yeh, Yiwen Zhu, Shaleen Deep, Sharon Li

Publié 2026-07-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Samuel Yeh, Yiwen Zhu, Shaleen Deep, Sharon Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardiez une équipe de robots assistants essayer de construire une cabane dans un arbre. Ils se parlent, saisissent des outils et mesurent du bois. Soudain, le toit s'effondre. La grande question est : quel mouvement spécifique a causé le désastre ? Ont-ils oublié de mesurer le bois ? Ont-ils utilisé le mauvais marteau ? Ou ont-ils trop discuté du design ?

Trouver cette seule mauvaise étape, c'est comme essayer de trouver une seule aigule perdue dans une botte de foin de mille actions de robots. Habituellement, pour résoudre cela, les experts doivent s'asseoir et étiqueter manuellement chaque erreur dans chaque tentative ratée, afin d'enseigner à une IA super intelligente (comme un cerveau géant) à repérer les erreurs. Mais c'est lent, coûteux et cela demande beaucoup de travail humain.

L'idée majeure du papier : Apprendre uniquement du succès
Les auteurs, Samuel Yeh et son équipe, disent : « Attendez une minute. Pourquoi devons-nous étudier les échecs pour trouver les erreurs ? Et si nous étudiions simplement les cabanes parfaites ? »

Ils proposent une nouvelle méthode appelée OAT (One-class Agent Tracing). Au lieu de nourrir l'IA avec une bibliothèque de robots cassés en lui demandant d'apprendre ce qu'est un « mal », ils ne lui donnent que les trajectoires réussies et parfaites. L'IA apprend le « rythme » ou le « flux » d'un travail parfait. Elle apprend comment un robot devrait bouger, penser et agir quand tout se passe bien.

Le tour de magie : Le fleuve invisible
C'est ici que cela devient passionnant. L'équipe traite les actions du robot comme un fleuve coulant à travers le temps. Ils utilisent un outil mathématique appelé Équations Différentielles Contrôlées Neurales (Neural CDEs). Voyez cela comme une carte super précise qui dessine le « chemin idéal » qu'un robot devrait suivre.

Lorsqu'un robot échoue, c'est comme si le fleuve heurtait soudainement un rocher ou tournait en tourbillons. Parce que l'IA sait exactement à quoi ressemble le fleuve fluide et réussi, elle peut instantanément repérer l'endroit où l'eau devient agitée. Elle attribue un « score de bizarrerie » (score d'anomalie) à chaque étape. Si une étape semble trop différente du flux parfait, l'IA la signale comme étant le coupable.

Ce qu'ils ont écarté
Le papier argumente explicitement contre deux méthodes courantes :

La méthode « Demander au cerveau géant » : Utiliser des modèles d'IA massifs et coûteux (comme GPT-5) pour lire toute l'histoire et deviner l'erreur. Les auteurs montrent que c'est trop lent et coûte trop cher.
La méthode « Tout étiqueter » : Essayer de collecter des milliers d'exemples de robots cassés et d'étiqueter manuellement chaque étape d'erreur. Les auteurs disent que c'est trop difficile et trop ambigu pour passer à l'échelle.

Les résultats : Rapide, peu coûteux et étonnamment efficace
L'équipe a testé leur idée sur des données réelles. Ils ont entraîné OAT sur seulement 100 parcours de robots réussis. Ensuite, ils l'ont confronté à des parcours défectueux qu'il n'avait jamais vus auparavant.

Vitesse : OAT est 200 à 5 000 fois plus rapide que de demander aux grands modèles d'IA. Cela ne coûte aucun argent supplémentaire en frais de « tokens » car il n'a pas besoin de discuter avec un grand modèle pour résoudre le problème.
Précision : Même si elle n'a vu que 100 exemples parfaits, OAT a battu les géants de l'IA. Dans des tests sur des tâches similaires, OAT était 20 % meilleure pour trouver les erreurs. Sur des tâches totalement différentes et complexes, elle était encore 7 % meilleure.
Le « Gardien » : Ils ont ajouté une « porte » spéciale à leur modèle mathématique. Cette porte aide le système à rester calme lorsqu'il voit un robot agir de manière totalement étrange, comme un robot venant d'une autre planète. Cette porte a rendu le système bien meilleur pour gérer des situations nouvelles et inconnues sans être confus.

À quel point sont-ils sûrs ?
Les auteurs sont très confiants dans ces chiffres car ils ont testé l'expérience plusieurs fois avec différentes graines aléatoires (random seeds) et ont obtenu des résultats cohérents. Ils ont mesuré la performance à l'aide de scores mathématiques standards (comme les scores F1 et AUROC) et ont constaté qu'OAT surpassait systématiquement la concurrence.

Cependant, ils précisent avec prudence que si le système fonctionne très bien, il n'est pas parfait. Dans certains cas, il pourrait manquer la toute première erreur, mais il attrape toujours les étapes où l'erreur devient évidente. Ils suggèrent qu'avec quelques ajustements, il pourrait s'améliorer encore, mais pour l'instant, ils ont prouvé qu'apprendre du succès est une façon puissante, pratique et rapide de diagnostiquer l'échec.

L'essentiel
Au lieu d'étudier les débris pour comprendre ce qui s'est mal passé, OAT apprend le plan d'une construction parfaite. Quand quelque chose s'effondre, elle sait instantanément quelle brique a été posée incorrectement, et elle le fait à la vitesse de l'éclair sans avoir besoin d'un supercalculateur. C'est une nouvelle façon efficace de déboguer les robots du futur.

Résumé technique : Tracer l'échec agentique à partir du flux de succès

Énoncé du problème

Le papier traite de l'attribution des échecs dans les systèmes agentiques basés sur les LLM : la tâche consistant à identifier quelles étapes spécifiques dans une trajectoire d'échec ont causé l'échec du système. Les approches existantes reposent soit sur :

Des pipelines basés sur le prompting : Utiliser des LLM de pointe pour analyser les trajectoires, ce qui engendre des coûts de jetons (tokens) et une latence élevés.
L'apprentissage supervisé : Entraîner des modèles sur des trajectoires d'échec avec des annotations d'erreurs au niveau de l'étape. Cela est coûteux à mettre à l'échelle en raison de la difficulté de collecter des étiquettes de haute qualité et non ambiguës au niveau de l'étape.

Les auteurs proposent un nouveau cadre de problème : l'Attribution d'échec non supervisée. L'objectif est d'entraîner un modèle exclusivement sur des trajectoires réussies (qui sont faciles à collecter comme sous-produits du fonctionnement normal) et de l'utiliser pour identifier les étapes d'erreur dans les trajectoires d'échec lors de l'inférence, sans aucune supervision au niveau de l'étape sur les données d'échec.

Méthodologie : OAT (One-class Agent Tracing)

Les auteurs proposent OAT, un modèle léger qui cadre l'attribution d'échec comme un problème d'apprentissage à une classe (one-class learning) dans l'espace de représentation latente d'un LLM.

1. Représentation latente

Pour une trajectoire $\tau = (Q, a_1, s_1, \dots, a_T)$ , chaque étape $t$ est représentée par un vecteur latent $h_t$ extrait des états cachés du LLM générant l'action $a_t$ . La requête $Q$ est également représentée par $h_Q$ .

2. Modélisation de trajectoire continue via les Neural CDEs

Au lieu de traiter les étapes comme des événements discrets (comme dans les RNN ou les Transformers), OAT modélise la trajectoire comme un chemin latent continu.

Équations Différentielles Contrôlées Neurales (Neural CDEs) : Le modèle traite la séquence de représentations d'étapes comme des observations échantillonnées de manière irrégulière d'une fonction continue sous-jacente. Une Neural CDE apprend la dynamique des trajectoires réussies en conditionnant l'évolution de l'état latent sur le chemin de la trajectoire observée $X(u)$ .
Chemin de contrôle à porte (Gated Control Path) : Pour gérer les entrées hors distribution (OOD) où les signaux de contrôle (dérivées de la trajectoire) pourraient être spécieux, OAT introduit une fonction de porte (gating function). Cette fonction supprime de manière adaptative les signaux de contrôle qui dévient significativement de la distribution d'entraînement, améliorant ainsi la robustesse sans sacrifier l'expressivité en domaine.

3. Détection d'anomalies

Lors de l'inférence, étant donné une trajectoire d'échec :

Le modèle prédit l'état latent attendu $\hat{h}(u_t)$ pour chaque étape en se basant sur la dynamique apprise des trajectoires réussies.
Un score d'anomalie $e_t$ est calculé comme l'erreur de reconstruction au carré : $e_t = \|h'_t - \hat{h}(u_t)\|^2_2$ .
Stratégies de détection :
- Top-k : Sélectionne les $k$ étapes ayant les scores d'anomalie les plus élevés.
- Prédiction Conforme (CP) : Utilise un ensemble de calibration de trajectoires réussies pour fixer un seuil $\delta$ qui contrôle le taux de faux positifs, signalant les étapes où $e_t > \delta$ .

Principales contributions

Formulation du problème : Introduction de l'Attribution d'échec non supervisée, éliminant le besoin d'annotations coûteuses au niveau de l'étape sur les données d'échec en s'entraînant uniquement sur des trajectoires réussies.
Architecture du modèle (OAT) : Proposition d'une approche d'apprentissage à une classe en temps continu utilisant des Neural CDEs avec un nouveau chemin de contrôle à porte pour modéliser la dynamique des agents et détecter les déviations localisées.
Validation empirique : Démontré que OAT surpasse les baselines basées sur le prompting (incluant GPT-4o et GPT-5) tant dans les contextes in-domain qu'OOD, tout en étant nettement plus rapide et moins coûteux.

Résultats expérimentaux

Le modèle a été entraîné sur 100 trajectoires réussies du jeu de données MCP-Atlas et évalué sur des trajectoires d'échec issues de MCP-Atlas (in-domain) et de Who&When (OOD).

Performance :
- In-domain (MCP-Atlas) : OAT a surpassé les baselines de prompting de +20 % de score F1 et +10 % d'AUPRC.
- Hors distribution (Who&When) : OAT a surpassé les baselines de +7 % de score F1 et +5 % d'AUPRC, malgré des différences structurelles et de modèles significatives entre les jeux de données d'entraînement et de test.
Efficacité :
- OAT nécessite zéro coût de jetons lors de l'inférence.
- Il est 200 à 5000 fois plus rapide que les approches basées sur le prompting (latence d'environ 7 ms contre plus de 4000 ms).
- Il peut être déployé sur moins de 1 Go de VRAM.
Études d'ablation :
- Neural CDE vs. ODE : Les CDE ont nettement mieux performé que les Neural ODE, confirmant l'importance du conditionnement sur les étapes de la trajectoire observée.
- Gating (Porte) : Le chemin de contrôle à porte a considérablement amélioré les performances OOD (+0,172 AUROC) avec un compromis mineur sur les performances in-domain.
- Sélection de couche : Les représentations des couches ultérieures du LLM ont fourni des signaux plus forts pour la détection d'anomalies que les couches antérieures.

Signification et affirmations

Le papier affirme que OAT offre une direction pratique, efficace et pertinente pour diagnostiquer les défaillances des systèmes agentiques. En passant de l'apprentissage supervisé de l'échec à l'apprentissage non supervisé sur le succès, l'approche élimine le goulot d'étranglement de l'annotation. Les auteurs soulignent que leur méthode rend l'attribution d'échec en temps réel pratique pour la première fois, permettant le déploiement d'outils de diagnostic dans des contextes à enjeux élevés (ex: codage, recherche scientifique) sans le coût prohibitif de l'exécution de LLM de pointe pour chaque requête de diagnostic. Le travail suggère que le « flux de succès » contient un signal suffisant pour identifier et localiser le « flux d'échec ».