Résumé technique : Évaluation basée sur l'état proxy pour les agents LLM multi-tours appelant des outils

Énoncé du problème

Les agents interactifs de modèles de langage (LLM) sont de plus en plus déployés dans des flux de travail industriels (par exemple, commerce, gestion de comptes) pour résoudre des tâches multi-tours et multi-étapes impliquant l'appel d'outils. Un développement efficace nécessite deux composantes : (1) une évaluation stable reflétant avec précision si un agent atteint les objectifs de l'utilisateur, et (2) une génération de données sur la politique actuelle pour permettre l'apprentissage à partir de l'interaction et des retours de l'environnement.

Les benchmarks d'agents actuels (par exemple, $\tau$-bench, $\tau^2$-bench, AppWorld) utilisent un paradigme de « benchmark-environnement » avec une évaluation basée sur l'état final. Bien que cette approche note correctement les états de base de données terminaux plutôt qu'une correspondance rigide de trajectoires, elle repose sur des backends entièrement déterministes. La construction et l'itération sur ces moteurs déterministes exigent un effort d'ingénierie substantiel (par exemple, conception de schémas, outils déterministes, assertions), certains benchmarks nécessitant des dizaines de milliers de lignes de code et des tests unitaires étendus. Ce fardeau d'ingénierie ralentit l'itération et limite l'évolutivité pour les applications industrielles.

La question centrale abordée est : Pouvons-nous conserver les avantages de l'évaluation basée sur l'état final sans construire un backend déterministe lourd ?

Méthodologie : Évaluation basée sur l'état proxy

Les auteurs proposent l'Évaluation basée sur l'état proxy, un cadre de simulation piloté par un LLM qui remplace la base de données déterministe par un « état proxy » inféré par un LLM. Le système fonctionne comme un « benchmark-environnement » composé de cinq composants LLM coopérants :

1. Spécification du scénario ($z$) : Un objet structuré définissant l'objectif de l'utilisateur, les faits de l'utilisateur, les faits du système (état initial), l'état proxy final attendu et le comportement attendu de l'agent. Cela remplace le besoin d'une trajectoire de vérité terrain.
2. Agent de raisonnement (RA) : Le modèle en cours d'évaluation, qui suit une boucle de style ReAct (raisonner $\to$ agir $\to$ observer) pour interagir avec l'environnement via un dialogue multi-tours et des appels d'outils multi-étapes.
3. Simulateur d'utilisateur ($f_{user}$) : Génère des énonciations d'utilisateur conditionnées aux faits de l'utilisateur du scénario, aux objectifs et à une persona spécifique (par exemple, utilisateur expert, confus, ambigu).
4. Simulateurs d'outils ($f_{tool}$) : Simulent les réponses des outils (par exemple, gestion de comptes, commerce) en « lisant » et « écrivant » dans l'état proxy actuel basé sur les sous-requêtes de l'RA et les faits du système.
5. Suiveur d'état ($f_{state}$) : Un composant LLM qui infère l'état proxy structuré ($\tilde{s}_{t,k}$) à partir de la trace d'interaction complète jusqu'à l'étape $(t,k)$. Contrairement aux mises à jour d'état étape par étape, il se conditionne sur tout le préfixe de la trajectoire pour assurer une robustesse face à l'accumulation d'erreurs.
6. Juges LLM :
   • Juge de complétion de l'objectif : Évalue l'état proxy final et la réponse de l'agent par rapport à l'état final attendu et au comportement du scénario pour classer les résultats (objectif atteint, erreur utilisateur ou erreur agent).
   • Juge de détection d'hallucinations : Détecte si le simulateur d'outils ou le simulateur d'utilisateur a généré des informations incompatibles avec les contraintes du scénario.

Métriques d'évaluation : Le cadre mesure les taux de complétion de l'objectif (GC), les taux d'erreur utilisateur/agent et les taux d'hallucination (outil et utilisateur). Il prend en charge à la fois la génération de données sur la politique actuelle (pour l'affinement par échantillonnage de rejet) et la génération de données hors politique (pour l'affinement supervisé).

Contributions clés

1. Formalisation de l'évaluation basée sur l'état proxy : L'article formalise un benchmark pratique qui préserve les principes de l'évaluation basée sur l'état sans exiger de backend déterministe, en utilisant un état proxy inféré par un LLM extrait des traces d'interaction.
2. Schéma de scénario et architecture des composants : Il introduit un schéma de scénario spécifique et une architecture LLM à cinq composants (Agent de raisonnement, Simulateur d'utilisateur, Simulateurs d'outils, Suiveur d'état, Juge) qui coopèrent pour simuler des flux de travail complexes.
3. Cadre de fiabilité : Les auteurs définissent des critères de fiabilité incluant les erreurs standards bootstrap, les taux d'hallucination et l'accord humain-LLM juge. Ils exécutent des ablations ciblées sur la sensibilité à la persona, l'exhaustivité des faits système/utilisateur et la force du suiveur d'état.
4. Génération de données évolutives : L'environnement génère des déploiements évolutifs sur et hors politique adaptés au post-entraînement (SFT/RFT) et fournit des métriques stables pour la comparaison des modèles.

Résultats

Le benchmark a été évalué sur diverses familles de modèles (GPT-5, GPT-4o, Gemini-2.5, Qwen3) et efforts de raisonnement :

• Différenciation des modèles : Les taux de complétion de l'objectif (GC) augmentent de manière cohérente avec la puissance du modèle et l'effort de raisonnement au moment de l'inférence. Par exemple, au sein de la famille GPT-5, un effort de raisonnement plus élevé produit des gains GC monotones (Élevé : 85,76 % > Minimal : 66,04 %).
• Efficacité de l'entraînement : L'entraînement du modèle de base Qwen3-30B-A3B dans cet environnement a considérablement amélioré les performances. L'affinement supervisé (SFT) utilisant des données hors politique d'un enseignant plus puissant a augmenté le GC de 65,64 % à 77,34 %. L'affinement par échantillonnage de rejet (RFT) a également produit des améliorations.
• Robustesse à la complexité : Bien que les performances diminuent avec la profondeur de la conversation pour les modèles de base, l'entraînement SFT apporte des gains substantiels dans les conversations longues (+26,69 points de pourcentage), indiquant que le signal d'entraînement se généralise à des interactions multi-étapes plus difficiles.
• Fiabilité et hallucinations :
  • Accord Humain-LLM : A dépassé 90 %, validant l'évaluation automatisée.
  • Hallucinations du simulateur : Sous les configurations par défaut (GPT-5o avec effort de raisonnement moyen), les taux d'hallucination des outils et des utilisateurs étaient proches de zéro (1,33 % et 0,67 % respectivement).
  • Résultats des ablations : La suppression des faits système ou des faits utilisateurs des scénarios a provoqué une augmentation monotone des taux d'hallucination, confirmant qu'une spécification méticuleuse du scénario est cruciale. Des suiveurs d'état plus faibles (par exemple, GPT-4o) ont augmenté les taux d'hallucination des outils, soulignant la nécessité d'une inférence d'état précise.
• Robustesse inter-modèles : Les classements des modèles et les gains d'entraînement sont restés cohérents même lorsque les modèles simulateur et juge étaient échangés (par exemple, en utilisant Gemini-2.5-Pro au lieu de GPT-5o), écartant un biais circulaire provenant d'une configuration à famille de modèles unique.

Importance et affirmations

L'article affirme que l'évaluation basée sur l'état proxy offre une alternative pratique et évolutive aux benchmarks d'agents déterministes pour les agents LLM industriels. En découplant l'évaluation basée sur l'état du fardeau d'ingénierie de la construction de backends déterministes, le cadre permet :

• Itération plus rapide : Les scénarios peuvent être mis en place rapidement et évoluer avec les feuilles de route produits sans ingénierie de code extensive.
• Évaluation rigoureuse : Il maintient la rigueur de la vérification de l'état final tout en soutenant la flexibilité de multiples chemins corrects d'appel d'outils.
• Entraînement efficace : Il génère des données de haute qualité sur et hors politique qui améliorent avec succès les agents à poids ouverts via SFT et RFT, avec des gains se transférant à des scénarios non vus.

Les auteurs positionnent ce travail non pas comme un remplacement de tous les tests déterministes, mais comme une évolution nécessaire pour les environnements industriels où le coût des backends déterministes est prohibitif, alors que le besoin d'une évaluation basée sur l'état et orientée vers les objectifs reste primordial.