Résumé technique : Counsel – Un ensemble de données de méta-évaluation pour les tâches agentiques

Énoncé du problème

À mesure que les systèmes agentiques sont déployés pour gérer des tâches de plus en plus complexes et multi-étapes, l'évaluation de leurs trajectoires d'exécution est devenue un goulot d'étranglement critique. L'annotation humaine d'une seule trajectoire d'agent sur les benchmarks populaires (par exemple, SWE-bench) peut prendre des heures, ce qui rend difficile l'évaluation à grande échelle pour la mesure de la performance ou la curation de données d'entraînement. Par conséquent, le domaine s'est tourné vers des approches automatisées, spécifiquement le LLM-as-a-Judge (LLMJ) (le LLM en tant que juge), pour critiquer les agents tant au niveau du processus (étape par étape) qu'au niveau du résultat.

Cependant, une lacune importante subsiste : bien que les LLMJ soient largement utilisés pour la curation de données, l'entraînement et le déploiement, la solidité de leurs critiques est rarement mesurée. Les efforts de méta-évaluation existants se limitent généralement à comparer les jugements finaux (scores/préférences) par rapport à la vérité terrain humaine. Ils manquent de données granulaires au niveau du processus pour déterminer si un LLMJ a correctement identifié où une erreur s'est produite et si son raisonnement concernant cette erreur était fondé. Cette absence de données de méta-évaluation entrave la capacité de calibrer, d'améliorer ou d'entraîner directement les LLMJ pour produire des retours diagnostiques de plus haute qualité.

Méthodologie

Les auteurs introduisent Counsel, le premier ensemble de données public de méta-évaluations pour les tâches agentiques. La construction de l'ensemble de données repose sur un pipeline en trois étapes :

1. Génération de trajectoires d'agents

Les auteurs ont généré des trajectoires d'agents en utilisant des modèles à poids ouverts sur deux benchmarks distincts :

• $\tau$-bench (Retail) : Un benchmark de support client simulant des interactions multi-tours entre outil, agent et utilisateur. Les auteurs ont utilisé le sous-ensemble retail (115 tâches).
• DA-Code : Un benchmark de génération de code en science des données impliquant des flux de travail complexes (nettoyage, analyse, modélisation) dans un environnement sandboxé. Les auteurs ont utilisé les sous-ensembles Data Insights et Data Manipulation (50 tâches).

Modèles d'agents : Pour assurer des modes de défaillance hétérogènes, les trajectoires ont été générées en utilisant :

• GPT-OSS-20B : Un modèle Mixture-of-Experts (MoE) de 20 milliards de paramètres avec des capacités de raisonnement moyennes.
• Qwen3-235B-A22B-Instruct-2507 : Un modèle MoE de 235 milliards de paramètres sans raisonnement explicite (pensée de Système 1).

2. Génération de critiques par le juge

Chaque étape (span) des trajectoires d'agents a été évaluée par des LLMJ à poids ouverts. Les juges ont reçu le même contexte disponible pour l'agent à cette étape (sans information sur le futur) et avaient pour tâche de :

• Identifier si une erreur s'est produite dans l'étape actuelle.
• Fournir une critique concise et lisible par l'humain expliquant l'erreur.
• Catégoriser le type d'erreur (ex: raisonnement, utilisation d'outil, flux de travail).

Modèles de juges : Pour induire une variation systématique, les auteurs ont employé :

• GPT-OSS-120B : Évalué dans des configurations de raisonnement faible et élevé.
• Qwen3-235B-A22B-Instruct-2507 : Utilisé comme base de référence sans raisonnement.
• L'étude comprenait des appariements de même famille (ex: GPT jugeant GPT) et de familles croisées pour analyser le biais de préférence de soi.

3. Méta-évaluation humaine

Des annotateurs humains (trois professionnels de la science des données ayant plus de 10 ans d'expérience) ont examiné les sorties des juges. Crucialement, les annotateurs avaient accès à la trajectoire complète (étapes passées et futures), contrairement aux juges qui ne voyaient que le contexte actuel.

Schéma d'annotation : Les annotateurs ont étiqueté chaque segment signalé dans l'une des trois catégories suivantes :

1. Exact (Spot on) : L'emplacement de l'erreur est correct, et le raisonnement est correct.
2. Emplacement correct mais raisonnement médiocre : L'emplacement de l'erreur est identifié correctement, mais l'explication est défectueuse ou inadéquate.
3. N'aurait pas dû signaler : Le juge a identifié à tort une erreur (tant l'emplacement que le raisonnement sont erronés).

Les annotateurs ont obtenu un $\alpha$ de Krippendorff de 0,78, indiquant une haute concordance inter-annotateurs.

Contributions clés

1. Dataset Counsel : Un ensemble de données public, sous licence permissive, contenant 1 131 méta-annotations humaines de critiques de juges à travers 225 trajectoires d'agents uniques.
2. Méta-évaluation granulaire : Contrairement aux travaux précédents axés sur les scores finaux, Counsel fournit des étiquettes pour l'identification de l'erreur et la qualité du raisonnement, permettant d'évaluer l'utilité diagnostique des LLMJ.
3. Écosystème de modèles à poids ouverts : L'ensemble du pipeline (agents, juges et génération de l'ensemble de données) repose sur des modèles à poids ouverts, facilitant l'utilisation large par la communauté et la reproductibilité.

Résultats et analyse

Les auteurs présentent plusieurs conclusions clés issues de l'analyse du dataset :

• Variance de la performance des juges :
  • Effort de raisonnement : Les juges avec un effort de raisonnement plus élevé (GPT-OSS-120B:high) ont obtenu une concordance humaine nettement meilleure que leurs homologues à faible raisonnement. Le juge le plus performant a atteint ~88 % de concordance sur l'emplacement de l'erreur et ~65 % de concordance sur la qualité du raisonnement.
  • Spécificité du domaine : La précision des critiques variait selon le domaine. Par exemple, Qwen3 a obtenu une précision "Exact" de 43 % sur DA-Code mais de 63 % sur $\tau$-bench retail, suggérant que l'efficacité du juge dépend de l'environnement.
• Biais de préférence de soi : L'étude a analysé si les juges étaient plus indulgents envers les agents de la même famille de modèles. Des tests statistiques (tests normaux unilatéraux pour les proportions) n'ont trouvé aucun biais de préférence de soi significatif chez les juges évalués.
• Localisation de l'erreur vs Rappel : La conception du dataset privilégie la précision (examiner uniquement les erreurs signalées) plutôt que le rappel. Bien que le dataset permette des comparaisons de rappel relatif (en comparant les vrais positifs entre les juges), il ne mesure pas le taux auquel les juges échouent à signaler des erreurs existantes.

Signification et affirmations

L'article positionne Counsel comme une ressource fondamentale pour l'étude rigoureuse et l'amélioration des évaluateurs basés sur les LLM. Les auteurs affirment que le dataset permet trois cas d'utilisation principaux :

1. Évaluer la qualité de la critique : Aller au-delà de l'accord sur le score final pour évaluer si les juges localisent correctement les erreurs et fournissent un raisonnement de haute qualité.
2. Entraîner des méta-juges : Optimiser les modèles qui scorent, classent ou filtrent les sorties des juges pour sélectionner les critiques de plus haute qualité.
3. Entraîner des juges : Utiliser les méta-annotations comme signaux de supervision ou de récompense pour optimiser directement les juges pour une meilleure génération de critiques.

Les auteurs soulignent que, bien que Counsel soutienne la calibration et l'entraînement des évaluateurs automatisés, il est destiné à compléter, et non à remplacer, le jugement humain. Ils notent des limites, notamment l'accent mis sur la précision plutôt que sur le rappel, et la restriction à deux domaines agentiques spécifiques (retail et codage), ce qui peut limiter la généralisation à d'autres types de tâches.

Une expérience préliminaire présentée dans l'article démontre que l'utilisation des méta-annotations de Counsel comme exemples "few-shot" en contexte peut améliorer la performance de l'agent en boucle, spécifiquement lorsqu'un feedback "Exact" est fourni à un juge de garde-fou, bien que les tailles d'effet aient été généralement faibles.