🤖 AI

A Matter of TASTE: Improving Coverage and Difficulty of Agent Benchmarks

Pour remédier à la saturation et à la couverture limitée d'utilisation d'outils des benchmarks d'agents existants, cet article présente TASTE, une méthode automatisée qui inverse le processus de construction de tâches en faisant évoluer des séquences d'outils pour générer le $\tau^c$ -Bench, exigeant et à haute couverture, qui révèle que les modèles actuels les plus performants subissent des baisses de performance significatives lorsqu'ils sont confrontés à ces tâches plus complexes et diversifiées.

Auteurs originaux : Tomer Keren, Nitay Calderon, Asaf Yehudai, Yotam Perlitz, Michal Shmueli-Scheuer, Roi Reichert

Publié 2026-05-28

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Tomer Keren, Nitay Calderon, Asaf Yehudai, Yotam Perlitz, Michal Shmueli-Scheuer, Roi Reichert

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de tester la compétence d'un nouveau chef robot en cuisine.

Le Problème : Le « Menu Facile » est Épuisé
Actuellement, nous disposons d'un menu de test standard (appelé $\tau$ -Bench) où le robot doit suivre des instructions comme « préparez un sandwich » ou « commandez une pizza ». Le problème est que les chefs robots les plus intelligents ont déjà mémorisé ce menu. Ils obtiennent des scores parfaits, mais ce n'est pas parce qu'ils sont des génies ; c'est simplement parce que le test est trop facile et répétitif. C'est comme un élève qui obtient un A+ à un test de mathématiques parce que l'enseignant ne lui demande jamais que d'additionner des nombres à un seul chiffre.

De plus, créer de nouvelles questions de test plus difficiles est un cauchemar. Cela nécessite que des humains s'assoient, écrivent des histoires complexes, déterminent les étapes exactes que le robot doit suivre et vérifient si l'histoire a du sens. C'est lent, coûteux et nous limite aux seuls types d'histoires que les humains ont l'occasion d'imaginer.

La Solution : TASTE (La Machine « Recette Inversée »)
Les auteurs ont créé un nouveau système appelé TASTE (Synthèse de tâches à partir de l'évolution des séquences d'outils). Au lieu de commencer par une histoire et de déterminer les étapes, TASTE renverse le processus.

Pensez-y ainsi :

La « Séquence d'outils » (Les Étapes) : D'abord, le système génère des milliers de listes aléatoires d'actions, comme « Ouvrir le réfrigérateur, prendre le lait, verser dans un verre, fermer le réfrigérateur ».
Le « Filtre de Plausibilité » (Le Test de Goût) : Il utilise un juge IA ultra-intelligent pour examiner ces listes et dire : « Non, c'est impossible. Vous ne pouvez pas verser le lait avant d'ouvrir le réfrigérateur », ou « Oui, c'est une séquence d'événements valide ». Il apprend de ses erreurs, devenant meilleur pour distinguer les étapes valides des invalides.
Le « Clustering » (Regroupement par Saveur) : Il regroupe ces séquences valides. Si un groupe concerne tout le « petit-déjeuner » et un autre « faire un sandwich », il choisit l'exemple le plus représentatif de chaque groupe pour s'assurer que le test couvre une grande variété de scénarios.
L'« Évolution » (Rehausser l'Assaisonnement) : C'est la touche secrète. Une fois qu'il a une tâche de base (par exemple, « Commandez une pizza »), il la rend délibérément plus difficile. Il peut :
- Faire en sorte que le client (l'utilisateur simulé) oublie les détails de sa commande.
- Ajouter des options « leurres » au menu qui semblent correctes mais sont en réalité fausses (comme une pizza épuisée).
- Rendre le client peu coopératif ou confus.

Le Résultat : $\tau^c$ -Bench
En utilisant cette méthode, ils ont construit un nouveau test, beaucoup plus difficile, appelé $\tau^c$ -Bench.

Lorsqu'ils ont testé les chefs robots « champions » (comme Gemini-3-Flash) sur ce nouveau menu, les résultats ont été choquants.

Sur l'ancien menu facile, ces robots ont obtenu 0,90 (presque parfait).
Sur le nouveau menu généré par TASTE, leurs scores sont tombés à 0,30 ou moins.

Pourquoi Cela Compte
L'article soutient que les scores élevés des anciens tests étaient un « faux positif ». Les robots n'étaient pas réellement aussi bons pour résoudre des problèmes réels complexes et désordonnés ; ils connaissaient simplement les anciennes questions de test par cœur.

La nouvelle méthode prouve que :

Couverture : Les nouveaux tests forcent les robots à utiliser une bien plus grande variété d'outils et de combinaisons, pas seulement les mêmes quelques astuces.
Difficulté : Les tests sont véritablement plus difficiles car ils incluent de la confusion, des informations manquantes et des scénarios piégeants.
Automatisation : Nous n'avons plus besoin que des humains écrivent ces tests difficiles. Le système peut générer un approvisionnement infini de tâches challengantes, valides et diversifiées pour continuer à tester les robots à mesure qu'ils deviennent plus intelligents.

En bref, TASTE est une machine qui invente automatiquement des « combats de boss » pour les agents IA, garantissant que nous pouvons distinguer un robot qui a mémorisé un script d'un robot qui peut réellement penser.

Résumé Technique : Une Question de GOÛT : Amélioration de la Couverture et de la Difficulté des Benchmarks d'Agents

Énoncé du Problème

À mesure que les capacités des agents utilisant des outils progressent, les benchmarks existants (tels que $\tau^2$ -Bench) deviennent de plus en plus saturés, les modèles de pointe atteignant des performances proches du plafond. Cependant, la construction de nouvelles tâches de benchmark plus difficiles reste un processus complexe, coûteux et laborieux, dépendant d'une rédaction manuelle. De plus, l'approche de construction standard — où les auteurs écrivent d'abord des scénarios en langage naturel puis en déduisent des séquences d'outils — échoue à explorer explicitement l'espace des combinaisons d'outils valides. Par conséquent, les benchmarks actuels ne capturent souvent qu'un sous-ensemble restreint des motifs d'utilisation des outils, conduisant à une « saturation » où les scores élevés reflètent l'absence de défis diversifiés plutôt que des capacités robustes de résolution de tâches. Il existe un besoin urgent de méthodes de génération automatique de benchmarks capables d'assurer la Validité (les tâches sont solubles et vérifiables), la Difficulté (les tâches différencient significativement les capacités des agents) et la Couverture (les tâches couvrent des motifs d'utilisation d'outils structurellement diversifiés).

Méthodologie : TASTE

Les auteurs proposent TASTE (Synthèse de Tâches à partir de l'Évolution de Séquences d'Outils), une méthode automatique pour générer des tâches de benchmark d'agents difficiles en inversant le processus de construction traditionnel. Au lieu de commencer par des scénarios, TASTE commence par des séquences d'outils et synthétise des tâches complètes autour d'elles. La méthode opère en trois étapes :

Étape 1 : Échantillonnage de Séquences d'Outils

Pour répondre à la Couverture et à la Validité, TASTE emploie un modèle n-gramme contrastif adaptatif entraîné sur l'espace des séquences d'outils.

Architecture du Modèle : Le modèle maintient des tables de comptage séparées ( $C^+$ et $C^-$ ) pour les n-grammes observés dans des séquences « plausiblement valides » et « implausiblement valides », respectivement.
Entraînement : Il utilise une boucle itérative de génération et de validation. Des séquences sont échantillonnées de manière autorégressive et jugées par un Grand Modèle de Langage (LLM) pour leur plausibilité. Les séquences valides mettent à jour $C^+$ , tandis que les séquences invalides mettent à jour $C^-$ .
Échantillonnage Contrastif : La probabilité d'échantillonnage pour l'outil suivant est dérivée du rapport des scores positifs et négatifs, pénalisant les n-grammes associés aux séquences invalides. Cela permet au modèle d'explorer l'espace des combinaisons d'outils tout en concentrant la masse de probabilité sur les séquences valides.

Étape 2 : Clustering et Sélection

Pour garantir que le benchmark représente des motifs diversifiés sans redondance, TASTE sélectionne un sous-ensemble représentatif de séquences parmi le pool échantillonné.

Clustering : Les auteurs utilisent un clustering K-médoïdes pour partitionner le pool de milliers de séquences candidates en $K$ clusters (où $K$ est la taille cible du benchmark).
Métrique de Distance : Une distance de Levenshtein pondérée est utilisée à la place de la distance d'édition standard. Les coûts de substitution sont plus faibles pour les outils ayant des fonctions ou des types similaires (par exemple, deux outils de recherche) et plus élevés pour les outils de types différents (lecture vs écriture). Cela garantit que les clusters sont sémantiquement cohérents.
Sélection : La médoïde (séquence centrale) de chaque cluster est sélectionnée comme représentative. Les médoïdes invalides sont remplacées par le membre valide le plus proche suivant du cluster.

Étape 3 : Génération et Évolution des Tâches

Chaque séquence d'outils sélectionnée est instanciée en une tâche de benchmark complète, puis évoluée pour augmenter la Difficulté.

Génération de Tâche de Base : Un LLM construit un scénario cohérent du monde réel (instruction utilisateur $u$ ) et initialise l'état de la base de données ( $s_0$ ) pour soutenir la séquence d'outils spécifique.
Vérification de Validité : Les tâches subissent des vérifications basées sur des règles et une simulation d'agent vérificateur assisté par des indices. Le vérificateur tente de résoudre la tâche en utilisant une version mélangée et partiellement masquée de la séquence d'outils de référence. Le succès confirme que la tâche est soluble.
Évolution de la Difficulté : Pour simuler des conditions réalistes et adverses, la tâche de base est évoluée en trois étapes :
1. Analyse de Stratégie : Identification des opportunités de confusion (par exemple, violations de politique, demandes ambiguës).
2. Perturbation de l'Environnement : Ajout de « leurres » dans la base de données (par exemple, un vol entièrement réservé sur une route souhaitée) qui ressemblent au cible mais sont invalides.
3. Réécriture du Scénario : Réécriture de l'instruction utilisateur pour la rendre moins coopérative, ambiguë ou adverse, forçant l'agent à naviguer dans la confusion tout en respectant la politique.

Contributions Clés

Exigences pour les Benchmarks : L'article articule et opérationnalise trois propriétés critiques pour les benchmarks d'agents utilisant des outils : Validité, Difficulté et Couverture. Crucialement, il définit la Couverture en termes de diversité des séquences d'outils de référence plutôt que de variation linguistique superficielle.
Cadre TASTE : La proposition de TASTE, un pipeline entièrement automatisé qui explore directement l'espace des séquences d'outils pour générer des tâches satisfaisant les trois exigences sans curation manuelle.
$\tau^c$ -Bench : La construction de $\tau^c$ -Bench, une extension difficile de $\tau^2$ -Bench couvrant trois domaines (Compagnie Aérienne, Vente au Détail, Télécommunications). Cet ensemble de données présente une difficulté significativement plus élevée et une couverture plus large que son prédécesseur.

Résultats

Les auteurs ont évalué 11 paires agent/LLM utilisateur sur $\tau^c$ -Bench et les ont comparées aux performances sur le $\tau^2$ -Bench original (version vérifiée, $\tau_{BV}$ ).

Chute de Performance : Les modèles qui ont presque saturé $\tau_{BV}$ ont subi des chutes de performance sévères sur $\tau^c$ -Bench. Par exemple, Gemini-3-Flash est passé d'un score de 0,82–0,94 sur $\tau_{BV}$ à 0,28–0,61 sur $\tau^c$ -Bench (une chute relative allant jusqu'à 80 %).
Difficulté Accrue : Les tâches évoluées étaient significativement plus difficiles, avec des taux de réussite chutant de 16 à 55 % selon le modèle d'évolution utilisé.
Couverture Étendue : $\tau^c$ $τ^{c}$ -Bench a plus que doublé le nombre de combinaisons d'outils uniques que les agents doivent exécuter.
- Distance d'Édition Pondérée (WED) : Augmentée jusqu'à 124 %.
- Ratio Type-Jeton (TTR) : Augmenté jusqu'à 111 %, indiquant une diversité beaucoup plus élevée de séquences d'outils n-grammes.
- Entropie : L'entropie de la distribution de fréquence des outils a augmenté de 35 %, montrant une utilisation des outils moins biaisée et plus diversifiée.

Importance et Revendications

L'article revendique que les scores élevés sur les benchmarks existants reflètent souvent une saturation plutôt qu'une capacité robuste de résolution de tâches. En démontrant que les modèles de pointe peinent considérablement avec les tâches générées par TASTE, les auteurs soutiennent que les benchmarks actuels échouent à capturer la pleine complexité des motifs d'utilisation des outils.

L'importance de TASTE réside dans sa capacité à automatiser la génération de benchmarks difficiles et à haute couverture, permettant une évaluation continue et évolutive des futurs agents. En inversant le processus de construction pour prioriser les séquences d'outils, TASTE garantit que les benchmarks explorent la diversité structurelle des comportements des agents plutôt que de s'appuyer sur des choix arbitraires des auteurs. Les auteurs positionnent ce travail comme une étape nécessaire pour prévenir la stagnation de l'évaluation à mesure que les capacités des agents continuent de progresser.