🤖 AI

TERMS-Bench: Diagnosing LLM Negotiation Agents Beyond Deal Rate

Cet article introduit Terms-Bench, un cadre de jeu bayésien qui transforme l'évaluation des négociations, passant de classements agrégés par taux de conclusion d'accords à une analyse diagnostique exploitable en utilisant un simulateur de contrepartie connu pour identifier précisément les défaillances spécifiques des agents en matière d'extraction de surplus, de calibration des croyances et de conformité stratégique.

Auteurs originaux : Erica Zhang, Fangzhao Zhang, Aneesh Pappu, Batu El, Jose Blanchet, Susan Athey, Jiashuo Liu, James Zou

Publié 2026-06-16

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Erica Zhang, Fangzhao Zhang, Aneesh Pappu, Batu El, Jose Blanchet, Susan Athey, Jiashuo Liu, James Zou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot comment devenir un maître de la négociation. Par le passé, des chercheurs testaient ces robots en les faisant marchander avec d'autres robots. Ils regardaient simplement le résultat final : « Ont-ils conclu un accord ? Oui ou Non ? »

Le problème de cette approche est comparable au fait de juger un chef uniquement sur le fait que le client a mangé le repas, sans goûter la nourriture. Si le robot a conclu un accord, mais qu'il a cédé tout son profit parce qu'il avait trop peur de demander un prix juste, l'ancien test dirait quand même : « Bravo, accord conclu ! » Il aurait manqué le fait que le robot était en réalité très mauvais dans la partie stratégique du travail.

Ce document présente une nouvelle façon plus intelligente de tester ces négociateurs IA, appelée TERMS-BENCH. Voici comment cela fonctionne, en utilisant des analogies simples :

1. L'« Adversaire Scripté » (L'environnement comme vérificateur)

Dans les anciens tests, le robot négociait contre une autre IA « boîte noire ». Vous ne saviez pas ce que l'autre IA pensait, donc vous ne pouviez pas savoir si votre robot avait échoué parce qu'il était mauvais, ou parce que l'autre IA était bizarre.

Dans TERMS-BENCH, les chercheurs ont créé un adversaire simulé qui est comme un acteur strict et prévisible suivant un script caché.

Le Script : L'adversaire possède un « prix de réserve » secret (le prix le plus bas pour lequel il vend ou le plus élevé pour lequel il achète), un « niveau d'urgence » (la pression temporelle qu'il ressent) et une « personnalité » (agressive, amicale ou neutre).
Le Rebondissement : L'agent IA ne connaît pas ces secrets. Il doit les deviner en fonction de ce que l'adversaire dit et fait.
Le Vérificateur : Les chercheurs, eux, connaissent les secrets. Parce qu'ils connaissent le script, ils peuvent analyser la performance de l'IA et dire exactement pourquoi elle a échoué. Est-ce qu'elle a échoué parce qu'elle n'a pas réussi à deviner le prix de l'adversaire ? Est-ce qu'elle a échoué parce qu'elle a été confuse par le ton amical de l'adversaire ? Ou a-t-elle simplement fait un mauvais mouvement même si elle connaissait la bonne réponse ?

2. Les « Six Types de Personnalités » d'adversaires

Pour vraiment mettre l'IA à l'épreuve, les chercheurs n'ont pas utilisé qu'un seul type d'adversaire. Ils ont créé six différentes « familles » d'adversaires, comme différents personnages dans un jeu vidéo :

L'Honnête (Candid) : Dit exactement ce qu'il veut dire. S'il est amical, il agit de manière amicale.
Le Taciturne (Taciturn) : Possède les mêmes règles économiques que l'Honnête, mais dit très peu de choses. Il teste si l'IA peut comprendre les choses sans indices.
Le Réactif (Expressive) : Change son comportement en fonction de la façon dont l'IA agit. Si l'IA est insistante, cet adversaire réagit avec encore plus de force.
Le Stratège (Strategic) : Agit comme le Réactif, mais cache ses véritables sentiments dans ses paroles. C'est un maître du déguisement.
Le Chaotique (Stochastic) : Introduit du bruit aléatoire et des signaux confus pour voir si l'IA panique.
Le Brute (Adversarial) : Cherche toujours à intimider l'IA.

En testant l'IA contre tous ces différents « personnages », les chercheurs peuvent identifier précisément la compétence qui manque à l'IA.

3. Les « Lunettes Magiques » (Interventions de l'Oracle)

C'est la partie la plus ingénieuse du document. Parfois, une IA échoue, mais nous ne savons pas si c'est parce qu'elle est stupide (incapable de comprendre l'adversaire) ou maladroite (connaît la réponse mais fait un mauvais mouvement).

Les chercheurs utilisent l'astuce des « lunettes magiques » :

Test de base : L'IA négocie normalement, en essayant de deviner les secrets de l'adversaire.
Les lunettes « Posterior » : Ils donnent à l'IA une fiche de triche qui dit : « Voici la probabilité exacte de ce que l'adversaire est en train de penser. » Si l'IA échoue encore, cela signifie qu'elle est mauvaise pour agir sur l'information, et non mauvaise pour l'obtenir.
Les lunettes « Type Révélé » : Ils disent à l'IA le prix secret et la personnalité exacte de l'adversaire. Si l'IA ne parvient toujours pas à obtenir un bon accord, cela signifie qu'elle est très mauvaise pour faire les bons mouvements, même lorsqu'elle dispose d'une information parfaite.

Cela permet de décomposer l'échec en trois parties :

Échec d'Inférence : « Vous n'avez pas réussi à deviner le prix de l'adversaire. »
Échec d'Incertitude : « Même avec une bonne supposition, vous étiez trop incertain pour agir. »
Échec de Contrôle : « Vous connaissiez la réponse, mais vous avez fait un mouvement maladroit. »

4. Ce qu'ils ont découvert

Lorsqu'ils ont testé 13 des modèles d'IA les plus intelligents disponibles (comme Claude, GPT-5 et Gemini), ils ont découvert des choses surprenantes :

Le mensonge du « Taux d'accord » : Presque toutes les IA sont excellentes pour conclure un accord (taux de réussite de plus de 95 %). Mais les anciens tests s'arrêtaient là.
Le vrai fossé : Lorsqu'ils ont regardé quel profit l'IA réalisait, les résultats étaient très disparates. Certains modèles concluaient de bons accords ; d'autres concluaient des accords mais cédaient presque tout l'argent.
Le piège des « Indices » : Beaucoup d'IA se sont laissé piéger par le ton de l'adversaire. Si l'adversaire semblait amical ou sous pression, l'IA cédait souvent trop d'argent, même si les calculs indiquaient qu'elle ne le devrait pas.
Des goulots d'étranglement différents : Certaines IA étaient mauvaises pour deviner l'esprit de l'adversaire. D'autres étaient excellentes pour deviner, mais mauvaises pour effectuer le mouvement final.

L'essentiel

Le document soutient que nous devons cesser de simplement compter les « accords conclus » et commencer à diagnostiquer comment l'accord a été conclu. TERMS-BENCH est comme un scanner médical pour les négociateurs IA. Au lieu de simplement dire « Le patient est en bonne santé » (Accord conclu), il indique exactement quel organe est défaillant (ex: « L'IA est mauvaise pour lire les indices émotionnels » ou « L'IA ne sait pas gérer la pression temporelle »).

Cela aide les développeurs à savoir exactement quoi corriger : doivent-ils entraîner l'IA pour qu'elle soit moins émotionnelle ? Doivent-ils lui apprendre à ignorer la pression ? Ou doivent-ils lui apprendre à faire des mouvements plus audacieux ? Cela transforme une simple liste de classement en un manuel d'instruction détaillé pour construire de meilleures IA.

Résumé Technique : TERMS-BENCH

Énoncé du Problème

La négociation sert de mécanisme central pour l'échange économique et de banc d'essai canonique pour les agents de modèles de langage (LLM) agentiques, nécessitant une interaction multi-tours sous des préférences cachées, une communication stratégique et des contraintes contraignantes. Cependant, l'évaluation des agents de négociation LLM présente un défi méthodologique unique : contrairement aux mathématiques ou au code, la négociation ne possède pas de vérificateur intrinsèque. Les paradigmes d'évaluation existants reposent sur des interactions LLM contre LLM ou sur des mesures de résultats agrégées telles que le taux d'accord (deal rate). Cette approche souffre de deux limites structurelles :

Opacité de l'Attribution : Parce que le contrepartie est une politique boîte noire avec des préférences latentes non spécifiées, les résultats confondent la compétence de l'agent et la variabilité de la contrepartie, empêchant l'attribution des échecs à des erreurs de raisonnement spécifiques.
Perte de Granularité Diagnostique : Même les métriques validées par préférence humaine ou par score multi-composantes réduisent les performances à des classements scalaires, occultant où dans le flux de travail de la négociation un agent réussit ou échoue (par exemple, l'inférence versus le contrôle).

Par conséquent, les benchmarks actuels ne parviennent pas à diagnostiquer si l'échec d'un agent provient d'un raisonnement instable, d'une sensibilité au prompt ou d'une variabilité comportementale latente, laissant les échecs opaques pour les praticiens.

Méthodologie : TERMS-BENCH

Les auteurs introduisent TERMS-BENCH (Testbed for Economic Reasoning in Multi-turn Strategy), un cadre qui construit l'environnement lui-même comme le vérificateur. Plutôt que d'utiliser un autre LLM comme juge, TERMS-BENCH spécifie explicitement le type latent, la politique et la structure de gain de la contrepartie, rendant l'environnement observable pour l'évaluateur tout en restant caché pour l'agent.

1. Formulation du Cadre

TERMS-BENCH modélise la négociation comme un jeu bayésien à information incomplète et à forme extensive :

Environnement ( $\Gamma$ ) : Défini par un ensemble de résultats réalisables, des espaces de types privés pour l'agent ( $T_A$ ) et la contrepartie ( $T_B$ ), des fonctions d'utilité et une a priori sur les types latents ( $\mu$ ). Un type $t_i$ encode une valeur de réserve ( $r_i$ ), une option de repli ( $e_i$ ), l'urgence ( $\kappa_i$ ) et une posture stratégique ( $\eta_i$ ).
Protocole ( $P$ ) : Fixe l'ordre des mouvements, l'espace d'action (actes économiques couplés au langage naturel), les règles de révélation de l'information et les conditions de terminaison.
Politique de l'Agent ( $\pi$ ) : Mappe les états d'information (historique, contexte privé, croyances) vers des actions.

2. Instanciation : Négociation de Prix Bilatérale

Le papier instancie ce cadre dans un cadre de négociation de prix bilatérale où un agent négocie un prix scalaire avec une contrepartie pilotée par un simulateur.

La Contrepartie comme Instrument de Diagnostic : La contrepartie est régie par un noyau stochastique fixe $\pi_B$ paramétré par un type latent échantillonné $t_B$ . L'agent doit inférer $t_B$ à partir des prix et des messages observés.
Familles de Contreparties : Pour isoler des capacités spécifiques, les auteurs définissent six familles de comportement de contrepartie variant selon deux axes :
- Réactivité Économique : À quel point le comportement dépend des offres récentes de l'agent par rapport au type latent (ex: Type-Instrumental vs Haute-Réactivité).
- Fiabilité des Indices (Cues) : Si les indices linguistiques (sentiment, posture) reflètent fidèlement la posture latente (ex: Accurate vs Uninformative vs Noisy vs Pressuring).
- Les familles centrales sont Candid, Taciturn, Expressive et Strategic, avec les tests de stress Stochastic et Adversarial.

3. Métriques d'Évaluation et Attribution

TERMS-BENCH dépasse le taux d'accord pour proposer un cadre de diagnostic multi-axes :

Valeur Terminale : Efficacité du surplus ( $SE^+_\pi$ ), normalisée par la Zone de Possible Accord (ZOPA).
Calibration de l'Accord : Taux d'accords dans les épisodes réalisables ( $AGR^+_\pi$ ) et de faux accords dans les épisodes irréalisables ( $FAGR^-_\pi$ ).
Modélisation de l'Opposant : Erreur de croyance concernant la valeur de réserve, l'urgence et la posture.
Conformité au Protocole : Taux de violations critiques (limites de prix, rationalité individuelle).

Interventions de l'Oracle : Pour attribuer les échecs, le cadre compare la performance de l'agent par rapport à trois conditions :

Base : L'agent infère le type à partir de zéro.
Oracle-Posterior : L'agent reçoit l'a posteriori bayésien exact du type de la contrepartie.
Type-Révélé : L'agent reçoit le véritable type latent.
Oracle Basé sur le Modèle : Une politique de référence de programmation dynamique ( $\pi^*$ ) qui est bayés-optimale pour l'environnement spécifié.

Cela permet la décomposition de l'écart de performance en goulots d'étranglement d'Inférence ( $\Delta_{inf}$ ), d'Incertitude ( $\Delta_{unc}$ ) et de Contrôle ( $\Delta_{ctrl}$ ).

Résultats Clés

Les auteurs ont évalué 13 agents LLM de pointe (incluant Claude Opus 4.6/4.7, GPT-5.5, Gemini 3.1 Pro, etc.) et trois bases de référence à concession fixe sur 1 800 épisodes amorcés.

Le Taux d'Accord Élevé Masque l'Extraction de Valeur : Bien que la plupart des modèles de pointe atteignent des taux d'accord proches de la saturation ( $>97\%$ dans les épisodes réalisables), ils divergent considérablement dans l'extraction de surplus. Par exemple, Claude Opus 4.6 a atteint une efficacité de surplus de 0,694, tandis que Doubao-Seed-2.0-Pro a atteint 0,522 malgré un taux d'accord plus élevé (99,9 %).
Échec de l'Utilisation des Indices : Les agents extraient systématiquement moins de surplus lorsque des indices informatifs sont présents par rapport à lorsqu'ils sont atténués ( $\alpha_{cue} < 0$ ). Cela suggère que les agents peuvent concéder trop de surplus face à des indices "chaleureux" ou présenter un comportement fragile sous des indices de "pression", échouant à découpler les signaux linguistiques de la stratégie économique.
Écart Information-Action : Les modèles de pointe ont échoué à convertir l'inférence du type latent en surplus.
- Injection de l'A Posteriori : Fournir l'a posteriori bayésien exact aux agents n'a produit que des retours faibles ou inconsistants, ne comblant qu'environ 1 % de l'écart pour les meilleurs modèles.
- Calibration des Croyances : Les erreurs de croyance ne se sont pas améliorées au fil du temps ; dans certains cas, elles ont augmenté, l'inférence de la posture étant la source dominante d'erreur.
- Pénalité d'Inférence : Les agents ont souvent moins bien performé dans les familles où l'inférence du type latent était économiquement instrumentale par rapport aux familles à haute réactivité.
Goulots d'Étranglement Distincts via la Décomposition Oracle :
- GPT-4o-mini était principalement limité par le contrôle (98 % de l'écart), peinant à agir sur l'information révélée.
- Claude Opus 4.7 et Grok 4.20 étaient limités par l'incertitude, avec de grands écarts subsistant même après la révélation du type.
- Claude Opus 4.6 présentait un profil mixte entre inférence, incertitude et contrôle.
Empreintes de Négociation Stables : Les agents ont montré des typologies comportementales stables (ex: "ancrer et maintenir", "moyen/équilibré") et des profils d'auto-contrainte (taux de violation de l'IR vs discipline de sortie) qui sont cohérents à travers les familles de contrepartie, suggérant que ce sont des propriétés intrinsèques du modèle plutôt que des artefacts environnementaux.
Validation Fondée sur les Données : Testé sur une variante basée sur des données utilisant les statistiques de catalogue Amazon, l'ordre de classement des agents a été largement préservé (Spearman $\rho=0,90$ ), mais l'effet de "multiplicateur de difficulté" a amplifié l'écart de performance entre les modèles forts et faibles. Les modèles plus forts ont exploité efficacement les ancres de produits publics, tandis que les plus faibles ont lutté avec des plages de prix plus larges.
Impact Commercial : Dans une simulation de mode "Bankroll" enchaînant plusieurs épisodes, de petites erreurs par période se sont cumulées en échecs de solvabilité significatifs. L'écart de solde terminal entre les LLM les plus forts et les plus faibles était d'environ 21x, dépassant largement l'écart de ~14x de l'efficacité du surplus par épisode.

Signification et Revendications

Le papier affirme que TERMS-BENCH recadre l'évaluation de la négociation, passant d'un exercice de classement boîte noire à un outil de diagnostic attribuable à l'agent. En faisant de l'environnement le vérificateur, il permet :

Un Diagnostic Scalable et Sans Annotation Humaine : Identifier les modes de défaillance spécifiques (inférence, incertitude, contrôle) sans dépendre de juges humains subjectifs.
Démasquer les Échecs Cachés : Révéler que les taux d'accord élevés masquent souvent des déficiences critiques dans l'extraction de surplus, la sensibilité aux indices et l'auto-contrainte.
Des Insights Actionnables pour les Praticiens : Fournir une base contrôlée pour montrer où les agents tombent en panne et ce qu'il faut renforcer (ex: améliorer la calibration des croyances vs le contrôle stratégique).

Les auteurs positionnent ce travail comme une étape nécessaire vers des agents de négociation déployables, notant que bien que l'instanciation actuelle se concentre sur la négociation de prix bilatérale, le cadre est généralisable aux contextes multi-parties et multi-produits. Ils reconnaissent que les études humaines et les contextes à enjeux multiples plus riches restent des étapes importantes pour valider le transfert au-delà de la portée actuelle.