💬 NLP

TradeVerse: A Longitudinal Benchmark of Political Negotiation in International Trade

Cet article présente TradeVerse, le premier benchmark longitudinal dérivé des comptes rendus de réunions de l'OMC qui évalue les capacités des grands modèles de langage à comprendre les négociations commerciales politiques multi-tours à travers trois tâches : la prédiction de codes de produits, l'identification des pays répondants et la génération d'énoncés diplomatiques.

Auteurs originaux : Debodeep Banerjee, Amitangshu Dasgupta

Publié 2026-08-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Debodeep Banerjee, Amitangshu Dasgupta

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde à enjeux élevés du commerce international, les accords sont rarement signés en un seul instant de clarté. Au contraire, ils émergent d'un processus de négociation lent et souvent conflictuel qui peut s'étendre sur des années. Lorsqu'une nation soulève une préoccupation concernant les tarifs ou les réglementations d'une autre, la réponse n'est pas un simple oui ou non. C'est un dialogue, un échange de va-et-vient où les positions changent, les alliances se forment et les arguments évoluent au fil de multiples réunions. Depuis des décennies, ces conversations sont consignées dans les procès-verbaux de l'Organisation mondiale du commerce, créant une vaste archive longitudinale de la diplomatie réelle. Jusqu'à récemment, les systèmes d'intelligence artificielle conçus pour lire et comprendre le langage humain n'avaient été testés que sur des documents statiques ou des questions isolées. On ne leur avait pas demandé de naviguer dans le drame complexe et évolutif d'un différend politique de plusieurs années.

Une nouvelle étude introduit un outil conçu pour tester si l'intelligence artificielle moderne peut véritablement comprendre ce type de raisonnement politique à long terme. Les chercheurs ont construit un banc d'essai appelé TRADEVERSE, qui reconstruit 1 170 préoccupations commerciales spécifiques issues des registres de l'Organisation mondiale du commerce. Ces préoccupations s'étendent sur plus de trois décennies, impliquant 6 933 réunions distinctes et 26 219 déclarations individuelles. Le jeu de données couvre cinq comités différents et 89 catégories de produits distinctes, allant des produits agricoles à l'électronique. L'objectif n'était pas de voir si un ordinateur pouvait simplement résumer un texte, mais de voir s'il pouvait suivre le fil d'une conversation qui aurait pu commencer cinq ans auparavant, se souvenir de qui a dit quoi, et comprendre la position stratégique de chaque pays impliqué.

Les chercheurs ont mis en place trois défis distincts pour tester l'intelligence de six modèles de langage de pointe. La première tâche demandait aux modèles d'examiner l'histoire entière d'un différend commercial et d'identifier les produits faisant l'objet de la discussion. Dans le monde réel, les préoccupations commerciales sont souvent classées selon un système de codes spécifique qui catégorise les marchandises. Les modèles devaient prédire ces catégories en se basant uniquement sur le texte des négociations. Les résultats ont montré que, bien que les modèles soient doués pour trouver les bons produits, ils avaient également tendance à proposer trop de possibilités. Ils avaient tendance à lister une large gamme d'articles connexes plutôt qu'à cibler précisément les bons, ce qui suggère qu'ils couvraient leurs arrières lorsque les preuves n'étaient pas parfaitement claires.

Le deuxième défi était un test d'anonymat et d'inférence. Les chercheurs ont pris les comptes rendus de réunion et ont supprimé les noms des pays impliqués, les remplaçant par des marqueurs génériques. On a ensuite demandé aux modèles de deviner quel pays répondait aux plaintes. Cela visait à voir si l'IA pouvait trouver la réponse en se basant sur la substance de l'argument — les lois spécifiques, la nature des produits et le style de la défense — plutôt qu'en reconnaissant simplement le nom d'un pays. Les modèles ont performé avec une grande précision, identifiant correctement le pays répondant dans la plupart des cas. Cependant, un schéma significatif est apparu : les modèles étaient bien plus performants pour identifier les nations occidentales que les nations non occidentales. Cet écart de performance persistait même lorsque tous les noms de pays étaient cachés, indiquant que les données d'entraînement de l'IA contenaient davantage d'exemples de langage diplomatique occidental, ce qui facilitait la reconnaissance de ces schémas par le système.

La dernière tâche, et sans doute la plus difficile, consistait à agir en tant que participant à la négociation. Les modèles recevaient l'historique d'un différend et les déclarations des pays plaignants lors du dernier tour. Leur mission était de rédiger la déclaration de clôture pour le pays répondant. Les chercheurs ont comparé ces déclarations générées aux registres historiques réels. Bien que l'IA ait produit un texte fluide et diplomatiquement approprié, elle manquait souvent des détails spécifiques présents dans les réponses du monde réel. Les modèles pouvaient imiter le ton d'un diplomate, mais peinaient à reproduire les arguments substantiels et précis que les nations réelles utilisent pour défendre leurs politiques. Curieusement, l'étude a révélé que plus un différend comportait de cycles de négociation, mieux les modèles réussissaient à générer la déclaration finale. Cela suggère que plus l'historique de la conversation est long, plus l'IA dispose de contexte pour comprendre le rôle qu'elle joue.

L'étude conclut que, bien que les systèmes d'intelligence artificielle actuels soient des outils puissants pour la lecture de textes, ils font encore face à des obstacles importants lorsqu'on leur demande de raisonner à travers la dynamique longue et évolutive des négociations politiques réelles. Ils peuvent identifier des schémas et imiter des styles, mais ils passent souvent à côté des nuances stratégiques spécifiques qui définissent les différends commerciaux internationaux. Les chercheurs ont rendu leur jeu de données et les outils utilisés publics, dans l'espoir que ce nouveau banc d'essai aidera les futurs systèmes à apprendre à naviguer dans la nature complexe et longitudinale de la diplomatie humaine. Ce travail souligne que comprendre une conversation ne consiste pas seulement à lire les mots sur la page, mais à suivre l'histoire, les relations et les changements de stratégies qui se déploient au fil du temps.

Résumé Technique : TRADEVERSE

Énoncé du Problème

Les références actuelles pour les modèles de langage de grande taille (LLM) dans les domaines juridique et politique évaluent principalement les performances sur des documents statiques et isolés ou sur des tâches de prise de décision à un seul tour. Cependant, la prise de décision institutionnelle réelle, particulièrement dans le commerce international, est intrinsèquement longitudinale. Les négociations évoluent sur plusieurs itérations, s'étendant souvent sur des années, où l'issue de n'importe quel tour spécifique dépend des arguments, des alliances et des positions établies lors des cycles précédents. Les benchmarks existants ne parviennent pas à capturer cette dynamique, exigeant des modèles qu'ils suivent la chronologie de dialogues multipartites, comprennent les changements de positions géopolitiques et raisonnent sur la structure stratégique des négociations plutôt que sur une simple compréhension textuelle de surface.

Méthodologie

Les auteurs introduisent TRADEVERSE, un benchmark construit à partir de la base de données des préoccupations commerciales de l'Organisation mondiale du commerce (OMC). Le jeu de données comprend 1 170 préoccupations commerciales spécifiques reconstruites à partir de 6 933 procès-verbaux de réunions s'étalant sur plus de trois décennies (1995–2026) à travers cinq comités de l'OMC et 89 chapitres de produits du Système harmonisé (SH).

Le jeu de données est structuré comme une séquence de cycles de négociation ( $r_{i,1}, \dots, r_{i,R_i}$ ) impliquant des États demandeurs (raisers), des États de soutien (supporters) et des États répondants (respondents). Contrairement aux jeux de données précédents qui reposent sur une annotation manuelle, TRADEVERSE dérive toutes les étiquettes de vérité terrain directement des procédures officielles. Le benchmark définit trois tâches distinctes pour évaluer les capacités des LLM :

Tâche 1 : Prédiction du chapitre SH (Classification multi-étiquettes) :
Étant donné l'historique longitudinal complet d'une préoccupation commerciale, le modèle doit prédire l'ensemble des chapitres SH (catégories de produits) faisant l'objet de la discussion. Cela teste la capacité du modèle à synthétiser des détails techniques dispersés à travers plusieurs réunions. Note : En raison des contraintes de disponibilité des codes SH (présents uniquement dans les groupes TBT et SPS), cette tâche a été évaluée sur 724 des 1 170 réunions.
Tâche 2 : Identification du répondant (Classification anonymisée) :
Le modèle doit identifier le pays répondant en se basant sur l'historique de la négociation. Ceci est testé sous deux configurations d'anonymisation :
- ST-1 : Seuls le nom du répondant et ses gentilés sont masqués.
- ST-2 : Tous les noms de pays, gentilés et agences nationales sont masqués.
  Cela évalue si le modèle peut inférer le répondant à partir de la substance du différend (mesures, produits, arguments juridiques) plutôt que de s'appuyer sur des mentions explicites d'entités.
Tâche 3 : Génération de la déclaration finale (Génération de langage naturel) :
Étant donné l'historique de la négociation jusqu'au dernier cycle (incluant les déclarations finales du demandeur et des soutiens), le modèle doit générer la déclaration de conclusion du pays répondant. Le texte généré est évalué par rapport à la déclaration historique réelle.

Configuration Expérimentale :
Six LLM de pointe (incluant Nemotron3-Ultra:550B, Llama-3.3:70B, GLM-5.2, DeepSeek-V4-Pro, GPT-OSS-120B et Kimi-K2.7-Code) ont été évalués dans un cadre zero-shot. Les métriques comprenaient la Précision, le Rappel et le F1 pour les tâches de classification, et le BLEU-4, le ROUGE-L et le BERTScore pour les tâches de génération.

Résultats Clés

Tâche 1 (Prédiction SH) : Les modèles ont démontré un rappel élevé mais une précision faible, indiquant une tendance à « l'atténuation » (hedging) en sur-générant des catégories de produits plausibles plutôt qu'en s'engageant sur un ensemble précis. Par exemple, GLM-5.2 a atteint un Micro-F1 de 65,63, tandis que DeepSeek-V4-Pro a atteint 63,07.
Tâche 2 (Identification du répondant) : Les modèles ont obtenu une précision globale élevée (allant de ~80 % à ~93 %). Crucialement, la performance est restée stable entre les configurations ST-1 et ST-2, suggérant que les modèles infèrent le répondant à partir de la substance du différend plutôt que de compter sur des noms de pays explicites.
- Biais Géopolitique : Une disparité significative a été observée. Les six modèles ont identifié les répondants occidentaux avec une précision nettement supérieure à celle des répondants non occidentaux (ex: GPT-OSS-120B : 92,70 % contre 77,46 % ; $p < 0,01$ ). Cet écart a persisté même lorsque toutes les identités étaient masquées, suggérant que le biais est ancré dans les connaissances internes des modèles ou la distribution des données d'entraînement plutôt que dans des indices de surface.
Tâche 3 (Génération de déclaration) : Les déclarations générées étaient généralement fluides et diplomatiquement appropriées, mais manquaient d'alignement de contenu spécifique avec les interventions historiques réelles. GLM-5.2 a surpassé les autres modèles en termes de similitude lexicale et sémantique (BERTScore-F1 : 60,49).
- Corrélation de cycle : Une corrélation de Spearman positive a été trouvée entre le nombre de cycles de négociation et la qualité de la génération (BERTScore), indiquant que des contextes historiques plus longs fournissaient de meilleurs signaux d'entraînement pour que les modèles adoptent le persona du répondant.

Contributions Clés

Benchmark Longitudinal : TRADEVERSE est le premier benchmark évaluant systématiquement les LLM sur des négociations commerciales politiques longitudinales et multipartites authentiques, allant au-delà de la compréhension de documents statiques.
Construction sans Annotation : Le jeu de données reconstruit 1 170 préoccupations à partir de 6 933 comptes rendus de réunions, avec des vérités de terrain extraites directement des procédures officielles de l'OMC, éliminant ainsi le besoin d'annotation humaine manuelle.
Tâches de Raisonnement Structurées : Le benchmark définit trois tâches complémentaires (prédiction SH, identification anonymisée du répondant et génération de rôle) qui nécessitent l'intégration de la compréhension de contexte long, du raisonnement institutionnel et de la génération de langage stratégique.
Résultats Empiriques sur le Biais : L'étude fournit des preuves empiriques de biais géopolitiques systématiques dans les LLM actuels, spécifiquement une disparité de performance dans l'identification des acteurs occidentaux versus non occidentaux dans les différends commerciaux, laquelle persiste sous anonymisation complète.

Signification et Revendications

L'article affirme que TRADEVERSE offre un cadre novateur pour étudier le raisonnement des LLM sous des processus institutionnels évolutifs et des biais géopolitiques. Les auteurs soutiennent que les modèles actuels, bien que capables d'une fluidité de haut niveau et d'une inférence d'entités de base, peinent face aux spécificités de la realpolitik : ils sur-prédisent les catégories de produits, manquent de spécificité dans les réponses diplomatiques et présentent des biais stables favorisant les membres occidentaux.

Les auteurs positionnent TRADEVERSE comme un outil destiné tant à la communauté du machine learning (pour améliorer la négociation et le raisonnement en contexte long) qu'aux sciences sociales (pour analyser l'évolution des différends, la formation de coalitions et les modèles de langage diplomatique à une échelle auparavant inatteignable par l'effort manuel). L'article conclut par la publication du jeu de données, du pipeline d'extraction et du code d'évaluation pour faciliter la recherche ultérieure sur le raisonnement institutionnel longitudinal.