💰 quantitative finance

Training Language Models for Bilateral Trade with Private Information

Cette étude présente un environnement de négociation bilatérale structuré pour évaluer et entraîner des modèles de langage, démontrant que les stratégies frontalières optimisent les surplus grâce à une discrimination des prix et que l'entraînement par apprentissage par renforcement sur Qwen3 permet de généraliser des comportements proportionnels aux valeurs des biens, bien qu'il existe un compromis entre la part de surplus obtenue et le taux de conclusion des accords.

Auteurs originaux : Dirk Bergemann, Soheil Ghili, Xinyang Hu, Chuanhao Li, Zhuoran Yang

Publié 2026-04-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dirk Bergemann, Soheil Ghili, Xinyang Hu, Chuanhao Li, Zhuoran Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes le directeur d'une école de négociation pour robots. Votre but est d'enseigner à ces robots (les modèles de langage, ou LLM) comment acheter et vendre des objets sans se faire avoir, tout en restant rationnels.

Voici l'histoire de cette recherche, racontée simplement :

1. Le Problème : Des Robots Trop "Sympas"

Les robots intelligents actuels sont formés pour être polis, aimables et fluides dans la conversation. C'est génial pour écrire des poèmes ou répondre à des emails, mais c'est un désastre pour négocier.

Le défaut : Si un robot doit acheter une voiture, il risque d'accepter un prix trop élevé juste pour être "gentil" avec le vendeur, même si cela lui coûte de l'argent.
Le chaos : Dans une conversation libre, il est impossible de savoir si le robot dit "Je propose 100 euros" comme une vraie offre ou juste comme une blague. C'est comme essayer de mesurer la vitesse d'une voiture en regardant un dessin animé : on ne peut pas faire de maths avec des dessins.

2. La Solution : Une Arène de Négociation "Sécurisée"

Les chercheurs ont construit un simulateur spécial, un peu comme un jeu vidéo de négociation où les règles sont strictes.

La boîte à outils : Au lieu de laisser les robots parler librement, ils doivent utiliser des "boutons" précis (des outils informatiques) pour faire une offre, accepter, refuser ou envoyer un message.
Pourquoi c'est génial : Cela transforme la négociation en un jeu de données. On sait exactement quand une offre est faite, à quel prix, et si le robot a respecté ses limites (par exemple, ne jamais payer plus de ce qu'il a dans son portefeuille).

3. Le Tournoi : Qui est le meilleur ?

Les chercheurs ont organisé un tournoi "round-robin" (chaque robot joue contre tous les autres) avec 5 modèles de pointe. C'était comme un championnat de boxe où chaque combattant affronte tous les autres.

Les découvertes surprenantes :

Le champion (o3) : Le meilleur robot a utilisé une stratégie très humaine et astucieuse : il commence par demander un prix très, très élevé (comme un vendeur de tapis qui demande 1000€ pour un tapis qui en vaut 100), puis il baisse doucement le prix pour conclure l'affaire. C'est ce qu'on appelle l'"ancrage agressif". Il obtient le meilleur prix ET conclut le plus de ventes.
Le perdant (le robot trop gentil) : Les robots qui commençaient par dire "D'accord, je suis flexible" et qui baissaient trop vite leur prix finissaient par se faire écraser. Ils perdaient de l'argent et concluaient moins d'affaires.
La leçon : Être trop coopératif sans stratégie, c'est comme entrer dans un match de football sans défense : vous laissez l'autre équipe marquer tous les buts.

4. L'Entraînement : Apprendre aux Petits Robots à Devenir des Pros

Les chercheurs ont voulu voir si on pouvait entraîner des modèles plus petits (et moins chers) pour qu'ils jouent aussi bien que les géants. Ils ont utilisé une méthode en deux étapes, comme un entraînement sportif :

Étape 1 : L'imitation (SFT)
On montre au petit robot des milliers d'exemples de négociations gagnées par un expert. Il apprend à imiter les bons mouvements.
- Résultat : Le robot devient très sélectif. Il ne fait des offres que s'il est sûr de gagner. Mais il devient trop timide : il refuse trop d'affaires et rate des opportunités.
Étape 2 : L'entraînement par la récompense (RL)
On laisse le robot jouer contre un adversaire et on lui donne des points quand il conclut une bonne affaire.
- Résultat : Le robot apprend à conclure des affaires, mais il devient trop pressé. Il accepte n'importe quoi juste pour avoir des points, même si c'est une mauvaise affaire.

Le Dilemme :
C'est comme si vous entraîniez un athlète.

D'abord, vous lui apprenez à être un stratège (il ne joue que les matchs gagnants).
Ensuite, vous lui apprenez à être un marathonien (il court jusqu'à la ligne d'arrivée, peu importe le terrain).
Le problème ? Le robot finit par oublier la stratégie pour courir vite, ou vice-versa. Il est difficile de trouver l'équilibre parfait entre "être intelligent" et "être efficace".

5. La Conclusion : La Consistance est la Clé

Le vrai signe d'un bon négociateur (humain ou robot), ce n'est pas seulement de gagner beaucoup d'argent sur un objet cher. C'est de savoir négocier aussi bien sur un objet à 20 € que sur un objet à 2000 €.

Les robots performants adaptent leur stratégie à la valeur de l'objet.
Les robots faibles ne réussissent que quand l'objet est cher, car la marge de manœuvre est grande, ce qui cache leurs erreurs.

En résumé :
Cette recherche nous dit que pour créer de vrais agents intelligents capables de négocier, il ne suffit pas de les rendre "sympas". Il faut leur apprendre à utiliser des outils précis, à être stratégiquement agressifs (mais pas méchants), et à trouver le juste milieu entre ne rien conclure et conclure n'importe quoi. C'est un équilibre délicat, comme marcher sur une corde raide, mais c'est la clé pour que l'IA puisse gérer nos achats, nos contrats et nos affaires futures.

1. Problématique et Contexte

La négociation bilatérale sous information incomplète est un problème fondamental en économie et en recherche opérationnelle. Deux parties (un acheteur et un vendeur), chacune disposant d'un prix de réserve privé (le prix maximum qu'un acheteur est prêt à payer ou le minimum qu'un vendeur accepte), doivent découvrir par interaction stratégique si un échange mutuellement bénéfique est possible et à quel prix.

L'article identifie deux limitations majeures à l'utilisation directe des grands modèles de langage (LLM) généralistes pour cette tâche :

Échecs comportementaux systématiques : Les modèles frontaux (state-of-the-art) tendent à accepter des accords générant une utilité négative (violation de la rationalité individuelle) ou échouent à maximiser le surplus, en raison d'un décalage entre leurs objectifs de pré-entraînement (fluidité, accordabilité) et les exigences de la négociation stratégique.
Problème de mesure : Dans un dialogue libre, il est impossible de distinguer automatiquement une offre contraignante d'une simple hypothèse, rendant l'évaluation automatisée des utilités, des taux de concession et du statut de l'accord difficile à grande échelle.

2. Méthodologie

Les auteurs proposent une approche structurée divisée en deux volets principaux : un environnement d'évaluation standardisé et un pipeline d'entraînement par apprentissage par renforcement.

A. Environnement de Simulation Structuré

Pour résoudre le problème de mesure, les auteurs ont développé un simulateur événementiel où les LLM interagissent via des appels d'outils structurés (tool calls) plutôt que par du texte libre uniquement.

Actions structurées : Les agents utilisent des fonctions définies (make_offer, respond_to_offer, send_message, quit_negotiation, etc.). Cela permet un parsing machine précis des offres, acceptations et rejets.
Cadre de jeu : Négociation alternée sur un objet indivisible avec des prix de réserve privés inconnus. Le jeu se termine par un accord, un retrait (outside option) ou l'épuisement des tours (max 10).
Données : Utilisation d'un catalogue de produits (Craigslist, Amazon) avec des prix de réserve échantillonnés pour créer des scénarios avec gains de commerce (GFT) et sans gains (NGFT).

B. Cadre d'Évaluation à Trois Dimensions

L'évaluation des modèles repose sur trois métriques automatisées :

Rationalité Individuelle (IR) : Capacité à respecter les contraintes de prix de réserve (ne pas accepter un prix inférieur au coût pour le vendeur ou supérieur à la valeur pour l'acheteur).
Efficacité Stratégique (Surplus) : Part du surplus total (Zone of Possible Agreement - ZOPA) capturée par l'agent lors des accords.
Efficacité Allocative (Taux d'accord) : Capacité à réaliser les gains de commerce lorsque la ZOPA existe, tout en évitant les accords irrationnels lorsque la ZOPA est vide.

C. Pipeline d'Entraînement

Pour les modèles à poids ouverts (Qwen3 8B et 14B), les auteurs proposent un pipeline en deux étapes :

Supervised Fine-Tuning (SFT) : Entraînement sur des trajectoires de négociation synthétiques générées par un modèle fort (DeepSeek-R1) en auto-jeu. Cela apprend la syntaxe des outils et des stratégies de base.
Reinforcement Learning (RL) : Utilisation de l'algorithme GRPO (Group Relative Policy Optimization) pour optimiser directement le surplus. L'agent est entraîné contre un adversaire fixe (GPT-4.1) pour stabiliser l'environnement d'apprentissage. La fonction de récompense combine la conformité au protocole, la cohérence comportementale et la capture de surplus.

3. Contributions Clés

Environnement d'évaluation structuré : Création d'un banc d'essai où les actions sont séparées du langage naturel, permettant une évaluation automatisée et reproductible des agents de négociation.
Benchmark systématique : Évaluation de cinq modèles frontaux (DeepSeek-V3, Gemini-2.5, GPT-4.1, o3) dans un tournoi "round-robin" (15 000 négociations), révélant des dynamiques comportementales spécifiques.
Diagnostic de l'entraînement RL : Identification d'une tension fondamentale entre le SFT (qui apprend la sélectivité) et le RL (qui favorise la conclusion d'accords), offrant des pistes pour l'optimisation des récompenses.

4. Résultats Principaux

A. Benchmark des Modèles Frontaux

Stratégie dominante : La stratégie la plus efficace consiste à ancrer agressivement (offre initiale très élevée pour le vendeur) puis à conceder de manière calibrée. Le modèle o3 surpasse tous les autres, obtenant à la fois la part de surplus la plus élevée et le taux d'accord le plus haut, contredisant l'idée d'un compromis inévitable entre surplus et efficacité.
Échec des stratégies accommodantes : Les modèles qui cèdent trop vite (comme Gemini-2.5-Flash en tant qu'acheteur) obtiennent les pires résultats en termes de part de surplus et de taux d'accord, car ils révèlent trop tôt leur volonté de payer.
Cohérence par niveau de prix : Les modèles performants (o3, Gemini-2.5-Pro) maintiennent une stratégie proportionnelle à la valeur de l'objet (discrimination par les prix efficace) sur toutes les tranches de prix. Les modèles plus faibles ne réussissent que sur les articles à haute valeur où la ZOPA est large, masquant leurs erreurs stratégiques.
Asymétrie de rôle : Les vendeurs captent majoritairement le surplus grâce à l'avantage du premier mouvement (ancrage), mais les modèles forts amplifient cet avantage.

B. Résultats de l'Entraînement (Qwen3)

Tension SFT vs RL :
- Le SFT double la part de surplus capturée mais réduit drastiquement le taux d'accord (le modèle devient trop sélectif).
- Le RL récupère le taux d'accord mais efface les gains de surplus acquis par le SFT, ramenant les performances à un niveau proche du modèle de base.
Cause de la tension : La structure de récompense actuelle attribue une récompense nulle ( $R_{utility}=0$ ) aussi bien aux retraits rationnels (quand il n'y a pas de ZOPA) que aux acceptations irrationnelles. Le RL, cherchant à maximiser la récompense, favorise donc la conclusion d'accords à tout prix, même irrationnels.
Généralisation des stratégies : Le SFT apprend des stratégies proportionnelles (ancrage et concession liés à la valeur de l'objet) qui se généralisent bien à des adversaires non vus pendant l'entraînement (o3-mini), réduisant la variance des performances selon le prix de l'objet.

5. Signification et Implications

Cet article démontre que la négociation stratégique n'est pas une compétence innée des LLM, mais une capacité qui peut être enseignée et mesurée rigoureusement.

Pour l'évaluation : Il établit un nouveau standard pour évaluer les agents autonomes, en passant de scores agrégés à des métriques dimensionnelles spécifiques (rationalité, efficacité, allocation).
Pour l'entraînement : Il met en lumière les défis de l'alignement des LLM dans des tâches multi-tours avec contraintes strictes. La découverte de la tension entre "sélectivité" (SFT) et "conclusion d'accord" (RL) suggère que les futures architectures de récompense doivent inclure des pénalités explicites pour les violations de rationalité individuelle, indépendamment de la conclusion de l'accord.
Pour l'économie comportementale : Les résultats confirment que les LLM peuvent reproduire des phénomènes humains comme l'effet d'ancrage et la discrimination par les prix, mais que leur performance dépend crucialement de la capacité à adapter leur stratégie à la valeur de l'actif et à la résistance de l'adversaire.

En résumé, l'article fournit à la fois un outil de diagnostic puissant pour les modèles actuels et une feuille de route pour entraîner des agents de négociation plus robustes et rationnels.