Payoff scaling shapes cooperation in LLM agents across languages

Résumé Technique : Le passage à l'échelle des gains façonne la coopération des agents LLM à travers les langues

1. Énoncé du problème

Alors que les grands modèles de langage (LLM) sont de plus en plus déployés en tant qu'agents autonomes dans des tâches de négociation et de coordination, la compréhension de leur comportement stratégique dans des environnements multi-agents est devenue un enjeu critique pour la gouvernance de l'IA. Bien que des études empiriques aient examiné la coopération des LLM sous un angle de la théorie des jeux, la plupart des évaluations existantes se concentrent sur les résultats agrégés (par exemple, les taux de coopération) plutôt que sur les intentions comportementales ou les stratégies sous-jacentes qui dictent ces actions. De plus, il manque une comparaison systématique entre le comportement des LLM et les références théoriques sous des conditions contrôlées variant à la fois l'ampleur des incitations (enjeux financiers) et le cadrage linguistique.

Ce travail répond à trois questions fondamentales :

1. Les agents LLM modifient-ils systématiquement leur comportement de coopération à mesure que les enjeux varient, et comment cela diffère-t-il selon les modèles et les langues ?
2. Les intentions comportementales des LLM peuvent-elles être classées de manière fiable par apprentissage supervisé, et quels biais systématiques émergent ?
3. Comment les distributions de stratégies dérivées des LLM se comparent-elles aux bases de référence de la théorie des jeux évolutionnaires (EGT) sous des conditions de gains et de bruit identiques, et ces modèles se généralisent-ils aux modèles plus petits et à poids ouverts ?

2. Méthodologie

L'étude utilise FAIRGAME (Framework for AI Agents Bias Recognition using Game Theory) comme infrastructure de calcul pour mener des expériences contrôlées.

• Conception expérimentale : Les auteurs utilisent un Dilemme du Prisonnier (PD) répété avec un horizon fini de $N=10$ tours (étendu à $N=30$ pour les modèles à poids ouverts). La manipulation centrale est le passage à l'échelle des gains (payoff scaling) : un paramètre scalaire $\lambda \in \{0.1, 1.0, 10.0\}$ (et jusqu'à 1000 pour les petits modèles) multiplie toutes les valeurs de pénalité tout en préservant la structure stratégique du jeu. Cela isole l'effet de l'ampleur de l'enjeu sans changer l'équilibre de Nash du jeu.
• Variables : Les expériences couvrent cinq langues (anglais, français, arabe, chinois mandarin, vietnamien), trois modèles propriétaires de pointe (GPT-4o, Claude 3.5 Haiku, Mistral Large) et trois petits modèles à poids ouverts (Qwen3 8B, Gemma-3 12B, Llama-3.1 8B). Les appariements d'agents incluent des traits de personnalité coopératifs (C) et égoïstes (S).
• Pipeline de reconnaissance des intentions : Pour dépasser les simples comptages d'actions, les auteurs entraînent des classificateurs supervisés pour inférer des stratégies canoniques à partir de séquences d'actions.
  • Données d'entraînement : 10 000 trajectoires synthétiques générées pour quatre stratégies canoniques : Toujours Coopérer (ALLC), Toujours Défection (ALLD), Tit-for-Tat (TFT) et Win-Stay–Lose-Shift (WSLS), avec injection de bruit d'exécution.
  • Sélection du modèle : Un classificateur basé sur LSTM a été sélectionné comme le plus performant (F1 = 0,984) en raison de sa capacité à capturer les dépendances séquentielles dans l'historique des actions, surpassant la régression logistique, les forêts aléatoires et les modèles de Markov cachés.
  • Inférence : Le LSTM entraîné classifie les trajectoires générées par les LLM. Les prédictions à haute confiance ($p \geq 0,9$) sont utilisées pour déterminer les distributions de stratégies.
• Référence théorique : Un modèle analytique de Théorie des Jeux Évolutionnaires (EGT) est dérivé pour prédire la distribution stationnaire des stratégies sous les mêmes structures de gains et niveaux de bruit. Cela sert de référence « aveugle à la langue » pour contraster avec le comportement des LLM.

3. Résultats clés

A. Sensibilité aux gains et changements stratégiques
Contrairement à l'intuition classique de la théorie des jeux où des enjeux plus élevés pourraient encourager une défection prudente ou, inversement, où des enjeux faibles encourageraient l'exploration, les LLM présentent un motif distinct de coopération croissante avec les enjeux.

• À mesure que $\lambda$ augmente de 0,1 à 10, la prévalence de la défection inconditionnelle (ALLD) diminue drastiquement, tandis que la coopération conditionnelle (WSLS) et la coopération inconditionnelle (ALLC) augmentent.
• Cette tendance est spécifique au modèle : Claude 3.5 Haiku montre une ascension abrupte de la coopération ; GPT-4o passe d'une base de défection élevée à un profil équilibré ; Mistral Large reste relativement insensible aux changements d'enjeux.
• Dans la réplication sur les modèles à poids ouverts, cet effet directionnel est maintenu mais est non monotone aux enjeux extrêmes ($\lambda > 100$), où certains modèles (ex. Qwen3) montrent une réponse en forme de U, la coopération chutant aux enjeux les plus élevés.

B. Priming linguistique
Le cadrage linguistique façonne de manière significative les archétypes stratégiques, un effet que les auteurs nomment priming linguistico-culturel.

• Inconditionnel vs Conditionnel : Les prompts en arabe et en chinois induisent un fort biais vers les stratégies inconditionnelles (ALLC + ALLD $\approx$ 60 %). En revanche, les prompts en anglais, français et vietnamien produisent des distributions plus équilibrées avec des parts plus élevées de réciprocité adaptative (TFT + WSLS).
• Interaction avec les enjeux : Le français et le vietnamien montrent la plus grande sensibilité à l'ampleur des enjeux, basculant radicalement vers la coopération à mesure que les enjeux augmentent. L'arabe présente la réponse la plus atténuée. À des enjeux élevés, l'anglais et le français convergent vers des profils stratégiques similaires, suggérant que des incitations fortes peuvent normaliser la variation translinguistique.

C. Divergence avec la Théorie des Jeux Évolutionnaires (EGT)
Une conclusion critique est le désaccord systématique entre le comportement des LLM et les prédictions de l'EGT.

• Prédiction EGT : Sous des enjeux élevés, la référence EGT prédit un « mur de défection systématique » (ALLD), car la tentation de défection devient évolutionnairement dominante.
• Observation LLM : Les LLM évoluent dans la direction opposée. À mesure que les enjeux augmentent, les LLM deviennent plus coopératifs, la prévalence de l'ALLD passant d'environ 39 % à des enjeux faibles à environ 18 % à des enjeux élevés.
• Interprétation : Les auteurs soutiennent que cette divergence est une signature de l'alignement (ex. RLHF, IA Constitutionnelle) et de l'absorption de modèles de comportement humains issus des données d'entraînement, où les humains ont tendance à intensifier la coopération lorsque le coût de l'erreur augmente. La référence EGT, étant aveugle à la langue et purement dictée par les gains, échoue à capturer ces modes de raisonnement « à la manière humaine » et les priors culturels.

D. Généralisation aux petits modèles
La réplication avec des petits modèles à poids ouverts confirme que ces effets ne sont pas uniques aux modèles propriétaires de pointe. Bien que les stratégies spécifiques varient (ex. Gemma-3 agit comme un « généraliste stratégique », tandis que Llama-3.1 devient un joueur Tit-for-Tat engagé à des enjeux modérés), la sensibilité générale au passage à l'échelle des gains et au cadrage linguistique persiste.

4. Contributions

L'article apporte quatre contributions principales :

1. Protocole de mise à l'échelle des gains : Introduction d'un protocole de Dilemme du Prisonnier à horizon fini et à gains scalés pour isoler systématiquement la sensibilité des LLM à l'ampleur de l'incitation.
2. Reconnaissance d'intention supervisée : Développement et application d'un pipeline hybride (basé sur des règles + LSTM) pour inférer des stratégies canoniques à partir des trajectoires de LLM, dépassant les simples taux de coopération agrégés.
3. Référence EGT : Établissement d'une référence analytique EGT sous des conditions identiques, fournissant une référence normative pour diagnostiquer les biais et les écarts des LLM par rapport à l'équilibre rationnel.
4. Réplication sur modèles à poids ouverts : Démonstration que les effets d'incitation et de langue se généralisent à travers les tailles et les architectures de modèles, y compris les modèles plus petits et déployables localement.

5. Signification et affirmations

Les auteurs positionnent ce travail comme un outil de diagnostic pour la gouvernance de l'IA. La portée réside dans l'identification du design des gains et du cadrage linguistique comme des leviers puissants et sous-explorés pour orienter le comportement des LLM dans les systèmes multi-agents.

L'article affirme que :

• Les LLM ne sont pas des agents statiques ; ils modulent leurs engagements stratégiques en fonction de la saillance de l'incitation.
• Le contexte linguistique introduit des biais systématiques qui rivalisent avec l'impact de l'architecture du modèle.
• La divergence entre le comportement des LLM et les prédictions de l'EGT n'est pas une erreur mais une caractéristique de l'alignement, reflétant des modes de raisonnement de type humain qui privilégient la coopération sous des enjeux élevés.
• Ces conclusions ont des implications directes pour l'évaluation et la gouvernance des systèmes d'IA déployés dans des environnements multilingues à enjeux élevés, suggérant que « l'alignement » peut se manifester par un écart par rapport à la rationalité classique de la théorie des jeux.

L'étude reste modeste dans ses affirmations concernant l'équivalence comportementale avec les humains, notant que bien que les motifs fassent écho aux résultats expérimentaux humains, l'absence de bases de référence humaines directes dans ce montage spécifique empêche de revendiquer une équivalence. L'objectif est plutôt d'utiliser la classification d'intention pour révéler les biais structurels inhérents au comportement stratégique actuel des LLM.