Résumé Technique : Paroles Dérisoires Byzantines dans les Jeux de Coordination d'LLM

1. Énoncé du Problème

Les systèmes multi-agents basés sur les Grands Modèles de Langage (LLM) reposent de plus en plus sur des protocoles de communication pour la coordination, pourtant leur robustesse face à la tromperie adversaire et aux contraintes structurelles reste mal comprise. Alors que des travaux antérieurs ont établi que les « paroles dérisoires » (cheap talk — communication pré-jeu gratuite et non contraignante) peuvent résoudre les dilemmes de coordination comme la Chasse au Cerf (Stag Hunt) en établissant des points focaux, ces conclusions supposent une signalisation honnête et une communication sans restriction.

Cette étude examine deux classes spécifiques de vulnérabilités dans la coordination multi-agent des LLM :

1. Tromperie Byzantine : La coordination peut-elle être maintenue lorsqu'un agent signale la coopération mais défection stratégiquement (comportement byzantin) ?
2. Effets de Topologie : Les bénéfices des paroles dérisoires persistent-ils lorsque la visibilité de la communication est restreinte, et surtout, est-ce que la conscience qu'ont les agents de ces restrictions affecte les résultats ?

L'étude se concentre sur un jeu de Chasse au Cerf à 4 joueurs, où la structure des gains nécessite l'unanimité pour obtenir la récompense la plus élevée, ce qui rend le système extrêmement sensible à la défection d'un seul agent.

2. Méthodologie

Configuration Expérimentale

• Jeu : Une Chasse au Cerf à 4 joueurs comprenant deux étapes par tour : (1) une étape de communication où les agents diffusent un mot unique non contraignant, et (2) une étape d'action où les agents choisissent « Chasser le Cerf » (coopérer) ou « Chasser le Lièvre » (défection).
• Gains (Payoffs) :
  • 10 points si les 4 choisissent le Cerf.
  • 3 points si un agent choisit le Lièvre.
  • 0 point si un agent choisit le Cerf alors qu'un autre choisit le Lièvre.
• Protocole : Chaque essai consiste en 5 tours avec le même groupe d'agents. Les agents observent l'historique complet des messages, des actions et des gains au sein d'un essai. Les essais sont indépendants (prompts frais, pas de mémoire inter-essais).
• Modèles : Six familles de LLM hétérogènes ont été testées (Mixtral-8x22B, Qwen2.5-72B, Llama-3.3-70B, DeepSeek-V3, GPT-4o, Claude Sonnet 4.6) à travers 720 essais.

Conditions

1. Byzantin Dur ($k \in \{0, 1, 2\}$) : $k$ agents diffusent déterminstement « Cerf » mais choisissent toujours « Lièvre ».
2. Byzantin Mou ($k=1, p=0.5$) : L'adversaire défectionne avec une probabilité de 0,5.
3. Restrictions de Topologie :
   • Explicite : Les agents sont informés des contraintes de visibilité (Diffusion, Anneau, Étoile).
   • Silencieuse : Les mêmes restrictions de visibilité sont appliquées, mais les agents ne reçoivent aucun indice sur celles-ci (ex: le nombre de joueurs est retiré des prompts).
4. Interaction : Topologie en Étoile combinée à un agent byzantin (soit comme moyeu, soit comme branche).

Métriques

• Taux de Coopération du Groupe ($\Phi$) : Pourcentage de tours où tous les agents choisissent le Cerf.
• Taux de Coopération Non-Byzantin ($\rho_{nb}$) : Pourcentage de choix du Cerf parmi les agents non-adversaires.
• Gain Moyen ($\bar{u}$) : Gain moyen par tour pour les agents non-byzantins.

3. Contributions Clés et Résultats

A. Vulnérabilité Byzantine et Archétypes Comportementaux

• Effondrement Total de la Coordination de Groupe : Un seul agent byzantin déterministe ($k=1$) élimine totalement la coopération de groupe ($\Phi = 0\%$).
• Détection vs Adaptation : Les agents non-byzantins détectent la trahison en un tour (en observant le décalage entre le signal « Cerf » et l'action « Lièvre »). Cependant, ils ne parviennent pas à s'adapter collectivement. Environ 50 % des agents non-byzantins continuent de coopérer malgré l'exploitation répétée.
• Deux Archétypes Comportementaux Stables : Le papier identifie deux modèles de comportement distincts et stables à travers les familles de modèles :
  1. Enclin à la Défection (DP - Defection-Prone) : Modèles (ex: Mixtral, DeepSeek, GPT-4o) qui passent définitivement à la défection après avoir détecté la trahison. Ces modèles obtiennent des gains individuels nettement plus élevés (2,42/tour) dans des conditions adverses.
  2. Persistant dans la Coopération (CP - Cooperation-Persistent) : Modèles (ex: Qwen, Llama) qui continuent de tenter de coopérer malgré l'exploitation. Ces modèles subissent des gains nettement inférieurs (0,45/tour), subissant une « taxe de coopération » de 5,4x par rapport aux modèles DP.
• Byzantin Mou : Lorsque l'adversaire défectionne de manière probabiliste ($p=0,5$), la coopération de groupe survit partiellement (12 %), et l'écart de gain entre les modèles DP et CP se réduit (2,6x), car les modèles CP réussissent occasionnellement à se coordonner avec l'adversaire.

B. Topologie et Méta-Raisonnement

• Topologie Explicite vs Silencieuse :
  • Explicite : Restreindre la visibilité (Anneau ou Étoile) et informer les agents de ces contraintes fait chuter la coopération à des niveaux proches de zéro, même sans aucun agent byzantin.
  • Silencieuse : Appliquer les mêmes restrictions sans informer les agents préserve une coopération quasi parfaite (100 % en Anneau/Diffusion, 88 % en Étoile).
• Mécanisme : L'échec dans les conditions explicites provient du méta-raisonnement. Lorsque les agents sont informés qu'ils ont une visibilité limitée, ils infèrent l'existence de joueurs invisibles aux intentions inconnues, déclenchant une incertitude stratégique. Dans les conditions silencieuses, les agents prennent les messages visibles au premier degré.
• Interaction : Combiner des agents byzantins avec des topologies restreintes (ex: Étoile) aggrave les dégâts, réduisant la coopération non-byzantine à 13–28 %, soit nettement moins que les 50 % observés dans les scénarios de diffusion byzantine.

C. Robustesse et Stabilité

• Cohérence Inter-Cohorte : La division entre les archétypes DP/CP reste stable à travers différentes cohortes de modèles (y compris GPT-4o et Claude Sonnet) et différentes tailles de groupe ($n=2$ à $n=6$).
• Défection Préemptive : GPT-4o a montré un comportement unique dans certaines cohortes : la défection préemptive (choisir le Lièvre dès le tour 1 avant toute trahison), bien qu'il soit toujours fonctionnellement classé comme DP une fois la trahison survenue.
• Exception Qwen : Qwen était le seul modèle systématiquement classé comme Persistant dans la Coopération (CP) à travers toutes les cohortes et tailles de groupe testées.

4. Signification et Implications

Le papier recadre les échecs de coordination des multi-agents LLM comme des vulnérabilités de sécurité concrètes plutôt que comme des phénomènes de théorie des jeux abstraits :

1. Paroles Dérisoires Byzantines comme Injection Adversaire : Un agent byzantin agit comme un vecteur d'injection de prompt adverse. Contra-rément aux attaques directes par prompt, cela exploite la « couche d'inférence sociale », où les agents mettent à jour leurs croyances basées sur de faux signaux. La structure de gain de l'unanimité rend le système fragile : la défection d'un seul agent garantit l'échec, et le doute résiduel empêche la récupération.
2. La Topologie comme Surface d'Attaque : Divulguer l'architecture du réseau aux agents peut dégrader les performances. Les systèmes qui exposent les rôles des agents ou les graphes de communication peuvent involontairement induire une incertitude stratégique qui fait s'effondrer la coordination, même en l'absence d'adversaires.
3. La Taxe d'Alignement : Les modèles entraînés ou alignés pour être prosociaux et coopératifs (modèles CP) sont systématiquement exploitables par des pairs adverses. Optimiser pour le comportement coopératif de manière isolée peut créer des agents qui performent bien individuellement mais échouent collectivement dans des environnements adverses, payant une pénalité disproportionnée (5,4x de gain inférieur) par rapport aux modèles auto-intéressés (DP).

Les auteurs concluent que si les paroles dérisoires sont efficaces sous des conditions standards, elles sont fragiles selon les axes de la tromperie adversaire et de la transparence structurelle. Ces conclusions soulignent la nécessité de mécanismes de vérification dans les cadres multi-agents pour assurer la robustesse contre les acteurs malveillants et les incertitudes structurelles.