Résumé Technique : Qu'est-ce qui Supprime la Jouabilité de l'Équilibre de Nash dans les Grands Modèles de Langage ?

Énoncé du Problème

Des études empiriques ont établi que les agents de Grands Modèles de Langage (LLM) s'écartent systématiquement des équilibres de Nash dans les interactions stratégiques, exhibant souvent des biais comportementaux humains tels qu'une coopération excessive dans les scénarios de Dilemme du Prisonnier. Bien que le phénomène comportemental soit documenté, les raisons mécanistiques de ces écarts restent inconnues. Plus précisément, il est incertain que les LLM manquent de compétence stratégique pour calculer les équilibres de Nash ou s'ils les calculent mais les suppriment en raison de biais internes. Cet article comble cette lacune en investiguant les représentations internes des LLM lors de la prise de décision stratégique et en déterminant si ces écarts sont causalement réversibles.

Méthodologie

L'étude emploie une combinaison d'expériences comportementales et de techniques d'interprétabilité mécanistique sur quatre modèles open-source ajustés par instruction (Llama-3-8B, Llama-3-70B, Qwen2.5-32B et Qwen2.5-72B).

Expériences Comportementales :

• Jeux : Quatre jeux canoniques à deux joueurs ont été utilisés : Dilemme du Prisonnier (PD), Bataille des Sexes (BoS), Chasse au Cerf (SH) et Pile ou Face (MP).
• Protocoles : Les expériences comprenaient l'auto-jeu (modèle contre copie) et le jeu croisé (appariements hétérogènes de toutes les 12 combinaisons ordonnées).
• Modes de Raisonnement : Trois conditions de prompt ont été testées : Direct (action uniquement), Chaîne de Pensée (CoT, raisonnement visible) et Bloc-notes (raisonnement privé).
• Métrique : La « distance de Nash » ($d_{Nash}$) a été calculée comme la distance euclidienne entre la stratégie mixte empirique et l'équilibre de Nash le plus proche sur 50 tours.

Analyse Mécanistique (Llama-3-8B) :

• Sondage Linéaire : Des classificateurs logistiques ont été entraînés sur les états cachés ($h_l$) à chacune des 32 couches pour décoder l'historique de l'adversaire, la tendance à la coopération et l'action de Nash.
• Lentille de Logits : La matrice d'embedding de sortie a été appliquée aux états cachés intermédiaires pour suivre la prédiction de token évolutive du modèle tout au long du passage avant.
• Ablation des Têtes : Les têtes d'attention les mieux notées pour le suivi de l'adversaire ont été mises à zéro (zero-ablated) pour tester la présence de circuits localisés.
• Pilotage des Activations : Un vecteur « direction de Nash » a été extrait du flux résiduel en utilisant des prompts contrastifs (histoires coopératives vs défectives) et injecté dans le modèle pour observer des changements causaux dans le comportement.
• Verrouillage de Concept : Le composant coopératif de l'état caché a été remplacé par un scalaire fixe pour vérifier la nécessité causale de la direction identifiée.

Contributions et Résultats Clés

1. Résultats Mécanistiques : Encodage et Suppression

La découverte mécanistique centrale est que les LLM possèdent la compétence de calculer les stratégies de Nash mais les suppriment activement dans les dernières couches.

• Encodage de l'Historique de l'Adversaire : L'information concernant le dernier mouvement de l'adversaire est encodée avec une fidélité quasi parfaite (96 % de précision du sondage) dès la toute première couche (Couche 0) et est progressivement consommée par les couches suivantes.
• Encodage Faible de Nash : Il n'existe pas de « module de Nash » dédié. La précision du sondage linéaire pour l'action de Nash reste faible tout au long du réseau, ne dépassant jamais 56 %.
• Le Circuit de Suppression : En utilisant la Lentille de Logits, les auteurs ont observé que pour les ~75 % premiers du réseau (Couches 0–23), les prédictions internes du modèle favorisent l'action de Nash (par exemple, Défection dans le PD). Cependant, dans le dernier quart (Couches 24–30), un « dépassement prosocial » émerge, déplaçant la probabilité vers la coopération (atteignant un pic de 84 % de probabilité de coopération à la Couche 30). La dernière couche (31) corrige partiellement cela mais s'engage souvent vers l'action non-Nash.
• Nature Distribuée : L'ablation de têtes d'attention spécifiques responsables du suivi des adversaires n'a eu aucun effet sur la distribution des actions ($\Delta P(Nash) = 0.000$). Le dépassement coopératif est un effet distribué au sein du flux résiduel, non localisé à des têtes spécifiques.

2. Contrôle Causal par Pilotage

L'étude démontre que le comportement stratégique peut être causalement contrôlé en manipulant le flux résiduel.

• Extraction de la Direction de Nash : Une direction linéaire représentant le biais coopératif a été extraite de la Couche 2.
• Pilotage Bidirectionnel : L'injection de ce vecteur a permis un contrôle monotone du comportement.
  • Pilotage Négatif : Réduire la direction coopérative ($\alpha = -5$) a augmenté la probabilité de l'action de Nash (Défection) à 99,2 %.
  • Pilotage Positif : Augmenter la direction ($\alpha = +10$) a conduit la coopération à 88,7 %.
• Verrouillage de Concept : Le remplacement du composant coopératif par un scalaire fixe a confirmé une forte corrélation ($r=0.73$) entre la valeur du scalaire et la probabilité de coopération, prouvant que la direction est causale et non une caractéristique fortuite.

3. Phénomènes Comportementaux et de Jeu Croisé

• Échelle et Raisonnement : Le raisonnement par Chaîne de Pensée (CoT) aggrave la jouabilité de Nash dans les petits modèles (par exemple, Llama-8B, Qwen-32B) en amplifiant l'antériorité coopérative. Cependant, dans les grands modèles (>70 milliards de paramètres), le CoT permet une jouabilité de Nash quasi parfaite, suggérant une capacité dépendante de l'échelle à raisonner au-delà du biais.
• Verrou Coopératif Universel : En mode Direct, tous les modèles basculent par défaut vers 100 % de coopération dans le PD, indépendamment de leur taille.
• Dynamiques de Jeu Croisé :
  • Contagion de Défection : Un petit modèle (Llama-8B) peut « dénouer » la coopération de n'importe quel grand partenaire en défectant tôt, induisant le partenaire à défectionner et atteignant l'équilibre de Nash.
  • Renforcement Coopératif : Deux grands modèles appariés renforcent mutuellement leurs instincts coopératifs à l'infini, échouant à atteindre l'équilibre de Nash (défection mutuelle) même lorsqu'ils sont individuellement capables de raisonner vers celui-ci.
  • Asymétrie des Rôles : Dans les jeux de coordination (BoS), l'agent assigné comme « Agent A » (se déplaçant en premier) détermine vers quel équilibre le système converge.

Signification et Revendications

L'article soutient que l'accent mis par le domaine sur pourquoi les LLM échouent à jouer l'équilibre de Nash est mal placé. La découverte centrale est que les LLM ne manquent pas de compétence pour jouer l'équilibre de Nash ; ils le calculent puis le suppriment.

• Diagnostic : L'écart n'est pas un manque de capacité de raisonnement stratégique mais le résultat d'un « dépassement prosocial » enraciné dans le préentraînement sur des textes humains et modulé par l'alignement par renforcement humain (RLHF). Ce dépassement est concentré dans les dernières couches du réseau.
• Intervention : Puisque la suppression est un mécanisme causal au sein du flux résiduel, elle peut être inversée au moment de l'inférence sans réentraînement. Une petite intervention (pilotage) dans les premières couches peut faire basculer le modèle d'une coopération quasi parfaite à une jouabilité de Nash quasi parfaite.
• Implications pour le Déploiement : Les résultats soulignent que la composition de la population et l'attribution des rôles aux agents sont critiques. Un seul petit agent défecteur peut déstabiliser un groupe coopératif de grands modèles, tandis que deux grands modèles peuvent rester piégés dans un verrou coopératif sous-optimal pour la structure du jeu.

Les auteurs concluent que comprendre le circuit de suppression et sa variation à travers l'échelle et l'architecture est plus productif que de simplement observer les écarts comportementaux. L'étude fournit un compte rendu causal de l'échec stratégique dans les LLM et démontre une méthode pour le corriger.