Résumé Technique : Social Gym et SPARTAN

Énoncé du Problème

Les agents de Grands Modèles de Langage (LLM) sont de plus en plus déployés dans des environnements sociaux multi-agents nécessitant coopération, négociation et adaptation. Cependant, la mesure et l'amélioration de ces compétences sociales se heurtent à trois limitations critiques dans les évaluations existantes :

1. Benchmarks Statiques : De nombreuses évaluations s'appuient sur des questionnaires statiques de théorie de l'esprit (ex. : FANToM, ToMi) qui produisent des scores reproductibles mais ne parviennent pas à tester un comportement soutenu sur plusieurs tours.
2. Jugement Subjectif : Les évaluations interactives ouvertes (ex. : SOTOPIA) évaluent les compétences multi-tours mais reposent sur un scoring par LLM-as-judge (LLM comme juge), ce qui est sujet aux biais de position, de verbosité et d'auto-amélioration, rendant les résultats bruyants et subjectifs.
3. Portée Étroite : Des travaux récents utilisant des récompenses vérifiables ciblent souvent des jeux ou des domaines isolés, échouant à capturer l'étendue de l'intelligence sociale à travers différentes structures d'interaction.

Il existe un manque pour un cadre d'évaluation qui soit simultanément multi-tours, large dans sa couverture de domaines et vérifiable (déterminé par les règles d'interaction plutôt que par un jugement subjectif). De plus, il reste incertain si les LLM peuvent améliorer leurs capacités de raisonnement social sans mise à jour des paramètres (changements de poids).

Méthodologie

Social Gym : Un Benchmark Vérifiable

Les auteurs introduisent Social Gym, un environnement composé de 21 jeux sociaux multi-agents conçus pour tester le raisonnement social à travers cinq catégories :

1. Jeux en Forme Normale (6) : Jeux matriciels itérés avec information complète et sans communication (ex. : Dilemme du Prisonnier, Chicken).
2. Jeux Économiques (3) : Allocation de ressources sur plusieurs tours nécessitant un raisonnement stratégique (ex. : Biens Publics, Centipede).
3. Jeux de Bluff (4) : Jeux à état caché nécessitant de la fausse représentation ou de l'inférence (ex. : Liar's Dice, Coup).
4. Déduction de Rôle Caché (6) : Jeux avec assignations de rôles secrets nécessitant un dialogue pour identifier les alliés/ennemis (ex. : Loup-Garou, Resistance, Spyfall).
5. Stratégie Sociale (2) : Jeux à information complète reposant sur la formation d'alliances et la réputation (ex. : Survivor).

Caractéristiques Architecturales Clés :

• Résultats Vérifiables : Chaque jeu possède un algorithme décidant l'issue (victoire/défaite/score), éliminant le besoin de juges LLM.
• Observabilité Partielle : Une couche de visibilité filtre les messages en portées Publique, Privée d'Équipe ou Privée, forçant les agents à effectuer un raisonnement de Théorie de l'Esprit.
• Tournoi Elo Unifié : Un ajustement de maximum de vraisemblance de Bradley-Terry génère des tableaux de taux de victoire par jeu et un classement général, permettant un classement objectif des modèles à travers diverses structures sociales.

SPARTAN : Auto-amélioration Sans Entraînement

Pour déterminer si les LLM peuvent s'améliorer sans mise à jour de poids, les auteurs proposent SPARTAN (Self-Play and Reflect-Transfer), une boucle en trois étapes :

1. Play (Jouer) : Le modèle joue $N$ parties d'auto-jeu d'un jeu spécifique $G$, générant des trajectoires.
2. Reflect (Réfléchir) : Le modèle analyse ses propres trajectoires et issues pour générer un manuel stratégique de première personne et transférable (couvrant la tromperie, la détection, la persuasion, etc.). Crucialement, le manuel est instruit pour être agnostique au jeu (pas de références à des numéros de jeux spécifiques).
3. Transfer (Transférer) : Le manuel généré est prépendé au prompt système de l'agent pour les jeux suivants.

Cette approche fonctionne comme un « fine-tuning contextuel » où les « données d'entraînement » sont le propre gameplay du modèle et les « poids appris » sont des règles en langage naturel.

Résultats Clés

Résultats de Benchmarking (Social Gym)

• Inversions de Classement : Bien que GPT-5-mini domine le classement général (1110 Elo), aucun modèle n'excelle uniformément dans tous les jeux ou rôles. Les classements s'inversent brutalement ; par exemple, Qwen3-32B arrive premier dans le jeu spécifique "Chicken" (1328 Elo) mais dernier dans "Werewolves" (817 Elo) parmi les sept modèles évalués.
• Asymétrie de Rôle : Dans les jeux à rôles cachés, les modèles performent souvent différemment sur les rôles minoritaires/trompeurs (Alt) versus les rôles majoritaires/coopératifs (Main). Généralement, le rôle minoritaire est structurellement plus facile à gagner contre un pool mixte d'adversaires, mais cet avantage s'inverse en auto-jeu de capacité égale pour les modèles plus forts.
• Limitations des Modèles : Les modèles plus petits (ex. : Qwen2.5-3B) présentent un « effet de perroquet », paraphrasant fréquemment l'interlocuteur précédent plutôt que de générer des arguments indépendants, ce qui contribue à une performance moindre.

Évaluation de SPARTAN

Les auteurs ont évalué SPARTAN selon quatre axes : itération intra-jeu, transfert inter-jeux, transfert multi-jeux et distillation inter-modèles.

1. Itération Intra-Jeu (GPT-5-mini) :

   • L'injection d'un manuel ($R_1$) augmente significativement le taux de victoire du côté structurellement plus faible (Alt) dans les jeux asymétriques (ex. : le taux de victoire de l'Alt dans Werewolves passe de 23 % à 36 %).
   • Inversement, le côté structurellement plus fort (Main) voit souvent une baisse de performance lorsqu'il est armé du même manuel.
   • Les gains sont non-monotones ; l'essentiel de l'amélioration se produit à $R_1$, les tours suivants ($R_2$–$R_4$) redistribuant plutôt qu'accumulant les gains.

2. Transfert Inter-Jeux et Multi-Jeux :

   • Les manuels générés à partir d'un jeu (ex. : Werewolves) se transfèrent efficacement au côté plus faible d'autres jeux à rôles cachés (ex. : Spyfall, Resistance), améliorant souvent les taux de victoire de +7 à +27 points de pourcentage.
   • Les manuels multi-jeux (entraînés sur plusieurs sources) ne surpassent pas systématiquement les manuels à jeu unique, suggérant qu'un seul jeu lié fournit un signal suffisant pour le transfert.

3. Distillation Inter-Modèles :

   • Les manuels générés par GPT-5-mini se distillent avec succès vers des modèles étudiants plus faibles (ex. : Qwen3-4B, GPT-4o-mini), augmentant leur performance sur les rôles structurellement plus faibles (ex. : les Espions dans Resistance) de +13 à +24 points de pourcentage.
   • L'effet est dépendant du rôle, et non du modèle étudiant : le manuel aide le modèle jouant le rôle désavantagé, quelle que soit la capacité de base de l'étudiant.

4. Dépendance à la Capacité (Qwen3-32B) :

   • Appliqué à l'open-weights Qwen3-32B, SPARTAN échoue largement à améliorer la performance dans les jeux de déduction sociale complexes (Werewolves, Spyfall).
   • La seule exception est le Dilemme du Prisonnier, où le manuel prescrit une action discrète (faire défection au dernier tour) que le modèle peut exécuter.
   • Dans les jeux basés sur la discussion, Qwen3-32B échoue à briser son comportement de perroquet ; le processus de réflexion tend à codifier le perroquetage dans le manuel plutôt qu'à l'éliminer.

Signification et Revendications

Le papier revendique deux contributions primaires :

1. Social Gym fournit une base reproductible et vérifiable pour mesurer le raisonnement social des LLM sans dépendre de juges LLM subjectifs. Il révèle que la capacité sociale n'est pas une capacité scalaire unique mais dépend fortement de la structure d'interaction, du rôle et de la catégorie de jeu.
2. SPARTAN démontre que les LLM peuvent améliorer leur performance sociale sans mise à jour de paramètres en extrayant des stratégies transférables de l'auto-jeu. Cependant, cette amélioration est dépendante de la capacité et de la structure : elle élève efficacement les rôles structurellement plus faibles dans les jeux complexes pour les modèles à haute capacité, mais échoue pour les modèles manquant de la capacité de raisonnement nécessaire pour traiter des trajectoires sociales à long terme ou briser les schémas de perroquetage.

Les auteurs concluent que Social Gym et SPARTAN offrent un cadre pour séparer les propriétés structurelles des contextes sociaux des échecs spécifiques aux modèles (ex. : faible tromperie, mauvaise gestion des coalitions). Ils suggèrent que cet environnement est un banc d'essai naturel pour la recherche future en Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR), permettant l'entraînement des compétences de raisonnement social à grande échelle sans juges LLM.

Limitations Reconnues :

• Validité Externe : Tous les jeux ont des règles fixes et des critères victoire/défaite, ce qui peut ne pas capturer pleinement les interactions sociales du monde réel comme la construction de confiance à long terme.
• Taille de l'Échantillon : Les résultats sont basés sur environ 30 jeux par condition, produisant des intervalles de confiance d'environ ±18 points de pourcentage.
• Absence de Contrôle Placebo : L'étude manque d'un contrôle de manuel placebo pour dissocier pleinement les effets de contenu des perturbations de prompt génériques, bien que les schémas structurels suggèrent que les effets sont dictés par le contenu.
• Contraintes de Réflexion : La réflexion est limitée à la prose en langage naturel dans le prompt système, manquant d'outils de récupération externes ou de raisonnement structuré.