Résumé technique : GENSTRAT

Énoncé du problème

Les grands modèles de langage (LLM) sont de plus en plus déployés en tant qu'agents économiques dans des marchés, des enchères et des contextes de mise. Cependant, anticiper leur comportement dans des déploiements spécifiques est difficile. Les benchmarks existants de raisonnement stratégique reposent sur des jeux canoniques fixes (par exemple, des variantes de Poker, Diplomacy, Avalon). Ces benchmarks présentent deux limitations principales :

1. Saturation et contamination : À mesure que les capacités des modèles s'améliorent, les performances sur des suites fixes peuvent saturer. De plus, la proximité de ces jeux canoniques avec les données d'entraînement rend difficile l'exclusion d'une contamination du corpus.
2. Généralisabilité limitée : Réduire la compétence stratégique à la performance sur un petit ensemble de jeux fixes limite la capacité d'un déployant à se généraliser à des environnements stratégiques nouveaux et désordonnés, où les structures d'information et les variations diffèrent considérablement du benchmark.

Méthodologie

Les auteurs introduisent GENSTRAT, un cadre d'évaluation basé sur des environnements stratégiques générés procéduralement pour répondre à ces limitations.

1. Génération procédurale de jeux

GENSTRAT utilise un générateur de Jeux de Paris Généralisés (GBG), définis comme des jeux en forme extensive à deux joueurs, à somme nulle et à information imparfaite.

• Structure : Les jeux sont composés de paquets, de mains privées, de piles de cartes, de phases structurées (paris, mouvements simultanés, enchères, observation) et de branches conditionnelles.
• Randomisation : Le moteur randomise à la fois la composition structurelle (graphes de phases) et les caractéristiques de surface (rangs, couleurs, tailles de mains, ordres de mise).
• Contrôle qualité : Les jeux générés subissent des simulations de Monte Carlo avec des agents jouant au hasard pour assurer leur jouabilité. Les critères d'acceptation incluent des limites sur le nombre moyen de coups par joueur, les taux de déclenchement des phases et l'élimination des branches mortes.
• Pool : À partir de 12 351 graines candidates, un pool de 2 000 jeux acceptés a été généré.

2. Axes de complexité et construction du benchmark

Pour caractériser la complexité des jeux et la performance des modèles, les auteurs définissent six axes dérivés de simulations de Monte Carlo :

1. Espace d'états : Logarithme des états d'information observables distincts.
2. Profondeur temporelle : L'ampleur avec laquelle les décisions précoces affectent les gains ultérieurs.
3. Sensibilité à l'information : La mesure dans laquelle l'action optimale dépend fortement de l'information privée.
4. Modélisation de l'adversaire : Le degré auquel la meilleure réponse change avec les variations de la politique de l'adversaire.
5. Risque : Le compromis entre la valeur attendue et le risque de perte.
6. Fragilité : La sensibilité des gains à de petites perturbations de la politique.

À partir du pool de 2 000 jeux, un benchmark de 50 jeux a été sélectionné en utilisant l'Échantillonnage du Point le Plus Éloigné (FPS) dans l'espace d'embedding à six axes pour assurer une couverture large du paysage de complexité.

3. Protocole d'évaluation

• Modèles : Neuf LLMs de pointe et à poids ouverts ont été évalués, notamment gpt-5-4-high, gemini-3.1-pro-preview, claude-sonnet-4-6-max, et d'autres.
• Conception du tournoi : Un tournoi en tête-à-tête impliquant plus de 36 000 matchs. Pour chaque triplet (Modèle A, Modèle B, Jeu), 40 matchs ont été joués, chaque modèle occupant chaque siège (Alice/Bob) 20 fois pour contrôler l'asymétrie des sièges.
• Estimation de la force : La force du modèle ($\hat{\alpha}$) est estimée à l'aide d'un modèle additif de comparaison appariée sur les marges de victoire signées (jetons par jeu), contrainte de sommer à zéro sur l'ensemble des modèles.

4. Métriques diagnostiques

Au-delà d'un seul classement, le cadre introduit :

• Profils de capacités : Régressions OLS par modèle de la force par jeu contre les six axes de complexité. Cela décompose la force globale en compétences stratégiques spécifiques (par exemple, performance dans les jeux à haut risque vs jeux à haute fragilité).
• Jaggedness local ($J_m$) : Une mesure de la régularité de la surface de performance d'un modèle. Elle quantifie dans quelle mesure la marge de victoire d'un modèle fluctue entre des jeux stratégiquement similaires (plus proches voisins dans l'espace des axes). Une forte jaggedness indique une performance imprévisible sur des jeux légèrement différents du benchmark.

Résultats clés

• Classement global : Les modèles plus récents, plus grands et capables de raisonnement ont généralement obtenu des scores plus élevés. Les trois premiers modèles étaient gpt-5-4-high (+0,85 jetons/jeu), gemini-3.1-pro-preview (+0,83) et claude-sonnet-4-6-max (+0,64). Le classement était stable sur les splits leave-one-game-out et les tertiles de complexité.
• Profils de capacités divergents : Des modèles avec une force globale quasi identique ont présenté des profils qualitativement différents :
  • gemini-3.1-pro-preview a gagné du terrain sur l'ensemble le plus large d'axes, y compris l'espace d'états et la modélisation de l'adversaire.
  • claude-sonnet-4-6-max a tiré la majeure partie de son avantage spécifiquement de la fragilité, montrant une pente raide dans les jeux à haute fragilité mais une performance plus plate ailleurs.
  • gpt-5-4-high a montré une forte performance sur l'espace d'états et la sensibilité à l'information mais était notablement localement irrégulier (forte $J_m$), suggérant une volatilité dans des contextes de jeu similaires.
• Constats sur la jaggedness : llama-3.3-70b-together était le modèle le plus localement irrégulier (régularité la plus faible), tandis que deepseek-v3.1-together était le plus régulier. Une forte jaggedness a été observée même chez les modèles de premier plan, indiquant que la force moyenne ne garantit pas une performance cohérente sur la distribution procédurale.
• Ablation du raisonnement : L'augmentation du budget de raisonnement (mode réflexion) a produit des estimations ponctuelles positives pour les rendements en marge de jetons sur les quatre familles de modèles testées (gpt-5, claude, gemini-3.1-pro, gemini-2.5-pro). Deux familles ont montré des gains statistiquement significatifs, tandis que les autres étaient sous-alimentées par la taille de l'échantillon plutôt que de montrer des effets nuls.

Signification et affirmations

L'article soutient que le classement global seul est insuffisant pour les décisions de déploiement. La capacité stratégique d'un modèle est mieux comprise comme un profil de performance complet sur différentes régions de l'espace de jeu procédural, combiné à son niveau de régularité locale (jaggedness).

• Pertinence pour le déploiement : Le profil de capacité et la mesure de jaggedness fournissent un diagnostic que le classement global ne peut offrir. Par exemple, un modèle avec une force globale élevée mais une forte jaggedness peut être moins fiable dans un environnement de déploiement situé juste en dehors de la distribution du benchmark.
• Évaluation pérenne : Parce que le générateur peut tirer de nouveaux jeux à la demande à partir de la même distribution, le benchmark résiste à la saturation et à la contamination. Il peut évoluer avec la frontière des modèles en assouplissant les plafonds de complexité.
• Généralisation : Le cadre va au-delà des jeux canoniques fixes pour évaluer comment les modèles se généralisent à de nouveaux environnements stratégiques, abordant le « désordre » des déploiements d'agents économiques réels.

Les auteurs concluent que GENSTRAT reformule l'évaluation du raisonnement stratégique autour d'une distribution générée procéduralement et d'une décomposition multi-axes, permettant une compréhension plus nuancée des forces, des faiblesses et de la stabilité des modèles.