Résumé Technique : RuleSmith – LLM Multi-Agents pour l'Équilibrage Automatisé de Jeux

Énoncé du Problème

L'équilibrage des jeux de stratégie asymétriques est un défi persistant dans la conception de jeux et l'apprentissage multi-agents. Les approches traditionnelles reposent sur des experts humains qui itèrent à travers des cycles d'ajustements manuels, de réglages heuristiques et de tests de jeu subjectifs. Ce processus est lent, coûteux et difficile à mettre à l'échelle, particulièrement lorsque les jeux modernes présentent des espaces d'actions combinatoires, des objectifs à long terme et des systèmes de règles richement paramétrés. De plus, le problème s'étend au-delà du divertissement vers des domaines tels que les simulations économiques, la conception de politiques et la cybersécurité, où évaluer comment de petits changements de paramètres se propagent à travers des interactions multi-étapes est crucial. Bien que les modèles de langage étendus (LLM) aient démontré leur capacité à agir comme des simulateurs « zero-shot » pour les systèmes multi-agents, l'utilisation de ces modèles pour optimiser les règles de ces environnements reste largement inexplorée.

Méthodologie

Les auteurs introduisent RuleSmith, un cadre qui automatise l'équilibrage de jeux en couplant un moteur de jeu, l'auto-jeu (self-play) de LLM multi-agents et une optimisation bayésienne sur un espace de règles multidimensionnel.

1. Le Banc d'Essai : CivMini

Pour valider le cadre, les auteurs ont construit CivMini, un jeu de stratégie asymétrique simplifié, paramétré et au tour par tour, inspiré des mécaniques 4X.

• Factions : Deux factions asymétriques, l'Empire et les Nomades.
  • Empire : Économie spécialisée avec des unités distinctes : Fermier (collecte de ressources uniquement) et Soldat (combat uniquement).
  • Nomades : Unités de Cavalerie polyvalentes avec une mobilité accrue qui gagnent des ressources en tuant les unités ennemies, nécessitant un style de jeu agressif.
• Paramètres : Le jeu expose 12 paramètres réglables ($\theta$) régissant l'économie (ressources initiales, efficacité de collecte), le combat (dégâts, PV), la production (coûts des unités) et le score (poids des ressources, batailles, unités survivantes).
• Objectif : Optimiser $\theta$ pour minimiser une fonction de perte d'équilibre $L(\theta) = |w_E - 0.5| + |w_N - 0.5| + 0.5 \cdot w_D$, où $w_E$ et $w_N$ sont les taux de victoire et $w_D$ le taux de nul.

2. L'Auto-jeu LLM comme Évaluateur

RuleSmith utilise deux agents LLM (un par faction) pour jouer au jeu en se basant sur des livrets de règles en langage naturel et des états de jeu structurés.

• Entrée : Les agents reçoivent un index de tour, des résumés de faction, les positions ennemies, des guides de stratégie et une liste d'actions légales.
• Sortie : Les agents génèrent un objet JSON structuré contenant les actions simultanées pour toutes les unités.
• Mécanismes de Fiabilité :
  • RAG (Génération Augmentée par Récupération) : Un système léger récupère les règles pertinentes du livret de règles en fonction du contexte du jeu pour réduire les hallucinations.
  • Sortie Structurée : L'imposition d'une sortie JSON avec des exemples explicites réduit les erreurs d'analyse et la charge liée à la détection de mouvements illégaux.
• Évaluation : Pour un ensemble de paramètres $\theta$ donné, $N$ parties d'auto-jeu sont exécutées pour estimer les taux de victoire empiriques et les métriques d'équilibre.

3. Optimisation Bayésienne avec Échantillonnage Adaptatif

La recherche directe dans l'espace de règles discret est intraitable en raison de l'explosion combinatoire. RuleSmith emploie l'Optimisation Bayésienne (BO) sur une relaxation continue de l'espace de règles.

• Modèle de Substitution : Un processus Gaussien modélise la perte d'équilibre $L(\theta)$.
• Projection Discrète : Les candidats continus proposés par l'optimiseur sont projetés de manière déterministe vers des configurations de jeu discrètes valides (par exemple, arrondir les PV à des entiers).
• Échantillonnage Adaptatif basé sur l'Acquisition : Pour répondre au coût computationnel élevé et au bruit des évaluations LLM, le cadre alloue dynamiquement le budget d'évaluation ($N_t$).
  • Les candidats ayant une Amélioration Attendue (EI) élevée (points prometteurs) reçoivent plus de parties ($N_{max}$) pour une évaluation précise.
  • Les candidats exploratoires avec une faible EI reçoivent moins de parties ($N_{min}$).
  • Cette stratégie concentre les ressources sur les configurations critiques tout en maintenant une exploration efficace.

Contributions Clés

1. Auto-jeu Zero-Shot Exécutable : Démonstration que les LLM multi-agents peuvent effectuer un auto-jeu zero-shot dans un jeu de stratégie asymétrique exécutable en utilisant uniquement des livrets de règles en langage naturel et des états structurés, produisant des actions légales et vérifiables sans entraînement.
2. Pipeline d'Équilibrage Automatisé : Présentation d'un cadre général intégrant l'auto-jeu de LLM multi-agents avec l'optimisation bayésienne et l'échantillonnage adaptatif basé sur l'acquisition. Ce pipeline ajuste automatiquement les paramètres des règles pour atteindre des résultats équilibrés, améliorant l'efficacité de l'échantillonnage en allouant plus de budget aux candidats prometteurs.
3. Validation Empirique Complète : Validation de RuleSmith sur CivMini à travers différentes tailles de modèles (2B et 8B paramètres) et configurations de factions. Le système atteint systématiquement des résultats quasi-équilibrés (taux de victoire à $50\% \pm 5\%$) et démontre que les paramètres équilibrés sont transférables entre les contextes d'évaluation lorsque les capacités des modèles correspondent.

Résultats Expérimentaux

• Convergence : RuleSmith a réussi à converger vers des configurations hautement équilibrées, réduisant les disparités de taux de victoire à 0 %, même à partir d'initialisations intentionnellement déséquilibrées.
• Effets de la Capacité du Modèle : Les expériences ont montré qu'augmenter la taille du modèle d'une faction déplace la distribution des victoires en sa faveur. Notamment, les écarts de performance sont les plus significatifs lorsqu'un modèle plus grand est évalué contre un plus petit en utilisant des paramètres optimisés pour un modèle plus petit, soulignant la capacité de l'agent « plus intelligent » à exploiter les avantages stratégiques.
• Études d'Ablation :
  • Méthodes d'Optimisation : Comparé à la Recherche Aléatoire et à la Stratégie d'Évolution (1+1), l'optimisation bayésienne de RuleSmith avec échantillonnage adaptatif est la seule méthode à converger systématiquement vers des taux de victoire quasi égaux (51%|49%). La BO à échantillonnage fixe et les autres bases ont échoué à atteindre l'équilibre.
  • Conceptions de Jeu : Le cadre a maintenu des résultats équilibrés à travers diverses tailles de cartes (5×5 à 11×11) et limites de tours, démontrant une robustesse aux changements de configuration spatiale et temporelle.
• Interprétabilité : Les paramètres découverts ont fourni des informations interprétables sur la manière dont la mise à l'échelle de la santé, l'efficacité des ressources et le tempo de production déterminent conjointement l'équité. Le système a trouvé diverses paramétrisations atteignant l'équilibre, plutôt que de converger vers un réglage canonique unique.

Signification et Revendications

L'article affirme que RuleSmith représente un changement d'utilisation des LLM, passant de simples outils de test de jeu à des mécanismes efficaces d'optimisation d'environnements multi-agents complexes et régis par des règles. En traitant le jeu lui-même comme un environnement asymétrique paramétré et en optimisant directement l'espace des règles, le cadre offre une approche scalable et interprétable pour l'équilibrage.

Les auteurs postulent que ce paradigme a une applicabilité plus large au-delà de la conception de jeux, notamment dans des domaines tels que la conception de politiques, la modélisation économique, la cybersécurité et la prise de décision médicale, où les interactions asymétriques basées sur des règles sont la norme. Ils soulignent que le cadre est conçu comme un outil d'analyse hors ligne et de conception, destiné à soutenir une conception plus sûre, plus transparente et plus systématique des systèmes basés sur des règles, plutôt que comme un système d'exécution de décision en temps réel. Le travail reconnaît des limites, notant que l'auto-jeu des LLM dans des environnements simplifiés peut ne pas capturer pleinement le comportement humain ou fournir des garanties formelles face aux changements de distribution.