Résumé Technique : Distillation de la Génération de Modèles Mondiaux de Code de Jeu dans des Modèles de Langage de Grande Taille Légers

Énoncé du Problème

La construction de Modèles Mondiaux — des représentations internes d'un environnement permettant aux agents IA de simuler les conséquences des actions — est cruciale pour les systèmes multi-agents. Bien que des travaux récents aient introduit des Modèles Mondiaux de Code (CWM), où des Modèles de Langage de Grande Taille (LLM) traduisent des descriptions de jeux en langage naturel en code Python exécutable compatible avec des solveurs comme la Recherche Arborescente Monte Carlo (MCTS), les approches actuelles font face à des barrières de scalabilité significatives.

Les méthodes existantes pour générer des Modèles Mondiaux de Code de Jeu (GameCWM) reposent fortement sur des modèles de « pointe » (par exemple, Gemini 2.5 Pro, GPT-4) et sur une puissance de calcul intensive au moment de l'inférence. Ces approches utilisent des boucles de raffinement itératif où un LLM génère du code, le vérifie par rapport à des tests unitaires ou des trajectoires de vérité terrain, et régénère le code en cas d'échec. Ce processus est coûteux en calcul et limite l'accessibilité. La question centrale de ce travail est de savoir si les capacités requises pour générer des GameCWM valides peuvent être distillées dans des modèles plus petits et légers (spécifiquement des modèles de 3 milliards de paramètres) par le biais d'un post-entraînement, éliminant ainsi la dépendance aux modèles de pointe et aux boucles de raffinement au moment de l'inférence.

Méthodologie

Les auteurs proposent un pipeline à trois composantes pour distiller les capacités de génération de GameCWM dans Qwen2.5-3B-Instruct :

1. Curation de l'Ensemble de Données

Un ensemble de données de 30 jeux à forme extensive a été construit, couvrant :

• Jeux à Information Parfaite : par exemple, Morpion, Connect4, Échecs Généralisés.
• Jeux à Information Imperfaite : par exemple, Blackjack, Poker de Kuhn, Poker de Leduc, Rami (Gin Rummy).
• Jeux Hors Distribution (OOD) : Jeux nouveaux absents des données d'entraînement standard des LLM, incluant un nouveau jeu nommé Converge.

L'ensemble de données se compose de paires prompt-code $(P_G, C_G)$, où le prompt inclut la spécification de l'API, la description du jeu en langage naturel, les chaînes d'action explicites et une trajectoire d'exemple. La sortie cible est le code Python de vérité terrain implémentant le moteur de jeu.

2. Cadre de Vérification Hiérarchique

Pour permettre l'entraînement sans moteurs de jeu de vérité terrain pour les jeux nouveaux, les auteurs ont développé un cadre de vérification à quatre niveaux évaluant le code généré :

• Niveau 1 (Analyse Statique) : Vérifie la validité syntaxique, l'exhaustivité de l'API (toutes les méthodes requises présentes), les signatures de type et la compilation réussie.
• Niveau 2 (Dynamique/Fuzzing) : Exécute 100 trajectoires synthétiques aléatoires pour vérifier la déterminisme, la logique non terminale, la logique terminale, l'exécution sans plantage et l'immutabilité de l'état.
• Niveau 3 (Respect des Règles Sémantiques) : Compare le comportement du moteur généré à un petit ensemble de « traces de scénario » (historiques de jeu) générées par un LLM de pointe à partir des règles du jeu. Cela teste les conditions limites et le gameplay typique.
• Niveau 4 (Cohérence de l'Information) : Spécifique aux jeux à information imparfaite, ce niveau évalue la fonction resample_history. Il simule une marche aléatoire vers un état, extrait une observation et vérifie que l'historique rééchantillonné produit la même observation, garantissant ainsi le maintien des limites épistémiques.

3. Pipeline de Post-Entraînement

Le processus d'entraînement comporte deux étapes :

• Affinement Supervisé (SFT) : Le modèle de base Qwen2.5-3B-Instruct est affiné sur les paires prompt-code en utilisant LoRA. Cette étape vise à aligner le modèle sur la structure et la syntaxe de l'API requises.
• Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR) : Suite au SFT, le modèle est davantage affiné en utilisant l'Optimisation de Politique Relative par Groupes (GRPO). Le signal de récompense est un score composite dérivé du cadre de vérification à quatre niveaux :
  $$r_i = \sum_{t=1}^{4} w_t S_t$$
  Où $S_t$ est le taux de réussite au niveau $t$, et les poids ($w_1=0.15, w_2=0.25, w_3=0.3, w_4=0.3$) privilégient la logique sémantique et la gestion de l'information par rapport à la simple syntaxe.

Résultats Clés

Des expériences ont été menées sur 7 jeux retenus (incluant des jeux OOD et à information imparfaite), générant 25 échantillons par jeu.

• Performance Globale : Le pipeline complet SFT+RLVR a produit le modèle le plus performant, obtenant un score moyen de vérification de 53,2 %, surpassant significativement le modèle de base (47,3 %) et le modèle uniquement SFT (49,0 %). Cependant, il est resté en dessous des performances des modèles de pointe comme GPT-4o (66,7 %).
• Gains Syntaxiques et Structurels : Le SFT a considérablement amélioré les scores Statique (Niveau 1) et Fuzz (Niveau 2), démontrant que l'affinement apprend efficacement au modèle la structure de l'API requise et la logique de transition robuste.
• Respect Sémantique : Le RLVR a apporté le gain le plus significatif aux scores Sémantiques (Niveau 3). Le modèle SFT+RLVR a obtenu un score sémantique de 14,4 % contre 8,5 % pour le modèle de base, indiquant que le RL aide le modèle à respecter les règles du jeu au-delà de la simple syntaxe.
• Défis de l'Information Imperfaite : Tous les modèles, y compris GPT-4o, ont eu des difficultés avec la cohérence de l'Information (Niveau 4) dans les jeux à information imparfaite. Le meilleur modèle Qwen (SFT+RLVR) n'a atteint que 5,3 %, contre 14,0 % pour GPT-4o.
• Limites Observées :
  • Surapprentissage en SFT : Sur le jeu en distribution Gin Rummy (non présent dans l'ensemble d'entraînement), le SFT a en fait diminué la performance (de 49,7 % à 31,4 %) en raison de l'application aveugle par le modèle de modèles de compréhension de listes appris pendant l'entraînement, introduisant des erreurs de syntaxe.
  • Limites du Raisonnement : Les modèles ont souvent inséré des commentaires reconnaissant la difficulté d'implémenter la logique resample_history, optant pour des stubs simplifiés (par exemple, renvoyer la dernière action) plutôt que de générer des chemins de raisonnement complexes. Cela suggère que l'espace latent du modèle de base pourrait manquer des capacités de raisonnement nécessaires de « Théorie de l'Esprit » pour ces tâches.

Signification et Revendications

L'article revendique que la génération de GameCWM peut être partiellement distillée dans des LLM légers par le biais d'un post-entraînement. La signification principale de ce travail est la démonstration que :

1. Efficacité des Ressources : Il est possible de réduire la dépendance aux modèles de pointe coûteux et aux boucles itératives de raffinement au moment de l'inférence en déplaçant la charge de calcul vers le post-entraînement.
2. Nécessité d'une Approche en Deux Étapes : Une combinaison de SFT (pour la structure/syntaxe) et de RLVR (pour le respect sémantique) est plus efficace que l'une ou l'autre méthode seule.
3. Scalabilité : L'approche offre une voie évolutive vers la génération automatique d'environnements à partir du langage naturel, rendant les GameCWM accessibles pour un éventail plus large d'applications.

Cependant, les auteurs restent modestes quant à l'état actuel de la technologie. Ils déclarent explicitement que le raisonnement sémantique complexe et la gestion de l'information imparfaite restent difficiles et dépassent la capacité actuelle des modèles légers et du pipeline d'entraînement. Le travail ne revendique pas avoir résolu le problème de la génération parfaite de GameCWM, mais fournit plutôt une alternative viable et plus efficace aux approches actuelles dépendantes des modèles de pointe.