🤖 machine learning

Superhuman AI for Generals.io Using Self-Play Reinforcement Learning

Cet article présente un agent d'IA surhumain pour le jeu de stratégie en temps réel Generals.io qui atteint le classement n°1 du classement public en exploitant un simulateur natif JAX avec une accélération de 10 000x pour permettre l'entraînement de bout en bout efficace d'une politique de vision transformer via l'apprentissage par renforcement par auto-jeu.

Auteurs originaux : Matej Straka, Viliam Lisý, Martin Schmid

Publié 2026-06-23

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Matej Straka, Viliam Lisý, Martin Schmid

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un champ de bataille numérique appelé Generals.io. Il s'agit d'un jeu de stratégie en temps réel où deux commandants (ou deux équipes) dirigent des armées sur une grille. Ils ne peuvent pas voir toute la carte à la fois ; ils ne voient que la terre qu'ils possèdent et la zone immédiate autour de leurs troupes. Le reste est caché dans un « brouillard de guerre ». L'objectif est simple : capturer le quartier général ennemi (le Général) tout en protégeant le vôtre.

Ce document décrit comment une équipe de chercheurs a conçu une IA qui est si performante qu'elle a battu les meilleurs joueurs humains au monde. Voici l'histoire de la façon dont ils y sont parvenus, décomposée en concepts simples.

1. Le simulateur « Super-Rapide »

Avant de pouvoir entraîner l'IA, ils avaient besoin d'un moyen de s'exercer. Par le passé, entraîner une IA sur ce jeu revenait à essayer d'apprendre à conduire en regardant une voiture avancer d'un centimètre par heure. C'était trop lent.

Les chercheurs ont construit un nouveau « simulateur » (une version numérique du jeu) en utilisant un outil spécial appelé JAX. Considérez cela comme le passage d'un vélo à un jet supersonique.

L'ancienne méthode : La version précédente pouvait exécuter environ 3 500 étapes de jeu par seconde sur un ordinateur standard.
La nouvelle méthode : Leur nouvelle version exécute 50 millions d'étapes par seconde sur une seule carte graphique.
Le résultat : C'est une accélération de 10 000x. Cela signifie que l'IA peut jouer des millions de parties dans le temps qu'il faut à un humain pour en jouer une seule. Cette vitesse a supprimé le principal goulot d'étranglement : l'IA pouvait enfin apprendre assez vite pour devenir vraiment douée.

2. Le camp d'entraînement par « Auto-jeu » (Self-Play)

Au lieu d'enseigner à l'IA en lui montrant des vidéos d'experts humains (ce qui revient à apprendre aux échecs en ne montant que des parties de grands maîtres), ils ont laissé l'IA jouer contre elle-même.

La méthode : L'IA joue des millions de parties contre des copies d'elle-même.
La récompense : Le jeu est très simple : soit vous gagnez (+1 point), soit vous perdez (-1 point). Il n'y a pas de « prix de participation » ou de points pour avoir tué quelques soldats ennemis. Vous ne recevez une récompense que si vous capturez le Général ennemi.
Le défi : Comme la récompense est très rare (vous ne l'obtenez qu'à la toute fin d'une longue partie), il est difficile pour l'IA de comprendre ce qu'elle a bien fait. C'est comme essayer d'apprendre à faire un gâteau en goûtant seulement le produit final, sans aucun retour sur le fait que vous avez mis trop de sucre ou pas assez de farine.

3. La recette secrète : Ce qui a réellement fonctionné

Les chercheurs ont testé de nombreuses différentes « recettes » pour voir ce qui rendait l'IA surhumaine. Ils ont découvert que certaines choses que les gens pensaient nécessaires étaient en fait inutiles, tandis que quelques astuces simples faisaient toute la différence.

Pas besoin de « fiches de triche » : Ils n'ont pas eu besoin de donner à l'IA des règles complexes ou des récompenses ajustées à la main pour les « bonnes » actions (comme capturer un château). Le simple signal « Gagner ou Perdre » suffisait, grâce au simulateur ultra-rapide.
L'étudiant « Moyen » (EMA) : Dans de nombreux systèmes d'IA, on utilise la toute dernière version de l'IA qui a terminé l'entraînement. Les chercheurs ont découvert que prendre une Moyenne Mobile Exponentielle (EMA) du cerveau de l'IA au fil du temps fonctionnait mieux.
- Analogie : Imaginez un étudiant qui passe un examen chaque jour. La « dernière itération » est simplement son score le dernier jour. L'« EMA » revient à prendre la moyenne de ses performances sur tout le mois. Les chercheurs ont trouvé que « l'étudiant moyen » était en fait plus constant et plus intelligent que l'étudiant lors de sa meilleure (ou pire) journée isolée.
Le filtrage des « bonnes » parties (Top-Advantage Filtering) : L'IA a joué des millions de parties, mais la plupart étaient ennuyeuses ou aléatoires. Les chercheurs ont réalisé qu'ils n'avaient pas besoin d'apprendre de chaque partie. Ils n'ont conservé que les 25 % de parties où l'IA avait un avantage clair et ont appris de celles-ci.
- Analogie : Si vous essayez d'apprendre à nager, vous n'avez pas besoin de regarder chaque fois que vous vous agitez dans l'eau. Vous avez seulement besoin d'étudier les moments où vous avez nagé de manière fluide et efficace. Cela a rendu l'entraînement beaucoup plus rapide et efficace.
Commencer petit : Ils n'ont pas commencé l'IA sur une grande carte. Ils ont commencé avec les Généraux très proches les uns des autres afin que l'IA puisse apprendre à gagner rapidement. Ensuite, ils ont lentement éloigné les Généraux, laissant l'IA apprendre la stratégie à long terme étape par étape.

4. Les résultats : Battre les humains

Après avoir entraîné l'IA pendant quatre jours sur des ordinateurs puissants, l'IA (surnommée « Average Joe ») s'est présentée sur le classement public.

Classement : Elle a atteint la 1ère place sur plus de 5 000 joueurs humains.
L'écart : Elle a battu le deuxième joueur humain par une marge énorme. En fait, l'écart entre l'IA et le deuxième humain était de la même taille que l'écart entre le deuxième humain et le 25e humain.
Face à face : Lorsqu'ils ont joué directement contre les deux meilleurs joueurs humains, l'IA a gagné 199 parties et n'en a perdu que 70.
Contre les anciens bots : Elle a également écrasé le meilleur ancien bot et le meilleur bot « basé sur des règles » (qui utilise des formules mathématiques plutôt que l'apprentissage) avec un taux de victoire parfait de 100 %.

5. Ce que l'IA « voyait »

Les chercheurs ont regardé à l'intérieur du cerveau de l'IA pour voir si elle pensait comme un humain.

Le détecteur de « Brouillard » : Ils ont trouvé une partie spécifique du cerveau de l'IA qui semblait suivre l'emplacement du Général ennemi pour le localiser.
L'analogie : Imaginez que vous jouez à cache-cache dans l'obscurité. Au début, vous pensez que la personne peut être n'importe où. Puis, en entendant un bruit ou en voyant une ombre, vous réduisez les possibilités à quelques endroits. Enfin, vous les repérez. Le cerveau de l'IA a fait exactement cela : il a commencé par une supposition, a affiné ses recherches à mesure qu'il recueillait des indices, puis a fini par « verrouiller » la position du Général ennemi, même s'il ne pouvait pas le voir directement.

Résumé

Ce document prouve que vous n'avez pas besoin de règles complexes et pré-conçues ou de quantités massives de données humaines pour créer une IA surhumaine pour les jeux de stratégie. Si vous avez un simulateur suffisamment rapide et une récompense simple de type « Gagner ou Perdre », un algorithme d'apprentissage standard peut découvrir le reste par lui-même. Les ingrédients clés étaient la vitesse, la patience (la moyenne des résultats) et le fait de se concentrer uniquement sur les parties les plus informatives.

Résumé Technique : IA Surhumaine pour Generals.io via l'Apprentissage par Renforcement par Auto-jeu

Énoncé du Problème
Le document traite du défi consistant à créer un agent d'IA surhumain pour Generals.io, un jeu de stratégie en temps réel (RTS) caractérisé par une forte information imparfaite (brouillard de guerre), des mouvements simultanés, et un besoin de planification à long terme ainsi que de tactiques à court terme. Contrairement aux jeux RTS complexes comme StarCraft II ou Dota 2, qui nécessitent des ressources computationnelles massives et reposent souvent sur un façonnage de récompense (reward shaping) dense et ajusté à la main ou sur une gestion complexe de population en boucle externe (ex: systèmes de ligues), Generals.io présente un environnement « léger » mais stratégiquement riche. La question de recherche centrale est de savoir si un pipeline d'entraînement simplifié — spécifiquement une boucle interne unique bien ajustée utilisant les gradients de politique avec des récompenses de victoire/défaite éparses — peut atteindre une performance surhumaine sans avoir recours au clonage de comportement, au façonnage de récompense ou à des mécanismes complexes de boucle externe.

Méthodologie
Les auteurs proposent un pipeline d'entraînement centré sur l'Optimisation de la Politique Proximale (PPO) avec auto-jeu, soutenu par un environnement de simulation à haute performance.

Simulateur Natif JAX : Un catalyseur principal de ce travail est un simulateur personnalisé écrit en JAX. En exprimant l'intégralité du pipeline (observations, récompenses, masquage du brouillard de guerre, résolution des combats) sous forme de fonctions pures sur un PyTree plat, les auteurs ont réussi une compilation JIT de bout en bout. Cela permet au simulateur de s'exécuter sur un seul GPU NVIDIA H200 à des vitesses atteignant 50,7 millions de frames par seconde (avec 32 768 environnements parallèles), ce qui représente une accélération d'environ 10 000× par rapport aux bases de référence précédentes sur CPU.
Architecture de l'Agent : L'agent utilise une politique de type Vision Transformer.
- Entrée : Le tenseur d'observation ( $38 \times H \times W$ ) est divisé en patchs spatiaux de $3 \times 3$ . De plus, deux jetons (tokens) non spatiaux encodent des statistiques temporelles globales (fenêtres glissantes du nombre total d'armées et de terres de l'adversaire) pour aider à inférer l'information cachée derrière le brouillard de guerre.
- Sortie : Une tête de politique produit une distribution sur 9 actions par cellule (passer, ou déplacer la totalité ou la moitié des unités dans 4 directions cardinales).
Objectif d'Entraînement : L'agent est entraîné de bout en bout en utilisant le PPO avec une récompense terminale éparse ( $+1$ pour la victoire, $-1$ pour la défaite). L'objectif inclut un bonus d'entropie pour éviter l'effondrement prématuré de la stratégie, mais évite explicitement le façonnage de récompense basé sur le potentiel ou le clonage de comportement.
Techniques d'Entraînement Clés :
- Curriculum de Distance de Spawn : L'entraînement commence avec des généraux placés proches les uns des autres (4 cellules d'écart) pour garantir des fins de partie fréquentes et des signaux apprenables, augmentant progressivement la distance jusqu'à l'échelle complète du jeu (17+ cellules).
- Moyenne Mobile Exponentielle des Paramètres (EMA) : Au lieu de déployer l'itération finale des paramètres de la politique, l'agent utilise une EMA ( $\bar{\theta}_t = \tau \bar{\theta}_{t-1} + (1-\tau)\theta_t$ ) lors de l'inférence, ce qui surpasse systématiquement la dernière itération.
- Filtrage du Top-Advantage : La boucle d'entraînement filtre les transitions collectées, ne conservant que les 25 % d'échantillons les mieux classés selon l'avantage prédit par le critique. Cela améliore à la fois le temps de calcul réel et l'efficacité de l'échantillonnage.

Contributions Clés

Environnement JAX : La publication d'un environnement Generals.io natif JAX vectorisé supportant les modes 1v1, 2v2 et free-for-all, avec une interface partagée, permettant une recherche multi-agent à haut débit.
Agent Surhumain : Une politique transformer unique entraînée purement par auto-jeu avec des récompenses éparses, qui atteint la 1ère place du classement public 1v1 (plus de 5 000 joueurs humains).
Étude d'Ablation : Une isolation systématique des composants d'entraînement démontrant que :
- Le Façonnage de Récompense est Inutile : À haut débit, les récompenses de victoire/défaite éparses suffisent, tandis que le façonnage de récompense peut déstabiliser la fin de l'entraînement.
- L'EMA est Critique : L'EMA des paramètres est une politique de déploiement systématiquement plus forte que la dernière itération.
- Efficacité du Filtrage : Le filtrage du top-advantage booste considérablement l'efficacité.
- Robustesse : La méthode est robuste aux variations des schémas de taux d'apprentissage et de coefficient d'entropie, suggérant que les schémas d'amincissement (annealing) spécifiques sont moins critiques que la plage globale.

Résultats
L'agent, nommé « Average Joe », a été entraîné pendant quatre jours sur 4× GPU NVIDIA H200.

Performance au Classement : Il a obtenu un classement de 118 points OpenSkill, dépassant l'humain classé deuxième (101 points) par une marge égale à l'écart entre l'humain de tête et le 25ème classé.
Records Face-à-Face :
- Contre l'humain de tête (shimatetsu) : 27–12 (taux de victoire de 69,2 %).
- Contre le deuxième humain (Mithraaaa) : 172–58 (taux de victoire de 74,8 %).
- Contre le plus fort ancien bot non-apprenant (Human.exe) et le précédent état de l'art des bots apprenants (zero v3) : 100 % de victoires (20–0 contre chacun).
Signification Statistique : Son bilan combiné de 199–70 contre les meilleurs humains est statistiquement significatif ( $p < 0,001$ ) par rapport à un lancer de pièce équitable.

Signification et Revendications
Le document affirme démontrer que pour un jeu RTS à information imparfaite de grande échelle, une boucle générique de gradient de politique est suffisante pour atteindre une performance surhumaine sans avoir besoin de :

Gestion complexe de population en boucle externe (ex: ligues, double-oracle).
Clonage de comportement à partir de données humaines.
Façonnage de récompense dense et ajusté à la main.

Les auteurs soulignent qu'une fois le goulot d'étranglement des données levé grâce à un simulateur rapide, la « recette » du succès se simplifie en une boucle interne bien ajustée avec des stabilisateurs spécifiques (EMA) et des filtres d'efficacité (top-advantage). Ce travail sert de point de référence pour la scalabilité des méthodes de gradient de politique dans les systèmes multi-agents, suggérant que la complexité des boucles externes peut être moins essentielle que prévu pour certaines classes de jeux. Les auteurs notent également que la tête d'attention spécifique de leur transformer semble apprendre une croyance postérieure cohérente sur la localisation générale de l'adversaire, offrant un aperçu du raisonnement interne de l'agent concernant l'information imparfaite.