Overcoming Environmental Meta-Stationarity in MARL via Adaptive Curriculum and Counterfactual Group Advantage

Ce papier présente CL-MARL, un cadre qui surmonte les limites de l'entraînement à difficulté statique dans l'apprentissage par renforcement multi-agent en combinant un planificateur de curriculum adaptatif (FlexDiff) avec un algorithme d'avantage de groupe contrefactuel (CGRPA) afin d'obtenir des performances supérieures et une convergence plus rapide sur des tâches coopératives exigeantes.

L'essentiel

Imaginez que vous essayez d'enseigner à une équipe de cinq amis comment jouer à un jeu vidéo de stratégie complexe contre un adversaire informatique.

Le Problème : Le Piège du « Coincé au Milieu »
Dans la plupart des méthodes d'entraînement actuelles, vous fixez le niveau de difficulté de l'adversaire informatique (disons, « Niveau 7 ») et vous le laissez ainsi pendant toute la session d'entraînement.

• Si l'équipe est trop faible : Elle continue de perdre, se frustre et n'apprend jamais les mouvements avancés.
• Si l'équipe devient trop bonne : Elle traverse le niveau sans effort, mais elle apprend uniquement à battre cet adversaire spécifique de Niveau 7. Elle devient « sur-spécialisée ». Si vous lui lancez soudainement un adversaire plus difficile plus tard, elle s'effondre car elle ne s'y est jamais entraînée.

Les auteurs appellent cela la « Stationnarité Méta-Environnementale ». C'est comme un étudiant qui ne prépare un examen qu'en utilisant exactement les mêmes questions d'entraînement. Il pourrait réussir cet examen spécifique, mais échouer à l'examen réel car il ne peut pas s'adapter à de nouvelles questions, plus difficiles.

La Solution : Un Coach Intelligent et Adaptatif (CL-MARL)
L'article propose un nouveau système appelé CL-MARL. Imaginez cela comme un coach intelligent qui observe l'équipe jouer et ajuste constamment la difficulté du jeu en temps réel.

Le système dispose de deux outils principaux :

1. Le Planificateur de Difficulté Flexible (FlexDiff)

C'est l'« oreille » et la « voix » du coach.

• Fonctionnement : Au lieu de deviner quand rendre le jeu plus difficile, FlexDiff observe le taux de victoire et le score de l'équipe.
• L'Analogie : Imaginez un jeu vidéo qui augmente automatiquement la puissance des ennemis. Si votre équipe gagne trop facilement, le coach dit : « D'accord, essayons le Niveau 8 ! » Si elle commence à perdre lourdement, le coach dit immédiatement : « Trop vite ! Redescendons au Niveau 6 pour s'entraîner. »
• L'astuce de la « Momentum » : Le coach ne réagit pas à une seule victoire chanceuse ou à une seule mauvaise défaite. Il observe la tendance dans le temps (comme vérifier si un étudiant améliore constamment ses résultats en mathématiques, et non pas s'il a juste eu une bonne réponse par hasard). Cela empêche la difficulté de sauter de manière chaotique.

2. L'Avantage Contrefactuel de Groupe (CGRPA)

C'est le « compteur d'équité » du coach.

• Le Problème : Lorsque la difficulté augmente, l'équipe peut paniquer et commencer à faire des erreurs. Dans un jeu d'équipe, il est difficile de dire qui a fait l'erreur. Est-ce que le Joueur A a raté son tir ? Ou est-ce que le Joueur B a échoué à bloquer ?
• La Solution : CGRPA pose une question « Et si ? » pour chaque joueur.
  • Réalité : « Le Joueur A a attaqué, et nous avons perdu. »
  • Contrefactuel (Et si) : « Et si le Joueur A avait choisi de se défendre à la place ? Aurions-nous gagné ? »
• Le Résultat : En comparant ce qui s'est réellement produit avec ce qui aurait pu se produire, le système attribue le mérite (ou le blâme) à la bonne personne. Cela maintient l'équipe calme et concentrée lorsque la difficulté change, l'empêchant de se désintégrer.

Les Résultats : Battre les Niveaux « Super-Difficiles »
Les auteurs ont testé cela sur StarCraft II, un jeu célèbre utilisé pour entraîner l'IA. Ils ont utilisé des cartes considérées comme « Super-Difficiles », où même les meilleures IA existantes échouent généralement.

• L'Ancienne Façon : Les méthodes d'IA standard (comme QMIX) restent souvent bloquées à un taux de victoire de 40 à 60 % sur ces cartes difficiles. Elles atteignent un plafond et ne peuvent pas aller plus haut.
• La Nouvelle Façon (CL-MARL) : En utilisant le coach adaptatif, l'IA a appris à gravir l'échelle étape par étape.
  • Sur les cartes les plus difficiles, CL-MARL a atteint un taux de victoire de 40 % (ce qui est énorme pour ces scénarios spécifiques où les autres échouaient complètement).
  • Elle a appris plus vite que les anciennes méthodes.
  • Elle s'est mieux généralisée, ce qui signifie qu'elle n'a pas seulement mémorisé un ennemi spécifique ; elle a appris à s'adapter à n'importe quelle force d'ennemi.

En Bref
Cet article présente un moyen d'entraîner des équipes d'IA non pas en les forçant à combattre un ennemi statique et immuable, mais en les laissant grandir avec un adversaire dynamique qui ne devient plus fort que lorsqu'elles sont prêtes. C'est la différence entre un étudiant qui mémorise les réponses pour un examen spécifique et un étudiant qui apprend à réfléchir à n'importe quel problème, peu importe la difficulté.

Résumé technique

Résumé technique : Surmonter la méta-stationnarité environnementale en MARL grâce à un curriculum adaptatif et un avantage de groupe contrefactuel

1. Énoncé du problème : La méta-stationnarité environnementale

L'article identifie une limitation critique, souvent négligée, dans l'apprentissage par renforcement multi-agents (MARL), qualifiée de « méta-stationnarité environnementale ». Alors que la recherche existante en MARL traite abondamment de la non-stationnarité au sein d'une exécution (où les politiques d'apprentissage des agents modifient la dynamique de l'environnement), la plupart des méthodes actuelles opèrent sous un régime de difficulté statique. Dans les benchmarks standards comme le StarCraft Multi-Agent Challenge (SMAC), les agents s'entraînent contre des adversaires scriptés à un niveau de difficulté fixe (par exemple, le niveau 7 par défaut de SMAC) tout au long de l'exécution d'entraînement.

Les auteurs soutiennent que ce piège de la difficulté fixe restreint la généralisation des politiques et oriente l'apprentissage vers des optima locaux superficiels. Les agents surajustent aux conditions statiques, échouant à développer les stratégies de coordination transférables requises pour des scénarios dynamiques. Contrairement aux environnements à agent unique, le MARL fait face à des défis cumulatifs (espaces d'actions conjoints exponentiels, attribution de crédit, observabilité partielle) qui sont exacerbés lorsque la distribution des tâches elle-même reste fixe, empêchant les agents de rencontrer la variation nécessaire pour découvrir des politiques conjointes globalement optimales.

2. Méthodologie : Le cadre CL-MARL

Pour répondre à ce problème, les auteurs proposent CL-MARL, un cadre d'apprentissage par curriculum dynamique conçu spécifiquement pour les tâches MARL coopératives-adversariales. Le cadre intègre deux composants novateurs : un planificateur de difficulté flexible et un algorithme d'attribution de crédit contrefactuel.

2.1. Planificateur de difficulté flexible (FlexDiff)

FlexDiff est un planificateur d'entraînement adaptatif basé sur des statistiques qui module dynamiquement la difficulté des tâches environnementales (spécifiquement, la force des adversaires scriptés dans SMAC) en fonction de la performance en temps réel des agents. Contrairement à l'apprentissage par curriculum supervisé qui partitionne les jeux de données, FlexDiff ajuste directement l'API de l'environnement.

Les mécanismes clés de FlexDiff incluent :

• Évaluation synergique à double métrique : Il surveille deux signaux complémentaires : un indicateur de succès binaire (taux de victoire) et un retour continu (récompense de l'épisode). Il calcule la moyenne et la variance de ces métriques sur une fenêtre glissante pour garantir à la fois la compétence (moyenne élevée) et la fiabilité (variance faible) avant de progresser.
• Ajustement piloté par l'inertie : Pour éviter les oscillations dues aux signaux bruyants, FlexDiff emploie une moyenne mobile exponentielle (EMA) sur un signal de tendance combiné dérivé de la pente du taux de victoire (régression linéaire) et de la convexité de la récompense (différence du second ordre). Cela crée un terme d'« inertie » qui ne déclenche des changements de difficulté que lorsque les tendances sont soutenues.
• Limites de décision asymétriques : Reconnaissant qu'une promotion prématurée (exposer les agents à une difficulté ingérable) provoque un effacement catastrophique de la politique, tandis qu'une rétrogradation prématurée ne fait que ralentir les progrès, FlexDiff utilise des seuils asymétriques. Il nécessite des preuves quasi-maximales pour augmenter la difficulté, mais permet un repli plus rapide si la performance s'effondre.
• Séparation à deux échelles de temps : Le planificateur opère sur une échelle de temps lente (évaluation tous les $N$ pas), tandis que l'agent MARL sous-jacent (CGRPA) se met à jour sur une échelle de temps rapide. Cette séparation garantit que l'apprenant interne observe un MDP quasi-stationnaire entre les changements de curriculum.

2.2. Avantage de politique relative de groupe contrefactuel (CGRPA)

L'intégration d'un curriculum mobile amplifie la non-stationnarité et peut conduire à une divergence des politiques. Pour stabiliser l'apprentissage lors des transitions de difficulté, les auteurs introduisent CGRPA, qui fusionne l'optimisation de politique relative de groupe (GRPO) avec les gradients de politique multi-agents contrefactuels (COMA).

• Raisonnement contrefactuel : CGRPA évalue la contribution d'un agent en comparant son action réelle à une distribution d'actions contrefactuelles (actions que l'agent aurait pu prendre mais n'a pas prises). Cela est formalisé comme suit :
  $$A_i^{CF}(s, u) = Q_{tot}(s, u) - \mathbb{E}_{\bar{u}_i \sim \pi_i}[Q_{tot}(s, (u_{-i}, \bar{u}_i))] - \alpha D_{KL}(\pi_i \| \bar{\pi}_g)$$
  où le premier terme mesure la contribution individuelle par rapport à la moyenne du groupe, et le terme de divergence KL contraint l'écart de la politique par rapport à la moyenne du groupe pour maintenir la coordination.
• Optimisation relative au groupe : En incorporant ces avantages contrefactuels dans l'estimation de la valeur Q et les gradients de politique, CGRPA démêle la contribution de chaque agent sous des dynamiques d'équipe changeantes. Cela aide les agents à s'adapter rapidement à de nouveaux niveaux de difficulté sans tomber dans des optima locaux sous-optimaux ou souffrir d'ambiguïté dans l'attribution de crédit.

3. Contributions clés

L'article revendique les contributions principales suivantes :

1. Identification de la méta-stationnarité : Les auteurs définissent formellement la « méta-stationnarité environnementale » comme un goulot d'étranglement fondamental en MARL qui limite la généralisation et piège les agents dans des optima locaux en raison d'un entraînement à difficulté fixe.
2. Première intégration du CL dans le MARL coopératif-adversarial : Ils proposent FlexDiff, le premier planificateur adaptatif pour le MARL qui ajuste dynamiquement la force des adversaires en fonction des signaux de taux de victoire et de récompense, sans nécessiter de sélecteurs de tâches appris ou de graphes de tâches construits à la main.
3. Algorithme novateur d'attribution de crédit (CGRPA) : Ils introduisent CGRPA, la première intégration technique de l'optimisation de groupe de style GRPO avec le raisonnement contrefactuel de style COMA. Cela stabilise l'adaptation des politiques lors des transitions non stationnaires induites par l'apprentissage par curriculum.
4. Validation empirique : Des expériences approfondies sur le benchmark SMAC démontrent que CL-MARL surpasse significativement les références de l'état de l'art (QMIX, OW-QMIX, DER, EMC, MARR) sur les cartes Facile, Difficile et Super-Difficile.

4. Résultats expérimentaux

Les auteurs ont évalué CL-MARL sur près de 20 cartes SMAC, couvrant une large gamme de difficultés.

• Cartes Faciles : CL-MARL a atteint des taux de victoire de 100 % sur quatre cartes et a démontré une convergence significativement plus rapide sur d'autres (par exemple, 3m, 3s5z), évitant la stagnation dans les optima locaux observée avec des références à difficulté statique comme QMIX.
• Cartes Difficiles : Sur des cartes comme 2c_vs_64zg et 8m_vs_9m, CL-MARL a surpassé les algorithmes de l'état de l'art (EMC, MARR) de 8 à 14 % et de 10 à 13 % respectivement. Il a également montré des gains substantiels par rapport au QMIX original (par exemple, des améliorations du taux de victoire de +20 % à +40 % sur des cartes où QMIX peinait).
• Cartes Super-Difficiles :
  • Sur 27m_vs_30m, CL-MARL a atteint un taux de victoire d'environ 40 %, tandis que des références comme QTRAN et OW-QMIX n'ont pas réussi à obtenir de victoires significatives.
  • Sur 3s5z_vs_3s6z, CL-MARL a atteint un taux de victoire de 40 % après 5 millions de pas, surpassant QMIX d'environ 30 % et QPLEX d'environ 20 %.
  • Sur MMM2, les performances étaient comparables à QMIX mais légèrement inférieures à QPLEX, ce que les auteurs attribuent à l'exigence spécifique de la carte concernant la micro-gestion hétérogène des unités, sur laquelle le curriculum actuel se concentre moins.
• Études d'ablation :
  • La suppression de CGRPA a entraîné des baisses de performance significatives et une instabilité lors des transitions de difficulté, confirmant son rôle dans la stabilisation de l'apprentissage.
  • L'analyse de sensibilité des hyperparamètres de FlexDiff (taille de la fenêtre glissante, seuil d'inertie, bandes de tolérance asymétriques) a montré que les paramètres par défaut sont robustes, avec une dégradation progressive des performances en dehors des plages recommandées.
  • Les expériences ont révélé que certains résultats « sous-optimaux » sur les cartes Super-Difficiles étaient en réalité dus aux limites de durée d'épisode par défaut coupant les batailles avant que les agents ne puissent sécuriser une victoire ; l'allongement des durées d'épisode a amélioré davantage les taux de victoire.

5. Signification et revendications

L'article positionne son travail comme un changement fondamental dans la manière dont les régimes d'entraînement MARL sont structurés. Les auteurs affirment qu'en s'éloignant de la méta-stationnarité environnementale, ils permettent aux agents d'apprendre des politiques plus robustes et généralisables, qui ne sont pas surajustées à un seul niveau de difficulté.

La signification réside dans :

• Briser le piège de la difficulté fixe : Démontrer que l'ajustement dynamique de la difficulté est essentiel pour découvrir des politiques conjointes globalement optimales dans des contextes coopératifs-adversariaux.
• Stabilité dans les environnements dynamiques : Prouver qu'avec le bon mécanisme d'attribution de crédit (CGRPA), la non-stationnarité inhérente introduite par l'apprentissage par curriculum peut être gérée, conduisant à une convergence plus rapide et à une performance finale plus élevée.
• Applicabilité pratique : Le cadre nécessite des modifications architecturales minimales aux algorithmes CTDE (Entraînement Centralisé avec Exécution Décentralisée) existants (comme QMIX) et repose sur des règles statistiques plutôt que sur des planificateurs complexes appris, le rendant interprétable et efficace sur le plan computationnel (ajoutant seulement ~8–15 % de surcharge en temps réel).

Les auteurs concluent que CL-MARL révèle le potentiel significatif de l'apprentissage par curriculum pour la recherche en MARL, en particulier pour surmonter les limites des benchmarks statiques, et suggère un travail futur sur l'automatisation de la planification de la difficulté via l'apprentissage par méta et le passage à l'échelle vers des systèmes multi-agents hétérogènes.