Résumé technique : ARMS – Façonnage automatique de récompense pour l'apprentissage par renforcement multi-agent à récompenses rares

1. Énoncé du problème

L'apprentissage par renforcement multi-agent (MARL) fait face à un goulot d'étranglement critique lorsqu'il traite des récompenses rares. Dans les environnements à récompenses rares, les agents reçoivent des retours d'information de manière peu fréquente, ce qui ralentit considérablement l'apprentissage. Ce problème est exacerbé en MARL par rapport à l'apprentissage par renforcement à agent unique (SARL) en raison de la non-stationnarité et de la co-adaptation : alors que les agents mettent à jour simultanément leurs politiques, l'environnement apparaît non stationnaire du point de vue de n'importe quel agent individuel.

Bien que le façonnage de récompense (augmenter ou remplacer les signaux rares par des signaux denses) soit une solution courante, il présente des risques particuliers en MARL. En SARL, un façonnage inapproprié peut altérer l'ensemble des politiques optimales. En MARL, le risque est plus grave : le façonnage peut modifier l'ensemble des équilibres de Nash, changeant fondamentalement la structure stratégique du jeu et conduisant à des comportements collectifs sous-optimaux ou non intentionnels. Les méthodes existantes de façonnage automatique de récompense, telles que le façonnage de récompense en ligne auto-supervisé (SORS), reposent sur des garanties de classement global des trajectoires qui ne se transfèrent pas directement au MARL en raison de l'absence de notion d'optimalité globale et de l'interdépendance des politiques des agents.

2. Méthodologie : Cadre ARMS

Les auteurs proposent ARMS (Façonnage automatique de récompense dans les systèmes multi-agents), un cadre auto-supervisé conçu pour apprendre des signaux de façonnage denses à partir de récompenses environnementales rares tout en préservant la structure d'équilibre théorique du jeu.

Fondement théorique : Invariance de la meilleure réponse conditionnelle

La contribution théorique centrale est une reformulation de l'invariance des politiques pour les contextes multi-agents.

• Limitation à agent unique : Les garanties standard de classement des trajectoires (par exemple, issues de SORS) supposent que si deux fonctions de récompense induisent le même ordre total sur toutes les paires de trajectoires, elles produisent les mêmes politiques optimales. Cela repose sur une notion globale d'optimalité absente en MARL.
• Formulation ARMS : Les auteurs démontrent que si les politiques de tous les autres agents sont fixées, un agent individuel fait face à un environnement à agent unique induit. Sous cette vue de meilleure réponse conditionnelle, si une fonction de récompense de façonnage est équivalente à l'ordre total par rapport à la récompense originale sur les trajectoires de cet environnement induit, elle préserve l'ensemble des meilleures réponses de l'agent.
• Préservation de l'équilibre : Par extension, si cette condition est remplie pour tous les agents, l'ensemble des équilibres de Nash reste invariant. Cela fournit une justification théorique des jeux pour l'utilisation du classement des trajectoires en MARL sans altérer la solution stratégique sous-jacente.

Implémentation algorithmique

ARMS fonctionne dans une boucle alternée entre deux phases (Algorithme 1) :

1. Phase d'apprentissage par renforcement : Les agents interagissent avec l'environnement en utilisant leurs récompenses façonnées actuelles ($R_{\theta}$) et un algorithme MARL de base (par exemple IPPO ou MAPPO). Ils collectent des trajectoires conjointes, qui sont stockées dans un tampon.
2. Phase de façonnage de récompense : Le système échantillonne des paires de segments de trajectoire à partir du tampon. Pour chaque agent, un réseau de récompense paramétré ($F_\theta$) est mis à jour pour minimiser une perte de classification binaire. Cette perte impose que l'ordre de préférence de la récompense façonnée sur les paires de trajectoires corresponde à l'ordre de préférence induit par la récompense environnementale rare originale.
   • Paramètres partagés : Pour améliorer l'efficacité et l'évolutivité, tous les agents partagent les mêmes paramètres de façonnage de récompense ($\theta$). Le réseau est entraîné sur les ordonnancements de trajectoires par agent, agrégeant les signaux à travers tous les agents.
   • Entrée : Le réseau de récompense prend les observations et actions locales comme entrée, modélisant un flux d'information décentralisé.

3. Contributions clés

L'article expose trois contributions principales :

1. Formulation de l'invariance des politiques multi-agents : Les auteurs établissent que les récompenses de façonnage équivalentes à l'ordre total préservent l'ensemble des meilleures réponses de chaque agent sous des politiques d'opposants fixes, préservant ainsi l'ensemble des équilibres de Nash. Cela comble le vide théorique empêchant l'application directe des méthodes de classement de trajectoires à agent unique au MARL.
2. Le cadre ARMS : Une méthode pratique et auto-supervisée d'apprentissage de récompense en ligne qui exploite le classement des trajectoires tout en tenant compte de la non-stationnarité multi-agent. Il apprend un signal de façonnage partagé qui est agnostique quant à l'architecture RL sous-jacente.
3. Analyse empirique des dynamiques MARL : L'étude identifie un mode de défaillance spécifique du MARL où une exploration limitée, couplée à des dynamiques politique-récompense, induit un comportement oscillatoire et une convergence vers des schémas cycliques sous-optimaux. Les auteurs démontrent qu'une augmentation de l'exploration atténue cet effet.

4. Résultats expérimentaux

Les expériences ont été menées dans un domaine de recherche de chemin multi-agent partiellement observable (Lifelong Pathfinding) utilisant l'environnement POGEMA. Les auteurs ont évalué ARMS par rapport à une base sans façonnage et au façonnage de récompense basé sur les potentiels (PBRS) en utilisant les architectures IPPO et MAPPO.

• Efficacité d'échantillonnage : ARMS a nettement surpassé les bases en termes de récompense originale cumulative, en particulier lorsque le nombre d'agents augmentait (8, 16, 32) et que les récompenses devenaient plus rares (retards de 10, 20, 30 pas de temps).
• Généralisation : Les politiques entraînées avec ARMS se sont généralisées efficacement à 50 cartes non vues (incluant des environnements aléatoires et en forme de labyrinthe), accumulant des récompenses plus élevées et présentant une meilleure coordination que les bases.
• Coordination et collisions : ARMS a entraîné un nombre nettement inférieur de collisions normalisées par rapport au PBRS et à l'absence de façonnage, indiquant que le signal appris favorise un comportement coordonné plutôt que la simple maximisation de la récompense.
• Sensibilité à l'exploration : Une découverte critique a été qu'ARMS pouvait échouer à converger vers des politiques optimales si l'exploration était trop faible (par exemple, coefficient d'exploration $\alpha = 0.023$), conduisant les agents à « pirater » la récompense via des comportements oscillatoires. L'augmentation du coefficient d'exploration (par exemple, $\alpha = 0.35$) a stabilisé l'apprentissage et restauré un débit élevé.

5. Importance et affirmations

L'article affirme que ARMS est le premier cadre de façonnage automatique de récompense pour le MARL dont la conception est explicitement motivée par un résultat de préservation d'équilibre théorique des jeux.

Contrairement aux méthodes précédentes qui risquent d'altérer la structure stratégique des problèmes multi-agents, ARMS fournit une garantie théorique que l'ensemble des équilibres de Nash est préservé sous certaines conditions. Les auteurs soulignent que si le classement des trajectoires est efficace en SARL, il nécessite une formulation fondamentalement différente en MARL pour gérer la non-stationnarité et l'absence d'optimalité globale. Le cadre démontre que des signaux de récompense denses et automatiques peuvent être appris pour accélérer le MARL dans des environnements à récompenses rares sans compromettre l'intégrité de l'espace de solutions du jeu, à condition qu'une exploration suffisante soit maintenue pour prévenir les boucles de rétroaction sous-optimales.