Asynchronous Cooperative Multi-Agent Reinforcement Learning with Limited Communication

Résumé Technique : Apprentissage par Renforcement Multi-Agent Coopératif Asynchrone avec Communication Limitée

Énoncé du Problème
L'article aborde le défi de la coordination de multiples agents autonomes dans des environnements inconnus et contraints par la communication. Les approches traditionnelles d'apprentissage par renforcement multi-agent (MARL) supposent généralement une communication synchrone, où les agents diffusent des états et exécutent des actions simultanément à chaque pas de temps. Cependant, dans des environnements extrêmes tels que les opérations spatiales ou sous-marines, la communication est souvent limitée par des contraintes énergétiques, la latence ou des obstructions physiques. Dans ces scénarios, les agents opèrent sur des échelles de temps indépendantes et ne peuvent pas communiquer fréquemment ou de manière synchrone. Les méthodes MARL asynchrones existantes compensent souvent le manque de synchronisation en augmentant la fréquence de communication, ce qui va à l'encontre de l'objectif d'opérer dans des environnements contraints. Le problème central consiste à développer un cadre MARL permettant une coopération efficace tout en minimisant la surcharge de communication et en accommodant des interactions asynchrones et peu fréquentes.

Méthodologie : AsynCoMARL
Les auteurs proposent AsynCoMARL, un cadre MARL asynchrone qui utilise des transformeurs de graphes pour apprendre des protocoles de communication à partir de graphes dynamiques. La méthodologie repose sur les composants suivants :

• Formulation Asynchrone : Contrairement au MARL standard où tous les agents agissent à chaque pas de temps global $t$, AsynCoMARL introduit une échelle de temps spécifique $\tau^{(i)}$ pour chaque agent $i$. Les agents prennent des actions à des intervalles différents déterminés par un paramètre de délai aléatoire $\mu$. Le tampon de rejeu est construit sur la base de ces pas de temps spécifiques aux actions plutôt que sur des pas de temps globaux.
• Représentation de Graphe Dynamique : L'environnement est modélisé comme un graphe orienté, pondéré et dynamique. Les nœuds représentent les agents, les obstacles et les objectifs. Les arêtes sont formées dynamiquement selon deux conditions :
  1. Proximité : Les agents doivent se trouver dans un rayon de communication spécifique $\lambda$.
  2. Activité : Les arêtes n'existent entre les agents que si ceux-ci sont tous deux actifs (prenant une action) au même pas de temps.
     Cela se traduit par une matrice d'adjacence masquée où les agents inactifs ou ceux hors de la portée de communication sont exclus de la structure du graphe lors du passage de messages.
• Architecture de Transformeur de Graphe : Le cœur du protocole de communication est un transformeur de graphe basé sur le modèle unifié de passage de messages (UniMP). Il traite les caractéristiques des nœuds (position, vitesse, localisation de l'objectif, type d'entité) et les caractéristiques des arêtes (distance euclidienne). Le transformeur utilise une attention à produit scalaire multi-têtes pour prioriser sélectivement les messages provenant des agents voisins en fonction de leur pertinence.
• Entraînement Centralisé, Exécution Décentralisée (CTDE) :
  • Critique : Un critique centralisé reçoit l'embedding complet du graphe (via un pooling moyen global) pour évaluer la fonction de valeur, en utilisant l'état global et le contexte complet du graphe.
  • Acteur : Chaque agent possède un réseau d'acteur individuel qui conditionne sa politique sur son observation locale et le message agrégé de son voisinage local du graphe.
• Structure de Récompense : L'article expérimente diverses formulations de récompense. La configuration la plus efficace identifiée est une « Récompense Unique d'Atteinte d'Objectif + Partage entre Agents Actifs », où les agents reçoivent une récompense unique lors de l'atteinte d'un objectif, et les récompenses collaboratives sont partagées uniquement entre les agents qui communiquent activement à ce pas de temps spécifique. Cela empêche les agents de se « cacher » après avoir atteint un objectif et encourage une coordination active.

Contributions Clés

1. Proposition d'AsynCoMARL : L'introduction d'un protocole de communication basé sur les transformeurs de graphes spécifiquement conçu pour le MARL asynchrone, utilisant des graphes dynamiques pour capturer des interactions peu fréquentes et asynchrones.
2. Évaluation Empirique : La méthode est évaluée sur deux benchmarks : Navigation Coopérative (simulant la dynamique des satellites) et Rover-Tour (simulant l'exploration planétaire).
3. Performance avec Communication Réduite : L'étude démontre qu'AsynCoMARL atteint des taux de réussite et de collision comparables aux meilleures références tout en réduisant considérablement le nombre de messages échangés entre les agents.

Résultats Expérimentaux
Les auteurs ont mené des expériences avec un nombre variable d'agents ($N=3, 5, 7, 10$) dans l'environnement de Navigation Coopérative et un scénario de 4 rovers/4 tours dans l'environnement Rover-Tour.

• Efficacité de la Communication : AsynCoMARL a atteint des taux de réussite similaires aux références telles que asyncMAPPO et Actor-Attention-Critic, mais avec 26 % de messages en moins échangés entre les agents.
• Évolutivité : Dans la tâche de Navigation Coopérative avec $N=10$, AsynCoMARL a maintenu un taux de réussite élevé (86 %) avec une fréquence de communication très faible ($f_{comm} = 0,05$). En revanche, des références comme GCS ont eu du mal à évoluer sans temps d'entraînement supplémentaire, et TransfQmix a souffert de faibles taux de réussite malgré de faibles collisions.
• Performance Rover-Tour : Dans l'environnement plus complexe Rover-Tour, AsynCoMARL a atteint un taux de réussite de 50 % avec une fréquence de communication de 0,14, surpassant Actor-Attention-Critic (56 % de réussite, fréquence 0,21) en termes d'efficacité de communication et de temps de complétion d'épisode, bien qu'il utilise un seul réseau pour les deux classes d'agents plutôt que des réseaux séparés.
• Études d'Ablation :
  • Transformeur de Graphe : La suppression du transformeur de graphe a entraîné des taux de collision significativement plus élevés et des taux de réussite plus faibles, en particulier lorsque le nombre d'agents actifs était faible, confirmant l'importance du mécanisme d'attention dans les graphes dynamiques.
  • Formulation de Récompense : La structure « Récompense Unique d'Atteinte d'Objectif + Partage entre Agents Actifs » a produit les meilleurs résultats (97 % de taux de réussite pour $N=3$), soulignant que limiter les récompenses aux agents actifs et communicants empêche les agents de cesser la coopération une fois un objectif atteint.

Signification et Revendications
L'article revendique qu'AsynCoMARL adresse efficacement le compromis entre la fréquence de communication et la performance de coordination dans des contextes asynchrones. En tirant parti des graphes dynamiques et des transformeurs de graphes, la méthode permet aux agents d'apprendre quand et avec qui communiquer, plutôt que de dépendre d'une diffusion constante ou de mises à jour synchrones. Les auteurs affirment que leur approche permet aux agents d'opérer indépendamment sur différentes échelles de temps tout en recevant suffisamment d'informations pour coordonner efficacement. Le travail suggère que la coordination asynchrone ne nécessite pas nécessairement une surcharge de communication accrue si le protocole de communication est appris de manière adaptative en fonction de la topologie dynamique des interactions entre agents. L'article conclut que ce cadre est une étape vers des systèmes multi-agents plus réalistes pour l'exploration spatiale et planétaire où la communication est intrinsèquement contrainte.