Résumé Technique : HiComm : Communication hiérarchique pour l'apprentissage par renforcement multi-agents

Problématique

L'apprentissage par renforcement multi-agent (MARL) coopératif opère souvent sous une observabilité partielle, où les agents doivent coordonner leurs actions en se basant sur des vues locales limitées. Bien que la communication soit un mécanisme standard pour atténuer cela, les protocoles existants traitent généralement les messages comme des vecteurs plats et denses. Ces vecteurs sont des projections apprises de l'observation complète d'un agent, détachées de la structure intrinsèque de cette observation.

De nombreux environnements coopératifs (par exemple, la cyberdéfense, les sports d'équipe ou le micro-management) possèdent une structure d'observation hiérarchique naturelle (par exemple, des groupes d'entités, des sous-réseaux contenant des hôtes, ou des unités de classes spécifiques). Les méthodes actuelles ne parviennent pas à exploiter cette structure au sein même du corps du message. Au lieu de cela, elles transmettent soit des résumés non structurés, soit imposent une hiérarchie sur le graphe de communication ou les rôles des agents (par exemple, les architectures féodales), plutôt que sur les données échangées. Cet oubli ignore une source riche de biais inductifs, menant à une communication inefficace où les agents transmettent des informations redondantes ou non structurées.

Méthodologie : HiComm

Les auteurs proposent HiComm, un module de communication "plug-in" qui ancre les messages directement dans l'observation hiérarchique de l'émetteur. Contrairement aux protocoles traditionnels pilotés par l'émetteur où un agent encode son état complet, HiComm est piloté par le récepteur et traite la communication comme une récupération d'informations structurées.

Mécanisme Central

L'espace d'observation de chaque agent $i$ est modélisé comme un tenseur à trois axes $z_i \in G \times E \times F$, où :

• $G$ : Axe de groupe grossier (ex: sous-réseaux, classes d'unités).
• $E$ : Axe d'entité fine (ex: hôtes au sein d'un sous-réseau, unités spécifiques).
• $F$ : Axe du vecteur de caractéristiques (features).

HiComm transforme la communication, passant de la transmission d'un vecteur à la récupération d'une paire adresse-valeur spécifique $((g, \ell), F)$ à partir du tenseur d'observation de l'émetteur. Le processus se déroule en trois étapes différentiables utilisant le Straight-Through Gumbel-Softmax (ST-GS) pour la sélection discrète :

1. Phase 1 : Génération de la requête (côté récepteur)
   Le récepteur résume le contexte de son observation locale et son masque d'observabilité en un vecteur de requête $q_i$. Cette requête représente le besoin d'information du récepteur.

2. Phase 2 : Sélection hiérarchique de l'émetteur (côté récepteur)
   Le récepteur descend la hiérarchie pour sélectionner un émetteur :

   • Étape 1 (Sélection du groupe) : Le récepteur sélectionne un groupe thématique $g^*$ en scorant la requête $q_i$ par rapport à des clés de groupe apprenables $\kappa_g$.
   • Étape 2 (Sélection de l'agent) : Conditionnellement à $g^*$, le récepteur sélectionne un émetteur spécifique $j^*$ parmi l'équipe (en excluant lui-même) sur la base d'une fonction d'affinité conditionnée par le contexte $\Phi(j, g^*; h_i)$.
   • Note : Cette descente en deux étapes réduit l'espace de décision discret de $|G| \cdot |E| \cdot (N-1)$ à $|G| + (N-1) + |E|$, localisant ainsi l'attribution de crédit.

3. Phase 3 : Récupération de l'entité (côté émetteur)
   Le récepteur transmet $(q_i, g^*)$ à l'émetteur $j^*$ sélectionné. L'émetteur effectue ensuite :

   • La sélection d'une entité spécifique $\ell^*$ au sein du groupe $g^*$ sur sa propre observation locale $z_{j^*}$, en masquant les entrées non observées.
   • Retourne le vecteur de caractéristiques brut (verbatim) $F = z_{j^*}[g^*, \ell^*, :]$ au récepteur.
   • Crucialement, le message est l'entrée brute de l'observation, et non une compression apprise.

Entraînement et Intégration

HiComm est conçu comme une transformation légère et sans état qui s'intègre dans les pipelines standards de MARL (ex: IPPO, MAPPO) sans modifier les architectures de politique ou de critique sous-jacentes.

• Optimisation : Les paramètres de communication $\theta_{comm}$ sont mis à jour aux côtés des paramètres de politique $\theta_{pol}$ via une passe arrière unique.
• Fonction de perte : L'objectif combine la perte de substitution PPO standard avec un a priori de gain d'information scalaire. Ce a priori encourage la sélection de coordonnées fournissant un gain d'information élevé par rapport à l'état actuel du récepteur, empêvant l'effondrement de l'émetteur (sender collapse).
• Bande passante : Le protocole transmet uniquement l'adresse (indices de groupe et d'entité) et le vecteur de caractéristiques brut, réduisant considérablement la bande passante par rapport à la transmission de résumés d'observations complets.

Principales Contributions

1. Protocole HiComm : Un module de communication piloté par le récepteur qui utilise la hiérarchie groupe-entité intrinsèque de l'observation de l'émetteur. Il remplace la transmission de vecteurs non structurés par la récupération structurée de tranches spécifiques de l'observation.
2. Implémentation différentiable : Une conception "plug-in" légère utilisant le ST-GS pour la sélection discrète et une tête de projection partagée, permettant une intégration transparente aux algorithmes de MARL standards sans modifier l'architecture de la politique de base.
3. Validation empirique : Démonstration sur trois benchmarks diversifiés (CAGE Challenge 4, SMACv2, Google Research Football) montrant que HiComm égale ou surpasse les bases de comparaison de communication apprise (CACOM, T2MAC) tout en réduisant drastiquement le volume de communication.

Résultats Expérimentaux

Les auteurs ont évalué HiComm sur trois benchmarks présentant des structures d'observation et des exigences de coordination variées, en utilisant des backbones IPPO (critique décentralisé) et MAPPO (critique centralisé).

• Performance (RQ1) : HiComm comble une fraction substantielle de l'écart de performance entre l'observabilité partielle (pas de communication) et l'observabilité complète (partage de l'état complet). Dans 9 cellules algorithme-scénario sur 10, HiComm égale ou surpasse les bases de comparaison. Notamment, sous MAPPO dans l'environnement CAGE Challenge 4, HiComm a récupéré environ 85 % de l'écart vers l'observabilité complète, surpassant nettement CACOM et T2MAC.
• Efficacité de la bande passante (RQ2) : HiComm atteint ces résultats tout en réduisant le volume de communication de 5× à 23× par récepteur par épisode par rapport aux bases de comparaison, et de plus de 1000× par rapport au partage d'état complet. Ceci est rendu possible par la transmission de la seule tranche de caractéristiques pertinente plutôt que par une projection aplatie de l'observation entière.
• Généralité (RQ3) : Les gains de performance et l'efficacité de la bande passante se maintiennent à travers différentes architectures de critique (IPPO vs. MAPPO) et différentes méthodes de définition de la hiérarchie (sous-réseaux natifs, classes d'unités sémantiques et rôles de joueurs sémantiques).

Signification et Limites

L'article affirme que HiComm introduit une nouvelle dimension à la communication en MARL : la hiérarchie de l'espace d'observation. En permettant au récepteur de questionner activement des coordonnées spécifiques dans la structure d'observation de l'émetteur, le protocole évite la "projection avec perte" inhérente aux méthodes de vecteurs plats. Les résultats suggèrent que l'exploitation de la structure naturelle des observations mène à une coordination plus efficace et performante.

Limites :
Les auteurs déclarent explicitement que ce travail manque d'une analyse théorique formelle de l'efficacité de la communication. L'avantage démontré en termes de bande passante est basé sur une comparaison empirique plutôt que sur une borne informationnelle prouvant pourquoi l'adressage hiérarchique est prouvablement plus efficace qu'un codage plat à performance de tâche égale. L'établissement d'une telle théorie est identifié comme une direction primaire pour les travaux futurs.

Conclusion :
HiComm démontre que traiter la communication comme une récupération structurée à partir d'un espace d'observation hiérarchique est une alternative viable et efficace aux protocoles de communication appris traditionnels, offrant des économies de bande passante significatives sans sacrifier (et souvent en améliorant) la performance coopérative.