R3DM: Enabling Role Discovery and Diversity Through Dynamics Models in Multi-agent Reinforcement Learning

1. Énoncé du problème

L'apprentissage par renforcement multi-agents (MARL) a connu du succès dans des domaines complexes comme le contrôle du trafic et la robotique, utilisant souvent des paradigmes d'entraînement centralisé et d'exécution décentralisée (CTDE) (par exemple, QMIX, MAPPO). Cependant, les méthodes CTDE standard reposent sur des paramètres de politique partagés, ce qui entrave souvent l'apprentissage de comportements diversifiés nécessaires à une coordination efficace.

Les approches de MARL basées sur les rôles existantes tentent de résoudre ce problème en apprenant des rôles émergents à partir des observations passées des agents pour encourager des comportements complémentaires. L'article identifie une faille critique dans ces méthodes :

• La limitation : Dériver des rôles uniquement à partir de l'expérience passée ne prend pas en compte la manière dont un rôle influence la trajectoire future d'un agent.
• La conséquence : Des agents ayant des observations initiales similaires peuvent adopter des rôles identiques dès le début, conduisant à des comportements redondants (par exemple, deux drones volant tous deux vers le même incendie) plutôt qu'à une distribution et une coordination efficaces.
• L'idée clé : Le rôle d'un agent doit activement façonner son comportement futur. Si un agent adopte un rôle spécifique, ses futures observations et actions doivent naturellement diverger de celles des agents d'autres rôles pour assurer une coordination efficace.

2. Méthodologie : R3DM

Les auteurs proposent R3DM (Découverte de rôles et diversité grâce aux modèles dynamiques), un cadre qui relie le rôle actuel d'un agent à son comportement futur attendu en utilisant la théorie de l'information et des modèles du monde.

Objectif principal

R3DM maximise l'Information Mutuelle (MI) entre trois variables :

1. Le rôle de l'agent au temps $t$ ($m^t_i$).
2. La trajectoire observée jusqu'au temps $t$ ($\tau^t_i$).
3. La trajectoire future attendue ($\tau^{t+1:t+k}_i$).

La fonction objectif est formulée comme suit :
$$I(\tau^{t+k}_i; m^t_i | \tau^t_i)$$
Puisque la maximisation directe de cette quantité est intraitable, les auteurs dérivent une borne inférieure traitable décomposée en deux composantes :

1. Apprentissage d'encodage de rôle : Apprentissage d'encodages de rôle intermédiaires ($z^t_i$) à partir de l'historique des observations-actions.
2. Diversité du comportement futur : Maximisation de l'information mutuelle entre ces encodages de rôle et la trajectoire future.

Composantes clés

A. Apprentissage d'encodage de rôle intermédiaire (Apprentissage par contraste)

• Utilise un cadre d'apprentissage par contraste (basé sur ACORM) pour regrouper les agents en rôles distincts sur la base de leurs historiques d'observations-actions passés.
• Utilise un encodeur de trajectoire ($\theta_e$) et un encodeur de rôle ($\theta_r$) pour générer des encodages.
• Optimise une perte par contraste pour s'assurer que les agents ayant des schémas comportementaux similaires sont regroupés, tandis que les schémas distincts sont séparés.

B. Récompenses intrinsèques via des modèles dynamiques
Pour s'assurer que les rôles façonnent le comportement futur, R3DM introduit deux récompenses intrinsèques dérivées de la borne inférieure de l'information mutuelle :

1. Récompense intrinsèque de politique ($r_{pol}$) :

   • Encourage la diversité dans la sélection d'actions basée sur le rôle.
   • Calculée comme la divergence de Kullback-Leibler (KL) entre la politique conditionnée par le rôle et la politique moyenne (agnostique au rôle).
   • Formule : $r_{i,pol} = \sum D_{KL}(\text{SoftMax}(Q_i(\cdot|\tau, z)) || p(\cdot|\tau))$.

2. Récompense intrinsèque dynamique ($r_{dyn}$) :

   • Il s'agit de la contribution novatrice. Elle quantifie dans quelle mesure l'encodage de rôle influence la prédiction des futures observations.
   • Elle emploie deux Modèles d'Espace d'État Récurrents (RSSM) (basés sur DreamerV3) :
     • Modèle conditionné par le rôle ($q_\psi$) : Prédit les futures observations étant donné la trajectoire et l'encodage de rôle.
     • Modèle agnostique au rôle ($p_\phi$) : Prédit les futures observations étant donné uniquement la trajectoire (sans rôle).
   • La récompense est la différence des log-vraisemblances entre les deux modèles. Si le modèle conditionné par le rôle prédit le futur significativement mieux que le modèle agnostique, l'agent reçoit une récompense élevée, incitant le rôle à être prédictif du comportement futur.
   • Formule : $r_{i,dyn} = \sum [\log q_\psi - \log p_\phi]$.

C. Objectif d'apprentissage final
La récompense totale pour l'agent MARL est une combinaison de la récompense de tâche ($r_t$) et des récompenses intrinsèques :
$$r_{total} = r_t + \alpha r_{int}$$
où $r_{int} = \beta_3 r_{pol} + r_{dyn}$. Cette récompense combinée est utilisée pour mettre à jour les réseaux Q via l'apprentissage TD standard.

3. Contributions clés

1. Objectif novateur basé sur la théorie de l'information : Propose un objectif qui maximise l'information mutuelle entre les rôles, les trajectoires passées et les trajectoires futures attendues, déplaçant l'accent de l'inférence de rôle basée sur le passé vers des rôles façonnant l'avenir.
2. Récompenses intrinsèques pilotées par la dynamique : Introduit un mécanisme utilisant des modèles du monde (RSSM) pour générer des récompenses intrinsèques qui imposent des comportements futurs spécifiques aux rôles, équilibrant l'exploration avec la spécialisation des rôles.
3. Intégration avec le CTDE : Intègre avec succès ce cadre dans les méthodes MARL existantes basées sur les rôles (spécifiquement ACORM/QMIX) sans sacrifier l'efficacité de l'échantillonnage.
4. Validation empirique : Démontre des performances de pointe sur des benchmarks exigeants.

4. Résultats expérimentaux

Les auteurs ont évalué R3DM sur les environnements SMAC (StarCraft Multi-Agent Challenge) et SMACv2.

• Performance : R3DM surpasse les références de pointe (incluant QMIX, ACORM, CIA, GoMARL, CDS et EMC).
  • A atteint jusqu'à une amélioration de 20 % des taux de victoire sur des cartes difficiles (par exemple, 3s5z vs 3s6z, Corridor, 6h vs 8z).
  • A montré une efficacité d'échantillonnage supérieure et une convergence plus rapide.
• SMACv2 : Dans des environnements stochastiques (conditions initiales variables), R3DM a maintenu des performances robustes, surpassant les références dans des scénarios asymétriques (par exemple, Protoss 10 vs 11).
• Analyse qualitative : Les visualisations sur la carte 3s5z vs 3s6z ont montré que tandis que les agents ACORM convergeaient vers des comportements d'attaque massive, les agents R3DM ont appris à se diviser en sous-équipes spécialisées (par exemple, un agent attirant les ennemis tandis que d'autres prennent en flanc), démontrant une véritable différenciation des rôles.
• Études d'ablation :
  • Horizon d'imagination : Des horizons courts ($k=1$ ou $2$) ont fonctionné le mieux ; des horizons plus longs ont introduit des erreurs de prédiction cumulatives.
  • Cardinalité des rôles : Un nombre modéré de rôles (par exemple, 3) a mieux équilibré la coordination et la spécialisation qu'une cardinalité élevée.
  • Composantes : L'apprentissage par contraste et les récompenses intrinsèques se sont tous deux révélés nécessaires pour des performances optimales.

5. Signification et impact

• Changement de paradigme : R3DM fait passer le domaine du MARL basé sur les rôles d'une attribution de rôle rétrospective (basée sur ce qui s'est passé) à une attribution de rôle prospective (basée sur ce qui va se passer).
• Mécanisme de coordination : En reliant les rôles aux dynamiques futures, la méthode résout naturellement le problème de la "redondance" où des agents ayant des histoires similaires échouent à se coordonner.
• RL basé sur un modèle dans le MARL : L'article comble avec succès le fossé entre le MARL sans modèle et les approches basées sur un modèle (utilisant des modèles du monde pour la motivation intrinsèque), ouvrant la voie à des stratégies de coordination plus sophistiquées dans des environnements complexes et stochastiques.
• Application pratique : Cette approche est hautement pertinente pour les systèmes multi-agents réels tels que les essaims de drones, les flottes de véhicules autonomes et les équipes robotiques où des rôles distincts doivent être attribués dynamiquement pour gérer plusieurs objectifs simultanément.