Dreaming Of Others: Latent Teammate Modeling In World Models For Multi-Agent Reinforcement Learning

Résumé Technique : Rêver des autres – Modélisation latente des coéquipiers dans les modèles de monde pour l'apprentissage par renforcement multi-agents

Énoncé du problème
Dans l'apprentissage par renforcement multi-agents (MARL) coopératif, les agents doivent se coordonner avec des partenaires dont les politiques internes et les intentions ne sont pas directement observables. Bien que les modèles de monde, particulièrement la famille Dreamer, aient démontré une forte capacité de généralisation et d'efficacité d'échantillonnage dans les contextes mono-agents en apprenant des dynamiques latentes compactes, leur application au MARL est actuellement limitée. Le défi central est que le comportement des coéquipiers introduit une structure non stationnaire et partiellement observable qui est typiquement compressée dans le modèle sous forme de bruit indifférencié. Cela empêche les agents d'anticiper efficacement la variabilité des partenaires ou de s'adapter à des collaborateurs inconnus sans avoir accès à leurs observations internes ou à leurs politiques. De plus, les approches classiques de MARL coopératif reposent souvent sur des simplifications telles que l'entraînement centralisé avec des informations privilégiées ou des canaux de communication explicites, qui sont indisponibles dans les scénarios réalistes de collaboration humain-IA.

Méthodologie
Le papier propose un « Modèle de monde conditionné par le coéquipier » qui reformule les coéquipiers non pas comme un bruit exogène, mais comme des composantes structurées et apprenables au sein du modèle de monde de l'agent. La méthodologie repose sur un Modèle d'Espace d'État Récurrent (RSSM) de type Dreamer avec les innovations architecturales et d'objectifs suivantes :

• État latent factorisé : L'état latent stochastique $z_t$ est factorisé en deux composantes distinctes : $z_t = [z^{env}_t, z^{team}_t]$.
  • $z^{env}_t$ capture les dynamiques déterministes et stochastiques de l'environnement physique.
  • $z^{team}_t$ encode le comportement, le caractère et l'intention inférés du coéquipier.
• Architecture :
  • Encodeur : Consomme l'observation $x_t$ de l'agent contrôlé et l'action $a^0_t$ pour produire un état caché déterministe $h_t$.
  • Décodeurs : Deux décodeurs opèrent sur les latents factorisés. Un décodeur d'observation reconstruit l'état de l'environnement $\hat{x}_t$ à partir de $z^{env}_t$. Un décodeur de « politique de coéquipier » dédié mappe $z^{team}_t$ vers une distribution prédictive $\hat{\pi}^j_t(\cdot)$ sur la prochaine action du coéquipier.
  • Conditionnement Acteur-Critique : Pendant la phase d'imagination, l'état caché et les latents échantillonnés du coéquipier conditionnent les têtes de l'acteur et du critique, permettant à l'agent de planifier des politiques qui tiennent compte de la diversité des comportements des partenaires.
• Objectif de Théorie de l'Esprit (ToM) : Une fonction de perte dédiée, $\mathcal{L}_{ToM}$, est introduite pour superviser l'inférence du comportement du coéquipier. Cet objectif minimise une entropie croisée calibrée entre la distribution d'action empirique du coéquipier et la prédiction du modèle, augmentée d'un terme de régularisation de Kullback-Leibler pour assurer la cohérence temporelle du latent du coéquipier inféré :
  $$\mathcal{L}_{ToM} = \mathbb{E}_t \left[ -\sum_a \pi^j_t(a) \log \hat{\pi}^j_t(a) \right] + \alpha \text{KL}\left( q(z^{team}_t | h_t) \parallel p(z^{team}_t | h_{t-1}, a_{t-1}) \right)$$
  Celle-ci est ajoutée aux objectifs d'entraînement standards de Dreamer avec un hyperparamètre de pondération $\lambda_{ToM}$.

Contributions clés

1. Cadre conceptuel : Le papier propose une nouvelle perspective pour le MARL où les modèles de monde servent de simulateurs de comportement social, et non seulement de dynamiques environnementales. Il préconise de modéliser les coéquipiers comme des processus latents structurés afin de réduire la non-stationnarité apparente.
2. Architecture novatrice : Il introduit une architecture RSSM spécifique qui sépare explicitement les latents environnementaux et de coéquipier, couplée à une tête ToM pour inférer l'intention du partenaire à partir de trajectoires partielles.
3. Protocole d'entraînement : Le travail décrit une procédure d'entraînement qui permet une coordination zero-shot et few-shot sans nécessiter d'imagination partagée, de politiques centralisées ou de canaux de communication explicites entre les agents.
4. Proposition d'évaluation : Les auteurs proposent un protocole d'évaluation rigoureux utilisant des environnements Multi-Agent Particle, Overcooked-AI et Melting Pot pour évaluer la généralisation, l'efficacité d'échantillonnage et la robustesse à travers diverses populations de partenaires et contextes sociaux.

Résultats
Le papier stipule explicitement qu'il s'agit d'une proposition destinée à catalyser la discussion et ne rapporte pas de résultats empiriques. Par conséquent, il n'y a pas de résultats expérimentaux, de métriques de performance ou de benchmarks comparatifs présentés dans ce travail. La contribution est purement architecturale et théorique, décrivant comment un tel système fonctionnerait et comment il devrait être évalué.

Signification et affirmations
Le papier positionne ce travail comme une étape vers une « IA compatible avec l'humain » où les partenaires sont partiellement observables et hétérogènes. Les auteurs affirment qu'en traitant les coéquipiers comme des processus latents structurés plutôt que comme du bruit, l'approche offre une voie vers :

• Réduction de la non-stationnarité : Séparer les dynamiques sociales des dynamiques physiques peut stabiliser l'apprentissage dans les contextes coopératifs.
• Amélioration de la coordination : Permettre aux agents d'imaginer et de s'adapter à des collaborateurs inconnus (zero-shot) et de s'améliorer rapidement avec des interactions limitées (few-shot).
• Interprétabilité : Fournir des représentations latentes qui encodent explicitement le caractère et l'intention du partenaire.

La signification ultime, telle que formulée par les auteurs, est le potentiel des modèles de monde pour évoluer de outils qui « rêvent des mondes qu'ils habitent » vers des outils qui « rêvent des esprits qui les partagent », facilitant une collaboration humain-IA plus robuste et adaptable.