Decentralized Collective World Model for Emergent Communication and Coordination

1. Problématique

L'article s'attaque au défi fondamental de la coordination dans les systèmes multi-agents distribués, en particulier dans des environnements partiellement observables (formalisés comme des Dec-POMDP).

• Le défi : Comment permettre à des agents autonomes, sans contrôle centralisé et avec des perceptions sensorielles limitées et hétérogènes, de développer simultanément un système de symboles partagé (communication émergente) et d'atteindre une coordination efficace ?
• Limites des approches existantes :
  • Les méthodes de communication émergente se concentrent souvent sur des jeux statiques (signaux, référence) et ne gèrent pas bien la dynamique temporelle ni la coordination multi-étapes.
  • Les modèles de « monde » (World Models) permettent la prédiction d'états, mais manquent souvent de mécanismes pour former une connaissance collective via des symboles distribués.
  • Les approches centralisées (partage de paramètres) sont coûteuses et peu réalistes pour des systèmes réels distribués.
  • Les méthodes de codage prédictif collectif (CPC) existantes sont limitées à des observations statiques et ne capturent pas les dynamiques temporelles continues.

2. Méthodologie

Les auteurs proposent un Modèle de Monde Collectif Décentralisé qui intègre le Codage Prédictif Collectif (CPC) avec l'apprentissage de modèles de monde dynamiques.

Architecture du Modèle

• Fondement : Le modèle repose sur le Codage Prédictif Collectif (CPC) et le principe de l'énergie libre (FEP), adaptés à un cadre entièrement distribué.
• Composants : Chaque agent possède un modèle de monde (basé sur un modèle d'espace d'état récurrent, RSSM) qui apprend la dynamique de l'environnement dans un espace latent.
• Mécanisme de Communication :
  • Une variable probabiliste continue $m_t$ représente le message échangé.
  • Les agents infèrent des messages basés sur leurs observations partielles et leurs états internes latents.
  • Approximation Décentralisée : Pour éviter l'accès direct aux états internes des autres agents (impossible en réel), l'approche utilise une formulation Produit d'Experts (PoE). La distribution a priori d'un agent est définie comme la distribution a posteriori de l'autre agent.
• Alignement des Symboles (Contrastive Learning) :
  • Pour garantir que les agents utilisent un même système de symboles, l'article introduit une perte InfoNCE (Noise Contrastive Estimation).
  • Cette perte minimise la divergence entre les messages inférés par l'agent émetteur (Speaker) et ceux perçus par l'agent récepteur (Listener), forçant l'émergence d'une représentation commune sans supervision externe.
• Détermination de l'Action :
  • Les agents utilisent une fenêtre glissante d'observations et d'actions passées.
  • Ils infèrent des séquences de messages et sélectionnent celle qui minimise l'Énergie Libre Variationnelle (VFE), c'est-à-dire celle qui explique le mieux les observations passées.
  • L'action est ensuite déterminée par une politique basée sur l'état latent et le message sélectionné.

3. Contributions Clés

1. Intégration CPC et Dynamique Temporelle : Première implémentation d'un modèle de monde multi-agents décentralisé qui combine l'émergence de symboles (via CPC) et l'apprentissage de dynamiques temporelles complexes.
2. Apprentissage Décentralisé sans Accès Centralisé : Développement d'une méthode d'approximation (PoE) et d'une perte contrastive (InfoNCE) permettant l'apprentissage de symboles partagés sans accès direct aux états internes des autres agents.
3. Preuve de Concept sur la Coordination : Démonstration que des symboles « généraux à l'environnement » (appris via la prédiction) sont plus efficaces pour la coordination que des protocoles de communication spécifiques à la tâche, surtout lorsque les perceptions des agents divergent.

4. Résultats Expérimentaux

L'évaluation a été réalisée sur une tâche de traçage de trajectoire (courbe hypotrochoïde) en 2D par deux agents.

• Configuration : Les agents avaient des perceptions partielles (l'agent A voit l'axe Y, l'agent B l'axe X) avec différents niveaux de discrétisation (nombre de "bins").
• Conditions comparées :
  • EC (Proposé) : Décentralisé avec apprentissage de symboles et InfoNCE.
  • BC (Brain Connected) : Centralisé (accès aux états internes) sans InfoNCE.
  • NC (No Communication) : Agents indépendants sans échange.
• Résultats principaux :
  • Performance de Coordination : Dans les scénarios à forte partialité d'observation (peu de bins), la méthode EC surpasse nettement la méthode NC et se rapproche de la performance du modèle centralisé BC. La communication est cruciale lorsque les perceptions sont hétérogènes.
  • Qualité des Symboles (RSA) : L'analyse de similarité représentative (RSA) montre que les messages émergents dans la condition EC reflètent la structure globale de l'environnement (la trajectoire réelle) avec une précision supérieure à celle du modèle centralisé BC.
  • Conclusion sur la contrainte : Paradoxalement, le fait de ne pas pouvoir accéder directement aux états internes des autres (contrainte décentralisée) favorise l'émergence de systèmes de symboles plus robustes et significatifs.

5. Signification et Impact

• Théorique : L'article démontre que la contrainte de décentralisation n'est pas un obstacle à la formation de connaissances collectives, mais peut au contraire être un catalyseur pour l'émergence de symboles plus riches et mieux alignés sur la réalité environnementale.
• Pratique : La méthode offre une voie viable pour créer des systèmes multi-agents robotiques ou logiciels capables de coopérer dans des environnements complexes et partiellement observables sans infrastructure de contrôle centralisée coûteuse.
• Perspectives : Les auteurs soulignent que l'utilisation de l'apprentissage par renforcement (au-delà du simple clonage comportemental) pourrait encore améliorer les performances de coordination, et que l'extension à des groupes d'agents plus larges est une prochaine étape.

En résumé, ce travail établit un cadre robuste où la communication émergente et la coordination sont traitées comme deux faces d'une même médaille, résolues par l'apprentissage prédictif décentralisé.