Résumé Technique : Communication Guidée par les LLM pour l'Apprentissage par Renforcement Multi-Agent Coopératif

Énoncé du Problème

Dans l'Apprentissage par Renforcement Multi-Agent Coopératif (MARL), les agents opèrent souvent sous observabilité partielle, où ils n'ont pas accès à l'état global. Bien que le cadre d'Entraînement Centralisé avec Exécution Décentralisée (CTDE) atténue ce problème pendant l'entraînement, les agents font toujours face à des lacunes d'information lors de l'exécution. Les méthodes de communication existantes tentent de combler cette lacune mais souffrent souvent de deux inefficacités principales :

1. Échange d'informations inefficace : Des méthodes comme la communication par diffusion (par exemple, MASIA) ou le partage complet des observations (FullComm) transmettent des données redondantes, échouant à isoler les dimensions spécifiques de l'état nécessaires à la reconstruction.
2. Échec de la reconstruction de l'état : Les méthodes spécifiques à chaque agent (par exemple, TarMAC, SMS, T2MAC) échouent souvent à traiter explicitement la manière dont les agents peuvent reconstruire avec précision et uniformité l'état global sous-jacent. Cela conduit à des messages qui ne capturent pas suffisamment l'état réel ou qui entraînent une variance significative de la conscience de l'état entre les agents, entravant la coordination.

Identifier les messages essentiels requis pour la récupération de l'état est un défi car cela nécessite une compréhension approfondie de l'objectif de la tâche et de la relation complexe entre les observations locales et l'état global.

Méthodologie : LMAC

Les auteurs proposent LMAC (Communication Multi-Agent Pilotée par les LLM), un cadre qui exploite les capacités de raisonnement des Grands Modèles de Langage (LLM) pour concevoir et affiner itérativement des protocoles de communication. Contrairement aux approches antérieures qui reposent sur une interaction en ligne avec les LLM ou sur des structures de messages fixes, LMAC opère en deux phases distinctes : Conception de Protocole Hors Ligne et Entraînement MARL En Ligne.

1. Conception de Protocole Hors Ligne par Affinement Itératif

LMAC utilise un LLM pour générer des protocoles de communication exécutables et basés sur du code ($f_C$) qui mappent les observations locales vers des messages spécifiques à l'agent. Ce processus est ancré dans le cadre Reflexion mais adapté à la conception de protocoles avec deux objectifs spécifiques : Amélioration de la Récupération et Atténuation du Déséquilibre.

• Prompt d'Entrée ($x$) : Le LLM reçoit une description de tâche ($I_T$) détaillant l'objectif coopératif et des descriptions en langage naturel des dimensions de l'état et de l'observation, accompagnées d'une instruction de conception de protocole ($I_P$) qui mandate la sortie d'un code Python exécutable.
• Feedback Basé sur des Critères : Au lieu d'un feedback fixe, LMAC emploie une boucle de rétroaction dynamique et basée sur des critères utilisant un jeu de données de transition hors ligne ($\mathcal{B}$) collecté à partir d'un agent RL de base.
  • Indicateur de Conscience de l'État (SAI) : Un décodeur auxiliaire ($D_\phi$) est entraîné pour reconstruire l'état global à partir de la trajectoire locale d'un agent. L'erreur de reconstruction est utilisée pour calculer un SAI ($\chi$), qui quantifie si une dimension d'état spécifique est récupérable avec ou sans le protocole de communication actuel.
  • Affinement Étape par Étape : Le protocole subit un processus d'affinement en deux étapes :
    1. Amélioration de la Récupération ($k=1$) : Le LLM analyse le taux de réussite de la récupération ($E_t[\chi]$) pour identifier les dimensions d'état que les agents échouent à reconstruire. Il génère un feedback pour ajouter les informations manquantes au protocole.
    2. Atténuation du Déséquilibre ($k=2$) : Le LLM analyse la variance inter-agent du SAI ($\text{Var}_i[\chi]$) pour identifier les asymétries d'information. Il génère un feedback pour compléter les messages des agents ayant une information insuffisante, assurant une conscience de l'état uniforme.
• Sortie : Le résultat est une séquence de protocoles affinés $f_C = (f^{(0)}_C, f^{(1)}_C, f^{(2)}_C)$ qui ajoute progressivement uniquement les messages nécessaires à une reconstruction précise et uniforme de l'état.

2. Apprentissage de Représentation Métacognitif

Pendant la phase d'entraînement MARL en ligne, le protocole conçu par le LLM est intégré dans le cadre CTDE (spécifiquement QMIX).

• Représentation Latente : Au lieu de fournir directement les messages bruts aux agents, une paire encodeur-décodeur ($\text{Enc}_\psi, \text{Dec}_\psi$) traite la trajectoire et les messages pour produire une représentation latente $z^i_t$.
• Supervision Métacognitive : Le système réutilise le SAI comme signal de supervision dynamique. Le décodeur est entraîné pour reconstruire l'état global et prédire le SAI ($\hat{\chi}^i_{d,t}$), encourageant la représentation latente à distinguer entre les connaissances fiables et l'incertitude.
• Cohérence de Cycle : Une perte de cohérence de cycle est introduite pour supprimer les informations non pertinentes. En décodant et en ré-encodant la représentation latente, le modèle est pénalisé pour les informations qui ne peuvent pas être préservées, forçant $z^i_t$ à ne conserver que les caractéristiques reconstituables et pertinentes pour la tâche.

Contributions Clés

1. Conception de Protocole Pilotée par les LLM : L'article introduit une approche novatrice où les LLM sont utilisés non pas comme réseaux de politiques, mais comme concepteurs de protocoles. Le LLM raisonne sur les objectifs de la tâche et les structures d'observation pour générer du code exécutable pour la communication, évitant ainsi le coût élevé de l'interaction en ligne avec les LLM.
2. Affinement Itératif Basé sur des Critères : Le cadre propose un processus d'affinement en deux étapes (Amélioration de la Récupération et Atténuation du Déséquilibre) guidé par des métriques quantitatives dérivées de données RL hors ligne. Cela garantit que le protocole évolue pour traiter les échecs de reconstruction spécifiques et les lacunes de connaissances.
3. Module Latent Métacognitif : L'intégration d'un module d'apprentissage de représentation métacognitive permet aux agents d'étalonner la fiabilité de leurs estimations d'état, filtrant les informations redondantes et améliorant la coordination.
4. Évaluation Comparative Complète : La méthode est validée sur divers benchmarks (SMAC-Comm, SMACv2, Level-Based Foraging et Google Research Football), démontrant des performances supérieures par rapport aux bases de communication de l'état de l'art.

Résultats Expérimentaux

Des expériences ont été menées sur quatre environnements de référence présentant différents niveaux de complexité et de stochasticité :

• SMAC-Comm & SMACv2 : LMAC a constamment surpassé les bases (incluant TarMAC, SMS, T2MAC et MASIA) et a approché ou dépassé les performances de la borne supérieure oraculaire (QMIX+État). Notamment, dans l'environnement hautement stochastique SMACv2, LMAC a surpassé QMIX+État, suggérant que le protocole conçu par le LLM filtre les caractéristiques pertinentes pour la tâche plus efficacement que les entrées d'état global brutes.
• Level-Based Foraging (LBF) & Google Research Football (GRF) : LMAC a atteint une convergence plus rapide et des taux de victoire finaux plus élevés par rapport à toutes les bases de communication. Dans GRF, il a surpassé QMIX+État, probablement en raison de la compression des observations de haute dimension en caractéristiques latentes compactes et pertinentes pour la tâche.
• Études d'Ablation :
  • Étapes d'Affinement : Les performances se sont améliorées régulièrement de $k=0$ (initial) à $k=2$, avec des rendements décroissants au-delà de $k=2$.
  • Variantes de LLM : La méthode est restée robuste à travers différents modèles de base LLM (GPT-4.1, Gemini, Claude), indiquant que le processus d'affinement est le principal moteur du succès plutôt que le modèle spécifique.
  • Composants : La suppression de la perte de cohérence ou de la supervision SAI a considérablement dégradé les performances, confirmant la nécessité de la suppression de la redondance et de l'étalonnage de la fiabilité.
  • Sensibilité aux Prompts : La méthode est restée efficace même avec des prompts simplifiés, suggérant qu'elle ne repose pas fortement sur des annotations sémantiques détaillées.

Importance et Revendications

L'article revendique que LMAC adresse un goulot d'étranglement critique dans le MARL : l'inefficacité des protocoles de communication existants à reconstruire les états globaux sous observabilité partielle. En exploitant le raisonnement des LLM pour concevoir des protocoles explicitement optimisés pour la récupération et l'uniformité de l'état, LMAC permet aux agents de coordonner plus efficacement sans la surcharge computationnelle de l'inférence en ligne par les LLM.

Les auteurs soulignent que leur approche :

• Réduit les Coûts des LLM : En effectuant la conception et l'affinement des protocoles hors ligne à l'aide de données de transition, LMAC évite la latence et le coût d'appeler un LLM à chaque pas de temps.
• Améliore la Conscience de l'État : Elle cible explicitement la réduction du déséquilibre de connaissances inter-agent, un facteur souvent négligé dans les travaux antérieurs.
• Généralise : Le cadre est applicable à travers différents modèles de base CTDE (QMIX, VDN, QPLEX) et s'adapte aux environnements avec un plus grand nombre d'agents et une stochasticité plus élevée.

L'article conclut que LMAC fournit un cadre robuste et généralisable pour améliorer les systèmes multi-agents coopératifs en alignant les protocoles de communication avec les besoins spécifiques en informations requis pour la reconstruction de l'état.