Résumé Technique : Modélisation de l'Intention Généralisée dans l'Apprentissage par Renforcement Multi-Agents

Énoncé du Problème

Dans l'apprentissage par renforcement multi-agents (MARL), la prise de décision efficace dans des environnements non coopératifs, compétitifs et à somme générale est entravée par l'observabilité partielle, l'absence de communication et les intentions inconnues des autres agents. Bien que les approches de « théorie de l'esprit » suggèrent de modéliser explicitement les autres agents pour prédire leur comportement, les méthodes existantes souffrent d'une limitation critique : elles reposent sur une sélection a priori et fixe de composants d'épisodes (par exemple, l'action suivante de l'adversaire ou un état futur de l'environnement) pour encoder l'intention.

Les auteurs soutiennent que ces approches supposent implicitement qu'un type unique d'information est universellement représentatif de l'intention. Cependant, des preuves empiriques suggèrent que la représentation optimale de l'intention est dépendante de la tâche et de l'environnement. Par exemple, dans le jeu Pierre-Papier-Ciseaux, prédire l'action immédiate suivante est crucial, tandis que dans les échecs, raisonner sur les états futurs à long terme est plus précieux. S'appuyer sur un seul a priori fixe (comme modéliser uniquement les actions ou uniquement les états) conduit à des performances sous-optimales lorsque la dynamique de l'environnement change. De plus, les méthodes existantes ne parviennent souvent pas à modéliser explicitement comment le comportement de l'adversaire impacte les propres retours futurs de l'agent ego, ce qui est l'objectif principal en MARL.

Méthodologie : Mixer of Intention eXperts (MIX)

Pour remédier à la rigidité de la modélisation des adversaires existante, les auteurs proposent MIX, un cadre adaptatif qui apprend un mélange piloté par la performance de multiples représentations d'intention. L'architecture repose sur deux innovations principales :

1. Architecture Adaptive de Mélange d'Experts (Mixture-of-Experts)

MIX utilise un ensemble de $K$ encodeurs spécialisés, chacun entraîné pour prédire un « composant d'épisode » distinct du comportement de l'adversaire. Les auteurs définissent quatre composants spécifiques :

• Actions de l'adversaire ($z^a_t$) : Prédire l'action suivante de l'adversaire.
• Observations de l'adversaire ($z^o_t$) : Prédire l'observation actuelle de l'adversaire.
• États futurs ($z^s_t$) : Prédire les états futurs de l'environnement.
• Récompenses futures ($z^r_t$) : Prédire les récompenses cumulées de l'agent ego.

Ces encodeurs produisent des plongements (embeddings) latents qui sont projetés dans un espace latent partagé. Un réseau de porte (gating network), inspiré du concept de Mixture-of-Experts, calcule dynamiquement des poids d'importance par caractéristique ($w_k$) basés sur l'état actuel et les projections agrégées des experts. La représentation adaptative finale de l'adversaire, $z^{MIX}_t$, est une somme pondérée de ces experts :
$$z^{MIX}_t = \sum_{k=1}^K w_k \odot e^k_t$$
Crucialement, le réseau de porte est entraîné de bout en bout avec la politique, permettant à l'agent ego d'apprendre quels composants sont les plus informatifs pour l'environnement et la tâche spécifiques sans biais humain.

2. Plongements d'Intention Prédictifs de Récompense

Une contribution clé est l'introduction des récompenses futures comme un composant d'épisode distinct. Contrairement aux travaux précédents qui prédisent des caractéristiques de l'adversaire (actions/états), cet encodeur prédit les retours futurs de l'agent ego ($R^H_t$).

• Objectif d'entraînement : Pour garantir que le plongement capture l'information directement pertinente pour la fonction de valeur de l'agent ego tout en écartant les détails d'état bruités, les auteurs utilisent un objectif contrastif InfoNCE. Cela maximise l'information mutuelle entre le plongement et les récompenses cumulées futures.
• Justification théorique : Le papier fournit une preuve théorique (Proposition 1) montrant que la maximisation de l'information mutuelle entre le plongement prédictif de la récompense et les récompenses futures minimise une borne supérieure de l'incertitude de la valeur, soutenant ainsi une estimation stable de la valeur.

Entraînement et Exécution

Le cadre suit le paradigme Centralized Training Decentralized Execution (CTDE) (Entraînement Centralisé, Exécution Décentralisée). Pendant l'entraînement, les encodeurs sont supervisés à l'aide d'informations globales privilégiées (par exemple, les états ou récompenses futurs réels) via une perte MSE (pour les actions, observations, états) ou une perte InfoNCE (pour les récompenses). Lors de l'exécution, seules les observations locales de l'agent ego et ses actions précédentes sont utilisées pour générer le plongement adaptatif, qui conditionne la politique $\pi_1(\cdot | o^1_t, z^{MIX}_t)$.

Principales Contributions

1. Architecture Adaptative : Une nouvelle architecture qui combine dynamiquement plusieurs composants d'épisode via un mécanisme de mélange, permettant au modèle de prioriser les composants les plus informatifs pour un environnement donné plutôt que de s'appuyer sur un a priori fixe.
2. Plongements Prédictifs de Récompense : L'introduction de plongements d'intention spécifiquement entraînés pour prédire les retours futurs de l'agent ego, permettant aux agents de capturer l'impact direct des adversaires sur leur propre performance.
3. Validation Empirique : Démonstration que l'approche adaptative produit des performances plus fortes et plus stables que la modélisation d'un seul composant d'épisode de manière isolée à travers divers benchmarks.
4. Aperçus sur la Généralisation : Analyse montrant comment les préférences du modèle pour différents composants varient selon les environnements et comment l'approche se généralise à des adversaires non rencontrés.

Résultats Expérimentaux

Les auteurs ont évalué MIX par rapport à des bases de référence de pointe (LIAM, MeLIBA, OMG) et une base de référence sans modélisation (NOM/PPO) sur quatre environnements :

• Kuhn Poker : Un jeu à horizon court et à observabilité partielle.
• Partially Observable Predator-Prey (POPP) : Une structure de récompense complexe avec une observabilité partielle.
• Level-Based Foraging (LBF) : Une tâche coopérative à observabilité complète.
• Google Research Football (GRF) : Un scénario à haute dimension et à observabilité complète avec six adversaires.

Principales conclusions :

• Performance : MIX a systématiquement égalé ou dépassé les performances de toutes les bases de référence. Dans POPP, MIX a nettement surperformé les bases de référence, particulièrement dans les configurations à haute diversité d'adversaires où d'autres méthodes (comme OMG) n'ont même pas pu égaler la base de référence sans modélisation.
• Adaptabilité : Dans Kuhn Poker (dynamiques à court terme), le modèle a naturellement déplacé le poids vers les « Observations de l'Adversaire » et les « États Futurs ». Dans POPP et LBF, l'expert « Récompenses Futures » figurait systématiquement parmi les deux composants les plus importants.
• Généralisation : MIX a démontré une robustesse dans des contextes « non vus » (tests contre des adversaires non rencontrés durant l'entraînement), montrant une dégradation moins catastrophique par rapport aux bases de référence dans les scénarios à haute diversité.
• Études d'Ablation :
  • L'utilisation de InfoNCE pour la prédiction de la récompense a surperformé une simple perte MSE, confirmant la nécessité de l'objectif contrastif pour capturer l'intention pertinente.
  • Le mécanisme de gating soft MoE a mieux performé que la concaténation naïve et la sélection Top-1, validant le bénéfice de l'apprentissage d'un mélange doux d'experts.
• Efficacité : Bien que MIX ait un temps d'inférence légèrement plus élevé (5,18 ms contre ~2-3 ms pour les bases de référence) en raison des multiples encodeurs, il évite les goulots d'étranglement sévères de l'entraînement des bases comme OMG (qui nécessite un pré-entraînement) et MeLIBA (complexité de mise à jour quadratique), résultant en des temps de formation totale nettement plus rapides.

Signification et Revendications

L'article affirme que l'efficacité de représentations d'intention spécifiques est hautement dépendante de la tâche, rendant les approches à a priori fixe sous-optimales. En introduisant un cadre qui adapte dynamiquement l'information d'épisode modélisée à l'environnement, les auteurs démontrent que les agents peuvent atteindre des performances et une généralisation supérieures.

Les auteurs présentent modestement leur contribution comme une démonstration empirique des limites des a priori fixes et une proposition d'une alternative plus robuste et pilotée par les données. Ils soulignent que leur approche se généralise à des environnements MARL arbitraires sans reposer sur des hypothèses restrictives (telles que des bibliothèques de buts prédéfinies ou un accès complet aux trajectoires des adversaires lors de l'exécution). Le travail apporte de nouveaux éclairages sur le quand et le pourquoi différentes stratégies de modélisation d'adversaire réussissent, suggérant que la définition « optimale » de l'intention n'est pas universelle mais émerge de l'interaction entre la tâche, l'environnement et l'objectif de l'agent.

Limites notées par les auteurs :

• Le travail actuel suppose que l'agent ego fait face à un ensemble d'algorithmes d'adversaires échantillonnés aléatoirement par interaction, plutôt que de modéliser un adversaire qui évolue au fil du temps (modélisation inter-épisodes).
• Le cadre suppose actuellement qu'un seul agent ego modélise conjointement tous les adversaires ; étendre cela à des contextes d'équipe avec plusieurs agents coopératifs maintenant des représentations adaptatives partagées reste un défi pour les travaux futurs.