Résumé Technique : Apprentissage par Renforcement en Contexte via des Modèles de Monde Communicatifs (CORAL)

1. Énoncé du Problème

Les agents d'Apprentissage par Renforcement (RL) peinent fréquemment à se généraliser à de nouvelles tâches et contextes sans mettre à jour leurs paramètres. Cette limitation provient de représentations et de politiques apprises qui sont sur-ajustées aux spécificités des environnements d'entraînement. Bien que l'Apprentissage par Renforcement en Contexte (ICRL) offre une voie vers l'adaptation pilotée par le contexte en conditionnant les politiques sur les interactions passées, les approches existantes reposent souvent sur des transformeurs auto-supervisés qui manquent de compréhension des dynamiques sous-jacentes de la tâche. Par conséquent, leur généralisation est fragile et dépend fortement de la qualité des jeux de données hors ligne.

Inversement, les Modèles de Monde (WMs) fournissent aux agents une compréhension structurée de la dynamique de l'environnement et du retour de récompense, permettant la prédiction des états futurs. Cependant, dans les modèles de monde standards, les représentations apprises sont souvent entrelacées avec l'apprentissage de la politique spécifique à la tâche. Cet entrelacement conduit à des représentations trop spécialisées, moins transférables, et souffre d'un décalage d'objectif entre l'apprentissage de la représentation et l'optimisation de la politique.

Le problème central abordé est la manière de tirer parti de la compréhension dynamique des Modèles de Monde pour l'ICRL sans l'entrelacement de l'apprentissage de la politique, afin de créer un contexte communicatif transférable qui accélère l'adaptation dans de nouveaux environnements.

2. Méthodologie : Le Cadre CORAL

Les auteurs proposent CORAL (Communicative Representation for Adaptive RL), un cadre qui formule l'ICRL comme un problème de communication émergente entre deux agents. CORAL sépare fonctionnellement l'apprentissage de la représentation latente du contrôle, découplant les rôles de modélisation du monde et de maximisation de la récompense.

2.1 Architecture des Agents

Le système se compose de deux agents distincts interagissant à chaque pas de temps $t$ :

• Agent d'Information (IA) : Paramétré par $\phi$ (une architecture basée sur un Transformer), l'IA agit comme un modèle de monde. Il traite un contexte d'observations encodées récentes et vise à comprendre la dynamique de l'environnement et les récompenses de la tâche. Crucialement, l'IA n'est pas entraîné sur la maximisation directe du rendement. Au lieu de cela, il compresse sa compréhension en messages latents concis ($m_t$).
• Agent de Contrôle (CA) : Paramétré par $\theta$ (typiquement une politique PPO), le CA reçoit l'observation $o_t$ et le message $m_t$ de l'IA. Son unique objectif est de maximiser les récompenses de la tâche en sélectionnant des actions $a_t$ basées sur le contexte communicatif.

2.2 Objectifs d'Entraînement

Les agents sont pré-entraînés conjointement sur une distribution diversifiée de tâches ($\mathcal{T}$) à l'aide d'une fonction de perte composite pour l'IA, tandis que le CA est optimisé via l'Optimisation de Politique Proximale (PPO).

La Perte de l'Agent d'Information ($\mathcal{L}(\phi)$) :
L'IA est entraîné via une perte composite auto-supervisée composée de trois éléments :

1. Perte de Conscience de la Dynamique ($\mathcal{L}_{Dyn}$) : Ancre les représentations de l'IA en exigeant qu'il prédise l'observation suivante ($\hat{o}_{t+1}$), la récompense ($\hat{r}_{t+1}$) et la probabilité de terminaison ($\hat{d}_{t+1}$) basées sur le message actuel et l'action du CA. Cela garantit que l'état interne capture les vérités physiques de l'environnement.
2. Perte de Cohérence Temporelle ($\mathcal{L}_{Coh}$) : Encourage la cohérence de la communication en entraînant l'IA à prédire le message suivant ($\hat{m}_{t+1}$) à partir du message actuel ($m_t$) et de l'action. Cela favorise des messages comme des représentations compactes de l'état.
3. Perte d'Influence Causale ($\mathcal{L}_{Causal}$) : Un objectif novateur qui façonne le protocole de communication. Il mesure l'Effet Causal Instantané (ICE), défini comme la Divergence KL Inverse entre la politique du CA avec le message et une politique avec un message de vecteur nul. Cette perte est pondérée par un signal d'utilité hybride (combinant les Estimations d'Avantage Généralisées et les changements immédiats de valeur) pour inciter l'IA à envoyer des messages qui provoquent des changements décisifs et bénéfiques dans la politique du CA.

L'Objectif de l'Agent de Contrôle :
Le CA maximise le rendement escompté actualisé $E[\sum \gamma^t r_t]$ en utilisant le PPO standard, conditionné par l'observation et le message de l'IA.

2.3 Régime d'Entraînement

Pour garantir la généralisation, le régime de pré-entraînement utilise un entraînement multi-environnements. Les agents sont entraînés sur un ensemble diversifié de tâches partageant des entités et des dynamiques communes mais nécessitant des solutions différentes. Ceci est implémenté via un entraînement vectorisé (via JAX) pour exécuter des environnements parallèles, empêchant l'oubli catastrophique et forçant l'IA à apprendre des dynamiques abstraites plutôt qu'à mémoriser des instances spécifiques.

2.4 Déploiement

Lors du déploiement, les poids de l'IA sont gelés. Il sert de "contextualiseur" fixe ou de priorité communicative pour un CA nouvellement initialisé de manière aléatoire. Le CA apprend à résoudre des tâches inédites en interprétant les messages fournis par l'IA gelée, permettant une adaptation rapide en contexte sans mettre à jour le modèle de monde.

3. Contributions Clés

1. Formulation : L'article modélise l'ICRL à agent unique comme un problème de communication émergente à deux agents où un Modèle de Monde (IA) apprend à communiquer la dynamique à un Agent de Contrôle (CA).
2. Stratégie d'Entraînement Hybride : Le cadre sépare l'apprentissage de la représentation et du contrôle. L'IA adopte un entraînement auto-supervisé avec trois têtes spécifiques (dynamique, cohérence, influence), tandis que le CA utilise le pré-entraînement par renforcement. Cette séparation évite le décalage d'objectif trouvé dans les modèles de monde monolithiques.
3. Perte d'Influence Causale : L'introduction d'un terme de perte novateur qui incite explicitement l'IA à générer des messages qui influencent causalement la politique du CA vers des actions à haute utilité, garantissant que la communication est pragmatique et efficace.
4. Validation Empirique : Des expériences approfondies démontrent que CORAL améliore l'efficacité de l'échantillonnage dans les environnements en ligne à récompenses éparses et atteint une généralisation zero-shot supérieure par rapport au PPO standard, aux Modèles de Monde et aux méthodes d'ICRL de pointe (ex: Decision Transformer, Agentic Transformer).

4. Résultats Expérimentaux

Les auteurs ont évalué CORAL à travers trois régimes :

• Adaptation en Ligne (MiniGrid Suite) :

  • CORAL a démontré une efficacité d'échantillonnage nettement plus élevée que les bases (PPO, PPO-Transformer, Modèle de Monde).
  • Dans des tâches comme DoorKey 8x8 et Crossings S11N5, CORAL a atteint des récompenses quasi optimales environ deux fois plus vite que PPO.
  • Dans des variantes plus complexes et plus grandes (ex: DynObs 16x16), CORAL a réussi à amorcer le CA pour résoudre des tâches là où les bases échouaient ou performaient au niveau du hasard.
  • Temps pour atteindre le Seuil (TTT) : CORAL a atteint 90 % de la performance maximale nettement plus rapidement (ex: 2,3x plus vite que PPO dans DoorKey 8x8).

• Généralisation Zero-Shot :

  • Lorsqu'il est évalué sur des environnements inédits et plus complexes sans entraînement supplémentaire, les agents CORAL pré-entraînés sur des tâches plus simples ont surpassé PPO, les Modèles de Monde et les Decision Transformers.
  • Cela indique que la priorité communicative se généralise mieux aux changements dynamiques qu'un simple clonage de séquences de démonstrations.

• Généralisation Hors Ligne (D4RL) :

  • Dans des contextes entièrement hors ligne, CORAL a obtenu un score moyen normalisé total de 85,47, surpassant le Decision Transformer (77,49) et égalant TD3+BC (84,83).
  • Notamment, CORAL a excellé sur les jeux de données Medium-Replay difficiles (ex: 98,33 sur Hopper-M-Replay), suggérant que sa priorité communicative filtre efficacement le bruit des démonstrations sous-optimales.

• Études d'Ablation :

  • Le retrait de la Perte de Cohérence Temporelle a entraîné une haute variance et un apprentissage plus lent.
  • Le retrait de la Perte d'Influence Causale a réduit l'efficacité de l'échantillonnage et la performance finale, confirmant qu'un modèle de monde passif est insuffisant ; l'IA doit être incitée à influencer la politique du CA.
  • L'analyse de l'Effet Causal Instantané (ICE) a montré que le protocole fournit une influence forte pendant l'apprentissage (incertitude élevée) et se stabilise à mesure que la politique converge, agissant comme un régularisateur d'apprentissage.

5. Signification et Revendications

L'article affirme que CORAL fournit un juste milieu fondé sur des principes entre l'adaptation pilotée par le contexte et la modélisation du monde. En séparant l'apprentissage de la dynamique (via l'IA) du contrôle (via le CA), le cadre apprend une représentation communicative transférable qui n'est pas sur-ajustée à des récompenses de tâches spécifiques.

Les auteurs soutiennent que cette approche valide l'efficacité de l'apprentissage d'une priorité communicative transférable. Les résultats suggèrent que la communication émergente n'est pas seulement utile pour la coordination multi-agents, mais sert également de méthode puissante pour une adaptation rapide en contexte pour le RL à agent unique. Le cadre permet aux agents d'atteindre des gains significatifs en efficacité d'échantillonnage et une adaptation zero-shot réussie dans divers environnements en ligne et hors ligne, répondant à la fragilité des approches actuelles d'ICRL et aux problèmes d'entrelacement des Modèles de Monde standards.