Agent-Centric Visual Reinforcement Learning under Dynamic Perturbations

1. Énoncé du Problème

Les agents d'Apprentissage par Renforcement (RL) visuel apprennent des politiques directement à partir d'observations en pixels, mais sont hautement vulnérables aux perturbations visuelles dynamiques (par exemple, pluie, neige, flou de mouvement, bruit de capteur et arrière-plans changeants). Les benchmarks existants reposent souvent sur des distractions d'arrière-plan statiques ou des corruptions fixes uniques, échouant à capturer la nature non stationnaire et variant dans le temps des environnements réels où les types de corruption changent de manière imprévisible (par exemple, la météo passant de la pluie au brouillard).

L'article identifie deux modes de défaillance critiques dans les méthodes actuelles :

1. Méthodes sans Modèle : Les encodeurs confondent les caractéristiques d'état pertinentes pour la tâche avec les artefacts de corruption, entraînant une confusion de la politique lorsque les textures du premier plan sont occluses.
2. Méthodes basées sur un Modèle (Modèles du Monde) : Les objectifs basés sur la reconstruction (par exemple, dans DreamerV3) forcent l'état latent à encoder des caractéristiques spécifiques à la corruption afin de minimiser l'erreur de reconstruction. Sous un changement dynamique, cela "enchevêtre" la perturbation dans la représentation latente, contaminant les trajectoires imaginées utilisées pour la planification et provoquant des chutes catastrophiques de performance.

Les solutions existantes telles que l'augmentation de données ou l'apprentissage de représentations invariantes échouent car elles alimentent soit encore l'agent en pixels corrompus, soit ne peuvent pas récupérer les informations perdues au niveau des pixels (par exemple, les premiers plans occlus).

2. Méthodologie : ACO-MoE

Les auteurs proposent des Observations Centrées sur l'Agent avec Mélange d'Experts (ACO-MoE), un cadre de prétraitement plug-and-play conçu pour découpler la perception de la perturbation avant que l'agent RL ne traite l'entrée.

Composants Principaux :

• Préprocesseur Plug-and-Play : ACO-MoE se situe entre l'environnement et le socle RL (encodeur). Il prend une observation corrompue $x_t$ et produit une observation centrée sur l'agent propre $\tilde{x}_t$.
• Architecture Mélange d'Experts (MoE) :
  • Encodeur Partagé : Extrait des caractéristiques multi-échelles à partir de l'entrée corrompue.
  • Routeur : Un module léger qui sélectionne dynamiquement l'un des $|K|$ experts spécialisés en fonction des caractéristiques d'entrée. Crucialement, il opère sans labels oracle du type de corruption lors de l'inférence.
  • Experts de Restauration : Chaque expert est spécialisé pour un type de dégradation spécifique (par exemple, pluie, flou, bruit).
• Sortie à Double Flux : Chaque expert sélectionné produit deux sorties :
  1. Résidu RVB : Restaure les pixels du premier plan corrompus.
  2. Masque du Premier Plan : Segmente l'agent et les objets pertinents pour la tâche par rapport à l'arrière-plan.
• Composition Centrée sur l'Agent : L'observation finale est construite en composant le premier plan restauré sur un arrière-plan noir uniforme. Cela élimine les distractions d'arrière-plan et garantit que l'agent RL ne voit que l'état pertinent pour la tâche.
• Stratégie d'Entraînement : Le MoE est pré-entraîné hors ligne sur des données appariées propres/corrompues avec des pseudo-masques. Pendant l'entraînement RL, le module ACO-MoE est figé, empêchant la dérive des observations et assurant un apprentissage de politique stable.

3. Analyse Théorique

L'article fournit une analyse formelle de l'information théorique pour justifier l'approche :

• Proposition 5.1 (Contamination de la Représentation) : Il démontre que pour les modèles du monde basés sur la reconstruction, la minimisation de l'erreur de reconstruction force inévitablement la représentation latente $Z_t$ à encoder le mode de corruption $K_t$. Plus précisément, $I(Z_t; K_t | S_t) \ge I(X_t; K_t | S_t) - C(\epsilon)$. Une reconstruction précise implique un fort enchevêtrement avec le bruit.
• Corollaire 5.2 (Premier Plan comme Ancrage IB) : Il démontre que l'extraction du premier plan propre $F_t$ agit comme un substitut de Goulot d'Étranglement Informationnel (IB). Puisque le premier plan est une fonction déterministe de l'état $S_t$ et indépendant de la corruption exogène $K_t$, l'utilisation de $F_t$ comme entrée ($Z_t = F_t$) réalise une invariance exacte aux nuisances ($I(Z_t; K_t | Y_t) = 0$) tout en préservant la suffisance de la tâche.

4. Benchmark : Visual Degraded Control Suite (VDCS)

Pour évaluer systématiquement ce problème, les auteurs introduisent VDCS, une extension de la DeepMind Control Suite (DMC).

• Perturbations Dynamiques : Contrairement aux benchmarks statiques, VDCS utilise des dynamiques de commutation de Markov pour simuler des transitions non stationnaires entre les types de corruption (par exemple, pluie $\to$ neige $\to$ flou) au sein d'un seul épisode.
• Dégradations : Comprend 7 dégradations physiques (Pluie, Brume, Neige, Flou de mouvement, Bruit Gaussien, Faible luminosité, JPEG) et 2 distractions d'arrière-plan (Vidéo, Couleur).
• Sévérité : Les corruptions ont des niveaux de sévérité corrélés temporellement, imitant la persistance du monde réel.

5. Résultats Clés

Les expériences ont été menées sur VDCS et le Benchmark de Généralisation DMControl (DMC-GB) en utilisant à la fois des socles sans modèle (DrQ-v2) et basés sur un modèle (DreamerV3, TD-MPC2).

• Performance sur VDCS :
  • ACO-MoE réalise une amélioration relative de 78,5 % par rapport à la meilleure base de référence (SimGRL) en moyenne.
  • Il récupère 95,3 % de la performance propre de DreamerV3 sous des corruptions de commutation de Markov difficiles.
  • Les gains spécifiques sont massifs sur les tâches sensibles à la perte de texture : finger_turn_hard (+207 %), cheetah_run (+126 %) et hopper_hop (+105 %).
• Généralisation (DMC-GB) :
  • Atteint l'état de l'art (SOTA) sur DMC-GB (Video Hard et Color Hard), surpassant la deuxième meilleure méthode de 6,2 % et 17,4 % respectivement.
  • Démontre une robustesse même lorsque le type de corruption n'est pas explicitement connu lors de l'inférence.
• Études d'Ablation :
  • MoE vs Expert Unique : Les experts spécialisés surpassent un seul grand réseau, prouvant l'avantage du routage.
  • Double Flux : La restauration RVB et le masquage du premier plan sont tous deux essentiels ; supprimer l'un ou l'autre entraîne des chutes de performance significatives.
  • Figé vs Joint : Garder le préprocesseur figé est critique ; son réglage fin pendant le RL conduit à une instabilité et un effondrement des performances.
• Efficacité : ACO-MoE ajoute une latence minimale (~20 ms/étape sur RTX 5090) par rapport aux méthodes d'adaptation au moment du test comme FTR, qui reposent sur des modèles de segmentation lourds (SAM).

6. Importance et Contributions

1. Nouveau Benchmark (VDCS) : Établit une norme rigoureuse pour évaluer le RL visuel sous des perturbations non stationnaires et physiquement réalistes, allant au-delà des distractions d'arrière-plan statiques.
2. Insight Théorique : Prouve formellement que les objectifs de reconstruction dans les modèles du monde sont structurellement incompatibles avec la robustesse aux corruptions dynamiques, motivant le passage vers un prétraitement centré sur l'agent.
3. Cadre Robuste (ACO-MoE) : Introduit une solution nouvelle et agnostique à l'architecture qui découple la perception de la perturbation. Elle fonctionne de manière transparente avec les agents sans modèle et basés sur un modèle sans nécessiter de modifications à l'algorithme RL lui-même.
4. Impact Pratique : La méthode récupère des performances proches du propre dans des environnements fortement dégradés, rendant le RL visuel plus viable pour un déploiement réel où le bruit des capteurs et les changements environnementaux sont inévitables.

En conclusion, ce travail déplace le paradigme de "l'apprentissage à ignorer le bruit" vers "la restauration de la vue centrée sur l'agent", fournissant une solution théoriquement fondée et empiriquement supérieure pour un contrôle visuel robuste.