Saliency-Guided Representation with Consistency Policy Learning for Visual Unsupervised Reinforcement Learning

1. Problématique et Contexte

L'apprentissage par renforcement non supervisé (URL) vise à entraîner des agents sur des données sans récompense pour acquérir des politiques généralisables à de nouvelles tâches (généralisation zero-shot). Une approche prometteuse est l'utilisation des Représentations Successeurs (SR), qui découplent la dynamique de l'environnement de la fonction de récompense.

Cependant, les méthodes SR existantes, bien que performantes dans des environnements à faible dimension (états structurés), échouent à s'adapter aux environnements visuels à haute dimension. Les auteurs identifient deux limitations majeures :

1. Représentations sous-optimales : Les objectifs SR standard entraînent les encodeurs à se concentrer sur des régions de l'observation visuelle non pertinentes pour la dynamique (bruit de fond, textures statiques), ce qui conduit à une estimation imprécise des mesures successeurs.
2. Modélisation de la politique : Dans les environnements visuels, il est difficile d'apprendre des politiques conditionnées par des compétences (skill-conditioned) qui soient à la fois expressives (multimodales) et contrôlables. Les modèles de diffusion, bien que puissants, souffrent d'une latence d'inférence élevée.

2. Méthodologie : Le Framework SRCP

Pour surmonter ces obstacles, les auteurs proposent SRCP (Saliency-Guided Representation with Consistency Policy Learning), un cadre unifié composé de trois composants clés optimisés de manière itérative :

A. Génération de Cartes de Saillance (Saliency Map Generation)

Au lieu d'apprendre des représentations brutes, SRCP génère des cartes de saillance basées sur les gradients de la fonction de valeur dérivée des caractéristiques successeurs. Ces cartes mettent en évidence les pixels de l'observation qui influencent le plus la valeur future, permettant d'ignorer les régions non pertinentes.

B. Apprentissage de Représentation Dynamique Guidée par la Saillance

SRCP découple l'apprentissage des représentations de l'objectif SR pur. Il introduit une tâche dynamique guidée par la saillance :

• Un encodeur est entraîné via des modèles de dynamique directe (prédire l'état suivant) et inverse (prédire l'action).
• Ces modèles utilisent à la fois l'observation complète et l'observation masquée par la carte de saillance ($o_\alpha$).
• Objectif : Forcer l'encodeur à capturer les caractéristiques pertinentes pour la dynamique, améliorant ainsi la qualité des caractéristiques de base ($\phi$) et des caractéristiques successeurs ($\psi$).

C. Apprentissage de Politique de Cohérence (Consistency Policy Learning)

Pour la phase de décision, SRCP remplace les politiques traditionnelles ou les modèles de diffusion coûteux par une politique de cohérence (Consistency Model) :

• Modélisation : La politique est formulée comme un processus de débruitage capable de générer des actions à partir d'un état et d'un vecteur de compétence ($z$).
• Guidage sans classificateur (Classifier-Free Guidance) : Une stratégie spécifique à l'URL est utilisée pour équilibrer la diversité des comportements (multimodalité) et le contrôle des compétences. L'action finale est une combinaison pondérée de la sortie conditionnée par la compétence et de la sortie non conditionnée.
• Fonctions de perte : L'entraînement combine un objectif de valeur conditionnée par la compétence, une cohérence comportementale conditionnée (stabilité) et une cohérence comportementale non conditionnée (diversité).

3. Contributions Clés

1. Analyse des échecs des SR visuels : Identification et validation empirique du fait que l'optimisation couplée de l'encodeur et du module successeur conduit à des représentations biaisées vers des régions non dynamiques, limitant la généralisation.
2. Framework SRCP : Proposition d'une architecture qui découple l'apprentissage de la représentation (via la saillance) de l'entraînement successeur, permettant d'extraire des caractéristiques dynamiquement pertinentes.
3. Politique de Cohérence Adaptée : Introduction d'une politique basée sur les modèles de cohérence avec un guidage sans classificateur spécifique, offrant un compromis optimal entre expressivité multimodale, contrôlabilité des compétences et efficacité computationnelle (inférence en un pas).
4. Généralité : Démonstration que SRCP est compatible avec diverses méthodes SR existantes (SF, FB, HILP) et améliore systématiquement leurs performances.

4. Résultats Expérimentaux

Les expériences ont été menées sur le benchmark ExORL, couvrant 16 tâches de contrôle continu visuel répartis sur 4 domaines (Walker, Quadruped, Cheetah, Jaco) et 4 stratégies de pré-entraînement (RND, PROTO, APS, APT).

• Performance Zero-Shot : SRCP établit un nouvel état de l'art (SOTA), surpassant les méthodes de référence de 13 % à 33 % selon les domaines (ex: +33 % sur Quadruped, +13 % sur Walker).
• Comparaison avec HILP : SRCP améliore significativement la méthode HILP (Hilbert Representations), prouvant que l'ajout de la saillance et de la politique de cohérence est crucial.
• Études d'ablation :
  • La suppression de la représentation guidée par la saillance (SRCP w/o SE) réduit les performances, confirmant l'importance de la focalisation sur la dynamique.
  • La suppression de la politique de cohérence (SRCP w/o CP) réduit la diversité et le contrôle des compétences.
• Robustesse : SRCP maintient de bonnes performances même avec un nombre limité de transitions pour l'inférence de compétences et résiste mieux aux perturbations visuelles (bruit de couleur, vidéos) que les méthodes baselines.
• Efficacité : Contrairement aux modèles de diffusion, SRCP offre des performances comparables avec un temps d'inférence beaucoup plus faible (modèle à un pas).

5. Signification et Impact

Ce travail est significatif car il résout le goulot d'étranglement majeur de l'apprentissage par renforcement non supervisé visuel : la qualité des représentations. En prouvant que l'on peut améliorer la généralisation zero-shot en guidant l'attention de l'agent vers les régions dynamiquement pertinentes et en utilisant des modèles de politiques plus efficaces (cohérence vs diffusion), SRCP ouvre la voie à des agents plus robustes et généralisables pour des applications réelles complexes (robotique, conduite autonome) où les données étiquetées sont rares et les environnements visuels bruyants. C'est le premier cadre à cibler explicitement la généralisation zero-shot dans l'URL visuel en combinant ces deux avancées.