Résumé technique : Pré-entraînement sans récompense pour l'apprentissage par renforcement via la maximisation de la couverture d'occupation

Énoncé du problème

Les récompenses éparses constituent un défi fondamental en apprentissage par renforcement (RL), où les agents ne reçoivent aucun retour informatif avant d'atteindre un objectif spécifique. Bien que les méthodes de récompense intrinsèque (ex. : nouveauté, erreur de prédiction, diversité des compétences) tentent d'injecter des signaux de supervision, elles reposent souvent sur la capacité à évaluer des récompenses extrinsèques soit en ligne, soit via le re-étiquetage hors ligne des transitions stockées. Cette hypothèse échoue dans les contextes de RL multi-tâches, méta ou continu, où les interactions sont strictement sans récompense et où la fonction de récompense cible n'est disponible qu'une fois que l'agent a réellement atteint un objectif dépendant de la tâche.

Les objectifs existants sans récompense souffrent souvent de non-stationnarité. Les méthodes optimisant la correspondance de la marge d'état, l'erreur de prédiction ou la diversité des compétences peuvent découvrir des états divers durant le pré-entraînement, mais échouent à maintenir une politique dont l'occupation d'état actualisée est largement distribuée. Au lieu de cela, la politique finale a tendance à se concentrer sur de petites régions ou présente un comportement oscillatoire d'« expansion-effondrement », ne fournissant pas une initialisation robuste pour les tâches de récompense éparse en aval.

Méthodologie : ROVER

Les auteurs proposent ROVER (Reward-free pretraining via Occupancy coVERage maximization), un algorithme conçu pour pré-entraîner des politiques d'exploration transférables qui maximisent la couverture de l'espace d'états sans nécessiter de distribution cible ou d'évaluation de récompense hors ligne.

1. Objectif : Maximisation de la couverture d'occupation

ROVER formule l'objectif de pré-entraînement comme la minimisation de l'auto-similarité de la mesure d'occupation d'état actualisée $d^\pi$ au sein d'un espace de Hilbert à noyau reproduisant (RKHS).

• Formulation : L'objectif est défini par $J(\pi) = \|\mu_{d^\pi}\|_H^2$, où $\mu_{d^\pi}$ est l'encodage moyen à noyau de la mesure d'occupation.
• Équivalence théorique :
  • Minimiser cette norme est équivalent à maximiser l'entropie de Rényi métrique d'ordre 2.
  • Dans le cadre tabulaire avec un noyau de Dirac, cela équivaut à minimiser la distance MMD (Maximum Mean Discrepancy) par rapport à une distribution uniforme, favorisant ainsi une couverture uniforme sans définir explicitement une cible uniforme.
  • Dans les espaces de représentation appris, cela favorise la diversité de la géométrie induite par la représentation.

2. Implémentation algorithmique

ROVER exploite la formulation opératorielle du RL pour rendre l'objectif calculable et différentiable de manière fermée. L'algorithme alterne entre la collecte de données et trois étapes :

• Apprentissage de la représentation : Une carte de caractéristiques $\phi_\theta$ est apprise à partir des données de transition en utilisant une perte contrastive InfoNCE pour aligner les représentations de l'état suivant prédites avec les états suivants réels. Cela définit la géométrie pour l'objectif de couverture.
• Estimation du modèle du monde (Opérateur de transition) : L'algorithme estime un opérateur de transition élevé $\hat{T}_n$ en utilisant la régression à noyau (KRR) sur les représentations apprises. Cet opérateur projette les caractéristiques état-action vers les plongements de l'état suivant de manière fermée.
• Descente de miroir de politique (PMD) : La politique est mise à jour pour minimiser l'objectif $J(\pi)$ en utilisant la descente de miroir de politique. Le gradient de l'objectif est dérivé de manière fermée en utilisant le résolvant de l'opérateur de transition, permettant des mises à jour efficaces sans estimation de gradient par échantillonnage.

3. Augmentation par état-puits

Un composant critique de ROVER est l'introduction d'un état « puits » virtuel ($s_{S_\epsilon}$) pour gérer les régions de l'espace d'états non supportées par les données actuelles.

• Mécanisme : L'espace d'états est augmenté d'un état puits absorbant. L'opérateur de transition est estimé à l'aide d'un problème de régularisation décalé qui redirige les résidus inexpliqués (prédictions pour des paires état-action non vues) vers cet état puits plutôt que vers un vecteur nul.
• Stabilisation : Cela empêche le comportement « expansion-effondrement » où une politique oscille entre la découverte de nouvelles régions et l'oubli des régions précédemment couvertes. L'état puits impose un coût à l'assignation d'une occupation aux régions non supportées, équilibrant l'exploration avec la rétention de la couverture connue.
• Décomposition de l'objectif : L'objectif total se décompose en la norme de l'occupation dans l'espace d'origine plus un terme de pénalité proportionnel à la masse assignée à l'état puits, contrôlé par un hyperparamètre $\epsilon$.

Contributions clés

1. Formulation sans cible : L'article formalise la couverture d'occupation comme un objectif RKHS sans cible pour le transfert de comportement sans récompense, liant l'ajustement MMD, la diversité de Rényi-2 et la minimisation d'énergie de théorie potentielle.
2. Mise à jour de politique basée sur les opérateurs : Les auteurs dérivent une mise à jour de politique basée sur les opérateurs et en forme fermée pour minimiser cet objectif en utilisant un modèle de monde par résolvant appris, évitant ainsi les problèmes de non-stationnarité des méthodes basées sur des proxys.
3. Augmentation par état-puits : L'introduction d'un état virtuel puits stabilise la couverture sous données partielles, empênant les comportements cycliques d'expansion-effondrement et garantissant que la politique conserve la couverture des régions précédemment visitées.

Résultats expérimentaux

Les auteurs évaluent ROVER dans des environnements de navigation à récompense éparse, entièrement observables (tabulaires et à base de pixels), conçus pour isoler les goulots d'étranglement topologiques (ex. : Middle-Room, Multi-Rooms, Maze).

• Efficacité de la couverture : ROVER atteint une couverture complète de l'espace d'états nettement plus rapidement que les bases de référence (RND, SMM, APT, MAXENT, CIC) lorsqu'ils sont entraînés à partir de zéro.
• Stabilité et transfert : Contrairement aux bases de référence qui peuvent découvrir des états de manière transitoire mais s'effondrer en une occupation localisée, ROVER produit des politiques avec des occupations actualisées largement distribuées. Cela se traduit par des initialisations plus fortes pour le RL sans modèle en aval (DDPG, SAC), nécessitant moins d'échantillons pour atteindre les objectifs.
• Transfert hors ligne : Dans les contextes de RL hors ligne (CQL, DDPG), les buffers de relecture générés par ROVER soutiennent efficacement l'apprentissage en aval. Bien que la distribution diffère des autres méthodes (ex. : CIC produit des données plus homogènes, tandis que ROVER conserve une densité plus élevée près des états de départ et des goulots d'étranglement), la structure de données de ROVER est particulièrement efficace pour les algorithmes conservateurs comme CQL.
• Robustesse : La méthode démontre une robustesse aux hyperparamètres, bien que des valeurs extrêmes pour la norme de l'état-puits $\epsilon$ puissent entraver l'exploration.

Signification et affirmations

L'article positionne ROVER comme une étape fondamentale vers l'établissement de la couverture d'occupation comme un objectif standard pour le transfert de comportement sans récompense.

• Portée modeste : Les auteurs déclarent explicitement que cette étude est limitée aux espaces d'actions discrets et aux environnements simples afin d'isoler l'objectif de couverture et d'analyser directement son comportement, plutôt que de présenter ROVER comme un algorithme d'exploration pleinement scalable pour des domaines à haute dimension immédiatement.
• Intuition centrale : La principale contribution est la démonstration que la maximisation de la couverture d'occupation via une approche d'opérateur stable et en forme fermée produit des politiques qui sont intrinsèquement mieux adaptées au transfert de récompense éparse en aval que celles optimisées pour la nouveauté transitoire ou la diversité des compétences.
• Directions futures : Les auteurs identent des travaux futurs concernant le développement de représentations scalables pour les domaines à haute dimension, les implémentations approchées de l'objectif de résolvent, ainsi que les extensions aux actions continues et à l'observabilité partielle.