Switching Successor Measures for Hierarchical Zero-shot Reinforcement Learning

Ce papier introduit les « mesures de successeur commutables » et l'algorithme FB $\pi$-Switch pour permettre l'apprentissage par renforcement hiérarchique en zéro-shot pour des fonctions de récompense générales sans recourir à des abstractions temporelles fixes, à des sous-objectifs conçus manuellement ou à une supervision supplémentaire.

L'essentiel

Imaginez que vous enseigniez à un robot à naviguer dans un labyrinthe immense et complexe. L'ancienne méthode consistait à donner au robot une destination spécifique (comme « allez vers la porte rouge ») et à le laisser déterminer chaque étape nécessaire pour y parvenir. Mais que se passerait-il si vous vouliez que le robot apprenne à gérer n'importe quel type de récompense, et pas seulement à trouver une porte ? Peut-être souhaitez-vous qu'il collecte des pièces, évite des pièges ou trouve un motif spécifique de couleurs.

Ce papier présente une nouvelle façon d'enseigner aux robots, appelée Mesures Successeurs Commutables. Voici une explication simple de son fonctionnement, utilisant des analogies du quotidien.

Le Problème : Le Piège de l'« Étape Fixe »

Les méthodes précédentes tentaient de décomposer les grands problèmes en plus petits en disant : « Faites exactement 10 pas, puis arrêtez-vous et choisissez un nouvel objectif. »

• Le Défaut : Imaginez essayer de traverser une pièce. Si vous vous forcez à faire exactement 10 pas à chaque fois que vous changez d'avis, vous pourriez vous retrouver au milieu d'un mur ou dans une flaque. La vie réelle ne concerne pas des étapes fixes ; elle consiste à atteindre un endroit précis (comme une chaise) puis à décider quoi faire ensuite. Les anciennes méthodes étaient trop rigides et ne fonctionnaient bien que pour des tâches simples de type « trouvez l'objectif ».

La Solution : Le « Commutateur Intelligent »

Les auteurs proposent un système où le robot apprend deux choses simultanément à partir d'une seule « carte » du monde :

1. Le Plan de Haut Niveau : « Je dois d'abord atteindre cette chaise. »
2. L'Action de Bas Niveau : « D'accord, je marche vers la chaise. »

L'astuce magique s'appelle les Mesures Successeurs Commutables. Imaginez cela comme un GPS qui ne vous montre pas seulement l'itinéraire vers la destination finale, mais qui comprend aussi la « valeur » de s'arrêter à n'importe quel point intermédiaire.

• L'Analogie : Imaginez que vous faites de la randonnée.
  • Ancienne Méthode : Vous avez une carte qui ne vous indique que comment atteindre le sommet. Si vous voulez vous arrêter à une cascade à mi-chemin, vous devez recalculer toute la carte depuis zéro.
  • Nouvelle Méthode (Ce Papier) : Vous avez une « Super Carte » qui connaît le terrain. Elle vous dit : « Si vous vous dirigez vers la cascade, vous y arriverez en 5 minutes. Une fois là-bas, vous pouvez instantanément changer de plan pour vous diriger vers le sommet. » Le robot apprend à « commuter » son attention d'un sous-objectif à un autre de manière fluide, sans avoir besoin d'une nouvelle carte ni d'un enseignant pour lui dire exactement quand commuter.

Comment Cela Fonctionne (L'Algorithme « FB π-Switch »)

Le papier nomme leur méthode FB π-Switch. Voici le processus en langage clair :

1. Apprendre la « Sensation » du Monde : D'abord, le robot observe un ensemble d'anciennes vidéos de lui-même (ou d'autres) se déplaçant. Il apprend une « mesure successeur ».
   • Analogie : C'est comme apprendre l'« ambiance » de chaque pièce d'une maison. Vous savez que si vous êtes dans la cuisine, vous finirez probablement bientôt dans la salle à manger. Vous n'avez pas besoin de connaître le chemin exact à chaque fois ; vous connaissez simplement la probabilité de votre future position.
2. Le Moment de la « Commutation » : Le robot apprend qu'il peut suivre un chemin vers un sous-objectif (comme la cuisine), et dès qu'il y arrive, il peut « commuter » sa logique interne pour commencer à se diriger vers l'objectif final (la salle à manger).
3. Aucune Formation Supplémentaire : La meilleure partie est que le robot détermine comment décomposer la grande tâche en petites pièces tout seul. Il n'a pas besoin qu'un humain lui dise : « Arrêtez-vous ici et choisissez un nouvel objectif. » La structure des mathématiques crée naturellement ces sous-objectifs.

Pourquoi C'est Important

Les chercheurs ont testé cela sur deux types de tâches :

1. Conditionnées par un Objectif : « Allez vers le drapeau rouge. » (Comme un niveau standard de jeu vidéo).
2. Récompenses Générales : « Collectez autant de pièces que possible tout en évitant les pointes. » (Une tâche beaucoup plus difficile et complexe).

Les Résultats :

• La nouvelle méthode fonctionnait aussi bien que les meilleures méthodes existantes pour les tâches simples de type « allez vers le drapeau ».
• Crucialement, elle était bien meilleure pour les tâches complexes de « collecte de pièces ». Parce qu'elle n'était pas bloquée par l'utilisation d'étapes fixes, elle pouvait s'adapter à des paysages de récompenses complexes où le meilleur chemin n'était pas une ligne droite.

La Conclusion

Ce papier montre que vous n'avez pas besoin de concevoir manuellement des hiérarchies complexes ou de dire exactement à un robot quand changer de tâche. En utilisant un cadre mathématique spécifique (Mesures Successeurs Commutables), un robot peut apprendre une seule « compréhension » flexible du monde qui lui permet naturellement de décomposer les grands problèmes en étapes plus petites et gérables, tout seul. C'est comme donner au robot un cerveau capable de voir naturellement la « vue d'ensemble » et les « petites étapes » en même temps.

Résumé technique

Résumé Technique : Mesures de Successeur Commutantes pour l'Apprentissage par Renforcement Hiérarchique Zero-Shot

Énoncé du Problème

L'apprentissage par renforcement hiérarchique (HRL) vise à améliorer la généralisation en décomposant la prise de décision à long horizon en sous-problèmes plus simples. Cependant, les approches existantes reposent souvent sur des choix de conception restrictifs, tels que des abstractions temporelles fixes ou des objectifs conditionnés par un but, ce qui limite leur applicabilité aux fonctions de récompense générales. De plus, des méthodes comme HIQL imposent une localité via des horizons de sous-objectifs fixes plutôt que de permettre son émergence par l'apprentissage.

Parallèlement, les mesures de successeur (SM), en particulier via les représentations Forward-Backward (FB), offrent un cadre pour l'adaptation zero-shot à des fonctions de récompense arbitraires en représentant les fonctions de valeur dans un espace d'incrustation partagé. Pourtant, ces méthodes supposent généralement une factorisation globale forte ($F(s, a, z)^\top B(g)$) qui peut être difficile à apprendre dans des environnements complexes. Des découvertes récentes suggèrent que les représentations de successeur sont plus fiables localement, capturant efficacement les transitions à court terme, tandis que leur précision se dégrade sur des horizons longs.

Un écart critique existe : il n'existe pas d'approche unifiée exploitant les représentations de successeur pour dériver des politiques hiérarchiques directement à partir de la représentation apprise, tout en conservant la capacité de généraliser à travers des fonctions de récompense arbitraires (non limitées à l'atteinte d'un but). Les pipelines actuels séparent souvent l'apprentissage de la représentation de l'apprentissage de la politique, échouant à exploiter le codage structurel des représentations de successeur pour la planification et le contrôle conjoints.

Méthodologie : Mesures de Successeur Commutantes et FB $\pi$-Switch

Les auteurs introduisent les Mesures de Successeur Commutantes, un cadre permettant le contrôle hiérarchique en RL zero-shot sans supervision supplémentaire, horizons fixes ou sous-objectifs conçus manuellement.

Fondement Théorique

L'idée centrale est que les mesures de successeur commutantes requises pour la planification de haut niveau peuvent être dérivées directement d'une seule mesure de successeur classique.

1. Avantage Commutant : Les auteurs définissent une fonction d'avantage à $k$ étapes où un agent suit une politique conditionnée par un sous-objectif $\pi_w$ pendant $k$ étapes, puis commute vers une politique globalement efficace $\pi$.
2. Commutation par Temps d'Atteinte : Pour corriger le biais introduit par les horizons fixes (où $k$ étapes peuvent ne pas correspondre à l'atteinte d'un sous-objectif), le cadre remplace $k$ fixe par le temps d'atteinte $H^{\pi_w}_s(w)$.
3. Théorème 1 : L'article établit une identité clé reliant la mesure de successeur commutante $M^{\pi_w \to \pi}_s$ aux mesures de successeur standards :
   $$M^{\pi_w \to \pi}_s(s') = M^{\pi_w}_s(s') + \frac{M^{\pi_w}_s(w)}{M^{\pi_w}_w(w)} \left( M^{\pi}_w(s') - M^{\pi_w}_w(s') \right)$$
   Ce théorème démontre que la hiérarchie est implicitement encodée dans les représentations de successeur standards et peut être récupérée sans apprentissage supplémentaire.
4. Corollaire 1 : La fonction d'avantage commutante est dérivée comme suit :
   $$A^{\pi_w \to \pi}_s(r) = V^{\pi_w}(s; r) + \frac{M^{\pi_w}_s(w)}{M^{\pi_w}_w(w)} \left( V^{\pi}(w; r) - V^{\pi_w}(w; r) \right) - V^{\pi}(s; r)$$
   Cela sert d'objectif pour la politique de haut niveau afin de sélectionner les sous-objectifs $w$.

Algorithme : FB $\pi$-Switch

Les auteurs proposent FB $\pi$-Switch, un algorithme d'apprentissage hors ligne en trois étapes :

1. Apprentissage de la Représentation État-Successeur : L'algorithme apprend des représentations état-successeur conditionnées par la récompense et libres d'actions ($F(s, z)$ et $B(s)$) en utilisant un objectif de régression d'espérance. Cette étape marginalise sur les actions et évite l'optimisation couplée de la politique et de la représentation trouvée dans le FB standard, permettant une procédure d'apprentissage en une seule étape.
2. Apprentissage de la Politique de Haut Niveau : Une politique de haut niveau $\pi_h$ est entraînée pour sélectionner des sous-objectifs latents $z_w$ en maximisant l'approximation FB de la fonction d'avantage commutante en utilisant la Régression Pondérée par l'Avantage (AWR).
3. Apprentissage de la Politique de Bas Niveau : Une politique de bas niveau $\pi_\ell$ est entraînée pour exécuter des actions primitives conditionnées par le sous-objectif sélectionné, également en utilisant AWR.

La méthode permet un réglage post-hiérarchique, où la politique de haut niveau peut être ajoutée à des modèles de fondation de comportement préentraînés (BFM) sans réentraîner le contrôleur de bas niveau ni les représentations de base.

Contributions Clés

1. Mesures de Successeur Commutantes : Un cadre principiel pour extraire la structure hiérarchique des représentations basées sur les successeurs. L'article prouve que les mesures nécessaires à la planification de haut niveau sont dérivables d'une seule mesure de successeur classique, montrant que la hiérarchie est implicitement encodée.
2. Algorithme FB $\pi$-Switch : Un algorithme de RL hiérarchique zero-shot où la sélection de sous-objectifs de haut niveau et le contrôle de bas niveau sont dérivés directement des représentations FB. La méthode suit une procédure d'entraînement en trois étapes, l'étape de haut niveau étant compatible avec les algorithmes FB existants.
3. Validation Empirique : L'évaluation sur des tâches conditionnées par un but et des tâches basées sur des récompenses générales démontre que FB $\pi$-Switch améliore les performances par rapport aux bases non hiérarchiques et égale les méthodes hiérarchiques de l'état de l'art dans les paramètres conditionnés par un but.

Résultats Expérimentaux

Les auteurs ont évalué FB $\pi$-Switch sur des labyrinthes discrets, AntMaze (conditionné par un but) et AntMaze avec des fonctions de récompense générales.

• Tâches Conditionnées par un But (AntMaze) : FB $\pi$-Switch a atteint des performances comparables à HIQL, une méthode hiérarchique de premier plan. Notamment, l'ajout d'une politique de haut niveau a systématiquement amélioré les performances par rapport aux variantes non hiérarchiques. Même sans hiérarchie, FB $\pi$-Switch a surpassé d'autres bases non hiérarchiques (par exemple, FB standard, ICVF).
• Tâches à Récompense Générale : Dans des environnements avec des paysages de récompense distribués (non limités à l'atteinte d'un seul but), FB $\pi$-Switch a obtenu la meilleure performance moyenne. La variante hiérarchique a montré une robustesse améliorée à travers les environnements.
• Ablation et Analyse :
  • La politique de haut niveau dans FB $\pi$-Switch induit des sous-objectifs situés le long de trajectoires cohérentes vers le but, alors que les sous-objectifs de HIQL conduisent souvent à des actions immédiates similaires sans cohérence de chemin.
  • Des expériences combinant des politiques de haut niveau de FB $\pi$-Switch avec des politiques de bas niveau de FB standard ont montré que la qualité de la politique de bas niveau est cruciale pour réaliser les bénéfices hiérarchiques.
  • La méthode gère avec succès des tâches présentant des compromis entre objectifs locaux et globaux, s'étendant au-delà de la focalisation sur un seul objectif du GCRL traditionnel.

Importance et Revendications

L'article revendique que les représentations de successeur structurées fournissent une base flexible pour l'apprentissage par renforcement hiérarchique zero-shot, s'étendant au-delà des tâches d'atteinte de but. En introduisant des mesures de successeur commutantes, les auteurs démontrent que le comportement hiérarchique peut émerger directement à partir de représentations apprises sans nécessiter :

• Des trajectoires d'experts.
• Des abstractions temporelles conçues à la main.
• Des objets supervisés séparés pour la hiérarchie.

Ce travail fait le lien entre la prise de décision locale et globale, suggérant que les représentations de successeur peuvent naturellement soutenir la composition de comportements à travers des régions. Les auteurs notent que, bien que la méthode soit efficace, la qualité du modèle de base reste une dépendance, et des travaux futurs pourraient explorer la planification multi-sous-objectifs et les comparaisons avec des méthodes basées sur des modèles génératifs. Le cadre est présenté comme une approche unifiée pour dériver des politiques hiérarchiques à partir de représentations de successeur, comblant l'écart entre l'apprentissage de la représentation et le contrôle hiérarchique dans des contextes zero-shot.