Résumé Technique : Raffinement Adaptatif de Sous-Objectifs du Grossier au Fin pour l'Apprentissage par Renforcement Conditionné par un Objectif Hors-Ligne à Long Terme

1. Énoncé du Problème

L'Apprentissage par Renforcement Conditionné par un Objectif Hors-Ligne (GCRL) vise à apprendre des politiques capables d'atteindre divers objectifs à partir d'un jeu de données fixe de trajectoires, sans interaction supplémentaire avec l'environnement. Bien que efficace pour les tâches à court terme, ce cadre rencontre des défis majeurs dans les tâches à long terme.

La difficulté principale provient de l'estimation de la valeur à long terme. Dans le cadre de récompenses éparses pour l'atteinte d'objectifs, les paires état-objectif distantes fournissent une supervision directe faible. Par conséquent, la fonction de valeur doit propager l'information sur l'objectif à travers de nombreuses mises à jour par bootstrap. À mesure que la distance temporelle augmente, les erreurs d'approximation s'accumulent le long de la chaîne de sauvegarde, conduisant à des évaluations imprécises des objectifs lointains. L'entraînement direct d'une politique conditionnée par un objectif plate sur ces estimations de valeur bruitées entraîne une prise de décision à long terme peu fiable.

Les méthodes hiérarchiques existantes tentent d'atténuer ce problème en introduisant des sous-objectifs intermédiaires, réduisant ainsi l'atteinte à long terme à une séquence de décisions à plus courte portée. Cependant, ces méthodes reposent souvent sur des abstractions temporelles fixes (par exemple, des horizons de sous-objectifs fixes) ou des profondeurs hiérarchiques fixes. De telles échelles fixes sont fréquemment inadaptées aux paires état-objectif présentant des horizons d'accessibilité variables :

• Des sous-objectifs trop locaux ne peuvent faire que des progrès marginaux, où de petites différences de valeur sont dominées par des erreurs d'estimation à long terme, conduisant à des choix trompeurs.
• Des sous-objectifs trop éloignés peuvent tomber en dehors de la plage d'exécution fiable de la politique de bas niveau.

La question centrale abordée est de savoir si un agent hiérarchique hors-ligne peut identifier de manière adaptative une cible intermédiaire appropriée pour chaque paire état-objectif spécifique, plutôt que de dépendre d'une échelle de décomposition prescrite.

2. Méthodologie : CFHRL

Les auteurs proposent le Raffinement Hiérarchique Conditionné par un Objectif du Grossier au Fin (CFHRL), un cadre GCRL entièrement hors-ligne qui affine de manière adaptative les objectifs lointains avant l'exécution. Le cadre repose sur le principe qu'un sous-objectif n'a pas besoin d'être un point médian exact ou globalement optimal ; il doit simplement fournir des progrès fiables et réduire la difficulté d'atteinte restante.

2.1 Composants Principaux

CFHRL utilise trois politiques apprises coordonnées par un coût d'accessibilité partagé $D_\phi(s, g)$, dérivé d'une fonction de valeur conditionnée par un objectif :

1. Planificateur de Raffinement ($\pi_p$) : Propose des cibles intermédiaires $u$ conditionnées par l'état actuel $s$ et la cible de planification actuelle $g$.
2. Politique d'Abstraction ($\pi_z$) : Mappe la cible affinée $\bar{g}$ vers une commande locale $z$.
3. Politique de Bas Niveau ($\pi_a$) : Mappe la commande $z$ vers des actions primitives $a$.

2.2 Raffinement Adaptatif du Grossier au Fin

Au lieu d'une hiérarchie fixe, CFHRL emploie un processus de raffinement récursif avec une règle d'arrêt adaptative :

1. Initialisation : Commencer avec l'objectif final $g^{(0)} = g$.
2. Vérification d'Exécutabilité : Au niveau de raffinement $\ell$, vérifier si la cible actuelle $g^{(\ell)}$ est localement exécutable depuis l'état $s$ en utilisant un coût d'accessibilité appris :
   $$D_\phi(s, g^{(\ell)}) \le \epsilon_{exec}$$
   où $\epsilon_{exec}$ est un seuil.
3. Boucle de Raffinement : Si la condition est remplie, le raffinement s'arrête et $g^{(\ell)}$ est transmis au module d'exécution. Sinon, le planificateur propose une nouvelle cible intermédiaire $u^{(\ell)} \sim \pi_p(\cdot | s, g^{(\ell)})$, qui devient la prochaine cible $g^{(\ell+1)}$.
4. Terminaison : Le processus se répète jusqu'à ce que la cible soit localement atteignable ou qu'une profondeur maximale $K_{max}$ soit atteinte.

Ce mécanisme garantit que la profondeur de décomposition effective est déterminée par l'accessibilité estimée de chaque paire état-objectif, et non par une échelle temporelle fixe.

2.3 Apprentissage Hors-Ligne du Planificateur de Raffinement

Le planificateur est entraîné entièrement à partir de données hors-ligne, sans interaction en ligne ni sous-objectifs étiquetés manuellement :

• Construction des Candidats : Pour un état $s_t$ et un objectif $g$, un ensemble de sous-objectifs candidats $\mathcal{C}_D$ est échantillonné à partir du jeu de données hors-ligne (états futurs si $g$ se trouve dans la même trajectoire, sinon à partir de la distribution de replay).
• Notation : Les candidats sont notés par le coût d'accessibilité de goulot d'étranglement :
  $$C_\phi(\tilde{s}_i | s_t, g) = \max\{D_\phi(s_t, \tilde{s}_i), D_\phi(\tilde{s}_i, g)\}$$
  Cette métrique favorise les candidats qui contractent l'horizon résiduel maximal.
• Objectif d'Entraînement : Le planificateur est entraîné par imitation pondérée guidée par la valeur. Les candidats sont pondérés par un softmax sur leurs scores négatifs, encourageant le planificateur à imiter les sous-objectifs soutenus par le replay qui décomposent le problème en problèmes d'atteinte résiduels plus faciles.

2.4 Politiques d'Exécution

Les politiques d'abstraction et de bas niveau sont entraînées par clonage de comportement pondéré par le progrès sur des segments à court terme. Les transitions qui augmentent la valeur apprise vers une cible locale se voient attribuer des poids d'imitation plus élevés, biaisant les politiques vers un comportement localement progressif.

3. Analyse Théorique

L'article fournit une analyse stylisée justifiant pourquoi le raffinement adaptatif est plus robuste que la sélection d'échelle locale fixe sous des estimations bruitées :

• Échec de l'Échelle Fixe : Dans une hiérarchie à échelle locale fixe, à mesure que l'horizon total $T$ augmente, le rapport signal/bruit pour distinguer entre les mouvements locaux corrects et incorrects s'annule. La probabilité de sélectionner le mauvais candidat tend vers 0,5 lorsque $T \to \infty$.
• Suffisance de la Contraction Approximative : L'analyse montre que la prédiction exacte du point médian n'est pas nécessaire. Il suffit que le coût appris préserve une marge grossière entre les candidats qui contractent l'horizon (réduisant la distance restante par un facteur constant $\rho < 1$) et ceux qui ne le font pas.
• Bornes d'Erreur : La probabilité d'échec global est bornée par la somme des échecs de raffinement (échec à sélectionner un sous-objectif contractant) et des erreurs d'exécution locale finale. Cela motive la règle d'arrêt basée sur le seuil de valeur : raffiner tant que la cible est trop éloignée, et s'arrêter dès que la cible est estimée localement exécutable.

4. Résultats Expérimentaux

Les auteurs évaluent CFHRL sur OGBench, un benchmark pour le contrôle conditionné par un objectif hors-ligne, couvrant la locomotion (PointMaze, AntMaze, HumanoidMaze, AntSoccer) et des tâches de manipulation (Cube, Scene).

• Performance : CFHRL obtient le score agrégé le plus élevé (37,5) par rapport à des bases de référence telles que HIQL (23,2), GCIVL (16,5) et des méthodes plates.
• Gains à Long Terme : Les améliorations les plus significatives sont observées dans les tâches de type labyrinthe à long terme (par exemple, PointMaze-Giant-Stitch), où CFHRL améliore les taux de réussite de 0 % (pour les bases de référence plates/hiérarchiques fixes) à 57 %.
• Études d'Ablation :
  • Arrêt Adaptatif : Le retrait de la règle d'arrêt adaptative et l'imposition de profondeurs de raffinement fixes ($K=2, 3$) dégradent les performances, confirmant qu'un raffinement excessif accumule les erreurs du planificateur.
  • Nécessité du Planificateur : Le remplacement du planificateur appris par des sous-objectifs aléatoires du jeu de données entraîne un échec, prouvant que les sous-objectifs doivent être sélectionnés en fonction des coûts d'accessibilité appris.
  • Budget de Candidats : L'augmentation du nombre de candidats d'entraînement ($N_c$) améliore les performances jusqu'à un certain point ($N_c=16$), équilibrant la qualité de la supervision et le débit d'entraînement.
• Limites : CFHRL sous-performe sur les tâches de manipulation riches en contacts (Cube) par rapport aux méthodes plates basées sur la valeur, suggérant que la décomposition de type points de passage est moins efficace pour les tâches nécessitant une dynamique de contact précise.

5. Signification et Revendications

L'article revendique trois contributions principales :

1. Formulation : Il formule le GCRL hors-ligne à long terme comme un raffinement de sous-objectifs à temps d'arrêt adaptatif, où la profondeur de décomposition est déterminée par l'exécutabilité apprise plutôt que par un horizon fixe.
2. Algorithme : Il introduit un objectif de contraction soutenu par le replay qui entraîne un planificateur de raffinement amorti sans nécessiter de recherche de graphe au moment du test ni d'interaction en ligne.
3. Validation : Il fournit à la fois une analyse stylisée et des ablations empiriques démontrant que la contraction approximative et l'arrêt adaptatif améliorent efficacement l'atteinte d'objectifs à long terme dans des environnements de type labyrinthe.

Les auteurs adoptent une stance modeste, reconnaissant que la méthode dépend de la qualité du coût d'accessibilité appris et que l'interface d'abstraction actuelle (représentations d'objectifs locaux simples) peut être insuffisante pour des tâches de manipulation complexes nécessitant des séquences de contact précises. Ils suggèrent que les travaux futurs devraient se concentrer sur la combinaison de la planification adaptative avec des abstractions plus riches centrées sur les objets et l'extension du cadre à d'autres estimateurs de valeur GCRL hors-ligne.