💻 computer science

Abstraction for Offline Goal-Conditioned Reinforcement Learning

Ce papier propose un cadre hiérarchique pour l'apprentissage par renforcement conditionné par objectif hors ligne qui exploite des options relativisées et des représentations d'état distinctes pour tirer parti des symétries et des structures partagées, permettant ainsi la réutilisation de l'expérience à travers des contextes similaires et améliorant significativement les performances.

Auteurs originaux : Clarisse Wibault, Alexander Goldie, Antonio Villares, Maike Osborne, Jakob Foerster

Publié 2026-05-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Clarisse Wibault, Alexander Goldie, Antonio Villares, Maike Osborne, Jakob Foerster

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot comment naviguer dans un labyrinthe géant et complexe. Vous disposez d'une vidéo enregistrée d'une autre personne tentant de le résoudre, mais l'enregistrement est désordonné. La personne dans la vidéo se bloque souvent, prend des mauvais virages ou ne tente que quelques chemins spécifiques. C'est ce que les chercheurs appellent l'Apprentissage par Renforcement Hors Ligne (Offline Reinforcement Learning) : enseigner à une IA en utilisant uniquement un jeu de données statique d'essais passés, sans lui permettre d'explorer le monde réel pour apprendre par essais et erreurs.

Le problème est que si le robot tente d'apprendre l'intégralité du labyrinthe comme une tâche unique, géante et compliquée, il se perd à cause des mauvaises parties de la vidéo. Il ne sait pas comment gérer les coins où la personne précédente a échoué.

Ce papier présente une nouvelle façon d'enseigner au robot, appelée Apprentissage par Renforcement Abstrait (Abstractive Reinforcement Learning - ARL). Voici l'idée centrale, décomposée avec des analogies simples :

1. Le Problème : Le Piège de l'« Absolu »

La plupart des robots tentent d'apprendre des instructions « absolues ». Ils mémorisent : « Pour atteindre la porte rouge, je dois tourner à gauche au mur bleu, puis marcher 50 pas, puis tourner à droite. »

Si le robot voit une porte rouge dans une autre partie du labyrinthe (peut-être que le mur est vert, ou que la distance est différente), il panique. Il pense : « Je n'ai jamais vu cette combinaison exacte auparavant ! » Il échoue à réaliser que l'action de tourner à gauche est la même, même si l'emplacement est différent. C'est comme un élève qui mémorise la réponse à un problème de mathématiques mais échoue lorsque les chiffres changent légèrement, car il n'a pas compris le concept.

2. La Solution : Des « Options Relativisées »

Les auteurs suggèrent d'enseigner au robot des Options Relativisées. Au lieu de mémoriser des coordonnées absolues, le robot apprend des instructions relatives.

Instruction Absolue : « Va à la porte rouge aux coordonnées (10, 20). »
Instruction Relativisée : « Va au coin le plus proche devant toi. »

Pensez-y comme donner des directions à un ami.

Mauvais (Absolu) : « Marche 47 pas, tourne de 90 degrés à gauche, marche 12 pas. » (Cela ne fonctionne que si vous commencez exactement au même endroit).
Bon (Relativisé) : « Marche jusqu'à ce que tu heurtes un mur, puis tourne à gauche. » (Cela fonctionne peu importe où tu commences).

En apprenant ces sous-tâches « relatives », le robot peut réutiliser les bonnes parties de la vidéo désordonnée. Même si le robot n'a vu qu'une seule personne naviguer avec succès un coin dans la vidéo, il peut appliquer cette compétence « tourner à gauche au coin » à chaque coin du labyrinthe, pas seulement à cet endroit spécifique.

3. La Stratégie en Deux Étapes (La Hiérarchie)

Le papier propose un cerveau à deux couches pour le robot :

Le Patron (Niveau Élevé) : Cette couche observe la vue d'ensemble. Elle ne se soucie pas des détails spécifiques de la pièce. Elle dit simplement : « D'accord, l'objectif est là-bas. Choisissons une sous-tâche, comme « Va au prochain carrefour ». »
L'Ouvrier (Niveau Bas) : Cette couche gère le mouvement réel. Elle entend « Va au prochain carrefour » et détermine les étapes spécifiques pour y arriver, peu importe que le sol soit en moquette ou en carrelage.

L'Innovation : Le papier introduit deux façons spécifiques d'entraîner ce système :

ARLi (Implicite) : Le robot apprend à regrouper naturellement des actions similaires. Si deux situations différentes nécessitent le même mouvement « tourner à gauche », le robot comprend qu'elles sont similaires sans qu'on le lui dise explicitement.
ARLe (Explicite) : Le robot est forcé d'ignorer totalement les positions absolues. Il est enseigné à ne regarder que la différence entre l'endroit où il se trouve et l'endroit où il doit aller (par exemple : « L'objectif est à 5 mètres à ma droite »). C'est comme entraîner un robot à ne voir que des vecteurs (flèches) plutôt que des cartes.

4. Pourquoi Cela Compte

Les auteurs ont testé cela sur des tâches complexes comme déplacer un robot humanoïde virtuel à travers des labyrinthes et manipuler des objets dans un espace 3D (comme résoudre un puzzle avec des blocs).

Le Résultat : Dans des situations où les données d'entraînement étaient rares (le robot n'avait pas vu beaucoup d'exemples de la façon de résoudre une partie spécifique du puzzle), la nouvelle méthode (ARL) a nettement mieux performé que les anciennes méthodes.
L'Analogie : Imaginez essayer d'apprendre à jouer aux échecs en regardant quelques parties où les joueurs ont fait des erreurs. Une IA standard resterait bloquée sur les positions spécifiques du plateau où les joueurs ont échoué. La nouvelle IA (ARL) apprend les principes des coups (par exemple : « contrôler le centre », « protéger le roi »). Même si elle n'a pas vu cette configuration exacte du plateau, elle sait comment faire un bon coup car elle comprend les relations relatives entre les pièces.

Résumé

Le papier soutient que pour enseigner efficacement aux robots à partir de données imparfaites et limitées, nous ne devrions pas les forcer à mémoriser des emplacements exacts. Au lieu de cela, nous devrions leur apprendre à comprendre les relations relatives (par exemple : « avance vers l'objectif », « évite le mur »). En décomposant les grands problèmes en compétences « relatives » plus petites et réutilisables, le robot peut généraliser ce qu'il a appris à partir d'un jeu de données désordonné pour résoudre de nouveaux défis jamais vus.

Les auteurs appellent cela l'Apprentissage par Renforcement Abstrait, et leurs expériences montrent qu'il rend les robots bien meilleurs pour résoudre des tâches complexes et de longue distance lorsqu'ils n'ont qu'une quantité limitée de données d'entraînement pour apprendre.

Résumé Technique : Abstraction pour l'Apprentissage par Renforcement Conditionné par Objectif Hors Ligne

Énoncé du Problème

L'apprentissage par renforcement conditionné par objectif hors ligne (GCRL) vise à entraîner des agents à vocation générale pour résoudre des tâches complexes à long horizon en utilisant des jeux de données statiques. Cependant, les méthodes existantes peinent dans les régions où le jeu de données souffre de transitions de faible qualité ou d'une couverture imparfaite de l'espace des états-actions. Les algorithmes standards d'apprentissage par renforcement hors ligne « plat », qui régularisent les actions vers la distribution du jeu de données pour atténuer le décalage de distribution, échouent souvent à retrouver des politiques optimales lorsque le jeu de données contient des données sous-optimales dans des régions critiques. Bien que des politiques hiérarchiques (options) aient été proposées pour réduire l'horizon effectif (abstraction temporelle), elles ont traditionnellement été ancrées au référentiel absolu, limitant ainsi leur capacité à réutiliser l'expérience à travers des contextes similaires mais distincts.

Méthodologie : Apprentissage par Renforcement Abstrait (ARL)

Les auteurs proposent l'Apprentissage par Renforcement Abstrait (ARL), un cadre qui étend la hiérarchie pour permettre une abstraction absolue. Cela implique d'apprendre des options relativisées et d'utiliser des représentations distinctes à différents niveaux de la hiérarchie. La prémisse centrale est que, en découplant les actions de bas niveau des informations redondantes de haut niveau et en définissant les options par rapport au contexte local de l'agent (par exemple, « avancer » plutôt que « se déplacer vers la coordonnée X »), un agent peut généraliser des comportements à travers des contextes similaires de l'espace des états.

Le cadre introduit deux notions spécifiques de similarité :

Similarité de haut niveau : Des paires état-but qui induisent des options similaires.
Similarité de bas niveau : Des paires état-option qui induisent des actions immédiates similaires.

Pour opérationnaliser cela, les auteurs proposent deux algorithmes :

1. ARLi (Apprentissage Implicite d'Options Relativisées)

Cet algorithme apprend des options relativisées via la similarité des actions plutôt que la similarité des valeurs.

Architecture : Il emploie deux fonctions de valeur distinctes : une fonction de valeur de haut niveau ( $V_h$ ) et une fonction de valeur de bas niveau ( $V_l$ ).
Apprentissage des Options : Contrairement aux méthodes hiérarchiques précédentes (par exemple HIQL) qui apprennent des plongements d'options via la fonction de valeur, ARLi apprend les plongements d'options ( $\phi_\omega$ ) conjointement avec la politique de bas niveau ( $\pi_l$ ). Cela encourage le regroupement des paires état-point de passage qui induisent des actions de bas niveau similaires.
Entraînement : Il utilise l'apprentissage Q implicite (IQL) pour l'apprentissage de la valeur et la régression pondérée par l'avantage (AWR) pour l'extraction de la politique. La politique de haut niveau échantillonne des options basées sur la valeur de haut niveau, tandis que la politique de bas niveau exécute des actions conditionnées par l'état et l'option échantillonnée.

2. ARLe (Imposition Explicite de l'Invariance Translationnelle)

Cet algorithme s'appuie sur ARLi en imposant explicitement l'invariance translationnelle au processus de décision de bas niveau, spécifiquement pour les tâches de manipulation à haute dimension.

États Relativisés : Il définit la fonction de valeur de bas niveau en termes de vecteurs de déplacement non normalisés ( $v = g_s - s$ ), effaçant efficacement l'espace état-point de passage en une variété de déplacements relatifs.
Plongements d'Options : Les options sont définies en termes de ces états relativisés. Les auteurs utilisent une technique de « normalisation douce » pour mapper ces plongements sur une hypersphère, permettant une régularisation géométrique tout en maintenant une conscience temporelle implicite (l'échelle de la magnitude varie avec le déplacement).
Objectif : Ce biais inductif permet à l'agent de réutiliser l'expérience à travers l'espace des états en traitant les configurations relatives géométriquement similaires comme équivalentes, répondant ainsi aux problèmes de couverture d'états clairsemés dans les espaces à haute dimension.

Contributions Clés

Motivation pour l'Abstraction Absolue : L'article soutient que la hiérarchie dans l'apprentissage par renforcement hors ligne ne devrait pas seulement réduire l'horizon temporel, mais aussi permettre une abstraction absolue. En utilisant des options relativisées et des représentations distinctes, les agents peuvent borner l'erreur maximale dans le retour espéré par rapport aux politiques plates, en particulier dans les régions avec des données de faible qualité.
Bornes d'Erreur Théoriques : Les auteurs fournissent une dérivation montrant que les politiques hiérarchiques avec abstraction absolue réduisent la borne d'erreur grâce à quatre mécanismes :
- Réduction de l'Horizon : Réduction du facteur d'actualisation effectif pour la politique de haut niveau.
- Réduction de la Cardinalité : Mappage des paires état-but dans des classes d'équivalence.
- Efficacité des Options : Réduction de la taille de l'espace des options via la relativisation.
- Amélioration de la Concentrabilité : Agrégation de la masse de probabilité à travers des contextes similaires, réduisant ainsi le coefficient de concentrabilité ( $\kappa$ ) et atténuant le décalage de support.
Deux Algorithmes Novateurs : L'introduction de ARLi et ARLe, qui démontrent que l'apprentissage d'options via la similarité des actions et l'imposition de l'invariance translationnelle améliorent considérablement les performances sans introduire de nouveaux hyperparamètres.
Directives Pratiques : Le travail offre des recommandations spécifiques aux praticiens, telles que l'apprentissage d'options via la similarité des actions (conjointement avec la politique de bas niveau), l'utilisation de deux fonctions de valeur pour découpler les processus de décision, et l'imposition de l'invariance translationnelle pour la manipulation à haute dimension.

Résultats Expérimentaux

Les auteurs ont évalué ARLi et ARLe sur les jeux de données OGBench, en se concentrant sur des environnements de locomotion et de manipulation exigeants (par exemple, antmaze-giant, humanoidmaze-giant, puzzle-4x4-play).

Performance : Les deux variantes ARL ont surpassé les politiques plates (IQL) et les bases hiérarchiques absolues (variantes HIQL). Sur toutes les tâches, ARL a atteint un taux de réussite moyen d'au moins 10 points de pourcentage supérieur aux références.
Gains Spécifiques :
- ARLi : A constamment amélioré les performances par rapport aux références hiérarchiques, doublant plus que les taux de réussite dans les environnements humanoidmaze et les doublant presque pour scene-play-v0.
- ARLe : A démontré une performance supérieure dans les tâches de manipulation à haute dimension. Dans puzzle-4x4-play-v0 (83 dimensions), ARLe a atteint un taux de réussite de 88 %, surpassant la meilleure référence suivante de 39 points de pourcentage.
Généralisation : L'analyse a montré que les améliorations de performance étaient corrélées à l'augmentation de la dimensionnalité de l'état et à la parcimonie des données. ARLe, en particulier, a appris des fonctions de valeur de bas niveau substantiellement plus lisses en effaçant les états relatifs équivalents.
Robustesse : Les algorithmes ont obtenu ces résultats en utilisant des hyperparamètres calibrés pour la référence HIQL, démontrant que les gains de performance découlent des biais inductifs plutôt que d'un réglage extensif.

Importance et Revendications

L'article revendique que la hiérarchie permet une extraction de politique plus robuste dans les régions où les jeux de données souffrent de transitions de faible qualité. En s'abstrayant du référentiel absolu, les agents peuvent réutiliser l'expérience optimale à travers des contextes similaires, atténuant efficacement les limitations de la couverture des données hors ligne.

Les auteurs positionnent ce travail comme une preuve de concept montrant que des représentations distinctes à différents niveaux de hiérarchie peuvent améliorer la généralisation dans le GCRL hors ligne. Ils déclarent explicitement que, bien que les résultats actuels soient prometteurs, l'approche ouvre des voies pour des recherches futures, telles que :

L'apprentissage d'options relativisées via le découpage d'actions (action chunking).
L'intégration de biais inductifs plus flexibles en utilisant l'apprentissage profond géométrique (GDL).
La résolution des limitations où le biais inductif (par exemple, l'invariance translationnelle) peut ne pas correspondre à la structure de l'environnement (par exemple, des labyrinthes denses et de faible dimension).

Le travail ne prétend pas résoudre tous les défis de l'apprentissage par renforcement hors ligne, mais démontre que des biais structurels spécifiques (relativisation et représentations distinctes) peuvent considérablement améliorer la généralisation des politiques dans des contextes à haute dimension sans nécessiter de réglage complexe des hyperparamètres.