🤖 machine learning

Latent Representation Alignment for Offline Goal-Conditioned Reinforcement Learning

Ce papier présente l'apprentissage de valeurs alignées latentes (LAVL), un algorithme d'apprentissage par renforcement hors ligne conditionné par un objectif qui intègre une généralisation de la valeur basée sur des représentations latentes avec une planification hiérarchique pour surmonter la généralisation erronée dans les tâches à long horizon, atteignant des performances de l'état de l'art sur OGBench.

Auteurs originaux : Hyungkyu Kang, Byeongchan Kim, Min-hwan Oh

Publié 2026-05-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hyungkyu Kang, Byeongchan Kim, Min-hwan Oh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot de naviguer dans un labyrinthe immense et complexe ou d'empiler des blocs pour former une tour. Vous ne voulez pas que le robot apprenne par essais et erreurs (ce qui prend une éternité et est dangereux) ; au lieu de cela, vous voulez lui enseigner en utilisant une gigantesque bibliothèque vidéo des tentatives passées de quelqu'un d'autre. C'est ce qu'on appelle l'Apprentissage par Renforcement Conditionné par l'Objectif Hors Ligne.

L'article présente une nouvelle méthode appelée LAVL (Latent-Aligned Value Learning) qui résout un problème majeur dans la façon dont les robots apprennent actuellement à partir de ces bibliothèques vidéo.

Voici la décomposition du problème et de la solution, en utilisant des analogies simples.

Le Problème : La Confusion « Carte vs Réalité »

Imaginez que vous enseignez à un robot à aller du Point A au Point B dans un labyrinthe. Vous lui montrez une vidéo d'une personne parcourant le labyrinthe.

L'Ancienne Méthode (La Carte Défectueuse) :
La plupart des méthodes actuelles tentent de deviner à quel point un endroit spécifique du labyrinthe est « bon » en fonction de sa proximité visuelle avec l'objectif.

L'Analogie : Imaginez que le robot possède une carte où la distance est mesurée en ligne droite (comme un oiseau en vol). Si l'objectif est à 3 mètres de distance, mais qu'il y a un mur épais entre le robot et l'objectif, le robot pense : « Oh, il n'est qu'à 3 mètres ! Je peux y arriver ! »
Le Résultat : Le robot se confond. Il pense être proche de l'objectif parce qu'il est visuellement proche, même s'il en est temporellement loin (il faudrait 100 étapes pour y arriver). C'est ce qu'on appelle la généralisation erronée. Le robot apprend une « carte brisée » où les murs n'existent pas, ce qui conduit à de mauvaises décisions.

La Correction Quasimétrique (Le Code de Règles Rigide) :
Certains chercheurs ont tenté de résoudre ce problème en forçant le cerveau du robot à suivre des règles mathématiques strictes (appelées « quasimétriques ») qui disent : « Vous ne pouvez pas traverser les murs. »

L'Analogie : C'est comme donner au robot un code de règles rigide qui dit : « Calculez toujours la distance en utilisant cette formule spécifique et complexe. »
Le Résultat : Cela fonctionne très bien pour des labyrinthes simples, mais lorsque vous donnez au robot une tâche complexe comme saisir un cube avec un bras robotique, le code de règles rigide se brise. Le robot se confond et échoue complètement. Il est trop rigide pour s'adapter à différents types de tâches.

La Solution : LAVL (Le GPS Intelligent)

Les auteurs proposent LAVL, qui utilise une nouvelle façon de penser la distance. Au lieu de mesurer à quel point les choses semblent proches, ou de suivre un code de règles rigide, LAVL enseigne au robot à comprendre la « géométrie cachée » de la tâche.

1. L'« Alignement Latent » (Le Langage Secret) :
Au lieu de regarder les pixels bruts du labyrinthe ou du bras, LAVL traduit l'état actuel du robot et l'objectif dans un « langage secret » (un espace latent).

L'Analogie : Imaginez que le robot et l'objectif parlent des dialectes différents. Les anciennes méthodes tentaient de les traduire mot à mot (distance euclidienne). LAVL traduit les deux dans une langue universelle où le sens de la distance est préservé.
Comment cela fonctionne : Le robot apprend que « l'État A » et « l'Objectif B » sont loin l'un de l'autre dans ce langage secret, même s'ils semblent proches sur un écran. Cela empêche l'erreur de « fuite à travers les murs ». C'est comme avoir un GPS qui comprend la circulation et les détours, et pas seulement la distance en ligne droite.

2. La Colle de « Continuité » :
Lorsqu'un robot essaie d'apprendre un long chemin, sa carte interne peut devenir instable et saccadée.

L'Analogie : Imaginez que la carte du robot est un morceau de papier qui continue de se froisser. Une seconde, l'objectif est à 5 étapes ; la seconde suivante, il est à 500 étapes, juste à cause d'un petit bug.
La Correction : LAVL ajoute une « colle lissante » (régularisation de continuité). Il dit au robot : « Si vous êtes dans un endroit très similaire à celui d'avant, votre estimation de la distance vers l'objectif ne devrait pas changer de manière sauvage. » Cela maintient la carte stable et lisse.

3. Le « Boss » et l'« Ouvrier » Hiérarchiques :
Pour des tâches très longues (comme un labyrinthe géant), le robot a besoin d'un plan.

L'Analogie : LAVL utilise un système à deux niveaux.
- Le Boss (Niveau élevé) : Regarde la grande image. « Nous devons atteindre la sortie. Visons d'abord le coin. »
- L'Ouvrier (Niveau bas) : Gère les détails. « D'accord, je suis au coin. Maintenant, je tourne à gauche et j'avance. »
LAVL s'assure que le Boss et l'Ouvrier parlent le même « langage secret » (Alignement Latent), afin qu'ils ne se confondent pas.

Les Résultats : Pourquoi Cela Compte

Les auteurs ont testé cela sur OGBench, un énorme benchmark comportant 22 défis différents, allant de la navigation dans des labyrinthes géants à l'empilement de cubes avec un bras robotique.

Le Score : LAVL a gagné sur 20 jeux de données sur 22.
La Longue Distance : Dans les labyrinthes « géants » (où le chemin fait des milliers d'étapes), les autres méthodes ont échoué ou sont restées bloquées. LAVL a continué à bien performer.
Le Assemblage : Certains jeux de données étaient composés de courts clips vidéo brisés que le robot devait « assembler » pour former un chemin complet. LAVL était bien meilleur pour relier ces points que les méthodes précédentes.

Résumé

L'article soutient que le plus grand goulot d'étranglement dans l'enseignement aux robots à partir d'anciennes données est qu'ils utilisent le mauvais type de « distance » pour mesurer les progrès. Ils mesurent à quoi les choses ressemblent plutôt que la difficulté à les atteindre.

LAVL corrige cela en :

Apprenant un « langage secret » (Alignement Latent) pour mesurer la vraie difficulté.
Lisant la carte interne du robot pour qu'elle ne devienne pas saccadée.
Utilisant un système Boss/Ouvrier pour gérer des tâches longues et complexes.

Le résultat est un robot capable d'apprendre à partir d'une bibliothèque vidéo et de réellement comprendre comment atteindre des objectifs complexes sans se confondre à cause des murs ou des longues distances.

Résumé Technique : Alignement des Représentations Latentes pour l'Apprentissage par Renforcement Conditionné par un Objectif Hors Ligne

1. Énoncé du Problème

L'Apprentissage par Renforcement Conditionné par un Objectif (GCRL) hors ligne vise à apprendre des politiques capables d'atteindre des objectifs arbitraires en utilisant des ensembles de données fixes et précollectés, sans interaction supplémentaire avec l'environnement. Bien que prometteur, l'apprentissage de fonctions de valeur fiables conditionnées par un objectif dans des tâches à long horizon reste un défi majeur. Le principal goulot d'étranglement identifié dans ce travail est la généralisation erronée des fonctions de valeur conditionnées par un objectif.

Les fonctions de valeur standard, en particulier celles paramétrées par des Perceptrons Multicouches (MLP), ont tendance à généraliser en se basant sur la proximité euclidienne dans l'espace des états plutôt que sur la distance temporelle. Dans des environnements comportant des obstacles (par exemple, des labyrinthes) ou des récompenses clairsemées, cela conduit à une « fuite de valeur », où des états physiquement proches d'un objectif mais temporellement éloignés (séparés par des murs ou des dynamiques complexes) se voient attribuer des valeurs excessivement élevées de manière erronée. Cela se traduit par des estimations de valeur bruitées et des politiques de contrôle fragiles. De plus, les méthodes existantes tentant de résoudre ce problème via des architectures quasimétriques (par exemple, IQE, MRN) souffrent souvent d'incohérences de performance à travers différents domaines (par exemple, de bonnes performances dans la navigation en labyrinthe mais un échec dans la manipulation robotique) ou introduisent une instabilité lors de l'entraînement.

2. Méthodologie : Apprentissage de Valeur Aligné Latent (LAVL)

Les auteurs proposent l'Apprentissage de Valeur Aligné Latent (LAVL), un algorithme de GCRL hors ligne qui intègre une architecture de fonction de valeur novatrice avec un cadre de planification hiérarchique.

2.1. Réseau d'Alignement Latent (LAN)

L'innovation centrale est le Réseau d'Alignement Latent (LAN), une architecture de fonction de valeur conçue pour imposer un biais inductif approprié pour la généralisation de la valeur.

Architecture : Contrairement aux MLP standards ou aux modèles quasimétriques stricts, le LAN paramétrise la valeur conditionnée par l'objectif $V(s, g)$ comme la distance euclidienne négative entre les représentations latentes apprises de l'état et de l'objectif :
$V(s, g) = -\|\phi_S(s) - \phi_G(g)\|^2$
où $\phi_S: \mathcal{S} \to \mathbb{R}^d$ et $\phi_G: \mathcal{G} \to \mathbb{R}^d$ sont des réseaux de représentation asymétriques pour l'état et l'objectif.
Mécanisme : En brisant la structure métrique stricte (en permettant $\phi_S \neq \phi_G$ ), le LAN introduit une flexibilité qui permet à la fonction de valeur de généraliser en se basant sur la géométrie de l'espace latent appris plutôt que sur la proximité brute des états euclidiens. Cela atténue le problème de « sur-généralisation » où la valeur se propage à travers les obstacles.
Avantages : Le LAN évite l'instabilité de l'entraînement et les baisses de performance spécifiques à un domaine associées aux contraintes quasimétriques strictes (comme IQE), tout en maintenant le biais structurel nécessaire pour une estimation précise de la distance temporelle.

2.2. Apprentissage de Valeur avec Régularisation de Continuité

Pour stabiliser l'apprentissage dans des contextes à long horizon, le LAVL enrichit l'objectif standard d'Apprentissage de Valeur Implicite (IVL) avec un terme de régularisation de continuité locale.

Objectif : La perte totale combine l'objectif TD ( $L_{TD}$ ) avec un terme de régularisation ( $L_{Reg}$ ) qui pénalise les fluctuations locales abruptes de la fonction de valeur entre les états voisins :
$L(V) = L_{TD}(V) + w_c L_{Reg}(V)$
Fonction : $L_{Reg}$ supprime le bruit haute fréquence dans le paysage de valeur sans compromettre la cohérence globale de Bellman, assurant une propagation stable des récompenses clairsemées sur de longs horizons.

2.3. Cadre de Politique Hiérarchique

Le LAVL adopte un cadre de politique hiérarchique similaire à HIQL, composé de :

Politique de haut niveau ( $\pi_h$ ) : Génère une représentation de sous-objectif $w$ conditionnée par l'état actuel $s$ et l'objectif final $g$ . Dans le LAVL, le sous-objectif est défini comme une mappage uniquement vers l'objectif $w = \phi(g)$ , s'alignant naturellement avec la paramétrisation du LAN.
Politique de bas niveau ( $\pi_l$ ) : Produit des actions conditionnées par l'état $s$ et le sous-objectif $w$ .
Entraînement : Les deux politiques sont entraînées en utilisant la Régression Pondérée par l'Avantage (AWR), tirant parti des estimations de valeur stables fournies par le LAN.

3. Contributions Clés

L'article expose trois contributions principales :

Identification de la Généralisation Erronée : Les auteurs identifient que l'échec du GCRL hors ligne dans les tâches à long horizon est fondamentalement dû aux fonctions de valeur généralisant via la proximité euclidienne au lieu de la distance temporelle. Ils démontrent que le biais inductif dans l'architecture de la fonction de valeur est le facteur critique pour résoudre ce problème, plutôt que l'objectif d'apprentissage seul.
Proposition du LAVL : Ils introduisent le LAVL, un cadre unifié combinant le Réseau d'Alignement Latent (LAN) pour une généralisation de valeur fiable, une régularisation de continuité pour un apprentissage stable, et une politique hiérarchique pour la planification à long horizon.
Supériorité Empirique : Des expériences extensives sur le benchmark OGBench démontrent que le LAVL surpasse constamment les méthodes existantes de l'état de l'art en GCRL hors ligne.

4. Résultats Expérimentaux

Les auteurs ont évalué le LAVL sur 22 ensembles de données provenant d'OGBench, couvrant la navigation en labyrinthe (Point, Ant, Humanoid) et les tâches de manipulation robotique (Cube, Scene) avec des horizons variables et des stratégies de collecte de données (navigation vs assemblage).

Performance Globale : Le LAVL a obtenu les meilleures performances sur 20 ensembles de données sur 22, surpassant significativement les références telles que GCIVL, QRL, HIQL et CGCIVL.
Stabilité à Long Horizon : Dans des environnements de labyrinthe « géants », le LAVL a maintenu un taux de réussite de 85 % avec une baisse relative de seulement 9,6 % par rapport aux labyrinthes de taille moyenne. En revanche, des références comme HIQL et QRL ont subi des chutes de performance catastrophiques (baisses relatives de 75,4 % et 61,7 % respectivement).
Assemblage de Trajectoires : Sur les ensembles de données « assemblage » (composés de trajectoires courtes et fragmentées), le LAVL a montré une baisse de performance minimale (1,1 %) par rapport aux ensembles de données de navigation, tandis que d'autres méthodes se sont dégradées de manière significative (par exemple, une baisse de 36,9 % pour HIQL).
Manipulation Robotique : Contrairement aux méthodes quasimétriques (par exemple, QRL) qui ont échoué dans les tâches de manipulation, le LAVL a atteint des taux de réussite élevés (par exemple, 88 % sur Scene-play), démontrant la robustesse du LAN à travers des domaines divers.
Études d'Ablation : Les expériences ont confirmé que :
- Le LAN surpasse les architectures quasimétriques (IQE, MRN) et les approches basées sur la métrique (Hilbert) au sein du même cadre hiérarchique.
- La combinaison du LAN et des politiques hiérarchiques produit des résultats supérieurs par rapport aux politiques plates ou à l'utilisation du LAN avec des politiques plates uniquement.
- La régularisation de continuité apporte des gains significatifs sur des tâches difficiles (par exemple, augmentation du taux de réussite sur Pointmaze-giant-stitch de 35 % à 95 % dans certaines configurations).

5. Importance et Revendications

L'article revendique que le LAVL représente une avancée significative en GCRL hors ligne en s'attaquant au goulot d'étranglement fondamental de la généralisation de la valeur.

Insight Architectural : Le travail met en évidence que le choix de l'architecture de la fonction de valeur est plus critique que l'objectif d'apprentissage pour atteindre une généralisation fiable. Il soutient que bien que les fonctions de valeur optimales soient quasimétriques, imposer des contraintes quasimétriques strictes pendant l'entraînement peut être trop restrictif ; à la place, un alignement latent appris offre un biais inductif plus efficace.
Cadre Unifié : Le LAVL unifie avec succès une généralisation efficace, un apprentissage de valeur stable et une planification hiérarchique, permettant des performances robustes dans des tâches nécessitant un raisonnement à long horizon et un assemblage de trajectoires.
Impact Pratique : La méthode obtient des résultats de l'état de l'art sans nécessiter un réglage extensif des hyperparamètres ni des représentations oraculaires, ce qui en fait une solution pratique pour des problèmes complexes de prise de décision hors ligne.

Les auteurs concluent que, bien que leur travail se concentre sur l'apprentissage de la valeur et l'extraction hiérarchique, les découvertes concernant le biais inductif architectural peuvent s'étendre à des algorithmes de RL plus larges basés sur la valeur, et que des travaux futurs pourraient explorer l'extension de ces méthodes au contrôle robotique réel en haute dimension.