🤖 machine learning

Recursive Value Learning for Long-Horizon Offline Goal-Conditioned RL

L'article propose DCRL (Divide-and-Conquer RL), une méthode d'apprentissage par renforcement hors ligne récursive et conditionnée par l'objectif qui décompose les trajectoires en arbres binaires équilibrés afin de réduire la profondeur du bootstrap et l'accumulation d'erreurs, surpassant ainsi substantiellement les bases de référence plates et hiérarchiques existantes sur les tâches à long horizon.

Auteurs originaux : Hyeonseong Jeon, Youngwoon Lee

Publié 2026-09-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hyeonseong Jeon, Youngwoon Lee

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde de l'intelligence artificielle, il existe un défi spécifique connu sous le nom d'apprentissage conditionné par des objectifs (goal-conditioned learning). Imaginez que vous appreniez à un robot non pas seulement à marcher, mais à marcher vers une chaise spécifique, ou vers une porte spécifique, ou vers un interrupteur spécifique, en utilisant uniquement une bibliothèque de vidéos passées d'autres robots en mouvement. Le robot doit observer ces anciens enregistrements, comprendre comment aller d'un point A à un point B, puis essayer de le faire lui-même. Cela fonctionne bien pour de courts trajets. Si l'objectif ne se trouve qu'à quelques pas, le robot peut facilement relier les points. Mais quand le voyage est long — nécessitant des centaines ou des milliers de pas pour atteindre une destination lointaine — le robot se perd souvent. Il peine à se souvenir du début du chemin tout en essayant de planifier la fin, et les petites erreurs dans sa mémoire des étapes courtes s'accumulent pour devenir des erreurs massives au moment où il atteint l'objectif.

Ce problème devient encore plus difficile lorsque le robot ne peut pas apprendre en faisant des essais dans le monde réel. Dans de nombreux scénarios réels, comme l'utilisation de machines lourdes ou la navigation dans une usine complexe, commettre des erreurs est trop dangereux ou trop coûteux. Le robot doit apprendre entièrement à partir d'un ensemble de données fixes d'expériences passées, un domaine connu sous le nom d'apprentissage par renforcement hors ligne (offline reinforcement learning). Les chercheurs savent depuis longtemps que pour résoudre un long voyage, il faut comprendre les segments plus courts qui le composent. Cependant, les méthodes standards pour enseigner aux robots à partir de ces ensembles de données statiques tentent souvent d'apprendre l'intégralité du voyage d'un seul coup, ou passent de manière désordonnée de segments courts à des segments longs. Cette approche est comparable à essayer de lire un livre en feuilletant des pages au hasard ; le robot finit par deviner le sens d'un long chapitre à partir d'une phrase qu'il n'a pas pleinement comprise, ce qui mène à la confusion et à l'échec.

Une équipe de chercheurs de l'Université Yonsei et de l'Université Nationale de Séoul a proposé une nouvelle façon d'enseigner à ces robots, appelée DCRL. Au lieu de deviner tout le chemin d'un coup, leur méthode décompose chaque long voyage en une hiérarchie structurée, étape par étape, un peu comme l'organisation d'une tâche importante en maîtrisant d'abord les plus petites parties avant de les combiner. Les chercheurs ont pris un long chemin à partir d'un ensemble de données et l'ont divisé exactement en deux, puis ont divisé ces moitiés en deux à nouveau, poursuivant ce processus jusqu'à atteindre des étapes uniques. Ils ont ensuite appris au robot à comprendre ces mouvements minuscules, à une seule étape. Une fois que le robot était confiant concernant ces petites étapes, il utilisait ce savoir pour comprendre les segments légèrement plus longs, puis les segments plus longs, construisant sa compréhension du bas vers le haut. Cette stratégie de « diviser pour régner » garantit que le robot n'essaie jamais d'apprendre un itinéraire long et complexe avant d'avoir déjà maîtrisé les itinéraires plus courts qui le composent.

Les chercheurs ont découvert que cette approche structurée résolvait un problème majeur qui avait entravé les méthodes précédentes. Les anciennes méthodes examinaient de nombreux points intermédiaires possibles et choisissaient celui qui semblait le meilleur, espérant trouver un raccourci. Mais comme les données étaient limitées, le robot choisissait souvent un point qui semblait bon uniquement à cause d'une erreur dans sa mémoire, et construisait ensuite tout son plan sur cette erreur. La nouvelle méthode évite cela en suivant strictement le chemin réel montré dans les données, en le divisant exactement au milieu, et en apprenant la valeur de cet itinéraire spécifique sans faire de suppositions.

Lorsqu'elle a été testée sur une variété de tâches difficiles, incluant la navigation d'un robot humanoïde géant dans un labyrinthe et la résolution de puzzles complexes, cette nouvelle méthode a surpassé toutes les approches précédentes. Sur les cinq tâches à long horizon les plus exigeantes de leur test de référence, la nouvelle méthode a amélioré le score de réussite moyen de 55 à 64, dépassant même des systèmes hiérarchiques plus complexes qui étaient auparavant considérés comme l'état de l'art. Dans un test spécifique impliquant un robot humanoïde dans un labyrinthe massif, la nouvelle méthode a atteint un taux de réussite de 93 pour cent, tandis que la deuxième meilleure méthode n'atteignait que 79 pour cent. De plus, dans les tests CALVIN, la méthode a démontré sa capacité à réussir quatre sous-tâches consécutives. Plus impressionnant encore, sur une tâche impliquant un cube qui nécessitait huit mouvements distincts pour être résolue, la nouvelle méthode était la seule capable de compléter la tâche avec succès, atteignant un taux de réussite de 5 pour cent alors que toutes les autres méthodes échouaient complètement.

Les chercheurs ont également souligné que l'ordre dans lequel le robot apprend est crucial. Contrairement aux méthodes précédentes qui utilisent un apprentissage dans un ordre désordonné, l'approche de DCRL repose sur une progression ascendante (bottom-up). L'étude suggère qu'en respectant la dépendance naturelle des longs voyages vis-à-vis des étapes courtes, et en organisant le processus d'apprentissage pour refléter cette dépendance, les robots peuvent apprendre à naviguer sur des chemins beaucoup plus longs et complexes que jamais auparavant. Ce travail ne propose pas seulement un nouvel algorithme ; il offre une compréhension plus claire de la manière de passer à l'échelle l'intelligence artificielle pour gérer les tâches longues et complexes qui définissent le monde réel.

Résumé Technique : Apprentissage de Valeur Récursif pour l'Apprentissage par Renforcement Hors-Ligne à Horizon Long avec Conditionnement sur Objectifs

Énoncé du Problème

Le passage à l'échelle de l'apprentissage par renforcement hors-ligne (offline) conditionné sur des objectifs (Goal-Conditioned RL - GCRL) pour des tâches à long horizon fait face à deux défis principaux :

Accumulation d'Erreurs via la Dépendance : Les estimations de valeur à long terme dépendent intrinsèquement des estimations à plus court terme. Les méthodes standards de GCRL hors-ligne utilisent souvent des valeurs à long terme issues de valeurs à plus court terme qui sont elles-mêmes inexactes ou pas encore convergées, ce qui entraîne une accumulation d'erreurs composées.
Surestimation via les Backups Basés sur le Maximum : Les méthodes classiques de type Bellman et les backups transitifs sélectionnent de manière optimiste parmi les actions ou les états intermédiaires (par exemple, $\max_w V(s, w) \cdot V(w, g)$ ). Avec des données hors-ligne finies, ce processus de sélection tend à favoriser les candidats surestimés, propageant leurs erreurs par des backups répétés et créant de grandes incohérences globales.

Les méthodes existantes, incluant les approches hiérarchiques et l'apprentissage transitif standard (comme Transitive RL ou TRL), échouent souvent à imposer explicitement l'ordre de dépendance selon lequel les valeurs à horizon court doivent être apprises avant les valeurs à horizon long, ou reposent sur des sélections bruitées et optimistes qui amplifient les erreurs sur de longs horizons.

Méthodologie : DCRL (Divide-and-Conquer RL)

Les auteurs proposent DCRL, un algorithme qui instancie explicitement une stratégie de "diviser pour régner" pour l'apprentissage de la valeur. DCRL répond aux défis susmentionnés via trois mécanismes clés :

1. Structure de Division et de Régner Récursive

Au lieu d'échantillonner des segments de trajectoire de longueurs arbitraires de manière indépendante, DCRL décompose récursivement un segment de trajectoire échantillonné $(s_i, s_j)$ en un arbre binaire équilibré :

Diviser (Divide) : Un segment est divisé à son point médian $k = \lfloor (i+j)/2 \rfloor$ en deux enfants : $(s_i, s_k)$ et $(s_k, s_j)$ . Cette récursion se poursuit jusqu'à atteindre des segments d'un seul pas (feuilles).
Régner (Conquer) : La fonction de valeur est entraînée de manière ascendante (bottom-up). Les feuilles d'un seul pas sont ancrées (par exemple, $V(s_i, s_{i+1}) = \gamma$ ). Les nœuds parents ne sont mis à jour qu'après l'entraînement de leurs enfants.
Bénéfice : Cette structure réduit la profondeur de bootstrap dans le pire des cas de linéaire ( $O(H)$ ) dans les méthodes standards à logarithmique ( $O(\log_2 H)$ ) par rapport à l'horizon $H$ . Cette chaîne de dépendance plus courte correspond empiriquement à une accumulation d'erreurs nettement plus lente.

2. Factorisation de Route Exacte (Mises à jour sans Sélection)

Pour éviter la surestimation causée par la maximisation sur des états intermédiaires bruités, DCRL utilise une factorisation exacte le long de la route observée pour la valeur de comportement $V_\tau$ :
$V_\tau(s, g) = V_\tau(s, w) \cdot V_\tau(w, g)$
où $w$ est le point médian fixe du segment.

Contrairement aux backups transitifs standards qui maximisent sur tous les $w$ possibles, cette règle de mise à jour évalue une route unique supportée par le jeu de données.
Cela garantit que l'algorithme apprend des valeurs de comportement (valeurs des routes démontrées) sans introduire de biais de sélection. Les auteurs prouvent que la sous-optimalité des routes croît sous composition, ce qui motive la nécessité d'apprendre d'abord à partir de constituants plus courts et moins sous-optimaux.

3. Propagation de Valeur pour l'Optimalité

Bien que la factorisation récursive apprenne des valeurs de comportement fiables, elle ne permet pas intrinsèquement de découvrir des routes optimales plus courtes non présentes dans la trajectoire spécifique. Pour récupérer les valeurs optimales ( $V^*$ ), DCRL emploie un second objectif :

Propagation Multi-étapes : La fonction de valeur est entraînée en utilisant des buts re-étiquetés globalement (style Hindsight Experience Replay) avec une perte d'expectile supérieur.
Mécanisme : Cet objectif compose des segments à travers différentes trajectoires pour identifier des routes plus courtes.
Synergie : La composante de division et de règne récursive fournit une base fiable à faible dépendance pour les valeurs de comportement à long terme, que l'objectif de propagation peut ensuite exploiter pour composer des chemins optimaux.

Implémentation : Planification par Slots Parallèles (Parallel Slot Scheduling)

Pour exécuter efficacement cet entraînement récursif sans sacrifier la diversité des batchs, DCRL utilise la planification par slots :

Plusieurs "slots" indépendants maintiennent des arbres récursifs distincts pour différents segments racines.
Chaque slot traite son arbre des feuilles vers la racine.
Pendant l'entraînement, des échantillons sont tirés de ces slots. Comme les slots se vident et se remplissent à des rythmes différents, les mini-batchs contiennent un mélange de longueurs de segments (courts et longs) tout en préservant strictement l'ordre d'entraînement enfant-vers-parent au sein de chaque slot.

Contributions Clés

Algorithme : L'introduction de DCRL, qui construit explicitement des arbres binaires équilibrés sur des segments intra-trajectoire, impose un entraînement ascendant via la factorisation de valeur, et utilise la planification par slots pour une exécution parallèle.
Analyse : Une preuve théorique que DCRL réduit la profondeur de bootstrap dans le pire des cas de linéaire à logarithmique pour l'horizon. L'analyse empirique dans un environnement contrôlé démontre que cette structure de dépendance plus courte conduit à une accumulation d'erreurs nettement plus lente que les méthodes à profondeur linéaire.
Performance : DCRL atteint des performances de pointe sur divers benchmarks de GCRL hors-ligne, incluant des environnements basés sur des états et sur des pixels. Notamment, sur les cinq tâches les plus difficiles à long horizon de OGBench, DCRL améliore le meilleur score moyen précédent de 55 à 64, surpassant les bases comparatives (baselines) plates et hiérarchiques.

Résultats

Tâches à Long Horizon : Sur les tâches OGBench comme humanoidmaze-giant et les environnements de puzzles complexes, DCRL surpasse significativement les méthodes plates antérieures (ex: IQL, TD, TRL) et les méthodes hiérarchiques (ex: HIQL, SHARSA). C'est la seule méthode plate à obtenir un succès non nul sur la tâche cube-octuple.
Accumulation d'Erreurs : Dans des expériences contrôlées (environnement de verrou à combinaison), l'erreur Q de DCRL reste relativement stable à mesure que l'horizon augmente, tandis que les méthodes TD et TRL standards présentent une croissance rapide de l'erreur.
Études d'Ablation : Supprimer la planification récursive (entraînement dans un ordre aléatoire) provoque une chute drastique des performances (le taux de succès passant de 93 % à 18 % dans humanoidmaze-giant), confirmant la nécessité de l'ordre enfant-vers-parent. Supprimer l'objectif de propagation dégrade également les performances, validant le besoin à la fois de l'apprentissage du comportement et de la récupération de la valeur optimale.
Comparaison avec TRL : Bien que TRL utilise des backups intra-trajectoire similaires, il manque la structure récursive explicite et la planification équilibrée, ce qui conduit à une profondeur de pire cas linéaire et une accumulation d'erreurs plus élevée.

Signification et Limites

L'article affirme que DCRL fournit une base pour passer à l'échelle du GCRL vers des horizons plus longs en atténuant l'accumulation d'erreurs induite par l'horizon grâce à un processus d'apprentissage récursif structuré. Il démontre qu'il est crucial de modéliser explicitement la structure de dépendance de l'apprentissage de la valeur (segments plus courts avant les plus longs) dans des contextes hors-ligne.

Limites reconnues par les auteurs :

Dynamiques Déterministes : Comme d'autres méthodes basées sur l'inégalité triangulaire, DCRL suppose des dynamiques déterministes. Dans des environnements stochastiques, la factorisation exacte $E[XY] \neq E[X]E[Y]$ échoue généralement.
Supériorité Hiérarchique dans des Domaines Spécifiques : Bien que DCRL excelle dans les tâches à long horizon comme humanoidmaze-giant, les approches hiérarchiques restent supérieures pour les tâches de type cube-manipulation, suggérant que la difficulté de la tâche n'est pas uniquement une fonction de la longueur de l'horizon et que la hiérarchie peut rester bénéfique dans certains contextes.

Les auteurs identifient l'extension de l'échantillonnage récursif aux dynamiques stochastiques et la compréhension des conditions sous lesquelles la hiérarchie reste bénéfique comme des directions importantes pour les travaux futurs.