🤖 machine learning

Multistep Quasimetric Learning for Scalable Goal-conditioned Reinforcement Learning

Cet article présente une méthode d'apprentissage par renforcement conditionné par l'objectif (GCRL) hors ligne et évolutive qui intègre des mises à jour multietapes pour estimer les distances temporelles, surpassant les méthodes existantes sur des tâches à long horizon et permettant une généralisation robuste jusqu'à la manipulation robotique réelle.

Auteurs originaux : Bill Chunyuan Zheng, Vivek Myers, Benjamin Eysenbach, Sergey Levine

Publié 2026-02-24

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bill Chunyuan Zheng, Vivek Myers, Benjamin Eysenbach, Sergey Levine

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🚀 MQE : Apprendre à un robot à "voir" la route, pas juste à faire un pas à la fois

Imaginez que vous essayez d'enseigner à un robot comment traverser une ville immense pour aller d'un point A à un point B. Le problème, c'est que le robot a seulement un carnet de notes rempli de photos de gens qui se sont déjà promenés dans cette ville, mais il n'a jamais vu quelqu'un traverser la ville entière d'un coup.

Les méthodes actuelles d'intelligence artificielle ont deux gros défauts :

Elles sont trop "microscopiques" : Elles apprennent pas à pas (comme un enfant qui apprend à marcher : "je pose un pied, puis l'autre"). C'est sûr, mais c'est lent et elles se perdent facilement sur de longues distances.
Elles sont trop "globales" : Elles essaient de regarder tout le chemin d'un coup (comme un oiseau qui voit la ville de haut). C'est rapide, mais elles n'ont pas de garantie que le chemin est réellement possible.

Ce papier présente une nouvelle méthode appelée MQE (Multistep Quasimetric Estimation). Voici comment elle fonctionne, avec des analogies du quotidien.

1. Le problème : La "Distance" est floue

Pour atteindre un but, un humain ne se demande pas seulement "quel est le prochain pas ?". Il se demande : "Combien de temps ça va prendre ?" ou "Quelle est la distance réelle ?".

L'ancienne méthode : C'est comme essayer de calculer la distance entre Paris et Tokyo en mesurant la longueur de chaque pavé de votre rue. Si vous faites une erreur de mesure sur un pavé, l'erreur s'accumule et vous vous retrouvez à la lune au lieu de Tokyo.
Le défi : Il faut trouver un moyen de dire "C'est loin" ou "C'est proche" sans se perdre dans les détails.

2. La solution MQE : Le GPS et les Points de Repère

L'équipe de chercheurs a créé un algorithme qui combine le meilleur des deux mondes. Imaginez que vous apprenez à un robot à naviguer en utilisant deux outils magiques :

A. Le "GPS à plusieurs étapes" (Multistep Returns)
Au lieu de regarder seulement l'étape suivante, le robot regarde plusieurs étapes en avant, comme un GPS qui vous dit : "Dans 10 minutes, vous serez à la sortie de l'autoroute".

L'analogie : Imaginez que vous apprenez à un enfant à faire du vélo. Au lieu de lui dire juste "pédale", vous lui dites : "Si tu continues comme ça, dans 30 secondes tu seras au parc". Cela permet au robot de comprendre la vitesse et la direction sur le long terme, pas juste le mouvement immédiat.

B. La "Règle du Triangle" (Quasimetric)
C'est la partie la plus intelligente. En géométrie, la règle du triangle dit que le chemin direct entre deux points est toujours plus court (ou égal) que de passer par un troisième point.

L'analogie : Si vous voulez aller de chez vous à l'école, il est toujours plus rapide d'y aller directement que d'aller d'abord chez votre grand-mère, puis à l'école.
Le robot MQE apprend une "règle de distance" qui respecte cette logique. Même s'il n'a jamais vu le trajet complet, s'il sait que "Maison -> Grand-mère" est court et "Grand-mère -> École" est court, il peut déduire que "Maison -> École" est faisable. C'est ce qu'on appelle la généralisation : assembler des petits morceaux appris séparément pour créer un grand chemin.

3. L'expérience : Du jeu vidéo à la vraie vie

Les chercheurs ont testé leur méthode dans deux situations :

Dans un labyrinthe géant (Simulation) : Ils ont mis le robot dans un labyrinthe 50% plus grand que n'importe quel autre jamais testé (4000 étapes !).
- Résultat : Les autres robots se perdaient ou abandonnaient. MQE, lui, a réussi à trouver la sortie en "assemblant" des petits chemins qu'il avait appris. C'est comme si un coureur apprenait à courir 100 mètres, puis 200 mètres, et réussissait soudainement à courir un marathon sans jamais avoir entraîné spécifiquement pour le marathon.
Dans un vrai laboratoire (Robotique) : Ils ont utilisé un vrai bras robotique (le "BridgeData").
- Le défi : Le robot devait faire une série de tâches complexes, comme "ouvrir un tiroir, puis y mettre un objet", ou "prendre 4 objets différents et les empiler".
- Résultat : Les autres méthodes échouaient dès qu'il fallait enchaîner plus de deux actions. MQE a réussi à "coudre" (stitch) les actions ensemble. C'est comme si le robot apprenait à ouvrir une porte, puis à prendre un verre, et réussissait tout seul à ouvrir la porte et à prendre le verre, même si personne ne lui a jamais montré cette séquence exacte.

4. Pourquoi c'est important ?

Avant, pour qu'un robot fasse des tâches longues et complexes, il fallait souvent programmer des sous-routines spécifiques (un programme pour ouvrir, un autre pour saisir). C'était lourd et rigide.

Avec MQE, le robot apprend une intuition de la distance. Il comprend que certaines choses sont "proches" et d'autres "loin" dans le temps. Cela lui permet de :

S'adapter à des tâches plus longues que celles qu'il a vues pendant l'entraînement.
Combiner des compétences apprises séparément pour en créer de nouvelles.
Apprendre à partir de données "sales" ou imparfaites (comme des vidéos de gens qui font des erreurs), ce qui est crucial pour l'apprentissage sur de vrais robots.

En résumé

Imaginez que vous voulez apprendre à quelqu'un à cuisiner un grand repas.

Les anciennes méthodes lui donnent une recette étape par étape très précise, mais s'il rate une étape, tout est perdu.
MQE, c'est comme lui apprendre la logique des saveurs et des temps de cuisson. Il ne connaît pas la recette exacte du "Gâteau aux 4 étages", mais il sait que "Mélanger les œufs" est proche de "Mélanger la farine", et que "Cuire 20 min" est proche de "Cuire 30 min". Grâce à cette compréhension profonde, il peut improviser et réussir le gâteau, même s'il ne l'a jamais fait exactement comme ça.

C'est une avancée majeure pour rendre les robots plus autonomes, capables de penser à long terme et d'agir dans le monde réel sans avoir besoin d'un humain pour les guider à chaque seconde.

1. Problématique

L'apprentissage de la manière d'atteindre des objectifs dans un environnement (Reinforcement Learning Conditionné par un Objectif - GCRL) est un défi majeur, particulièrement pour les tâches à long horizon. Les méthodes actuelles peinent à raisonner sur des séquences d'actions étendues (jusqu'à 4000 étapes) et à généraliser la composition de tâches apprises séparément (phénomène de "stitching" ou assemblage).

Le cœur du problème réside dans l'estimation de la distance temporelle entre deux observations. Deux approches dominantes existent mais présentent des limites :

Méthodes Temporal Difference (TD) : Elles utilisent des mises à jour locales (un pas à la fois). Bien qu'elles offrent des garanties d'optimalité théorique, elles souffrent d'erreurs composées lors de l'augmentation de l'horizon.
Méthodes Monte Carlo (MC) : Elles utilisent des mises à jour globales (retours sur plusieurs étapes). Elles fonctionnent bien en pratique mais, dans un cadre hors ligne (offline), elles ne peuvent généralement récupérer que la fonction Q du comportement ( $Q_\beta$ ) et non la fonction Q optimale ( $Q^*$ ), et manquent de garanties théoriques d'optimalité.

L'objectif est de concevoir une méthode qui combine la propagation rapide de la valeur des méthodes MC avec les garanties des méthodes TD, sans recourir à des hiérarchies explicites complexes.

2. Méthodologie : Multistep Quasimetric Estimation (MQE)

Les auteurs proposent MQE, une méthode de GCRL hors ligne qui intègre l'apprentissage de valeurs multi-étapes dans une architecture de quasi-métrique.

A. Représentation Quasi-Métrique

Au lieu d'apprendre directement une fonction de valeur, MQE apprend une distance $d(s, g)$ entre un état (ou une paire état-action) et un objectif. Cette distance est liée à la fonction Q par la relation :
$Q_g(s, a) = V_g(g) e^{-d((s,a), g)}$
La distance est paramétrée par un réseau de neurones respectant les propriétés d'une quasi-métrique (non-négativité, identité, inégalité triangulaire) via une architecture Metric Residual Network (MRN). Cela permet de garantir que la distance respecte une structure géométrique cohérente.

B. Retours Multi-étapes (Multistep Returns)

Contrairement aux méthodes TD classiques qui ne regardent que l'état suivant immédiat, MQE étend l'objectif d'apprentissage à des points de passage (waypoints) $s_w$ échantillonnés aléatoirement dans le futur de la trajectoire.

L'objectif de régression (Eq. 9) devient :
$e^{-d((s,a),g)} \leftarrow \mathbb{E}[\gamma^{k'} \cdot e^{-d(s_w, g)}]$
où $k'$ est le nombre de pas jusqu'au waypoint, échantillonné selon une distribution combinant géométrique et Bernoulli.
Cela permet une propagation globale de la valeur (comme en MC) tout en restant ancré dans la structure de la quasi-métrique.

C. Invariance à l'Action

Pour assurer la cohérence entre la fonction de valeur $V_g(s)$ et la fonction Q $Q_g(s, a)$ , la méthode impose une contrainte d'invariance à l'action. Théoriquement, la valeur d'un état ne devrait pas dépendre de l'action prise si cette action est optimale.

Une perte spécifique ( $L_I$ ) est ajoutée pour minimiser la distance entre l'état $s$ et la paire $(s, a)$ , forçant ainsi $d(s, (s,a)) \approx 0$ .
Cette contrainte stabilise l'entraînement et évite les solutions triviales, permettant d'extraire une fonction Q optimale biaisée par la dynamique du comportement.

D. Extraction de la Politique

La politique est extraite en minimisant la distance apprise entre l'état actuel et l'objectif, régularisée par un terme de comportement (Behavior Cloning) pour éviter l'extrapolation hors distribution :
$\min_\pi \mathbb{E}[d((s, \pi(s, g)), g) - \alpha \log \pi(a|s, g)]$

3. Contributions Clés

Première intégration réussie : MQE est la première méthode à combiner efficacement des retours multi-étapes (Monte Carlo) avec des architectures de quasi-métrique dans un cadre hors ligne.
Généralisation d'horizon supérieure : La méthode permet une généralisation exceptionnelle sur des horizons bien plus longs que ceux vus durant l'entraînement (jusqu'à 1000% plus longs).
Capacité de "Stitching" (Assemblage) : MQE permet de composer des tâches complexes en assemblant des primitives apprises séparément, même sans données d'entraînement contenant ces séquences complètes.
Validation Réelle : C'est la première méthode de GCRL hors ligne à réussir l'assemblage de tâches complexes dans un environnement robotique réel (BridgeData) à partir d'un jeu de données visuel non étiqueté.

4. Résultats Expérimentaux

Évaluations Simulées (OGBench)

Performance globale : MQE surpasse toutes les méthodes de référence (GCIQL, TMD, HIQL, CRL, etc.) sur 90 tâches de l'benchmark OGBench, avec un taux de réussite agrégé de 36,3% contre 18,7% pour le deuxième meilleur (HIQL).
Tâches à long horizon : Sur le nouveau labyrinthe "Colossal" (50% plus grand que les précédents, nécessitant jusqu'à 4000 étapes), MQE est la seule méthode à maintenir un taux de réussite non nul (27,6% en mode "stitch"), tandis que les autres méthodes tombent à 0%.
Robustesse visuelle : La méthode fonctionne également bien avec des observations visuelles (pixels), démontrant une bonne généralisation.

Évaluations Réelles (BridgeData)

Tâches de manipulation : Sur un bras robotique réel (WidowX250), MQE a été testé sur des tâches de "Pick and Place" séquentielles (jusqu'à 4 objets) et des tâches dépendantes (ouvrir un tiroir puis placer un objet dedans).
Résultats : MQE a réussi à accomplir des tâches composées de 4 étapes (Quadruple PnP) avec un taux de réussite de 13,3% (2/15), alors que les autres méthodes (GCBC, GCIQL, TRA) ont échoué (0%).
Généralisation compositionnelle : La méthode a démontré une capacité à enchaîner des primitives sans guide hiérarchique explicite, un défi majeur pour le RL hors ligne réel.

5. Signification et Impact

Ce travail marque une avancée significative dans le domaine du Reinforcement Learning hors ligne (Offline RL) :

Théorique : Il comble le fossé entre les approches TD (locales) et MC (globales) en utilisant la structure géométrique des quasi-métriques pour garantir la cohérence des valeurs sur de longs horizons.
Pratique : Il démontre que l'on peut apprendre des politiques robotiques complexes et composables à partir de données brutes (visuelles) sans nécessiter de modèles hiérarchiques manuels ou de données étiquetées coûteuses.
Futur : La méthode ouvre la voie à des agents robotiques capables de planifier et d'exécuter des tâches à très long terme dans des environnements réels, en s'appuyant sur la capacité à "assembler" des compétences apprises séparément.

En résumé, MQE propose une solution élégante et efficace au problème de l'explosion de l'horizon en RL, prouvant que l'apprentissage de distances temporelles structurées est la clé pour débloquer la généralisation compositionnelle et l'évolutivité des agents autonomes.