💻 computer science

Goal Sets, Not Goal States: Queryable Robot Goals through Goal-Set Hindsight Relabeling

Cet article introduit le Goal-Set Hindsight Relabeling (GS-HER), une méthode qui généralise le relabeling de recul traditionnel en permettant aux états atteints de satisfaire des ensembles de buts définis par requête plutôt que des états singuliers exacts, améliorant ainsi les performances d'apprentissage robotique hors ligne lorsque les buts à état complet sont entravés par des dimensions non pertinentes et permettant à un seul modèle de répondre à divers prédicats de buts sans réentraînement.

Auteurs originaux : Carlos Vélez García, Miguel Cazorla, Jorge Pomares

Publié 2026-06-09

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Carlos Vélez García, Miguel Cazorla, Jorge Pomares

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à jouer à un jeu de « lancer-attraper » avec un cube. Vous montrez au robot une vidéo d'un humain réussissant à placer le cube sur une table.

L'ancienne méthode (HER standard) : Le problème de la « copie parfaite »
Dans l'apprentissage robotique traditionnel, l'ordinateur regarde la vidéo et dit : « D'accord, pour réussir, le robot doit finir dans exactement le même état que l'humain. »

Cela signifie que le robot doit correspondre à :

L'endroit où se trouve le cube (Important !).
L'angle du coude du robot (Peut-être important ?).
La vitesse à laquelle les doigts du robot bougent (Pas important !).
La position exacte de la base du robot (Pas important !).

Le problème est que le robot s'embrouille. Il essaie tellement fort de correspondre à la vitesse exacte des doigts ou à l'angle exact du coude qu'il en oublie de poser réellement le cube sur la table. C'est comme un élève qui essaie de réussir un examen de mathématiques, mais qui devient tellement obsédé par l'idée d'écrire avec la même écriture que le professeur qu'il en oublie de résoudre les équations. Les détails « supplémentaires » (comme la vitesse des doigts) agissent comme du bruit qui empêche le robot d'apprendre la véritable tâche.

La nouvelle méthode (GS-HER) : L'approche du « surligneur »
Les auteurs proposent une nouvelle méthode appelée Goal-Set Hindsight Relabeling (GS-HER). Au lieu d'exiger une copie parfaite de toute la vidéo, cette méthode utilise une requête (pensez à un surligneur ou un filtre) pour décider ce qui compte réellement.

Voici comment cela fonctionne :

La requête : Avant que le robot n'apprenne, vous lui dites : « Pour cette leçon spécifique, ne t'occupe que de la position du cube. Ignore tout le reste. »
L'apprentissage : Lorsque le robot regarde la vidéo, il voit l'humain réussir. Au lieu de dire : « Tu as échoué parce que le coude était à 45 degrés au lieu de 46 degrés », le robot dit : « Super ! Le cube est sur la table. Cela compte comme un succès, même si le coude était à 45 degrés. »
Le résultat : Le robot apprend le concept de réussite (le cube sur la table) sans s'enliser dans les détails non pertinents (l'angle du coude).

Le super-pouvoir : Un seul robot, de nombreux métiers
La partie la plus créative de cet article est que le robot n'a pas besoin d'être réentraîné pour apprendre un nouveau métier.

Imaginez que vous avez un seul robot « chef étoilé ».

Scénario A : Vous voulez qu'il cuisine une soupe. Vous lui donnez une « carte de requête » qui dit : « Concentre-toi uniquement sur la marmite et la cuisinière. » Le robot apprend à cuisiner la soupe.
Scénario B : Plus tard, vous voulez qu'il fasse cuire un gâteau. Vous n'avez pas besoin d'engager un nouveau chef ou de réentraîner l'ancien. Il vous suffit de changer la « carte de requête » pour dire : « Concentre-toi sur le four et le mélangeur. »
Scénario C : Vous voulez qu'il nettoie la table. Vous changez à nouveau la carte pour dire : « Concentre-toi sur la surface de la table et la serviette. »

Parce que le robot a appris l'idée générale d'atteindre un objectif (plutôt qu'un mouvement spécifique et rigide), il peut instantanément passer entre ces différentes « définitions du succès » simplement en changeant la carte de requête.

Pourquoi cela importe
L'article a testé cette méthode sur des tests de référence standards pour les robots (comme déplacer des cubes ou naviguer dans des labyrinthes). Ils ont constaté que :

Cela fonctionne mieux : Lorsque le « bruit » (les détails non pertinents) est élevé, cette nouvelle méthode aide le robot à réussir beaucoup plus souvent que l'ancienne méthode de la « copie parfaite ».
C'est flexible : Un seul modèle de robot entraîné peut répondre à de nombreuses questions (« Pose le cube ici », « Déplace le bras là », « Ouvre la pince ») sans avoir besoin d'être réentraîné pour chacune d'elles.

En résumé
L'article soutient que nous ne devrions pas traiter le succès d'un robot comme un instantané unique et rigide du monde. Au lieu de cela, nous devrions traiter le succès comme un ensemble flexible de possibilités défini par ce dont nous avons besoin en ce moment. En utilisant une simple « requête » pour filtrer le bruit, nous pouvons enseigner aux robots plus rapidement, les rendre plus intelligents et permettre à un seul robot d'accomplir de nombreux métiers différents sans repartir de zéro.

Résumé Technique : Des ensembles de buts, pas des états de buts : Des buts de robots interrogeables via le relabeling par rétrospection d'ensembles de buts

Énoncé du Problème
L'apprentissage par renforcement conditionné par un but (GCRL) hors ligne vise à dériver des politiques de contrôle à partir de jeux de données pré-collectés (par exemple, des démonstrations ou des journaux de téléopération) sans nécessiter de tentatives d'essais et d'erreurs en ligne coûteuses. Un mécanisme central dans ce domaine est la Rétrospection d'Expérience de Hindsight (HER - Hindsight Experience Replay), qui relabellise les états futurs atteints comme des buts pour les transitions antérieures d'une trajectoire.

Les benchmarks standards de GCRL hors ligne, tels qu'OGBench, instancient typiquement HER en utilisant l'espace d'état complet comme espace de buts. Cette approche suppose que le succès nécessite de reproduire l'intégralité du vecteur d'état futur. Cependant, dans de nombreuses tâches de manipulation robotique, le succès dépend uniquement d'un sous-ensemble spécifique de variables d'état (par exemple, la position d'un objet), tandis que d'autres variables (par exemple, les configurations des articulations du robot, l'état de la pince, les vitesses) sont des dimensions nuisibles. En imposant une correspondance exacte de l'état complet, le standard HER introduit des contraintes artificielles qui surcontraint l'objectif d'apprentissage, menant à des performances sous-optimales lorsque les critères de succès d'une tâche sont une projection de l'état complet.

Méthodologie : Relabellage par Ensemble de Buts (GS-HER)
Les auteurs proposent le Relabellage par Ensemble de Buts (GS-HER - Goal-Set Hindsight Relabeling), une généralisation au niveau des prédicats de HER. Au lieu de traiter un état atteint $s_{t+k}$ comme un but unique $g = s_{t+k}$ , GS-HER traite cet état comme un certificat pour un ensemble de buts défini par une requête.

Classes d'équivalence définies par requête :
Un vecteur de requête binaire $q \in \{0, 1\}^D$ spécifie quelles variables d'état définissent le succès pour une tâche spécifique.
- $q_i = 1$ : la $i$ -ème coordonnée est active et définit le but.
- $q_i = 0$ : la $i$ -ème coordonnée est une variable nuisible pour cette requête.
Étant donné un état de référence $g$ et une requête $q$ , l'ensemble de buts est défini comme la classe d'équivalence des états $G(g, q) = \{s' \in \mathcal{S} : q \odot s' = q \odot g\}$ . Le succès est déterminé par la correspondance des coordonnées actives, mesurée typiquement via une distance quadratique normalisée avec une tolérance $\epsilon$ .
Interface Conditionnée par Requête :
GS-HER modifie l'entrée de conditionnement de l'algorithme de GCRL hors ligne sous-jacent sans altérer son objectif d'apprentissage central (par exemple, les mises à jour de Bellman, la perte contrastive ou le clonage comportemental). L'entrée de conditionnement $\psi_{GS}$ est construite comme suit :
$\psi_{GS}(s, g, q) = [\bar{s}_q, \bar{g}_q, q]$
où $\bar{s}_q = q \odot s + (1-q) \odot e_s$ et $\bar{g}_q = q \odot g + (1-q) \odot e_g$ . Ici, $e_s$ et $e_g$ sont des plongements de coordonnées nuisibles (appris ou fixes) qui masquent les variables non pertinentes. La requête $q$ est explicitement fournie au réseau, permettant au modèle d'apprendre une politique unifiée qui adapte sa notion de « succès » en fonction de la requête.
Wrapper de Relabellage :
GS-HER agit comme un wrapper autour des algorithmes de GCRL hors ligne existants. Pendant l'entraînement, pour chaque transition, un état de référence $g$ est échantillonné (conformément à l'algorithme de base), et une requête $q$ est échantillonnée à partir d'une distribution $p_Q$ . La transition est ensuite relabellée avec l'ensemble de buts conditionné par la requête et le prédicat de succès correspondant. Cela permet à un seul modèle d'apprendre d'un mélange de sémantiques de buts (par exemple, état complet, position de l'objet, pose de l'effecteur terminal) simultanément.

Principales Contributions

Identification du Mismatch d'Objectif : Le papier identifie que le relabellage par rétrospection d'état exact crée un mismatch d'objectif dans les tâches robotiques où le succès repose sur des projections pertinentes à la tâche plutôt que sur l'état complet.
Formalisation de GS-HER : Les auteurs formalisent GS-HER comme une généralisation au niveau des prédicats où les états atteints certifient la joignabilité d'ensembles de buts (classes d'équivalence) plutôt que de simples états uniques.
Wrapper Agnostique à l'Implémentation : GS-HER est instancié comme un wrapper de relabellage conditionné par requête pour les environnements à état vectoriel. Il permet aux algorithmes de GCRL hors ligne existants (incluant le clonage comportemental, l'apprentissage par renforcement contrastif et l'apprentissage Q implicite) d'apprendre des sémantiques de buts interrogeables sans modifier leurs objectifs d'optimisation sous-jacents.
Interface de But Réutilisable : La méthode transforme la rétrospection d'expérience en une interface réutilisable, permettant à un seul checkpoint entraîné de répondre à plusieurs prédicats de buts lors de l'inférence.

Résultats Expérimentaux
Les auteurs ont évalué GS-HER sur la suite OGBench, couvrant des tâches de manipulation (ex: placement de cube) et des tâches de navigation (ex: PointMaze, AntMaze) à travers cinq backbones de GCRL hors ligne différents (GCBC, CRL, GCIVL, GCIQL, GCDL).

Amélioration des Performances : GS-HER (spécifiquement la variante "Blockwise" utilisant des blocs de coordonnées aléatoires) a systématiquement surpassé le standard HER à état complet (HER-Full) sur les tâches de manipulation. Par exemple, sur l'ensemble des tâches de manipulation, GS-HER a amélioré le taux de succès officiel de 24,5 % (HER-Full) à 55,0 %, approchant les performances d'une base de référence "Task-Focused" (HER-Task) qui utilise une projection fixe et prédéfinie.
Goulot d'Étranglement des Dimensions Nuisibles : Les gains de performance étaient fortement corrélés au degré auquel HER à état complet était limité par les dimensions nuisibles. Dans les environnements à faibles dimensions nuisibles (comme PointMaze), GS-HER a performé de manière comparable à HER-Full, confirmant que la méthode traite spécifiquement le problème de la surcontrainte.
Un Modèle, Plusieurs Prédicats : Dans une expérience "un modèle, plusieurs buts", un seul checkpoint GS-HER a été interrogé lors de l'inférence avec divers prédicats (ex: position du cube, lacet du cube, pose de l'effecteur, position de l'objet en l'air). Le modèle a réussi à s'adapter à ces différents critères de succès sans réentraînement. En revanche, HER-Task nécessitait un réentraînement pour chaque nouveau prédicat, et HER-Full a échoué à se généraliser aux prédicats ignorant certaines variables d'état spécifiques.

Signification et Revendications
Le papier affirme que GS-HER isole la sémantique de relabellage du GCRL hors ligne. En découplant la définition du succès (la requête) de l'algorithme d'apprentissage, GS-HER fournit un primitif qui permet aux jeux de données hors ligne de supporter des spécifications de buts flexibles et interrogeables.

Les auteurs soulignent que ce travail ne résout pas la spécification de buts ouverte (via le langage ou la vision), mais démontre plutôt que faire du prédicat de but une entrée lors de l'inférence est une étape utile et nécessaire pour l'apprentissage robotique hors ligne. Cela permet à un seul modèle de servir plusieurs définitions de tâches, atténuant le besoin de sessions d'entraînement distinctes pour différentes projections de tâches et réduisant la dépendance à la correspondance d'état exact, qui est souvent sémantiquement incorrecte pour la manipulation robotique. La méthode est présentée comme une couche complémentaire aux algorithmes existants, améliorant leur flexibilité sans altérer leurs objectifs mathématiques fondamentaux.

Articles similaires