🤖 machine learning

Learning More from Less: Reinforcement Learning from Hindsight

Cet article introduit l'apprentissage par l'arrière-coup (Learning from Hindsight, LfH), une méthode d'apprentissage par renforcement qui améliore l'efficacité de l'échantillonnage lors de l'entraînement de modèles vision-langage-action en utilisant un modèle vision-langage pour réétiqueter les déroulements échoués avec les tâches qu'ils ont réellement accomplies, permettant ainsi à la politique d'apprendre à partir de récompenses éparses et de surpasser les bases de référence standards sur des tâches de manipulation.

Auteurs originaux : Iris Xu, Sunshine Jiang, John Marangola, Nitish Dashora, Richard Li, Thomas Liu, Zexue He, Yuheng Zhi, Alex Pentland, Pulkit Agrawal, Zhang-Wei Hong

Publié 2026-07-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Iris Xu, Sunshine Jiang, John Marangola, Nitish Dashora, Richard Li, Thomas Liu, Zexue He, Yuheng Zhi, Alex Pentland, Pulkit Agrawal, Zhang-Wei Hong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à un robot à cuisiner. Vous lui donnez une commande spécifique : « Mets le récipient vert dans le bol. » Mais le robot, un peu maladroit ou simplement confus, attrape un morceau de ruban adhésif à la place et le colle sur la table.

Dans l'ancienne méthode d'enseignement des robots (appelée apprentissage par renforcement standard), c'est un désastre total. Le robot reçoit un gros « F » pour toute sa tentative. L'ordinateur dit : « Tu as échoué. Jette ces données ; elles sont inutiles. » Le robot n'apprend rien de cet incident avec le ruban adhésif, même s'il a réussi à ramasser le ruban et à le coller quelque part. C'est comme jeter une superbe photo de chat simplement parce qu'on a demandé une photo de chien.

Le papier « Learning More from Less » introduit un nouveau tour très astucieux appelé Learning from Hindsight (LfH) [Apprentissage par l'arrière-coup]. Voyez cela comme un arbitre super intelligent et omniscient (un modèle Vision-Langage) qui observe les « échecs » du robot et dit : « Attendez une seconde ! Tu n'as pas mis le récipient dans le bol, mais tu as bien réussi à ramasser le ruban ! C'est une victoire pour un autre jeu. »

Voici comment cela fonctionne, étape par étape :

La magie de l'« Arrière-coup » (Hindsight)
Au lieu de simplement dire « Échec », l'arbitre réécrit l'histoire. Il regarde la tentative désordonnée du robot et lui donne une nouvelle instruction qui correspond à ce qui s'est réellement passé : « Ramasse le ruban. » Désormais, cette même tentative ratée devient un exemple parfait de la façon de ramasser du ruban. Le robot reçoit du crédit pour ce qu'il a fait, et non pour ce qu'il était censé faire.

Le papier montre qu'en faisant cela, le robot apprend 5 fois plus vite (une amélioration de 5x de l'efficacité d'échantillonnage) sur des tâches nouvelles et difficiles où il reste habituellement bloqué. C'est comme si vous pouviez apprendre à faire du vélo en pratiquant d'abord sur une trottinette, puis, soudainement, le vélo vous semblait facile parce que vous saviez déjà garder l'équilibre.

Ce que cela N'EST PAS
Les auteurs sont très clairs sur ce que cette méthode n'est pas.

Ce n'est pas simplement donner au robot plus d'« indices » ou de « crédit partiel » pour la tâche originale (comme dire « Bon travail, tu es à mi-chemin »). Le papier soutient que le simple fait de rendre les récompenses « plus denses » (donner plus de points pour de petites étapes) ne fonctionne pas aussi bien que de changer entièrement la tâche.
Ce n'est pas seulement faire essayer des choses aléatoires au robot. Le papier a constaté que si le robot s'agite de manière aléatoire, la méthode n'aide pas. Le robot doit réellement faire quelque chose de significatif, même si c'est la mauvaise chose pour l'objectif initial.
Ce n'est pas une baguette magique qui répare tout. Si le robot reste simplement là sans rien faire ou s'il effectue une boucle répétitive et ennuyeuse, l'arbitre ne peut pas trouver un nouveau jeu à jouer, et la méthode n'aide pas.

À quel point sommes-nous sûrs ?
L'équipe a testé cela de deux manières :

En simulation : Ils ont lancé des milliers de tests sur des robots virtuels dans un monde informatique appelé LIBERO-PRO. Ici, ils ont mesuré que le LfH atteignait le même niveau de succès que l'entraînement standard en seulement 1/5e des étapes. C'est un bond énorme.
Dans le monde réel : Ils l'ont testé sur un vrai bras robotique Franka dans un laboratoire. Les résultats se sont confirmés ! Quand le robot devait mettre un récipient vert dans un bol, la méthode standard restait bloquée à un taux de réussite de 22 % après 160 essais. La méthode LfH a bondi à 56 %.

Le revers de la médaille
Le papier admet que cette méthode dépend du fait que le robot fasse quelque chose d'intéressant. Si le robot se contente de « planer » près des objets sans les toucher, l'arbitre ne peut pas trouver un nouveau jeu à jouer. De plus, l'arbitre (l'IA qui réécrit les instructions) doit être bon dans son travail ; s'il se confond ou invente des choses qui ne se sont pas passées, le robot pourrait apprendre de mauvaises leçons.

La vue d'ensemble
L'idée principale est simple : ne jetez pas vos erreurs. Un échec à une tâche est souvent un succès pour une autre. En utilisant une IA intelligente pour regarder en arrière et dire : « Hé, tu as en fait fait ceci », nous pouvons enseigner aux robots à apprendre de presque chaque tentative, transformant le temps perdu en leçons précieuses. C'est comme réaliser que chaque fois que vous trébuchez en courant, vous êtes en fait en train de pratiquer votre équilibre pour un sport différent.

Résumé Technique : Apprendre Plus avec Moins : l'Apprentissage par Renforcement par Recul (Hindsight)

Énoncé du Problème

L'apprentissage par renforcement (RL) est de plus en plus utilisé pour le post-entraînement des modèles Vision-Langage-Action (VLA) afin d'améliorer le contrôle des robots. Cependant, un goulot d'étranglement critique subsiste : les mises à jour par RL dépendent de déploiements physiques (rollouts) de robots, qui sont lents, coûteux et difficiles à mettre à l'échelle. Cela fait de l'efficacité d'échantillonnage une préoccupation primaire.

Le défi est exacerbé dans les tâches de manipulation où les récompenses sont généralement éparses (sparse). Un déploiement ne reçoit une récompense (succès) que si le robot complète exactement l'instruction commandée ; tous les autres comportements reçoivent une récompense de zéro. Au début de l'entraînement, lorsque la politique est faible, la quasi-totalité des déploiements échouent à la commande spécifique. Le RL standard traite ces trajectoires entières comme des échecs, les écartant comme des données « inutiles ». Cela ignore le fait qu'un déploiement raté exécute souvent un comportement cohérent et significatif relatif à une autre tâche (par exemple, un robot chargé de « fermer le micro-ondes » pourrait réussir à « ramasser une tasse »). Le RL standard échoue à extraire des signaux d'apprentissage de ces « échecs », ce qui entraîne une convergence lente ou une stagnation dans les contextes hors distribution (OOD).

Méthodologie : Apprentissage par Recul (Learning from Hindsight - LfH)

Les auteurs proposent l'Apprentissage par Recul (LfH), une méthode qui adapte le concept de Hindsight Experience Replay (HER) au post-entraînement par RL des VLA. Au lieu de rejeter les déploiements ratés, LfH utilise un modèle Vision-Langage (VLM) pour les réétiqueter en fonction de ce que le robot a réellement accompli.

Mécanisme Central

LfH opère dans un cadre d'Optimisation de Politique Relative de Groupe (GRPO). Le processus implique deux étapes principales pour les groupes de trajectoires qui échouent à l'instruction originale :

Réétiquetage de l'Instruction :
- Pour un groupe de trajectoires échouant à l'instruction commandée $g$ , le système sélectionne une trajectoire « ancre » (un déploiement raté).
- Un VLM ( $M_\psi$ ) analyse les observations visuelles et les actions de l'ancre pour générer une instruction de recul ( $g'$ ) qui décrit le comportement réellement exécuté (par exemple, changer « fermer le micro-ondes » en « ramasser la tasse »).
- Le VLM filtre d'abord les trajectoires « peu intéressantes » (par exemple, celles sans contact physique avec un objet) pour éviter les prompts bruyants.
Réétiquetage de la Récompense :
- Le même VLM évalue toutes les trajectoires du groupe par rapport à la nouvelle instruction de recul $g'$ .
- Il assigne une récompense $\tilde{R}_i \in \{0, 0.5, 1\}$ , où 1 indique le succès dans l'accomplissement de $g'$ , 0 indique l'échec, et 0.5 représente un résultat ambigu.
- Crucialement, une instruction de recul unique et partagée est utilisée pour l'ensemble du groupe afin de garantir que les récompenses soient comparables pour le calcul de l'avantage.

Objectif d'Optimisation

La politique est entraînée conjointement sur les déploiements originaux et leurs homologues réétiquetés par recul. La fonction de perte combine l'objectif GRPO standard ( $L_{GRPO}$ ) avec un objectif de recul ( $L_{H-GRPO}$ ) :
$L_{LfH}(\theta) = L_{GRPO}(\theta) + \lambda L_{H-GRPO}(\theta)$

Pour gérer le décalage de distribution (trajectoires déployées sous $g$ mais optimisées pour $g'$ ), LfH applique un ratio de correction d'importance :
$\tilde{r}_{i,t}(\theta) = \frac{\pi_\theta(a_{i,t} | o_{i,t}, g')}{\pi_{\theta_{old}}(a_{i,t} | o_{i,t}, g)}$
Cela permet à la politique d'apprendre des comportements « non intentionnels mais significatifs » tout en maintenant l'alignement avec la distribution de la tâche originale.

Contributions Clés

Réétiquetage par Recul pour les VLA : Le papier introduit un algorithme unique qui tire parti des capacités de généralisation linguistique des VLA pour réétiqueter les déploiements ratés dans l'espace du langage, convertissant les échecs à récompense nulle en démonstrations réussies de tâches alternatives.
Réétiquetage Conjoint de l'Instruction et de la Récompense : Contra-rentement aux travaux antérieurs qui pourraient seulement reformuler les instructions ou façonner les récompenses, LfH couple à la fois l'augmentation d'instruction et le réétiquetage de la récompense. Les auteurs démontrent que ni l'augmentation d'instruction ni le réétiquetage de la récompense seuls ne sont suffisants ; la synergie des deux est requise pour des gains significatifs.
Efficacité d'Échantillonnage dans les Régimes de Récompense Éparses : La méthode cible spécifiquement le problème du « démarrage à froid » (cold start) où les politiques initiales ont des taux de succès proches de zéro, récupérant des signaux d'apprentissage à partir de données que le RL standard rejetterait.

Résultats Expérimentaux

Les auteurs ont évalué LfH sur des tâches hors distribution (OOD) du jeu de données LIBERO-PRO et sur un robot physique Franka FR3.

Efficacité d'Échantillonnage : Sur les tâches LIBERO-PRO, LfH a obtenu une amélioration de 5× de l'efficacité d'échantillonnage par rapport au GRPO standard. Il a atteint le taux de succès final du GRPO standard en environ un cinquième des étapes d'entraînement.
Comparaison avec les Récompenses Denses : LfH a surpassé une ligne de base utilisant des récompenses de progression denses (RoboMETER). Cela suggère que, dans les régimes à faible succès, changer quelle tâche un déploiement est crédité est plus précieux que de simplement densifier le feedback pour la commande originale.
Utilisation des Données : Alors que le GRPO standard rejette environ 60 à 80 % des groupes de trajectoires en raison de la variance de la récompense nulle, LfH en conserve 70 à 80 % en réétiquetant les échecs, utilisant ainsi efficacement les données collectées.
Généralisation : Les améliorations se sont maintenues à travers différents backbones VLA (incluant GR00T et OpenVLA-OFT) et se sont transférées avec succès aux expériences de robotique physique réelle, où LfH a doublé le taux de succès du GRPO standard à 128 déploiements.
Études d'Ablation : Les expériences ont confirmé que les gains ne sont pas dus à une injection aléatoire de récompenses ou à une simple reformulation d'instruction. La méthode a également montré que LfH bénéficie de la maintenance de distributions comportementales diverses pendant l'entraînement, empêant la politique de s'effondrer dans des modes d'échec répétitifs.

Signification et Revendications

Le papier affirme que LfH change fondamentalement l'utilité des données robotiques dans le post-entraînement par RL. En traitant une trajectoire comme une preuve pour tous les objectifs linguistiques cohérents avec le comportement observé, LfH extrait « plus de bits par échantillon de robot ».

Les auteurs soulignent que cette approche est particulièrement naturelle pour les VLA pré-entraînés, qui possèdent déjà la capacité de généraliser à travers les instructions linguistiques. LfH permet à ces modèles d'apprendre de ce qu'ils ont réellement fait, plutôt que de seulement ce qu'on leur a demandé de faire. Cela offre une voie pratique pour le post-entraînement des VLA : au lieu de simplement collecter plus de déploiements ou d'optimiser plus longtemps sur les mêmes étiquettes, les chercheurs peuvent réinterpréter chaque déploiement à travers le langage pour transférer l'apprentissage entre les tâches supportées.

Le papier reconnaît des limites, notant que LfH dépend de la diversité et de l'interprétabilité des échecs dans les données collectées. Si la politique produit des trajectoires répétitives ou peu informatives, il y a peu d'objectifs de recul significatifs à récupérer. De plus, la méthode repose sur la qualité du réétiqueteur VLM, où des prompts incorrects ou trop génériques pourraient introduire une supervision bruitée.