💻 computer science

DenseReward: Dense Reward Learning via Failure Synthesis for Robotic Manipulation

L'article présente DenseReward, un modèle de récompense robotique dense entraîné sur un ensemble de données générées synthétiquement comprenant divers modes d'échec, qui prédit des récompenses fines au niveau de l'image à partir d'entrées visuelles et linguistiques afin de surmonter les limites du feedback parcimonieux et d'améliorer les politiques de manipulation robotique.

Auteurs originaux : Yu Fang, Wanxi Dong, Jiaqi Liu, Yue Yang, Mingxiao Huo, Yao Mu, Huaxiu Yao, Li Erran Li, Daniel Szafir, Mingyu Ding

Publié 2026-07-15

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yu Fang, Wanxi Dong, Jiaqi Liu, Yue Yang, Mingxiao Huo, Yao Mu, Huaxiu Yao, Li Erran Li, Daniel Szafir, Mingyu Ding

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à un robot à mettre une balle dans un panier. Autrefois, vous deviez regarder tout le film du robot essayant, échouant, puis essayant encore, pour ensuite simplement dire : « Bon travail ! » ou « Mauvais travail ! » à la toute fin. C'est comme donner un examen à un élève et ne lui communiquer sa note finale qu'après qu'il a déjà oublié chaque question posée. Le robot n'a aucune idée de pourquoi il a échoué ou de comment il progressait à mi-chemin.

Entrez en scène DenseReward, un nouveau système qui agit comme un entraîneur hyper attentif qui murmure un score après chaque mouvement effectué par le robot. Au lieu d'un simple « réussite/échec », il donne un nombre entre 0 et 1, indiquant au robot à quel point il est proche du succès à l'instant présent.

Le Problème : Le piège des « échecs factices »

Le principal obstacle pour enseigner ainsi aux robots est qu'il faut une immense bibliothèque d'exemples montrant tout ce qui peut mal tourner. Il faut voir le robot percuter une table, lâcher la balle, rater le panier ou rester bloqué.

Habituellement, les chercheurs tentaient de créer ces « échecs » en prenant une vidéo réussie et en la coupant simplement plus tôt ou en faisant semblant qu'elle avait échoué. Mais les auteurs de cet article soutiennent que c'est comme essayer d'apprendre à conduire en regardant une vidéo d'une voiture qui s'est contentée de s'arrêter ; cela n'enseigne pas ce qu'un véritable accident fait ressentir à un robot. Ces échecs « factices » ne capturent pas la réalité physique et désordonnée d'un robot qui laisse réellement tomber un objet ou entre en collision avec un mur.

La Solution : Une « usine à échecs » robotique

Pour corriger cela, l'équipe a construit une usine automatisée dans une simulation informatique. Ils n'ont pas demandé à des humains de casser des choses manuellement (ce qui est lent et ennuyeux). Au lieu de cela, ils ont programmé le robot pour qu'il passe par cinq étapes spécifiques : Atteindre, Saisir, Lever, Déplacer et Poser.

Ensuite, ils ont introduit des « perturbations ciblées » — en gros, ils ont donné un petit coup de pouce au robot pour le faire échouer exprès.

Ils ont fait viser la main légèrement à côté, provoquant un Manquement.
Ils ont ordonné d'ignorer les obstacles, provoquant une Collision.
Ils ont secoué le robot pendant qu'il tenait l'objet, provoquant une Chute.
Ils ont même fait percuter le robot pour qu'il doive ensuite trouver comment reprendre sa trajectoire, créant un scénario de Récupération.

En faisant cela automatiquement, ils ont généré un ensemble de données de 27 000 épisodes (soit 27k !) couvrant toutes ces différentes manières dont un robot peut échouer, accompagnées d'un score précis pour chaque image de la vidéo.

L'Étoile du Spectacle : DenseReward

En utilisant cet immense ensemble de données, ils ont entraîné un modèle appelé DenseReward. Voyez ce modèle comme le « sixième sens » du progrès pour un robot. Lorsque vous lui donnez une tâche (comme « mettre la balle dans le panier »), une image de la scène actuelle et quelques images de ce qui s'est passé juste avant, il prédit instantanément un score.

Si le robot se déplace de manière fluide vers le panier, le score augmente.
Si le robot heurte la table, le score chute.
Si le robot lâche la balle mais la ramasse ensuite, le score baisse puis remonte.

L'article montre que ce modèle est bien meilleur pour deviner ces scores que d'autres modèles d'IA intelligents (comme les modèles de vision-langage à usage général) ou d'anciens systèmes de récompense. Dans les tests, les prédictions du nouveau modèle n'étaient erronées que de 0,081 en moyenne, tandis que les autres modèles l'étaient de près de 0,30. C'est une énorme différence de précision.

Est-ce que cela fonctionne vraiment ?

Les auteurs ne se sont pas contentés de créer un bon prédicteur ; ils ont testé si ce « coach » pouvait réellement aider le robot à mieux apprendre.

Dans la simulation : Ils ont utilisé les scores pour guider un système de contrôle prédictif de modèle (MPC). Au lieu de deviner le mouvement suivant, le robot examinait 28 mouvements possibles, demandait à DenseReward lequel semblait le meilleur, et choisissait celui-là. Le résultat ? Le robot s'est beaucoup rapproché des objets cibles (réduisant la distance à environ 0,229 en moyenne) par rapport aux autres méthodes.
Dans le monde réel : Ils ont pris un bras robotique dans un laboratoire réel et ont essayé de lui apprendre à empiler des gobelets et à mettre une balle dans un panier. Sans le feedback dense, le robot ne réussissait que 40 % du temps avec les gobelets. Mais lorsqu'ils ont laissé DenseReward guider le processus d'apprentissage, le taux de réussite a bondi à 80 %. Pour la tâche de la balle dans le panier, il est passé de 30 % à 70 %.

Ce que l'article dit (et ne dit pas)

Les auteurs précisent que, bien que ces résultats soient impressionnants, ils sont basés sur des simulations spécifiques et un ensemble limité de tâches réelles. Ils ne prétendent pas que cela résout tous les problèmes de robotique pour toujours. Ils excluent explicitement l'idée que les échecs « factices » (le simple fait de découper des vidéos réussies) soient suffisants ; ils insistent sur le fait que des données d'échec physiquement réalistes sont nécessaires.

Ils suggèrent également que cette approche est une voie pratique, mais admettent qu'il reste du travail à faire. Ils prévoient de s'attaquer à des tâches encore plus difficiles, comme l'utilisation d'outils ou l'exécution de séquences d'actions longues et complexes, et espèrent pouvoir éventuellement inclure le feedback humain pour rendre les récompenses encore meilleures.

En résumé, DenseReward suggère que si vous voulez qu'un robot apprenne vite, vous avez besoin d'un coach qui ne se contente pas d'attendre la fin du jeu pour donner une note, mais un coach qui sait exactement comment le robot se comporte à chaque étape — et ce coach doit avoir vu beaucoup de vrais échecs désordonnés pour comprendre ce que signifie réellement « bien faire ».

Résumé Technique : DenseReward

Problématique

L'apprentissage par renforcement (RL) offre une voie permettant aux politiques robotiques de dépasser les limites de performance de l'apprentissage par imitation en s'engageant dans une interaction par essais et erreurs. Cependant, l'adoption pratique du RL dans la manipulation robotique est freinée par le manque de modèles de récompense vision-langage fiables qui fournissent un retour dense et informatif. Les approches actuelles font face à deux défis majains :

Rareté des données pour les modes d'échec : L'acquisition de données d'échec diversifiées à grande échelle est difficile. La téléopération humaine est laborieuse, tandis que les méthodes d'augmentation de données existantes (par exemple, la troncature d'épisodes réussis ou le réétiquetage de déroulements sous-optimaux) génèrent des « pseudo-échecs » qui ne parviennent pas à capturer la dynamique physique complexe des échecs du monde réel, tels que les collisions, les ratés de saisie, les chutes d'objets et les comportements de récupération.
Signaux de récompense épars : La plupart des modèles de récompense existants prédisent des étiquettes éparses, binaires ou au niveau de la trajectoire (succès/échec uniquement à la fin d'un épisode). Ce manque de rétroaction par pas de temps crée de graves problèmes d'attribution de crédit, rendant l'optimisation de la politique peu efficace en termes d'échantillonnage et difficile à mettre à l'échelle pour des tâches à long horizon.

Méthodologie

Les auteurs introduisent DenseReward, un modèle de récompense vision-langage dense conçu pour prédire des scores de récompense fins, par pas de temps, basés sur des observations visuelles et des instructions linguistiques. La méthodologie se compose de trois composantes principales :

1. Pipeline de génération automatique de données

Pour remédier à la rareté des données d'échec diversifiées sans étiquetage humain, les auteurs ont développé un pipeline automatisé qui synthétise des trajectoires physiquement réalistes en simulation.

Décomposition en phases : Les tâches de manipulation sont décomposées en cinq phases canoniques : Reach (Atteindre), Grasp (Saisir), Lift (Lever), Move (Déplacer) et Place (Poser).
Perturbations ciblées : En appliquant des perturbations spécifiques à différentes étapes d'exécution, le système induit six types de trajectoires distincts :
- Success (Succès) : Exécution sans perturbation.
- Collision (Collision) : Mouvement planifié sans évitement de collision, provoquant un contact avec l'environnement.
- Miss (Raté) : Le pose de la cible de saisie est décalée, provoquant la fermeture du préhenseur dans le vide.
- Fall (Chute) : Des perturbations de rotation aléatoires pendant la phase « Move » provoquent la chute de l'objet.
- Smooth (Fluide) : Un bruit gaussien des articulations est injecté pour créer des mouvements sous-optimaux et saccadés.
- Recover (Récupération) : Le robot rencontre une collision mais replanifie avec succès et termine la tâche.
Étiquetage dense : Au lieu d'étiquettes binaires, le système assigne des scores de récompense par pas de temps ( $r_t \in [0, 1]$ ) qui reflètent la progression de la tâche. La courbe de récompense augmente avec la progression, culmine lors des jalons de succès, et décroît ou chute lors d'événements d'échec (ex: collisions ou chutes), capturant la complétion partielle et la dynamique de récupération.

2. Construction du jeu de données

En utilisant ce pipeline, les auteurs ont constitué un jeu de données de 27 000 épisodes couvrant diverses scènes et objets provenant de DROID (monde réel), RoboSuite, Isaac Sim et LIBERO. Le jeu de données inclut des trajectoires réussies et d'échec avec des étiquettes de récompense denses par image et des annotations de modes d'échec.

3. Entraînement du modèle DenseReward

Le modèle est construit sur Qwen3-VL-4B-Instruct, un modèle vision-langage. Il est affiné pour prendre en entrée une instruction linguistique, l'observation visuelle actuelle et les images historiques, afin de produire un score de récompense scalaire qui estime la progression de la tâche au pas de temps actuel. Le modèle est entraîné avec une supervision dense par image, conservant trois décimales pour apprendre les différences fines de progression (ex: se rapprocher d'une cible vs récupérer d'une chute).

Principales contributions

Synthèse automatique des échecs : Un pipeline novateur qui génère des trajectoires d'échec physiquement réalistes (collisions, ratés, chutes, récupérations) avec des étiquettes de récompense denses, éliminant le besoin d'annotation manuelle et surmontant les limites des données de pseudo-échec.
Jeu de données et modèle DenseReward : La publication d'un jeu de données de 27k épisodes et d'un modèle de récompense vision-langage entraîné capable d'identifier les états d'exécution (succès ou modes d'échec spécifiques) et d'estimer la progression fine de la tâche.
Efficacité en aval : Démonstration que le modèle surpasse significativement les VLM généralistes et les modèles de récompense robotiques existants dans la prédiction de récompense dense et fournit un guidage efficace pour le contrôle prédictif de modèle (MPC) et l'apprentissage par renforcement (RL).

Résultats expérimentaux

Précision de la prédiction de la récompense

Dans les évaluations quantitatives à travers DROID, Isaac Sim, RoboSuite et LIBERO, DenseReward a atteint une erreur absolue moyenne (MAE) de 0,081, surpassant nettement les bases solides comme Qwen3-VL-8B (0,293) et RoboReward-8B (0,230). L'analyse qualitative a montré que DenseReward produit des courbes de récompense qui s'alignent plus étroitement sur la progression réelle de la tâche par rapport aux prédictions bruitées ou binaires des modèles de base.

Contrôle prédictif de modèle (MPC)

Dans un cadre MPC où les actions candidates sont scorées pour sélectionner la meilleure exécution, le contrôle guidé par DenseReward a réduit la distance minimale moyenne entre l'objet et le préhenseur à 0,229 à travers trois tâches de manipulation (canette, tasse, citron). Cela a surpassé les bases RoboReward et VLAC, indiquant des capacités de sélection d'action supérieures.

Affinement par apprentissage par renforcement (RL)

Simulation (LIBERO) : Utilisé pour fournir des récompenses intermédiaires denses pour l'ajustement PPO d'une politique $\pi_0$ , DenseReward a amélioré les taux de réussite sur les suites LIBERO-Spatial et LIBERO-10 par rapport aux bases à récompense éparse, tout en égalant les performances sur LIBERO-Object.
Monde réel (Plateforme DROID) : En utilisant DSRL pour adapter une politique $\pi_0$ gelée sur un bras Franka, le guidage par DenseReward a augmenté les taux de réussite de 40 % à 80 % pour « stack the cups » (empiler les tasses) et de 30 % à 70 % pour « put ball in basket » (mettre la balle dans le panier), démontrant une efficacité avec des budgets de déroulement limités dans le monde réel.

Études d'ablation

Données d'échec : Le retrait des trajectoires d'échec de l'entraînement a augmenté la MAE de 0,0809 à 0,1312, confirmant que les données d'échec sont critiques pour apprendre des signaux de récompense fins.
Contexte historique : L'utilisation de deux images historiques a fourni le compromis optimal (MAE 0,081), tandis que l'utilisation de trois images a légèrement dégradé la performance, suggérant des rendements décroissants avec un historique excessif.

Signification et affirmations

L'article affirme que DenseReward répond aux goulots d'étranglement critiques du passage à l'échelle de l'apprentissage par renforcement pour la manipulation robotique en fournissant un cadre de modélisation de récompense dense, pratique et conscient des échecs. En synthétisant automatiquement divers modes d'échec, les auteurs permettent l'entraînement de modèles de récompense qui comprennent non seulement le succès, mais aussi les nuances de la progression partielle et de la récupération. Les résultats suggèrent que la modélisation de récompense dense consciente des échecs est une voie viable vers un RL scalable, offrant une amélioration significative par rapport aux récompenses binaires éparses et aux VLM généralistes pour guider l'optimisation de la politique dans des environnements simulés et réels. Les auteurs publient le jeu de données, les modèles et la suite d'évaluation pour soutenir les recherches futures dans ce domaine.