💻 computer science

Position: Good Embodied Reward Models Need Bad Behavior Data

Ce document d'orientation soutient que la communauté de l'IA incarnée doit donner la priorité à la collecte et à l'utilisation de données robotiques « mauvaises » — telles que des comportements ratés, sous-optimaux ou dangereux — afin d'entraîner des modèles de récompense qui s'alignent avec précision sur les préférences humaines et évitent de sur-récompenser des accomplissements de tâches superficiels ou dangereux.

Auteurs originaux : Ran Tian, Yilin Wu, Andrea Bajcsy

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ran Tian, Yilin Wu, Andrea Bajcsy

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à plier du linge ou à verser un verre d'eau. Pour bien l'enseigner, vous avez besoin d'un « enseignant » (un modèle de récompense) qui puisse regarder ce que fait le robot et dire : « Bon travail ! » ou « Non, c'est un désastre. »

Cet article soutient que nos enseignants de robots actuels échouent parce qu'ils n'ont vu que des exemples parfaits. On ne leur a jamais montré ce qu'est un désastre.

Voici la décomposition de l'argument de l'article en utilisant des analogies simples :

1. Le problème : Le biais de l'« étudiant parfait »

Actuellement, lorsque nous entraînons ces enseignants de robots, nous ne montrons que des vidéos de robots accomplissant des tâches parfaitement. C'est comme essayer d'apprendre à un étudiant à conduire une voiture en ne lui montrant que des vidéos de conducteurs professionnels par temps clair, sans jamais lui montrer un pneu crevé, une glissade ou une collision évitée de justesse.

Parce que les enseignants n'ont jamais vu de « mauvais » comportements, ils sont excessivement optimistes.

Le résultat : Si un robot renverse un bol en essayant de ramasser une tasse, l'enseignant pourrait quand même dire : « Excellent travail ! Vous avez ramassé la tasse ! » parce qu'il voit la tasse bouger. Il ne remarque pas le fait que le robot a cassé autre chose.
La réalité : L'article a testé trois enseignants de robots de pointe. Tous ont donné des scores élevés à des robots qui échouaient réellement, qui étaient dangereux ou qui utilisaient des « triche » pour terminer la tâche. À mesure que les tâches devenaient plus difficiles (comme utiliser un outil), les enseignants devenaient moins performants, se contentant essentiellement de deviner au hasard.

2. La solution : Nous avons besoin de données « mauvaises »

Les auteurs affirment que nous devons arrêter de jeter les « échecs ». Nous devons collecter et partager des vidéos de robots qui s'écrasent, qui laissent tomber des objets ou qui se déplacent dangereusement.

Pensez-y comme à une école de médecine. Si vous n'étudiez que des patients sains, vous ne saurez pas diagnostiquer une maladie. Vous devez aussi étudier des patients malades.

La thèse de l'article : Même une petite quantité de données « mauvaises » (des vidéos de robots en situation d'échec) aide l'enseignant à apprendre ce qu'il ne faut pas récompenser.
L'expérience : Les chercheurs ont testé cela en montrant à un enseignant une vidéo d'un robot en situation d'échec (par exemple, renversant des noix) accompagnée d'une description textuelle de l'erreur.
- Texte uniquement : N'a pas beaucoup aidé. L'enseignant ne parvenait pas à connecter les mots au désordre physique.
- Texte + Vidéo : A aidé un peu pour des tâches simples (comme ramasser un objet).
- Texte + Vidéo + « Carnet de notes » : C'est ce qui a le mieux fonctionné. Ils ont donné à l'enseignant une vidéo de l'échec plus un carnet de notes détaillé montrant exactement quand et pourquoi le robot a échoué pendant la vidéo. Cela a permis à l'enseignant d'apprendre à pénaliser le robot dès l'instant où il commettait une erreur, même si le reste de la tâche semblait correct.

3. Pourquoi n'avons-nous pas encore ces données ?

Vous pourriez demander : « Pourquoi ne pas simplement enregistrer tous les échecs ? »

La barrière : Dans le monde numérique (comme pour les chatbots textuels), générer des données « mauvaises » est facile et peu coûteux. On peut simplement taper n'importe quoi.
Le monde des robots : Dans le monde réel, les robots sont physiques. Faire échir des robots signifie souvent casser des choses, perdre du temps ou créer des risques pour la sécurité. De plus, la plupart des laboratoires de robotique sont tellement concentrés sur la démonstration de succès qu'ils suppriment les vidéos d'échecs « moches » avant que quiconque ne les voie.

4. L'appel à l'action

Les auteurs demandent à la communauté de la robotique de faire quatre choses spécifiques :

Publier les données « mauvaises » : Arrêtez de cacher les échecs. Les laboratoires et les entreprises devraient partager des ensembles de données de robots qui s'écrasent, qui font tomber des objets ou qui se déplacent de manière imprudente, tout comme ils partagent les histoires de succès.
Simuler les échecs (synthétiquement) : Puisque les crashs réels sont coûteux, nous avons besoin de meilleures simulations informatiques capables de générer des scénarios d'échec réalistes (ex : « Et si le robot glissait ici ? »).
Décentraliser les tests : Au lieu qu'un seul laboratoire teste les robots, nous avons besoin de nombreux endroits différents testant les robots dans des conditions réelles pour détecter davantage de types d'échecs.
De meilleurs tests pour les enseignants : Nous avons besoin de nouveaux bancs d'essai pour tester les « enseignants » eux-mêmes, afin de s'assurer qu'ils apprennent réellement du feedback humain et qu'ils ne font pas que deviner.

Résumé

L'article soutient que pour construire des robots fiables, nous devons cesser de traiter l'« échec » comme une erreur à cacher. Au lieu de cela, nous devons traiter la donnée d'échec comme une ressource vitale. Sans voir les comportements « mauvais », nos enseignants de robots continueront de donner des scores élevés à des robots dangereux ou négligents, pensant qu'ils font du bon travail.

Résumé Technique : De bons modèles de récompense incarnés nécessitent des données de mauvais comportements

Problématique

Le document identifie une lacune critique dans le développement des modèles de récompense incarnés (RM) pour la robotique. Bien que les modèles de récompense soient centraux dans le cycle de vie des modèles de fondation — permettant l'apprentissage par renforcement (RL) post-entraînement, le calcul au moment du test et l'évaluation à grande échelle — les modèles de récompense incarnés actuels sont systématiquement trop optimistes.

Contrairement aux domaines non incarnés (ex. les LLM) où les données « mauvaises » (langage toxique, erreurs logiques) sont abondantes et peu coûteuses à générer, la collecte de données incarnées est contrainte par le temps de fonctionnement réel et la sécurité du matériel. Par conséquent, les jeux de données robotiques existants et les modèles de récompense sont principalement entraînés sur des comportements réussis (démonstrations d'experts), les échecs, les interactions dangereuses ou les exécutions sous-optimales étant filtrés ou retenus. Cette rareté des données conduit à des modèles de récompense qui ne parviennent pas à pénaliser les comportements que les humains rejetteraient, tels que :

Les interactions dangereuses (ex. collisions).
Une mauvaise qualité d'exécution (ex. renverser, faire tomber un objet).
Des stratégies de « raccourci » qui satisfont superficiellement une tâche tout en violant des contraintes implicites.

Les auteurs soutiennent que sans exposition à des données robotiques « mauvaises », les modèles de récompense ne peuvent pas être correctement calibrés, créant un écart grandissant entre la capacité du modèle et sa capacité à évaluer des comportements physiques complexes.

Méthodologie

Évaluation des modèles de pointe (SOTA)

Les auteurs ont évalué trois familles distinctes de modèles de récompense incarnés en open-source en utilisant le benchmark RoboArena, qui fournit des exécutions de vrais robots et des jugements de préférence par paires humains à travers sept catégories de tâches de complexité croissante (de Pick/Place à l'utilisation d'outils) :

Basé sur la préférence (ReWind) : Entraîné via des négatifs synthétiques générés en perturbant des trajectoires d'experts.
VLM Zero-shot (GVL) : Exploite les modèles de langage-vision pour raisonner sur les images et générer des récompenses denses sans fine-tuning.
VLM affiné (Dopamine) : Affine un VLM pré-entraîné sur des étiquettes de progression de tâche construites de manière heuristique.

Protocole d'évaluation :
Au lieu de s'appuyer sur la corrélation ordre-valeur (VOC), qui ne mesure que la progression temporelle, les auteurs ont utilisé les classements de préférence par paires humaines comme vérité terrain. Ils ont mesuré la précision de l'ordonnancement des préférences ( $A$ ), calculant la fraction des comparaisons par paires préférées par l'humain correctement classées par le modèle de récompense.

Intervention : Injection de données « mauvaises »

Pour tester l'hypothèse selon laquelle les données « mauvaises » améliorent le calibrage, les auteurs ont expérimenté l'apprentissage en contexte en utilisant le modèle GVL. Ils ont injecté progressivement des exemples négatifs dans le prompt du modèle :

Texte uniquement : Résumés textuels concis des modes d'échec distillés à partir du feedback humain.
Texte + Vidéo : Association de descriptions d'échecs avec des extraits vidéo réels du robot montrant l'échec.
Texte + Vidéo + Récompenses denses : Ajout de labels de récompense denses par pas de temps, dérivés via une auto-distillation guidée par la préférence (sélection des séquences de récompense qui s'alignent sur les préférences A/B humaines).

Résultats Clés

1. Sur-récompense systématique des échecs

Les modèles SOTA actuels performent raisonnablement bien sur des tâches simples (Pick/Place, précision ~0,72–0,77) mais se dégradent considérablement à mesure que la complexité de la tâche augmente.

Utilisation d'outils : La précision chute à 0,52–0,62, dépassant à peine le hasard.
Échec qualitatif : Dans des exemples visuels, les modèles attribuaient des récompenses élevées à des trajectoires où le robot entrait en collision avec des objets ou renversait des articles, à condition que le robot fasse des « progrès » vers l'objectif. Les modèles ne parvenaient pas à distinguer une complétion réussie d'une exécution dangereuse ou de faible qualité.

2. Impact de l'injection de données « mauvaises »

L'injection de données négatives a considérablement amélioré l'alignement des modèles de récompense avec les préférences humaines :

Texte uniquement : N'a apporté qu'une amélioration négligeable, suggérant que les VLM peinent à ancrer des descriptions textuelles abstrauses de l'échec dans des comportements physiques spécifiques.
Texte + Vidéo : A entraîné une amélioration de la précision d'environ 8 % sur les tâches simples. L'ancrage visuel a aidé le modèle à lever l'ambiguïté sur les comportements « mauvais » (ex. rater une saisie).
Texte + Vidéo + Récompenses denses : A produit les gains les plus importants, particulièrement sur des tâches complexes comme l'Utilisation d'outils et le Versement de liquide, atteignant une amélioration de la précision d'environ 10 %. Les traces de récompense denses ont fourni un signal de calibrage concret pour des contraintes nuancées (ex. violations de sécurité survenant au milieu d'une trajectoire) que le texte ou une vidéo à image unique ne pouvaient capturer.

Principales Contributions

Démonstration empirique du biais de données : Le papier fournit une preuve expérimentale que les modèles de récompense incarnés actuels sont systématiquement trop optimistes en raison d'un manque de données d'entraînement négatives, échouant à pénaliser les comportements dangereux ou sous-optimaux que les humains rejetteraient.
Quantification de l'écart : À travers le benchmark RoboArena, les auteurs quantifient la dégradation de la précision des modèles de récompense à mesure que la complexité des tâches augmente, montant que les modèles approchent du hasard sur les tâches nuancées.
Validation de l'utilité des données « mauvaises » : L'étude démonte que même une exposition modeste à des données réelles d'échec de robot (spécifiquement les vidéos et les labels de récompense denses) améliore significativement le calibrage du modèle de récompense et réduit les faux positifs.
Appel à l'action de la communauté : Les auteurs proposent quatre actions spécifiques pour combler le fossé des données :
- Publier des jeux de données d'échecs curatés : L'industrie et l'académie doivent cesser de filtrer les données négatives et publier des jeux de données à grande échelle de défaillances robotiques.
- Génération synthétique : Développer des simulateurs haute fidélité et des modèles de génération de vidéo pour créer des trajectoires d'échec diversifiées et interactives.
- Évaluation décentralisée : Passer à l'échelle les systèmes d'évaluation physique (comme RoboArena) avec des protocoles standardisés pour recueillir des feedbacks humains diversifiés.
- Nouveaux benchmarks : Créer des benchmarks pour les modèles de récompense qui reposent sur des labels denses annotés par l'humain plutôt que sur des proxys creux ou heuristiques.

Signification et Revendications

Le papier soutient que le chemin vers une IA incarnée fiable est bloqué non seulement par l'architecture des modèles, mais aussi par les pratiques de curation de données. Les auteurs affirment que la dépendance de la communauté aux jeux de données « experts uniquement » a créé un angle mort concernant les modes d'échec.

La portée de ce travail réside dans son affirmation que le calibrage nécessite du contraste. Tout comme les LLM nécessitent des exemples négatifs diversifiés pour apprendre la sécurité et l'alignement, les modèles de récompense incarnés nécessitent des données robotiques « mauvaises » pour apprendre les conséquences physiques fines des échecs. Le papier pose qu'en l'absence d'un virage délibéré vers la collecte et l'utilisation de données robotiques dangereuses, défaillantes et bruitées, le déploiement des modèles de fondation dans des environnements physiques restera sujet à des comportements dangereux et sous-optimaux que les modèles de récompense ne parviennent pas à détecter.