RoboCurate: Harnessing Diversity with Action-Verified Neural Trajectory for Robot Learning

Le papier présente RoboCurate, un cadre de génération de données synthétiques pour l'apprentissage robotique qui améliore la qualité des actions annotées en les validant par simulation et en augmentant la diversité des observations, permettant ainsi des gains significatifs de réussite par rapport à l'utilisation exclusive de données réelles.

L'essentiel

🤖 Le Problème : Apprendre aux robots avec des "Faux" Vidéos

Imaginez que vous voulez apprendre à un robot à faire la vaisselle. La méthode traditionnelle consiste à le filmer des milliers de fois en train de le faire réellement. C'est lent, cher et épuisant pour les humains qui doivent le guider.

Pour aller plus vite, les chercheurs ont eu une idée : générer des vidéos de robots avec une intelligence artificielle (comme si on créait des films d'animation) et apprendre au robot à partir de ces vidéos. C'est ce qu'on appelle la "trajectoire neuronale".

Mais il y a un gros hic :
Ces IA génératives sont comme des artistes très doués mais un peu distraits. Elles peuvent créer une vidéo magnifique où un robot attrape une tasse, mais si on regarde de très près, le robot traverse la table, la tasse flotte dans les airs, ou le mouvement est physiquement impossible.
Si on apprend au robot avec ces vidéos, il va apprendre des "rêves" et non de la réalité. De plus, les IA actuelles qui vérifient si une vidéo est "réaliste" (les modèles de langage-vision) sont trop superficielles : elles disent "ça a l'air joli", mais elles ne comprennent pas si le robot a vraiment réussi à saisir l'objet sans le faire tomber.

---

💡 La Solution : RoboCurate, le "Chef de Cuisine" Rigoureux

RoboCurate est un nouveau système qui agit comme un chef de cuisine très strict dans une grande cuisine de robotique. Son travail ne consiste pas seulement à créer des recettes (des vidéos), mais à s'assurer que chaque plat est vraiment comestible avant de le servir.

Voici comment il fonctionne, étape par étape, avec des analogies simples :

1. La Création : Le "Studio de Cinéma" (Diversité)

Avant de vérifier, il faut créer beaucoup de contenu. RoboCurate utilise deux techniques magiques pour varier les scènes :

• Le "Déguisement" (Image-to-Image) : Imaginez que vous avez une photo d'un robot dans une cuisine. RoboCurate peut changer la couleur du robot, le type de table, ou l'éclairage, tout en gardant la même structure. C'est comme changer le décor d'un film sans changer les acteurs.
• Le "Filtre de Style" (Video-to-Video) : Il prend une vidéo réussie et lui applique un nouveau style (par exemple, passer d'une cuisine moderne à une cuisine industrielle) tout en gardant exactement les mêmes mouvements. C'est comme si vous preniez une scène de film et que vous la rediffusiez avec un filtre "années 80" ou "noir et blanc", sans que les acteurs ne bougent différemment.

2. La Vérification : Le "Double Reality Check" (Le cœur du système)

C'est ici que RoboCurate brille. Au lieu de demander à une IA "Est-ce que c'est joli ?", il fait une expérience scientifique :

• L'Acteur (La Vidéo Générée) : On a la vidéo créée par l'IA où le robot fait un mouvement.
• Le Double (Le Simulateur) : On prend les mêmes instructions de mouvement données à l'IA et on les donne à un simulateur physique (un monde virtuel très précis où les lois de la physique sont respectées à 100 %). Le simulateur joue le mouvement.
• Le Juge (Le "Probe" Attentionné) : RoboCurate compare la vidéo de l'IA et la vidéo du simulateur.
  • Si les deux mouvements sont identiques : "Super ! Le robot a bien compris la physique. On garde cette vidéo." ✅
  • Si la vidéo de l'IA montre le robot traversant la table, mais que le simulateur le fait tomber : "Non ! C'est un faux. On jette cette vidéo." ❌

C'est comme si vous demandiez à un acteur de faire un saut périlleux. Au lieu de regarder juste le film, vous le faites aussi faire le saut dans un gymnase réel. Si l'acteur dans le film atterrit parfaitement mais que dans le gymnase il tombe, vous savez que le film est truqué.

3. Le Résultat : Un Robot qui Apprend Vite et Bien

Grâce à ce système de filtrage, RoboCurate ne garde que les vidéos "saines" et physiquement correctes.

Les résultats sont impressionnants :

• Sur des robots de table, la réussite des tâches a augmenté de 70 % par rapport à l'utilisation de données réelles seules.
• Sur un robot humanoïde très complexe (ALLEX) dans le monde réel, la réussite a bondi de 180 % !

🌟 En Résumé

Imaginez que vous voulez apprendre à conduire.

• L'ancienne méthode : Vous regardez des milliers de vidéos de conducteurs, mais certaines montrent des voitures qui volent ou traversent des murs. Vous apprenez mal.
• La méthode RoboCurate : Vous créez des vidéos de conduite, mais vous les faites vérifier par un simulateur de vol (comme dans les jeux vidéo). Si la voiture dans la vidéo ne se comporte pas comme dans le simulateur, la vidéo est détruite. Vous ne gardez que les vidéos où la voiture freine, tourne et tourne correctement.

RoboCurate, c'est ce filtre intelligent qui permet aux robots d'apprendre des millions de situations différentes, sans jamais se tromper sur les lois de la physique, le tout en un temps record. C'est la clé pour rendre les robots plus intelligents et plus sûrs dans notre monde réel.

Résumé technique

Titre : RoboCurate : Exploiter la diversité avec des trajectoires neuronales vérifiées par l'action pour l'apprentissage robotique

1. Problématique

L'apprentissage des modèles de fondation robotiques (RFM) est actuellement limité par la rareté et le coût élevé des données réelles. Bien que les données synthétiques générées par des modèles de vidéo (trajectoires neuronales) offrent une solution évolutive, elles souffrent de deux défauts majeurs :

1. Qualité d'action incohérente : Les vidéos générées peuvent contenir des incohérences physiques (objets qui se chevauchent, déformations) ou ne pas suivre les instructions, ce qui conduit à des étiquettes d'action (généralement déduites par des modèles de dynamique inverse, IDM) erronées.
2. Limites des vérificateurs existants : Les modèles vision-langage (VLM) actuels utilisés pour valider la qualité des vidéos sont souvent trop superficiels. Ils jugent la plausibilité physique globale mais ne peuvent pas évaluer directement la cohérence entre l'action générée et le mouvement visuel réel, ni distinguer les erreurs subtiles de mouvement critiques pour la politique de contrôle.

Il existe donc un besoin urgent d'un cadre capable de générer des données synthétiques diversifiées tout en filtrant rigoureusement les échantillons dont les actions ne correspondent pas à la réalité physique simulée.

2. Méthodologie : Le cadre RoboCurate

RoboCurate est un pipeline unifié qui combine la génération de données diversifiées et une vérification stricte basée sur la simulation. Il se compose de trois étapes principales :

A. Génération de scénarios de manipulation plausibles (Diversité)
Pour surmonter la limitation de la diversité des données, RoboCurate utilise deux techniques d'édition générative :

• Édition Image-à-Image (I2I) : Modifie l'image initiale pour varier l'apparence du décor (table, éclairage, arrière-plan) et l'identité de l'objet cible, tout en préservant la structure géométrique de la scène via des cartes de bords (Canny).
• Transfert Vidéo-à-Vidéo (V2V) : Applique des changements d'apparence (texture, couleur) aux vidéos générées tout en préservant la dynamique du mouvement. Cela permet d'augmenter la diversité visuelle sans altérer les annotations d'action existantes.
• Instructions de tâche : Un VLM génère de nouvelles instructions de tâche plausibles conditionnées par la scène initiale, couvrant différents comportements, objets et types de mains.

B. Filtrage par cohérence de mouvement (Action-Verified)
C'est le cœur innovant de RoboCurate. Au lieu de se fier uniquement à la plausibilité visuelle, le système vérifie la cohérence entre la vidéo générée et la réalité physique simulée :

1. Rejeu en simulateur : Les actions prédites par le modèle de dynamique inverse (IDM) sont exécutées dans un simulateur physique pour générer une vidéo de "rejeu" ($w_{sim}$).
2. Comparaison de mouvement : Le système compare la vidéo générée ($w_{gen}$) avec la vidéo de rejeu du simulateur ($w_{sim}$).
3. Sonde attentive (Attentive Probe) : Un module léger, entraîné sur des paires de vidéos réelles (positives et négatives), analyse les embeddings vidéo pour classifier si les deux vidéos présentent des motifs de mouvement et une géométrie robotique cohérents. Seules les paires jugées "cohérentes" sont conservées.

C. Échantillonnage Best-of-N
Le filtre peut également être utilisé comme critique pendant la génération. En générant $N$ candidats pour une même tâche, le système sélectionne celui ayant le score de cohérence le plus élevé, améliorant ainsi la qualité des données sans gaspiller les échantillons.

3. Contributions Clés

• Nouveau paradigme de filtrage : Passage d'une validation visuelle (VLM) à une validation action-physique via la cohérence entre la vidéo générée et le rejeu en simulateur.
• Pipeline de diversité contrôlée : Intégration réussie de l'édition I2I et du transfert V2V pour créer des données synthétiques couvrant un large éventail de variations visuelles tout en préservant la validité des actions.
• Preuve de concept sur la généralisation : Démonstration que des données synthétiques de haute qualité, vérifiées par simulation, peuvent améliorer les performances de modèles réels, même sur des tâches hors distribution (OOD).

4. Résultats Expérimentaux

Les auteurs ont évalué RoboCurate sur plusieurs benchmarks (GR-1 Tabletop, DexMimicGen) et sur un robot humanoïde réel (ALLEX).

• Amélioration des taux de réussite (Pré-entraînement) :

  • Sur GR-1 Tabletop (300 démonstrations) : +70,1% d'amélioration relative par rapport à l'utilisation de données réelles seules.
  • Sur DexMimicGen : +16,1% d'amélioration relative.
  • Comparaison : La méthode de base (DreamGen, sans filtrage ni diversité avancée) n'obtient que +26,6% et +4,0% respectivement, prouvant l'efficacité du filtrage et de la diversité.

• Performance sur Robot Réel (ALLEX) :

  • Dans un scénario de co-affinement (co-finetuning) avec des données réelles limitées, RoboCurate a permis une amélioration relative de +179,9% du taux de réussite.
  • Généralisation Hors Distribution (OOD) : Sur des tâches avec de nouveaux objets ou de nouveaux comportements (ex: verser une boîte de conserve sans données réelles), RoboCurate a permis d'atteindre un taux de réussite de 25,0% (contre 0% sans données synthétiques), démontrant une capacité d'apprentissage de nouvelles actions.

• Ablation Studies :

  • Le filtrage basé sur la sonde attentive (entraînée sur des paires synthétiques) surpasse les méthodes de filtrage par similarité cosinus ou par VLM.
  • L'ajout de diversité visuelle (I2I/V2V) améliore les performances même à taille de jeu de données constante.

5. Signification et Impact

RoboCurate représente une avancée majeure pour l'apprentissage robotique par imitation. Il résout le problème critique de la "qualité des données synthétiques" en introduisant une boucle de rétroaction physique (simulation) pour valider les actions.

• Réduction de la dépendance aux données réelles : Il permet d'entraîner des politiques robustes avec très peu de données réelles, en comblant le fossé par des données synthétiques de haute fidélité.
• Scalabilité : Le cadre est applicable à divers types de robots (bras, humanoïdes) et tâches.
• Fondation pour les modèles de fondation : En fournissant des données d'entraînement "curées" (nettoyées et diversifiées), RoboCurate ouvre la voie à des modèles de robotique plus généralistes capables de s'adapter à des environnements complexes et imprévus.

En résumé, RoboCurate ne se contente pas de générer plus de données, il génère des données fiables et diversifiées, transformant la génération vidéo en un outil puissant pour l'apprentissage réel de la robotique.