💻 computer science

Do as I Do: Dexterous Manipulation Data from Everyday Human Videos

L'article présente « Do as I Do », un algorithme qui reconstruit les interactions main-objet à partir de vidéos humaines RGB monoculaires et les retranscrit en actions exécutables pour des mains robotiques dextres multi-doigts, comblant ainsi efficacement l'écart d'incarnation humain-robot pour générer de manière scalable des données de manipulation.

Auteurs originaux : Bhawna Paliwal, Haritheja Etukuru, William Liang, Pieter Abbeel, Nur Muhammad Mahi Shafiullah, Jitendra Malik

Publié 2026-06-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bhawna Paliwal, Haritheja Etukuru, William Liang, Pieter Abbeel, Nur Muhammad Mahi Shafiullah, Jitendra Malik

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous vouliez apprendre à un robot à effectuer une tâche délicate, comme fouetter des œufs ou enfoncer un clou. Traditionnellement, vous devriez vous asseoir avec le robot, lui tenir la main et guider physiquement chacun de ses mouvements. C'est lent, coûteux et cela nécessite l'intervention d'un expert humain pour le guidage.

Ce document présente une nouvelle méthode appelée DO AS I DO qui tente de résoudre ce problème en permettant aux robots d'apprendre simplement en regardant des vidéos du quotidien où des humains accomplissent ces tâches. Imaginez que le robot regarde un tutoriel sur YouTube, puis essaie de reproduire les mouvements de son côté.

Voici comment le système fonctionne, décomposé en deux étapes principales à l'aide d'analogies simples :

Étape 1 : Le « Détective 3D » (Reconstruction)

Le premier défi est que le robot regarde une vidéo en 2D (comme sur votre téléphone), mais il doit comprendre le monde en 3D pour bouger ses doigts. La vidéo peut être tremblante, floue, ou la main peut masquer l'objet.

Le Problème : Si vous regardez simplement une vidéo de quelqu'un tenant une tasse, un ordinateur pourrait être confus quant à la taille de la tasse, sa distance ou la façon exacte dont les doigts l'entourent.
La Solution : Les auteurs ont conçu un système de « Détective 3D ». Il analyse la vidéo plate et utilise une IA avancée pour deviner la forme 3D de la main et de l'objet, ainsi que leur mouvement à travers le temps.
L'Astuce : Pour éviter que l'objet ne « dérive » ou ne change de forme bizarrement pendant son mouvement, le système choisit une image claire pour fixer la forme de l'objet (comme prendre une photo parfaite de la tasse) et suit ensuite simplement comment cette forme fixe se déplace dans le reste de la vidéo. C'est comme coller un autocollant de l'objet sur la vidéo et simplement regarder l'autocollant bouger, plutôt que d'essayer de redessiner l'objet chaque seconde.

Étape 2 : Le « Traducteur de Corps » (Retargeting)

Une fois que le système sait ce que fait la main humaine en 3D, il doit traduire ces mouvements pour le robot. Mais attention : les mains humaines et les mains robotiques sont construites différemment.

Le Problème : Un humain possède de longs doigts flexibles avec de la peau ; une main de robot peut avoir des doigts en métal plus courts et plus rigides. Si vous copiez directement les angles des doigts humains sur le robot, celui-ci pourrait essayer de saisir une tasse d'une manière qui briserait ses propres doigts ou ferait tomber la tasse parce qu'il ne comprend pas la physique (comme la gravité ou la friction).
La Solution : Le système agit comme un traducteur qui ne se contente pas de copier des mots, mais qui traduit l'intention du mouvement.
- L'astuce de l'« Échauffement » : Avant que le robot ne tente de saisir l'objet, il exécute une simulation d'« échauffement » où il s'entraîne à tenir l'objet en l'air. Cela aide le robot à trouver une position de départ stable afin qu'il ne perde pas immédiatement l'objet lorsque l'action réelle commence.
- L'astuce du « Secouage » : Pour s'assurer que le robot est robuste, le système simule de légers chocs ou des poussées aléatoires pendant la pratique. C'est comme apprendre à un enfant à garder l'équilibre sur un vélo en le poussant doucement ; cela force le robot à apprendre une prise qui ne faillira pas si les choses deviennent légèrement désordonnées dans le monde réel.
- Le contrôle de la « Transition » : Le système vérifie spécifiquement les moments où le robot passe de l'état de « repos » à celui de « tenue ». Il ajoute une pénalité si le robot essaie de prendre quelque chose mais manque le contact, garantissant que le robot saisit réellement l'objet, et ne se contente pas de s'agiter à proximité.

Qu'ont-ils accompli ?

L'équipe a testé cela sur une vaste collection de vidéos trouvées sur Internet, incluant :

Des vidéos filmées par des personnes tenant la caméra (vue à la première personne).
Des vidéos filmées par quelqu'un d'autre observant la scène (vue à la troisième personne).
Des vidéos générées par l'IA.

Ils ont constaté que leur méthode était bien plus efficace pour déterminer les mouvements de la main en 3D que les outils précédents. Plus important encore, ils ont réussi à transférer ces mouvements reconstruits sur une véritable main robotique (une main dextre possédant 22 parties mobiles). Le robot a pu accomplir avec succès des tâches telles que fouetter, verser, épousseter et ramasser des objets en se basant uniquement sur le visionnage des vidéos.

Le « Test de Réalité » (Limites)

Les auteurs sont honnêtes sur ce que le système ne peut pas encore faire :

Il suppose que les objets sont solides et rigides (il a du mal avec les choses molles comme la pâte ou le tissu).
Il ne regarde que la main et l'objet, ignorant le reste de la pièce. S'il y a une table sur le chemin, le robot pourrait ne pas savoir l'éviter à moins que la vidéo ne montre clairement la collision.
Il dépend de la précision du simulateur de physique ; si la simulation est légèrement erronée, le robot réel pourrait éprouver des difficultés.

L'essentiel

DO AS I DO est un pipeline qui transforme le « regarder » en « faire ». Il prend une vidéo banale et désordonnée, reconstruit la physique 3D de l'action, la traduit pour le corps spécifique d'un robot, et produit un ensemble d'instructions qu'un vrai robot peut suivre pour accomplir des tâches dextres. C'est une étape vers la possibilité pour les robots d'apprendre de la vaste bibliothèque de vidéos humaines déjà présentes sur Internet, plutôt que de nécessiter que des humains leur enseignent manuellement chaque mouvement.

Résumé technique : DO AS I DO

Problématique

Le domaine de l'apprentissage robotique fait face à un goulot d'étranglement critique : la rareté des données expérientielles pour la manipulation dextre, particulièrement sur les mains robotiques multi-doigts. Bien que les données observationnelles (vidéos RGB monoculaires d'humains effectuant des tâches) soient abondantes, la conversion de ces données de « vision » en données de « faire » pour les robots est entravée par deux défis principaux :

Estimation de l'interaction main-objet : Reconstruire avec précision les interactions 3D main-objet à partir de vidéos RGB monoculaires bruitées et issues du monde réel est difficile. Les méthodes existantes échouent souvent face au flou de mouvement, à l'occlusion ou lorsqu'elles traitent des objets divers et non structurés.
Écart d'incarnation et de ciblage (Retargeting) : Même avec des trajectoires humaines reconstruites, mapper ces dernières vers un robot possédant une morphologie très différente (longueur des doigts, articulations) n'est pas trivial. Les approches de ciblage antérieures reposent souvent sur des solveurs cinématiques qui ignorent la physique (entraînant des pénétrations ou de l'instabilité) ou nécessitent des données de référence propres et de vérité terrain (ex: capture de mouvement), ce qui est indisponible pour les vidéos à l'échelle d'Internet.

La question posée est la suivante : Comment peut-on combler l'écart entre les données humaines observationnelles et les données robotiques expérientielles sans faire d'hypothèses restrictives sur le comportement, les classes d'objets ou la modalité des données ?

Méthodologie : DO AS I DO

Les auteurs proposent DO AS I DO, un pipeline en deux étapes qui reconstruit les interactions main-objet à partir de vidéos RGB monoculaires et les re-cible vers des actions robotiques physiquement réalisables.

1. Reconstruction (Suivi main-objet)

La première étape vise à récupérer une trajectoire 4D cohérente (3D + temps) de la main et de l'objet à partir d'une vidéo à vue unique.

Suivi de la main : Le système utilise HaWoR [45], un modèle robuste pour la reconstruction du mouvement de la main dans l'espace du monde, pour suivre la main humaine.
Suivi de l'objet via la Diffusion Guidée : Pour l'objet, les auteurs adaptent SAM 3D [11], un modèle de fondation génératif image-vers-3D. Puisque SAM 3D génère des maillages indépendants par image (manquant de cohérence temporelle), les auteurs introduisent un mécanisme de suivi par Diffusion Guidée :
- Ils fixent la forme de l'objet $\bar{x}_s$ à une image d'ancrage.
- Pour les images suivantes, ils échantillonnent la pose $x^p_k$ conditionnée par la forme fixe et la pose de l'image précédente $x^p_{k-1}$ .
- Ceci est réalisé en modifiant le processus d'inférence de flow-matching (Éq. 1), en mélangeant la mise à jour de débruitage du modèle avec des interpolants cibles (la forme fixe et la pose précédente) à l'aide de paramètres de guidage adaptatifs.
- Guidage Adaptatif : La force de guidage de la pose $\alpha_p$ est dérivée dynamiquement de la vitesse de rotation estimée de l'objet (en utilisant des traces de points 2D), évitant ainsi une rigidité excessive ou des basculements spécieux.
- Échantillonnage et Sélection : Pour gérer la stochasticité de la diffusion, le système échantillonne $N$ poses candidates par image et sélectionne la meilleure en utilisant une heuristique basée sur le clustering sur une distance SE(3) pondérée, plutôt qu'un classement par densité de log coûteux en calcul.
Alignement : La main et l'objet reconstruits indépendamment (qui peuvent être à des échelles différentes) sont alignés dans un espace quasi-métrique. La translation de l'objet est mise à l'échelle par rapport au centroïde de la main en utilisant les informations de profondeur de MoGe [10], et la trajectoire est alignée avec la gravité grâce à GeoCalib [68].

2. Ciblage (Optimisation sensible à la dynamique)

La seconde étape mappe la trajectoire humaine reconstruite vers une main robotique dextre (Sharpa Wave) et un bras (UR3e) en utilisant une optimisation basée sur l'échantillonnage (de type MPPI) au sein d'un simulateur physique (MuJoCo Warp).

Étapes de préchauffage (Warmup) : Pour remédier au problème des images initiales bruitées qui pourraient placer le robot dans un état irrécupérable (ex: lâcher un objet immédiatement), le système prépende $H$ étapes de « préchauffage ». Pendant cette phase, l'objet est maintenu en place (ex: en l'air) tandis que la main du robot se déplace librement pour trouver une saisie stable avant de commencer le suivi.
Perturbation de force aléatoire : Pour garantir la robustance contre les minima locaux et les interactions instables (ex: équilibre sur le bout des doigts), l'optimisation introduit des forces et des couples aléatoires pendant les déploiements (rollouts). Cela encourage des contrôles robustes aux perturbations mineures.
Récompense de transition : Pour gérer la nature discrète des états « au repos » vs « en main », un terme de pénalité est ajouté pour les transitions échouées (ex: manque de contact main-objet pendant les phases « en main » ou manque de contact objet-sol pendant les phases « au repos »).

Contributions clés

Algorithme : Introduction de DO AS I DO, un pipeline qui reconstruit et cible des comportements à partir de vidéos RGB monoculaires arbitraires vers des mains dextres multi-doigts sans supposer de classes d'objets ou de priors de saisie spécifiques.
SOTA de la reconstruction : Un processus de reconstruction main-objet qui surpasse les méthodes de l'état de l'art (SOTA) sur les benchmarks standards (DexYCB, HOI4D) et gère des vidéos diverses et bruitées issues du monde réel (égocentrées et exocentrées).
Ciblage robuste : Un processus de ciblage sensible à la dynamique qui améliore les techniques scalables existantes en introduisant des étapes de préchauffage, des perturbations de force et des récompenses de transition pour gérer les références reconstruites bruitées.
Pipeline réel : Le premier pipeline connu capable de prendre une vidéo d'Internet et de générer des déploiements de mains dextres dans le monde réel, validé sur une configuration robotique bimanuelle.

Résultats expérimentaux

Reconstruction : Sur les jeux de données DexYCB et HOI4D, DO AS I DO atteint de nouveaux records SOTA en F-score (F-5, F-10) et en distance de Chamfer (CD), surpassant les méthodes de reconstruction conjointe (ex: MCC-HO, G-HOP) et les suiveurs d'objets (FoundationPose, Any6D).
Évaluation In-the-Wild : Sur un benchmark de 150 vidéos d'Internet, les évaluateurs humains ont préféré le suivi d'objet de DO AS I DO par rapport à FoundationPose dans 67 % des cas. Qualitativement, la méthode maintient la cohérence temporelle là où les bases perdent l'objet sous l'effet du flou de mouvement ou de l'occlusion.
Ciblage (Retargeting) : Sur l'ensemble de données reconstruit "in-the-wild", la méthode atteint un taux de succès de 71 %, une amélioration significative par rapport à la méthode de base d'échantillonnage recuit (Annealed Sampling) qui est de 25 %. Le composant « Warmup » a été identifié comme le principal différenciateur. Sur le jeu de données propre OakInk2 (MoCap), les taux de succès sont passés de 72 % (base) à 81 %, démontant l'efficacité de la méthode même avec des références de haute qualité.
Déploiement : Le système a exécuté avec succès 10 tâches diverses (ex: fouetter, verser, marteler) sur une configuration robotique bimanuelle réelle.

Signification et Revendications

L'article affirme que DO AS I DO comble le fossé entre les données observationnelles et expérientielles pour la manipulation dextre. En exploitant les avancées récentes de la vision 3D par ordinateur (modèles de fondation pour la profondeur et la génération 3D) et la simulation physique accélérée par GPU, les auteurs démontent qu'il est possible de passer à l'échelle la collecte de données robotiques par la simple observation des humains.

Les auteurs positionnent leur travail comme une étape vers la transformation des vidéos humaines en « citoyens de premier rang » dans le paysage de l'apprentissage robotique. Ils proposent un « playbook d'efficacité » pour les praticiens, soulignant que les données brutes d'Internet nécessitent un filtrage important (seulement ~4-5 % des clips échantillonnés ont été jugés utiles dans leur analyse), mais que les données restantes sont extrêmement précieuses pour apprendre des compétences de manipulation complexes.

Limites reconnues :
L'approche suppose des objets rigides et des prédictions de profondeur métrique relativement précises. Elle éprouve des difficultés avec les distances main-objet ambiguës (distinguer le contact de l'occlusion) et ne raisonne pas sur l'ensemble des contraintes de la scène (obstacles, autres objets), se concentrant uniquement sur la main et un objet cible unique. De plus, la fidélité des performances réelles est limitée par l'approximation du simulateur physique.