💻 computer science

Masquerade: Learning from In-the-wild Human Videos using Data-Editing

Masquerade résout la pénurie de données robotiques en modifiant des vidéos humaines capturées in situ pour synthétiser des démonstrations robotiques grâce à l'inpainting de bras et au superposition de robots, permettant ainsi une stratégie de co-entraînement qui surpasse nettement les méthodes existantes sur des tâches bimanuelles à long horizon.

Auteurs originaux : Marion Lepert, Jiaying Fang, Jeannette Bohg

Publié 2026-05-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Marion Lepert, Jiaying Fang, Jeannette Bohg

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous vouliez enseigner à un robot comment préparer un repas complexe, comme empiler des casseroles ou éplucher une pomme de terre. Le problème est que vous n'avez pas des milliers de vidéos de robots effectuant ces tâches. Enregistrer des données robotiques est lent, coûteux et nécessite un équipement spécial.

Cependant, Internet est inondé de millions de vidéos de humains cuisinant. Le problème avec l'utilisation de ces vidéos est que les humains ont une apparence et des mouvements très différents de ceux des robots. Si vous montrez simplement à un robot une vidéo d'une main humaine saisissant une cuillère, le robot est confus car il n'a pas de main humaine ; il possède une pince métallique. C'est ce qu'on appelle le « fossé de l'incarnation » (embodiment gap).

Masquerade est une astuce ingénieuse pour combler ce fossé. Voici comment cela fonctionne, décomposé en étapes simples :

1. Le « Masque Numérique » (Édition des données)

Imaginez les chercheurs comme des éditeurs numériques portant un « masque de bal ». Ils prennent des vidéos brutes de humains cuisinant et les font passer dans un pipeline spécial :

Étape A : Ils utilisent l'IA pour localiser exactement où se trouvent les mains de l'humain dans chaque image.
Étape B : Ils utilisent l'« inpainting » (comme une gomme magique) pour peindre par-dessus les bras et le corps de l'humain, les supprimant de la vidéo.
Étape C : Ils collent numériquement un bras de robot simulé exactement à l'endroit où se trouvait le bras humain.

Le résultat est une vidéo qui semble montrer un robot cuisinant, même si c'était à l'origine un humain. Ils ont transformé 675 000 images de vidéos humaines en démonstrations « robotisées ».

2. L'« Apprenti » (Pré-entraînement)

Maintenant, ils disposent d'une vaste bibliothèque de ces fausses vidéos de robots. Ils l'utilisent pour entraîner le « cerveau » du robot (un encodeur de vision).

La Leçon : Le cerveau du robot apprend à regarder une scène et à prédire où se déplacera ensuite la pince du robot, simplement en regardant ces vidéos éditées.
L'Analogie : C'est comme un élève qui lit mille livres d'histoires sur la façon dont un chef se déplace, même si l'élève n'a jamais tenu de couteau. Il apprend le concept du mouvement.

3. Le « Mentor » (Co-entraînement)

Le robot doit encore apprendre la physique spécifique et réelle de son propre corps. Ainsi, les chercheurs collectent une petite quantité de données réelles : seulement 50 vidéos d'un vrai robot effectuant la tâche dans une cuisine spécifique.

La Surprise : Au lieu de s'entraîner uniquement sur ces 50 vidéos réelles, ils s'entraînent sur les 50 vidéos réelles en même temps que sur les milliers de vidéos humaines éditées.
Pourquoi ? S'ils ne s'entraînaient que sur les 50 vidéos réelles, le robot serait trop rigide et échouerait dans de nouvelles cuisines. S'ils ne s'entraînaient que sur les vidéos humaines, le robot ne comprendrait pas sa propre pince métallique. En faisant les deux ensemble, le robot apprend le « flux » général de la cuisine à partir des humains et la « sensation » spécifique de son propre corps à partir des 50 exemples réels.

Le Résultat : Un Chef Maître dans n'importe quelle Cuisine

Les chercheurs ont testé cela sur trois tâches difficiles (empiler des casseroles, éplucher des pommes de terre, balayer des piments) dans de nouvelles cuisines que le robot n'avait jamais vues auparavant.

La Compétition : Ils ont comparé leur méthode à d'autres modèles d'IA de pointe qui apprenaient soit à partir de vidéos humaines brutes (sans édition), soit à partir de jeux de données d'images standard.
La Victoire : Le robot Masquerade a été 5 à 6 fois plus réussi que les autres.
La Découverte Clé : La « magie » ne résidait pas seulement dans la possession de plus de données ; c'était l'édition. Lorsqu'ils ont essayé d'utiliser les vidéos humaines sans remplacer les bras humains par des bras de robot, les performances se sont effondrées. Le robot avait besoin de se voir (ou une version de lui-même) dans la vidéo pour apprendre efficacement.

Résumé

Masquerade revient à donner à un robot un « rêve » où il se voit exécuter des millions de tâches qu'il n'a jamais réellement accomplies. En éditant numériquement des vidéos humaines pour qu'elles ressemblent à des vidéos de robots, puis en mélangeant cela avec un tout petit peu de pratique réelle, le robot apprend à généraliser. Il peut entrer dans une cuisine complètement nouvelle et cuisiner avec succès, même s'il n'a été entraîné que sur 50 exemples réels.

Ce que l'article NE prétend PAS :

Il ne prétend pas que le robot est parfait ; l'édition n'est pas toujours 100 % précise (par exemple, si une main est cachée derrière une casserole, le robot peut avoir une apparence étrange).
Il ne prétend pas que cela fonctionne pour tous les types de robots (ils ont utilisé une configuration spécifique à deux bras).
Il ne prétend pas que cela résout le problème du déplacement des robots (le robot de l'expérience avait une caméra et une base fixes).

Le message central est simple : Ne regardez pas simplement les humains ; éditez la vidéo pour montrer au robot à quoi cela ressemblerait s'il faisait la même chose, et vous obtiendrez de bien meilleurs résultats.

Résumé Technique : Masquerade

Énoncé du Problème

La recherche en manipulation robotique fait face à un goulot d'étranglement critique : la pénurie de données. Contrairement au traitement du langage naturel (NLP) et à la vision par ordinateur (CV), qui exploitent des ensembles de données massifs et diversifiés pour réaliser des percées, les jeux de données robotiques sont plusieurs ordres de grandeur plus petits et moins diversifiés. La collecte de démonstrations réelles par robot est lente et coûteuse. Bien que les vidéos humaines « in-the-wild » offrent une source vaste et facilement disponible de données de manipulation, leur exploitation pour l'apprentissage de politiques robotiques est difficile en raison de deux facteurs principaux :

Écart d'incarnation visuelle : Les humains et les robots ont des apparences et des mouvements différents ; les mains humaines ne correspondent pas directement aux pinces robotiques.
Absence d'étiquettes d'action : Les vidéos humaines brutes manquent des étiquettes d'action précises requises pour l'apprentissage supervisé de politiques.

Des travaux antérieurs ont tenté de combler cet écart en pré-entraînant des encodeurs de vision sur des vidéos humaines ou en apprenant des fonctions de récompense, mais ils échouent souvent à traiter explicitement l'écart d'incarnation visuelle, comptant plutôt sur le modèle pour apprendre implicitement les correspondances. Cet article postule que fermer explicitement cet écart, même imparfaitement, peut débloquer un signal significativement plus important à partir des vidéos humaines.

Méthodologie : Masquerade

Masquerade est un pipeline qui édite des vidéos humaines égocentriques « in-the-wild » pour créer des démonstrations « robotisées », lesquelles sont ensuite utilisées pour pré-entraîner et co-entraîner une politique robotique. Le processus se compose de trois étapes principales :

1. Édition de Données et « Robotisation »

Le pipeline convertit des vidéos humaines brutes (spécifiquement issues du jeu de données Epic Kitchens) en démonstrations robotiques synthétiques en procédant comme suit :

Estimation de Pose : Utilisation de HaMeR pour estimer 21 points clés anatomiques par main à partir d'images vidéo monoculaires.
Réaffectation (Retargeting) : Mappage de ces poses de mains 2D vers des poses d'effecteurs terminaux de robot 3D (position, orientation et largeur de pince).
Inpainting : Segmentation et suppression des bras humains des images vidéo à l'aide de Detectron2 et SAM2, suivie d'un inpainting du fond utilisant E2FGVI.
Superposition (Overlay) : Rendu d'un robot bimanuel simulé dans la même pose que la trajectoire d'effecteur terminal estimée et composition de celui-ci dans l'image originale.
Filtrage : Rejet des images présentant un mouvement de caméra excessif ou des extractions de points clés invalides pour assurer la stabilité des robots à base fixe.

Cela aboutit à un jeu de données de 675 000 images éditées où la vidéo semble montrer un robot exécutant la tâche.

2. Pré-entraînement de l'Encodeur de Vision

Un Vision Transformer (ViT-Base) est pré-entraîné sur les vidéos humaines éditées.

Objectif : L'encodeur est entraîné à prédire les futurs points clés 2D du robot (positions de l'effecteur terminal) sur un horizon $H$ .
Conditionnement : L'encodeur est conditionné par des descriptions en langage naturel des clips vidéo à l'aide de couches FiLM.
Perte : Une perte de régression de points clés 2D ( $L_{2D}$ ) est minimisée. Crucialement, les points clés 2D sont dérivés en projetant les positions lissées de l'effecteur terminal 3D sur le plan de l'image, corrigées pour le mouvement de caméra égocentrique via une homographie.

3. Co-entraînement avec des Données Réelles de Robot

L'encodeur de vision pré-entraîné est affiné conjointement avec une tête de politique basée sur la diffusion en utilisant un petit ensemble de démonstrations réelles de robots (50 par tâche).

Stratégie : Le modèle est co-entraîné sur un mélange de vidéos humaines éditées (en utilisant la perte auxiliaire 2D $L_{2D}$ ) et de données réelles de robots (en utilisant une perte d'imitation $L_{policy}$ ).
Raison d'être : Le maintien de l'objectif de pré-entraînement pendant l'affinement est critique. Il empêche l'encodeur d'« oublier » les représentations riches apprises à partir du vaste jeu de données de vidéos humaines, préservant ainsi la robustesse face aux décalages de scène hors distribution (OOD).
Cohérence Synthétique : Pour minimiser l'écart visuel entre les domaines d'entraînement, les démonstrations réelles de robots sont également traitées en effectuant un inpainting des bras réels du robot et en superposant le même modèle de robot virtuel, garantissant que le modèle voit toujours l'apparence « robotisée ».

Contributions Clés

Pont d'Incarnation Explicite : L'article démontre que la fermeture explicite de l'écart d'incarnation visuelle via un simple inpainting 2D et des superpositions de robots améliore considérablement la transférabilité des représentations des vidéos humaines vers les robots.
Pipeline de Co-entraînement : Les auteurs montrent que le co-entraînement de l'encodeur de vision avec des données réelles de robots (plutôt que le simple affinage) est indispensable pour préserver les connaissances acquises à partir des vidéos humaines et atteindre une robustesse OOD.
Évolutivité : La méthode évolue logarithmiquement avec la quantité de données de vidéos humaines éditées, suggérant que des jeux de données plus importants entraîneront de nouveaux gains de performance.
Généralisation Zero-Shot : L'approche permet un déploiement zero-shot dans des environnements non vus sans nécessiter de collecte supplémentaire de données robotiques pour ces scènes spécifiques.

Résultats Expérimentaux

La méthode a été évaluée sur trois tâches de cuisine bimanuelles à long horizon (Empiler des Casseroles, Éplucher une Pomme de Terre, Balayer des Piments) à travers trois scènes distinctes hors distribution par tâche.

Performance : Masquerade a surpassé tous les modèles de référence (ImageNet, DINOv2 et HRP) d'une moyenne de 5 à 6 fois en termes de taux de réussite. Plus précisément, il a atteint un taux de réussite de 74 % contre des taux de référence allant de 12 % à 20 %.
Études d'Ablation :
- Sans Superposition : Le retrait de la superposition robotique et l'entraînement sur des vidéos humaines brutes ont provoqué une chute brutale des performances, confirmant la nécessité de l'alignement visuel.
- Sans Co-entraînement : Le pré-entraînement suivi d'un affinage pur (sans co-entraînement sur les données humaines) a conduit à une chute dramatique des performances, indiquant que le co-entraînement est essentiel pour conserver les représentations pré-entraînées.
Mise à l'Échelle des Données : Les taux de réussite ont augmenté de manière monotone avec la fraction de données de vidéos humaines éditées utilisées (de 2 % à 0 % de données jusqu'à 68 % à 100 % de données).
Robustesse OOD : Contrairement aux modèles de référence qui ont subi de fortes baisses de performance lors du passage de scènes en distribution à des scènes hors distribution, Masquerade a maintenu des niveaux de performance similaires, démontrant une robustesse supérieure face aux décalages de scène.

Importance et Revendications

L'article affirme que Masquerade démontre que traiter explicitement l'écart d'incarnation visuelle — même par le biais de superpositions 2D imparfaites — débloque une source vaste et sous-utilisée de données issues de vidéos humaines « in-the-wild ». En combinant l'édition de données avec une stratégie de co-entraînement, la méthode permet aux robots d'apprendre des politiques de manipulation robustes à partir de jeux de données massifs de vidéos humaines en n'utilisant qu'une poignée de démonstrations réelles de robots.

Les auteurs soulignent que cette approche ne nécessite pas de reconstruction 3D complexe ni de données de profondeur, ce qui en fait une solution pratique et évolutive pour améliorer les politiques robotiques. Ils concluent que ce pipeline offre une voie prometteuse vers l'apprentissage robotique à l'échelle du web, où les limites de la collecte de données robotiques sont surmontées en exploitant l'abondance des données de vidéos humaines.

Limites Reconnaues :
L'article note que la méthode repose sur des estimateurs de pose de mains qui peinent avec les mouvements rapides ou les occlusions importantes, nécessitant un filtrage des données. L'absence de données de profondeur limite le réalisme du traitement des occlusions dans les superpositions. De plus, la réaffectation des mains humaines dextres vers des pinces à mâchoires parallèles est imparfaite. Des travaux futurs pourraient impliquer de meilleurs estimateurs de pose, un raisonnement sur la profondeur et une réaffectation plus expressive pour les pinces dextres.