Résumé Technique : Wh0 - Modèles de Monde Génératifs comme Sources Scalables de Données d'Interaction Humaine Main-Objet en Vue Egocentrée

1. Énoncé du Problème

Le passage à l'échelle de la manipulation dextre en robotique nécessite une généralisation à travers divers objets, scènes et tâches. Cependant, les sources de données existantes sont confrontées à un compromis fondamental entre échelle et alignement avec le déploiement du robot :

• Données de Téléopération : Bien alignées avec le déploiement du robot (scène et embodiment) mais coûteuses à collecter et limitées en échelle.
• Simulation : Hautement scalable mais souffre d'un écart important entre simulation et réalité (sim-to-real gap).
• Vidéos Egocentrées Réelles : Passent à l'échelle efficacement et fournissent des priors riches sur l'interaction humain-objet, mais souffrent de fossés de scène (les environnements humains diffèrent des espaces de travail des robots) et de fossés d'embodiment (les mains humaines diffèrent des mains robotiques dextres).

Les modèles actuels de Vision-Langage-Action (VLA), souvent pré-entraînés sur de larges échelles de vidéos humaines, peinent à transférer ces priors vers le déploiement de robots dextres en raison de ces désalignements. Le papier postule qu'une source de données idéale doit être scalable, alignée sur le déploiement et minimiser la dépendance à la collecte coûteuse de données humaines.

2. Méthodologie : Le Cadre Wh0

Les auteurs proposent Wh0, un cadre qui utilise des modèles de monde vidéo génératifs comme sources contrôlables et scalables pour synthétiser des données d'interaction main-objet humaine en vue egocentrée. Au lieu d'utiliser les modèles de monde pour simuler la dynamique du robot ou prédire des états futurs, Wh0 les utilise pour générer des vidéos diverses d'interaction humain-objet conditionnées par le langage, les objets et les scènes.

A. Construction du Jeu de Données WM-H

Wh0 construit WM-H, un jeu de données de 50 000 épisodes de vidéos d'interaction humain-objet en vue egocentrée. Le pipeline de synthèse comprend quatre étapes clés :

1. Génération d'Instructions : Un système à double agent équilibre diversité et fréquence. Un agent découvre des noms d'objets et des adjectifs d'attributs, tandis qu'un second agent échantillonne des mots sous-représentés pour assembler des commandes en langage naturel (ex: "prends le mug rouge"). Cela garantit une large couverture des combinaisons (objet, attribut).
2. Synthèse Vidéo Alignée sur la Scène et l'Embodiment :
   • Alignement de Scène : Les images de fond sont capturées dans l'espace de travail cible du robot en utilisant la caméra de déploiement pour assurer une correspondance de point de vue, de résolution et d'échelle métrique. Une main humaine est placée comme ancre d'échelle. Les objets sont insérés dans ces scènes via des modèles d'édition d'image (Qwen-Image-Edit).
   • Génération Vidéo : Un modèle image-vers-vidéo (Wan-I2V-A14B) anime la scène éditée en fonction de l'instruction linguistique. Pour améliorer la correction du mouvement, un modèle vision-langage (Qwen3-VL) génère des descriptions des changements d'état attendus à ajouter au prompt.
   • Alignement d'Embodiment : Pour combler l'écart entre les mains humaines et robotiques, le pipeline remplace la main humaine dans des images sélectionnées par une main robotique réaliste via l'édition d'image, tout en préservant la pose, la position et le mouvement de l'objet originaux. Cela encourage la politique à apprendre la sémantique de l'action plutôt que l'identité de l'exécuteur.
3. Extraction du Mouvement de la Main : La reconstruction de la main humaine étant plus mature que celle de la main robotique, le système extrait les poses 3D des mains à partir des vidéos synthétisées de mains humaines. En utilisant HaWoR, le système reconstruit les paramètres MANO et les poses du poignet dans l'espace caméra pour servir de supervision d'action explicite.
4. Sortie du Jeu de Données : Le résultat est WM-H, contenant 50k épisodes avec instructions linguistiques, annotations de pose de main 3D et données visuelles alignées. Le coût de génération est d'environ 5,44 heures-GPU par 1 000 vidéos.

B. Stratégie d'Apprentissage de la Politique

Wh0 emploie une stratégie de co-entraînement pour adapter les modèles VLA pré-entraînés :

• Architecture : La politique suit une architecture de type VITRA, utilisant un backbone PaliGemma pour l'encodage vision-langage et un décodeur d'action basé sur la diffusion. L'espace d'action est défini dans l'espace MANO unifié (102 dimensions), permettant de retargeter les articulations du robot vers les paramètres de la main humaine.
• Mélange d'Entraînement : Le modèle est initialisé avec un backbone VITRA pré-entraîné sur de larges échelles de vidéos humaines (Ego4D, Epic-Kitchens, etc.). Il est ensuite affiné sur un mélange de :
  • Données de Téléopération Réelles Limitées : 400 trajectoires expertes (28% du batch) pour fournir des contraintes spécifiques au déploiement.
  • Données WM-H : 50 000 échantillons synthétiques (68% du batch) pour fournir une diversité visuelle et sémantique.
  • Frames Alignées sur l'Embodiment : Un sous-ensemble de frames de WM-H avec des mains robotiques éditées (4% du batch).
• Objectif : Cette approche vise à combler l'écart entre les priors de manipulation humaine et les contraintes d'exécution robotiques via un espace d'action unifié.

2. Contributions Clés

1. Modèles de Monde Génératifs comme Moteurs de Données : Le papier reformule les modèles de monde vidéo génératifs non pas comme des simulateurs de dynamique, mais comme des générateurs scalables et contrôlables de données d'interaction main-objet humaine où la scène, l'objet et l'embodiment sont des variables de conception.
2. Jeu de Données WM-H : La création d'un jeu de données de 50k échantillons qui combine de manière unique l'échelle avec de faibles écarts de scène et d'embodiment, présentant des objets, des configurations et des interactions main-objet diversifiés.
3. Cadre de Co-entraînement : Une stratégie d'entraînement novatrice qui co-entraîne des données robotiques réelles limitées avec de massives données de mains humaines synthétiques, démontrant que cette combinaison débloque des capacités de manipulation pré-entraînées inaccessibles avec les seules données robotiques.
4. Techniques d'Alignement : Méthodes spécifiques pour aligner les vidéos générées sur les espaces de travail des robots (alignement de scène via la capture de l'arrière-plan) et les embodiments robotiques (édition de la main robotique) afin de minimiser l'écart sim-to-real.

4. Résultats Expérimentaux

Le cadre a été évalué sur un humanoïde Unitree G1 avec des mains dextres Inspire sur 18 tâches de manipulation dextre en conditions réelles (ex: saisie, pose, utilisation d'outils) impliquant des objets et environnements inconnus.

• Gain de Performance : Comparé à une base VLA forte (VITRA) post-entraînée uniquement sur des données de téléopération robotique (8,3% de succès zero-shot), le cadre Wh0 a amélioré le taux de succès à 38,9% (un gain de 4,7×).
• Études d'Ablation :
  • Alignement : Supprimer l'alignement de scène ou l'alignement d'embodiment dégrade significativement les performances, confirmant que les deux sont des moteurs critiques de succès.
  • Échelle : Augmenter la taille du jeu de données WM-H (de 5k à 50k) améliore systématiquement les métriques de grounding et le succès des tâches.
  • Priors de Pré-entraînement : L'analyse montre que le pré-entraînement sur des vidéos humaines est essentiel. Sans lui, même avec la téléopération et WM-H, les taux de succès restent proches de zéro. Cela indique que WM-H sert à débloquer et aligner les priors de manipulation humaine déjà acquis par les modèles VLA plutôt qu'à enseigner les compétences dextres à partir de zéro.
• Comparaison : Wh0 a surpassé les bases utilisant des vidéos humaines égocentrées réelles (HOV4D) pour le co-entraînement, suggérant que les données générées par modèle de monde fournissent une supervision plus adaptée à l'exécution robotique.

5. Signification et Revendications

Le papier affirme que Wh0 démontre une voie viable pour passer à l'échelle de la manipulation dextre en exploitant les modèles de monde génératifs. La signification centrale réside dans le fait que la génération scalable combinée à l'alignement de déploiement peut surmonter le goulot d'étranglement de la rareté des données en robotique.

Les auteurs soutiennent que :

• Les modèles de monde génératifs peuvent servir de sources de données "pilotées par le calcul", remplaçant le besoin de collecte massive de travail humain.
• La valeur primaire de WM-H n'est pas d'apprendre de nouvelles compétences à partir de zéro, mais d'activer et d'aligner les priors de manipulation déjà acquis par les modèles VLA lors du pré-entraînement sur de larges échelles de vidéos humaines.
• Cette approche permet aux robots de généraliser en zero-shot à des tâches, environnements et instructions inédits dans le monde réel.

Limites Reconnues :
Le papier note que l'approche est limitée par la qualité de la génération vidéo (potentiels défauts physiques), la précision de la reconstruction de la main (occlusions), les mésappariements de morphologie humain-robot, et une dépendance à un fort pré-entraînement sur des vidéos humaines. Le périmètre actuel est limité aux tâches de pick-and-place à un seul bras, les tâches bimanuelles et à long horizon étant identifiées comme des travaux futurs.