Generated Reality: Human-centric World Simulation using Interactive Video Generation with Hand and Camera Control

Ce papier présente un modèle de monde vidéo centré sur l'humain qui génère des environnements virtuels en temps réel en réponse aux poses de tête et de mains suivies, offrant ainsi un contrôle interactif supérieur pour les interactions d'objets dextres par rapport aux méthodes existantes.

L'essentiel

🌟 Le Concept : "La Réalité Générée"

Imaginez que vous portez des lunettes de réalité virtuelle (comme des lunettes de soleil magiques). Aujourd'hui, pour créer un monde virtuel, il faut des équipes entières d'artistes et de programmeurs qui passent des mois à construire chaque arbre, chaque maison et chaque objet, comme des Lego géants. C'est lent, cher et compliqué.

Les auteurs de ce papier proposent quelque chose de radicalement différent : une réalité qui se dessine toute seule, instantanément, juste en fonction de ce que vous faites.

Ils appellent cela la "Réalité Générée". C'est comme si vous aviez un pinceau magique qui peint le monde autour de vous en temps réel, uniquement en suivant vos mouvements de tête et de mains.

---

🎭 Comment ça marche ? (L'analogie du Chef d'Orchestre et du Soliste)

Pour faire fonctionner ce système, les chercheurs ont dû enseigner à une intelligence artificielle (une sorte de "super-cerveau" qui regarde des millions de vidéos) à comprendre deux choses essentielles :

1. Où vous regardez (La Tête) : C'est la caméra. Si vous tournez la tête à gauche, le monde doit tourner à gauche.
2. Ce que vous faites avec vos mains (Les Mains) : C'est là que ça devient compliqué. La plupart des systèmes actuels ne comprennent que des mouvements grossiers (comme "avancer" ou "reculer"). Mais ici, ils veulent que l'IA comprenne chaque doigt.

Le Problème : Le "Flou Artistique"

Imaginez que vous demandez à un peintre de dessiner votre main en train de saisir une pomme.

• Si vous lui donnez juste une photo de votre main (2D), il ne sait pas si votre main est devant ou derrière la pomme. C'est comme un dessin en papier plat : on ne voit pas la profondeur.
• Si vous lui donnez juste des coordonnées mathématiques (3D), il sait où est la main, mais il a du mal à savoir comment elle s'intègre dans le décor.

La Solution : La Recette "Hybride"

Les chercheurs ont découvert que la meilleure façon de donner des instructions à l'IA, c'est de lui donner les deux en même temps :

• L'image du squelette (2D) : Comme un dessin animé de vos os, pour dire "la main est ici, sur l'image".
• Les données mathématiques (3D) : Comme un plan d'architecte, pour dire "la main est à 30 cm de l'objectif et tourne de telle manière".

C'est comme si vous donniez au peintre à la fois le croquis rapide et les mesures précises. Résultat ? L'IA peut dessiner une main qui attrape une pomme, ouvre une porte ou agite un drapeau, même si la main passe derrière un objet. Elle ne se perd plus !

---

🚀 L'Expérience : Jouer au "Simulateur de Vie"

Pour tester leur invention, ils ont créé un système qui fonctionne en direct (comme un jeu vidéo, mais généré à la volée).

Le scénario de test :
Des volontaires portaient un casque VR. Devant eux, il y avait des objets virtuels : un bouton vert, un bocal à ouvrir, un volant de voiture.

• Le groupe "Témoin" (Sans contrôle des mains) : L'IA devinait ce qu'ils voulaient faire en lisant un texte (ex: "Ouvre le bocal"). Résultat ? Souvent, la main virtuelle ne touchait rien, ou ouvrait le mauvais objet. C'était comme essayer de jouer à la guitare avec des gants de boxe.
• Le groupe "Réalité Générée" (Avec contrôle des mains) : L'IA suivait les mouvements réels des doigts des joueurs.
  • Si le joueur tendait le doigt, la main virtuelle tendait le doigt.
  • Si le joueur serrait la main, la main virtuelle serrait l'objet.

Les résultats :

• Succès : Les joueurs avec le contrôle des mains ont réussi leurs tâches 71 % du temps, contre seulement 3 % pour le groupe témoin !
• Sensation : Les joueurs ont dit se sentir beaucoup plus en contrôle. Ils avaient l'impression de vraiment interagir avec le monde, et non pas de regarder un film où l'on ne peut rien faire.

---

💡 Pourquoi c'est important pour le futur ?

Aujourd'hui, créer un monde virtuel demande des années de travail. Avec cette technologie, vous pourriez, demain matin, dire : "Je veux être dans une forêt magique et attraper une licorne", et le système créerait ce monde instantanément, en suivant vos mouvements réels.

C'est comme passer d'un livre de contes (où l'histoire est écrite à l'avance) à un rôle-play improvisé où l'histoire change selon vos gestes.

Les défis restants :
Pour l'instant, le système est un peu lent (il faut attendre une fraction de seconde pour que l'image s'affiche) et la qualité n'est pas encore celle d'un film Hollywoodien. Mais c'est le premier pas vers un futur où l'on peut apprendre, s'entraîner ou s'amuser dans des mondes infinis, créés à la volée, sans avoir besoin de construire des décors en 3D.

En résumé : C'est la fin de la construction manuelle des mondes virtuels et le début de l'imagination instantanée.

Résumé technique

1. Problématique et Contexte

Le domaine de la réalité étendue (XR) souffre d'un goulot d'étranglement majeur : la création de contenu est laborieuse, coûteuse et nécessite une expertise technique pointue pour modéliser des environnements 3D. Bien que les modèles de génération vidéo (modèles du monde) aient fait des progrès significatifs, ils restent limités dans leur interactivité.

• Limitations actuelles : Les modèles existants ne répondent qu'à des signaux de contrôle grossiers (textes, commandes clavier) ou à des poses corporelles globales. Ils échouent à gérer les interactions fines main-objet (dextérité, articulation des doigts) et ne permettent pas un contrôle précis de la caméra (point de vue) en temps réel.
• Objectif : Créer un modèle de monde centré sur l'humain capable de générer des environnements virtuels immersifs en réponse aux mouvements réels de l'utilisateur (tête et mains) de manière "zero-shot" (sans nécessiter de modèles 3D pré-conçus).

2. Méthodologie

L'approche proposée repose sur l'adaptation d'un modèle de diffusion vidéo transformateur (basé sur la famille Wan) pour intégrer des données de suivi utilisateur précises.

A. Représentation et Conditionnement des Mains

Les auteurs ont mené une étude systématique pour déterminer la meilleure stratégie d'injection des poses de mains dans le modèle de diffusion.

• Représentation Hybride 2D-3D : Ils proposent une combinaison innovante :
  1. Vue 2D (ControlNet) : Un squelette de main rendu en 2D depuis le point de vue de l'utilisateur, fournissant un ancrage spatial.
  2. Paramètres 3D (HPP) : Les paramètres articulaires réels (angles des 20 joints par main + pose du poignet) issus du modèle UmeTrack.
• Stratégie d'injection : Après avoir comparé plusieurs méthodes (concaténation de tokens, AdaLN, cross-attention), ils identifient que l'addition de tokens (token addition) est la plus efficace. Le modèle utilise donc l'addition des embeddings des paramètres 3D (HPP) aux tokens du squelette 2D, permettant de résoudre les ambiguïtés de profondeur et d'auto-occlusion tout en conservant une forte cohérence spatiale.

B. Contrôle Joint Tête/Caméra et Mains

Pour un système XR complet, le point de vue (caméra) et les mains doivent être contrôlés simultanément.

• Représentation de la caméra : Utilisation directe des capteurs inertiels des casques VR pour obtenir une pose 6-DoF (rotation et translation) explicite, convertie en embeddings de Plücker.
• Fusion : Les signaux de la caméra, des mains (HPP + squelette 2D) et du texte sont fusionnés via une addition élémentaire dans l'espace latent avant d'être injectés dans les blocs du transformateur de diffusion (DiT).
• Entraînement itératif : Pour stabiliser l'entraînement, les encodeurs de caméra et de mains sont d'abord entraînés séparément, puis affinés conjointement.

C. Distillation pour l'Interactivité Temps Réel

Les modèles de diffusion bidirectionnels (teacher) sont trop lents pour l'interactivité.

• Distillation : Un modèle "teacher" bidirectionnel est distillé en un modèle "student" causal et autorégressif.
• Performance : Le système génère des vidéos par blocs de 12 images, permettant un taux de rafraîchissement de 11 images par seconde (FPS) avec une latence totale de 1,4 seconde sur un GPU H100.

3. Contributions Clés

1. Première étude systématique des stratégies de conditionnement des poses de mains (joint-level) dans les modèles de diffusion vidéo.
2. Découverte d'une stratégie hybride 2D-3D (squelette 2D + paramètres 3D via addition de tokens) qui surpasse les méthodes existantes en termes de fidélité de la pose et de qualité vidéo.
3. Développement d'un système "Generated Reality" : Une architecture temps réel capable de générer des environnements virtuels centrés sur l'ego, pilotés par les mouvements de tête et de mains de l'utilisateur.
4. Validation par étude utilisateur démontrant l'efficacité supérieure de ce contrôle par rapport aux baselines textuelles.

4. Résultats et Évaluation

Évaluation Quantitative

• Qualité Vidéo et Précision : Le modèle hybride atteint les meilleurs scores sur les métriques de qualité vidéo (FVD, LPIPS) et de précision des poses de mains (PA-MPJPE, PA-MPVPE). Il approche les limites théoriques de précision des estimateurs de pose.
• Contrôle Joint : Le modèle "JointCtrl" (caméra + mains) maintient une haute qualité visuelle tout en offrant une précision de contrôle pour les deux modalités, là où les modèles spécialisés (uniquement caméra ou uniquement mains) échouent sur l'autre modalité.

Étude Utilisateur (11 participants)

Trois tâches ont été testées : appuyer sur un bouton, ouvrir un bocal, tourner un volant de voiture.

• Performance de la tâche :
  • Baseline (texte uniquement) : 3,0 % de réussite.
  • Modèle contrôlé par les mains : 71,2 % de réussite.
• Sentiment de contrôle : Les utilisateurs ont rapporté un sentiment de contrôle significativement plus élevé avec le modèle contrôlé par les mains (score moyen de 4,21 sur une échelle de 7) comparé à la baseline (1,74).

5. Signification et Perspectives

Ce travail marque une étape cruciale vers une simulation du monde centrée sur l'humain.

• Impact : Il démontre que la génération vidéo peut remplacer la modélisation 3D traditionnelle pour créer des expériences XR interactives et réalistes, permettant l'apprentissage et l'exploration de tâches complexes sans coût de production élevé.
• Limitations actuelles : La résolution, la latence et la qualité stéréoscopique sont encore inférieures aux systèmes VR commerciaux actuels. De plus, les modèles autorégressifs souffrent d'un "dérive" (drift) visuelle après quelques secondes de génération.
• Avenir : La recherche future vise à réduire la latence (< 20 ms), augmenter la résolution et étendre la durée de génération stable, s'appuyant sur les progrès rapides des modèles de diffusion vidéo.

En résumé, ce papier propose un cadre technique robuste pour transformer les données de suivi corporel brut en environnements virtuels interactifs, comblant le fossé entre la génération d'images et l'interaction physique réelle.