Human Video Generation from a Single Image with 3D Pose and View Control

Ce papier présente HVG, un modèle de diffusion vidéo latente capable de générer des vidéos humaines 4D de haute qualité et cohérentes à partir d'une seule image, en permettant un contrôle précis de la pose 3D et de la vue grâce à des mécanismes innovants de modulation articulaire, d'alignement spatio-temporel et d'échantillonnage progressif.

L'essentiel

🎬 Le Magicien du Cinéma 4D : HVG

Imaginez que vous avez une seule photo d'une personne. Votre rêve ? Transformer cette photo statique en une vidéo où la personne bouge, tourne, danse, et ce, sous tous les angles possibles (de face, de dos, de profil), tout en gardant son visage, ses vêtements et ses mouvements parfaitement réalistes.

C'est exactement ce que fait HVG. C'est comme un magicien numérique capable de créer un film complet à partir d'une seule image. Mais comment fait-il ? Voici les trois secrets de sa recette, expliqués avec des analogies simples.

1. Le Problème : Pourquoi les autres échouent ?

Avant HVG, les autres "magiciens" (les anciennes technologies) avaient deux gros défauts :

• Le squelette 2D (comme un dessin animé) : Ils utilisaient des lignes pour guider le mouvement. C'est bien pour un dessin, mais quand la personne tourne, le squelette ne comprend pas que le bras est derrière le corps. Résultat ? Des bras qui traversent le torse ou des hanches qui se déboîtent de manière effrayante.
• Le mannequin rigide (SMPL) : D'autres utilisaient un modèle 3D très simplifié, comme un mannequin de couturier sans vêtements. Le problème ? Si votre personnage porte un manteau ample ou un chapeau, le mannequin rigide ne peut pas le représenter. Le manteau semble "fondre" ou se déformer bizarrement quand la personne bouge.

2. La Solution HVG : Les trois super-pouvoirs

HVG résout ces problèmes avec trois innovations clés :

A. La "Carte des Os en 3D" (Pose Modulation)
Au lieu de dessiner de simples lignes (squelettes) ou d'utiliser un mannequin rigide, HVG crée une carte spéciale.

• L'analogie : Imaginez que vous habillez le squelette de la personne avec des ballons en forme d'œufs (des ellipsoïdes) à chaque articulation (épaule, genou, coude).
• Pourquoi c'est génial ? Ces "ballons" ont du volume. Quand la personne lève le bras, le ballon du coude passe devant le ballon de la poitrine. Le système comprend immédiatement qui est devant qui. Cela évite les bras fantômes qui traversent le corps et permet de garder la forme des vêtements (le manteau reste un manteau, il ne se transforme pas en peau).

B. L'Alignement Magique (View and Temporal Alignment)
Quand on tourne autour d'une personne, son image change énormément (la tête est au centre d'un côté, en haut à gauche de l'autre).

• L'analogie : Imaginez un photographe qui suit un danseur. Sans aide, le photographe perd le sujet dans le viseur quand il tourne. HVG agit comme un assistant invisible qui recadre toujours l'image pour que le danseur soit parfaitement centré, quelle que soit l'angle de la caméra.
• Cela permet au cerveau de l'ordinateur de comparer facilement le "devant" avec le "derrière" sans se tromper, garantissant que le visage reste le même visage et que les vêtements ne clignotent pas bizarrement.

C. La "Pelote de Fil" Progressive (Progressive Spatio-Temporal Sampling)
Créer une longue vidéo avec plusieurs angles est comme essayer de tisser un très grand tapis en une seule fois : c'est trop lourd et ça fait des nœuds.

• L'analogie : HVG ne fait pas tout d'un coup. Il procède par petits morceaux. Il tisse d'abord une petite section de temps (quelques secondes) pour tous les angles, puis une autre section, et ainsi de suite.
• Il superpose ensuite ces petits morceaux comme des tuiles de mosaïque, en s'assurant que les bords se rejoignent parfaitement. Cela permet de créer des vidéos longues et fluides sans que l'image ne se dégrade ou ne devienne floue.

3. Le Résultat : Qu'obtient-on ?

Grâce à ces astuces, HVG produit des vidéos où :

• Les vêtements flottent et se plissent naturellement (comme dans la vraie vie).
• La personne peut tourner à 360 degrés sans que son corps ne se "décompose".
• Les mouvements sont fluides, même sur de longues séquences.

⚠️ Le petit défaut (Les cas d'échec)

Le papier admet une petite limite : comme le système se concentre sur le mouvement global du corps (les bras, les jambes, les vêtements), il oublie parfois les détails très fins du visage (comme la forme exacte du nez ou des lèvres) quand la personne bouge beaucoup.

• La solution future : Imaginez que pour le corps, on utilise un pinceau large, mais pour le visage, on utiliserait un pinceau très fin séparé. C'est ce que les chercheurs envisagent de faire pour perfectionner le tout.

En résumé

HVG est comme un réalisateur de film ultra-intelligent qui ne se contente pas de faire bouger une photo. Il comprend l'anatomie humaine en 3D, gère les vêtements comme un vrai tailleur, et assemble le tout pièce par pièce pour créer une vidéo fluide, réaliste et magique, le tout à partir d'une seule image de départ.

Résumé technique

1. Problématique

La génération de vidéos humaines à partir d'une seule image (Image-to-Video) a connu des progrès significatifs grâce aux modèles de diffusion. Cependant, des défis majeurs persistent, notamment pour la synthèse de vidéos humaines dynamiques avec contrôle du point de vue (multi-vues) :

• Limites des méthodes 2D : Les approches basées sur des squelettes 2D (comme AnimateAnyone) manquent de dépendances anatomiques et de contraintes de collision. Cela entraîne des mouvements irréalistes (hanches déboîtées, genoux hyper-étendus) et des distorsions lors de la rotation de la caméra.
• Limites des méthodes 3D paramétriques : Les méthodes utilisant des maillages 3D sans vêtements (comme SMPL) simplifient trop la géométrie humaine. Elles échouent à représenter les vêtements amples, les accessoires ou les formes corporelles uniques, ce qui provoque des "fuites de forme" (shape leakage) et des distorsions des bords des vêtements lors de la synthèse multi-vues.
• Complexité computationnelle : Les mécanismes d'attention 3D existants pour assurer la cohérence multi-vues sont extrêmement coûteux en calcul, limitant l'évolutivité.

L'objectif est donc de générer des vidéos humaines 4D (espace + temps) de haute qualité, cohérentes dans le temps et à travers plusieurs points de vue, à partir d'une seule image de référence, tout en contrôlant la pose 3D et la caméra.

2. Méthodologie : HVG (Human Video Generation in 4D)

Les auteurs proposent HVG, un modèle de diffusion vidéo latent capable de synthétiser des vidéos humaines dynamiques avec une cohérence multi-vues et multi-images. L'architecture repose sur trois innovations clés :

A. Modulation de Pose Articulée (Articulated Pose Modulation)

Au lieu d'utiliser des squelettes 2D ou des maillages SMPL bruts, HVG introduit une carte d'os bidimensionnelle (Dual-Dimensional Bone Map) :

• Modélisation : À partir des joints 3D du modèle SMPL-X, chaque segment osseux est modélisé par un ellipsoïde 3D. Cela capture le volume et les relations anatomiques (épaisseur, orientation, contraintes de collision).
• Projection : Ces ellipsoïdes sont projetés en 2D via une perspective pour générer deux cartes complémentaires :
  1. Carte de profondeur (Depth Map) : Encode l'ordre Z pour résoudre les occlusions (ex: un bras croisant le corps).
  2. Carte de normales (Normal Map) : Capture l'orientation de la surface du corps.
• Avantage : Cette approche préserve la fidélité anatomique, résout les problèmes d'occlusion et évite les distorsions de forme tout en étant compatible avec les vêtements et accessoires.

B. Alignement de Vue et Temporel (View and Temporal Alignment)

Pour garantir la cohérence entre les différentes vues et les images de référence :

• Alignement de la vue : Contrairement aux méthodes coûteuses utilisant une attention 3D vue-espace, HVG aligne le sujet humain au centre de l'image pour toutes les vues (en utilisant le bassin comme point de repère). Cela élimine les variations spatiales dues à la perspective et permet d'utiliser une attention 2D simple et efficace pour apprendre la correspondance entre les vues.
• Alignement temporel : Le modèle aligne la position humaine de l'image de référence avec la première image de la séquence de poses guidées. Cela assure une stabilité image-à-image et réduit les scintillements (flickering) et les discontinuités de pose.

C. Échantillonnage Progressif Spatio-Temporel (Progressive Spatio-Temporal Sampling)

Pour générer de longues vidéos multi-vues sans exploser les coûts de calcul :

• La séquence vidéo est divisée en segments chevauchants selon deux dimensions : temporelle (frames) et spatiale (vues).
• Un processus de fusion progressive est appliqué : les segments temporels sont traités, puis les segments de vues, avec une fusion pondérée des caractéristiques latentes aux zones de chevauchement.
• Cela permet de maintenir la cohérence à long terme et de couvrir un large éventail de points de vue tout en optimisant l'efficacité computationnelle.

L'architecture réseau utilise un DenoisingNet (UNet) initialisé avec SVD-xt, enrichi par un module de modulateur de pose, une couche d'attention de vue efficace, et des encodeurs (CLIP, VAE, ReferenceNet) pour préserver l'identité du sujet.

3. Résultats Expérimentaux

Les auteurs ont évalué HVG sur des tâches de synthèse de nouvelles vues et de nouvelles poses, en utilisant des datasets comme THuman2.0, THuman2.1 et MVHumanNet.

• Comparaison Quantitative : HVG surpasse les méthodes de l'état de l'art (MagicAnimate, AnimateAnyone, Champ, MimicMotion, etc.) sur toutes les métriques clés :
  • Qualité d'image : Meilleur FID (59.35 vs 81.60 pour le meilleur concurrent), SSIM (0.923) et PSNR (22.13).
  • Cohérence vidéo : Meilleur FVD (152.1) et FID-VID, indiquant une meilleure fluidité et cohérence temporelle.
• Comparaison Qualitative :
  • Fidélité anatomique : HVG génère des mouvements réalistes sans distorsions des membres (hanches, genoux) lors des rotations.
  • Gestion des occlusions : Grâce aux cartes d'os, le modèle reconstruit correctement les parties du corps cachées (ex: un bras devant le torse), là où les méthodes basées sur les squelettes 2D échouent.
  • Détails des vêtements : Le modèle préserve les textures fines et les plis des vêtements amples, évitant l'effet "lissé" ou les fuites de forme observées avec SMPL.

4. Contributions Clés

1. Représentation par Carte d'Ossature (Bone Map) : Une nouvelle représentation de guidage de pose combinant profondeur et normales via des ellipsoïdes 3D projetés, résolvant le compromis entre la rigidité des maillages SMPL et la fragilité des squelettes 2D.
2. Stratégie d'Alignement Efficace : Une méthode légère d'alignement des vues qui remplace l'attention 3D coûteuse par une attention 2D sur des sujets centrés, améliorant l'efficacité sans sacrifier la cohérence.
3. Échantillonnage Progressif : Une stratégie d'échantillonnage spatio-temporel innovante permettant la génération de longues vidéos multi-vues avec une cohérence globale.

5. Signification et Impact

Ce travail représente une avancée majeure dans le domaine de la synthèse vidéo 4D. En surmontant les limitations des représentations géométriques actuelles (2D vs 3D paramétrique), HVG ouvre la voie à des applications plus réalistes dans l'animation, les jeux vidéo et la réalité virtuelle. La capacité à générer des vidéos cohérentes à partir d'une seule image avec un contrôle précis de la pose et de la caméra rend la technologie plus accessible et applicable pour la création de contenu immersif.

Limites notées : Le modèle peut encore présenter des artefacts dans les régions faciales très détaillées (nez, lèvres) en raison d'un compromis entre la cohérence globale du corps et la fidélité des détails locaux, suggérant une future amélioration par un traitement modulaire du visage.