CoMoVi: Co-Generation of 3D Human Motions and Realistic Videos

Ce papier présente CoMoVi, un cadre génératif qui produit simultanément des mouvements humains 3D et des vidéos réalistes en alignant les deux modalités via un modèle de diffusion à double branche, tout en s'appuyant sur un nouveau jeu de données à grande échelle nommé CoMoVi-Dataset.

L'essentiel

Imaginez que vous vouliez créer un film d'animation où un personnage humain bouge de manière parfaitement réaliste, tout en respectant la physique de son corps. Jusqu'à présent, les ordinateurs avaient du mal à faire les deux choses en même temps : soit ils faisaient de beaux mouvements mais des vidéos floues, soit ils faisaient de belles vidéos mais avec des personnages qui se tordaient de manière impossible (comme si leurs bras traversaient leur tête).

Voici comment CoMoVi résout ce problème, expliqué simplement :

1. Le Problème : Deux mondes qui ne se parlent pas

Pensez à la mouvement 3D (les os et les muscles d'un personnage) comme à l'architecture d'une maison. C'est la structure solide.
Pensez à la vidéo 2D (l'image que vous voyez à l'écran) comme à la peinture sur les murs. C'est ce qui rend la maison belle et vivante.

Avant CoMoVi, les artistes devaient d'abord construire la maison (mouvement), puis essayer de la peindre (vidéo), ou l'inverse. Le problème ? La peinture ne suivait pas toujours la structure, et la structure ne profitait pas de la beauté de la peinture. Le résultat était souvent bancal.

2. La Solution : Le "Duo Dynamique"

CoMoVi est comme un chef d'orchestre qui dirige deux musiciens en même temps : un qui joue la structure (3D) et un qui joue l'image (vidéo). Au lieu de les faire jouer l'un après l'autre, ils jouent en même temps, dans un seul et même cycle.

Ils s'écoutent mutuellement :

• Si le musicien "structure" dit "mon bras va tourner ici", le musicien "image" ajuste immédiatement la peinture pour que l'ombre et la lumière suivent ce mouvement.
• Si le musicien "image" dit "il y a un vent qui souffle", le musicien "structure" ajuste la posture pour que le personnage ne tombe pas.

3. L'Innovation Magique : Le "Langage Secret"

Le plus gros défi était que les deux musiciens ne parlaient pas la même langue. Le mouvement 3D parle en coordonnées mathématiques, et la vidéo parle en pixels de couleurs.

CoMoVi a inventé un langage secret (une représentation 2D spéciale) pour les faire communiquer :

• Imaginez que vous prenez un mannequin 3D et que vous le peignez avec des codes couleurs spéciaux.
• Le Bleu et le Vert indiquent la forme du corps (est-ce que c'est un genou ou un coude ?).
• Le Rouge indique la direction (est-ce que la surface regarde vers le haut ou vers le bas ?).
• En une seule image, on a à la fois la forme et la direction du corps. C'est comme un "plan de construction" qui ressemble à une photo. Cela permet à l'ordinateur de comprendre la 3D directement à travers l'image 2D.

4. L'Entraînement : Une Bibliothèque Géante

Pour apprendre à ce duo à jouer parfaitement, les chercheurs ont dû créer une immense bibliothèque de leçons. Ils ont collecté 50 000 vidéos réelles de gens qui bougent, et pour chaque vidéo, ils ont ajouté :

• Une description textuelle (ex: "un homme qui court").
• Les mouvements exacts du corps en 3D (les coordonnées des articulations).

C'est comme si on avait donné à l'ordinateur des millions d'exemples de "comment un vrai humain bouge" pour qu'il ne fasse plus d'erreurs de logique.

5. Le Résultat : La Magie Opérée

Grâce à tout cela, CoMoVi peut :

1. Prendre une photo de départ et une phrase (ex: "une femme qui danse la salsa").
2. Générer instantanément la vidéo réaliste ET le fichier de mouvement 3D correspondant.
3. Le résultat est un personnage qui bouge de manière anatomiquement correcte (pas de bras qui se cassent) et une vidéo fluide et belle.

En résumé :
CoMoVi est comme un jumeau numérique qui apprend à dessiner et à sculpter en même temps. Au lieu de dessiner un personnage et d'espérer qu'il bouge bien, il sculpte la forme pendant qu'il dessine l'image, garantissant que le résultat est à la fois solide (3D) et magnifique (vidéo), le tout sans avoir besoin de filmer un vrai acteur au préalable.

Résumé technique

Résumé Technique : CoMoVi

1. Problématique

La génération simultanée de mouvements humains 3D et de vidéos réalistes 2D est un défi majeur en vision par ordinateur. Les approches existantes souffrent de limitations fondamentales :

• Génération de mouvement 3D (Text-to-Motion) : Souvent limitée par la pénurie de données 3D de haute qualité, ce qui entraîne une faible fidélité aux prompts et une capacité de généralisation médiocre.
• Génération de vidéo (Image-to-Video) : Bien que les modèles de diffusion vidéo (VDM) soient puissants, ils peinent à maintenir la structure anatomique cohérente du corps humain, produisant souvent des mouvements irréalistes.
• Approches en cascade : Les méthodes actuelles traitent soit la vidéo puis le mouvement (ou l'inverse) de manière séquentielle. Cela crée un goulot d'étranglement où les erreurs d'une étape se propagent à l'autre, et ne permet pas d'exploiter la relation intrinsèque de couplage entre la structure 3D et l'apparence 2D.

L'objectif est de créer un cadre capable de générer synchronement des mouvements 3D et des vidéos 2D réalistes à partir d'une image initiale et d'une description textuelle, sans dépendre de références externes.

2. Méthodologie

CoMoVi propose un cadre de génération conjointe basé sur un seul boucle de débruitage de diffusion, résolvant le problème du "fossé modal" entre les données 3D et 2D.

A. Représentation 2D du Mouvement Humain (2D Human Motion Representation)
Pour aligner les mouvements 3D avec les vidéos 2D, les auteurs ne se contentent pas de projeter les coordonnées 3D. Ils conçoivent une nouvelle représentation 2D qui encode à la fois la géométrie 3D et la sémantique dans l'espace pixel :

• Combinaison Normales + Sémantique : Ils fusionnent les normales de surface (pour la géométrie 3D) et les parties du corps (sémantique) en une seule image RGB.
• Encodage :
  • Les canaux Bleu et Vert codent les composantes $x$ et $y$ des normales.
  • Le canal Rouge encode la partie du corps (ex: main gauche, jambe droite) et le signe de la composante $z$ de la normale (pour distinguer les faces avant/arrière).
• Avantage : Cette représentation conserve les informations structurelles 3D tout en étant directement compatible avec les espaces latents des modèles de diffusion vidéo pré-entraînés.

B. Architecture de Diffusion à Double Branche (Dual-Branch Diffusion Model)
Le modèle est une extension du modèle Wan2.2-I2V-5B :

1. Deux branches : Une branche pour la vidéo RGB ($D_{video}$) et une branche pour la carte de mouvement 2D ($D_{motion}$).
2. Interactions mutuelles : Des modules ZeroLinear permettent un échange de caractéristiques entre les deux branches à chaque bloc de diffusion, assurant que la génération de vidéo est guidée par la structure du mouvement et vice-versa.
3. Attention Croisée 3D-2D : Un module d'attention croisée utilise les latents fusionnés (vidéo + mouvement 2D) pour estimer directement les paramètres du maillage SMPL (mouvement 3D) à chaque étape, sans optimisation post-hoc.
4. Entraînement en deux étapes :
   • Étape 1 : Adaptation de la branche mouvement 2D au nouveau domaine de représentation.
   • Étape 2 : Entraînement conjoint avec interactions et perte de régularisation 3D ($L_{smpl}$) pour garantir la cohérence structurelle.

C. CoMoVi-Dataset
Pour entraîner ce modèle, les auteurs ont créé un nouveau jeu de données massif :

• Contenu : ~54 000 vidéos humaines réelles en haute résolution (720p+).
• Annotations : Triplets complets comprenant la vidéo, les annotations de mouvement 3D (SMPL via CameraHMR) et des descriptions textuelles précises (générées par Gemini-2.5-Pro).
• Qualité : Supérieur aux jeux de données existants (comme Motion-X++ ou HumanVid) en termes de qualité vidéo et de quantité d'annotations 3D.

3. Résultats

Les expériences ont été menées sur les benchmarks Motion-X++, VBench et le jeu de données interne CoMoVi-Dataset.

• Génération de Mouvement 3D :

  • CoMoVi surpasse les modèles State-of-the-Art (T2M) comme MDM, MotionGPT et Go-to-Zero.
  • Il obtient un FID (Fréchet Inception Distance) nettement inférieur (0.349 sur CoMoVi-Dataset contre >1.6 pour les meilleurs concurrents) et une meilleure précision R-Precision.
  • Le modèle génère des mouvements plus fluides et fidèles au texte, sans artefacts de "jitter".

• Génération de Vidéo Humaine :

  • Sans utiliser de vidéo de référence ni de pose 2D pré-extrait, CoMoVi génère des vidéos réalistes avec une structure corporelle cohérente.
  • Sur les métriques VBench (Subject Consistency, Background Consistency, etc.), CoMoVi obtient les meilleurs scores, surpassant les modèles I2V de base (CogVideoX, Wan2.2) et les approches en cascade (T2M + Champ).
  • Les vidéos évitent les distorsions anatomiques fréquentes dans les modèles purement textuels.

4. Contributions Clés

1. Cadre de Co-génération Synchronisée : Première approche à générer simultanément mouvement 3D et vidéo 2D dans une seule boucle de diffusion, exploitant le couplage naturel entre les deux modalités.
2. Nouvelle Représentation 2D : Une méthode ingénieuse pour encoder la géométrie 3D (normales) et la sémantique dans un format 2D compatible avec les VDM, résolvant le problème d'ambiguïté des cartes de normales classiques.
3. CoMoVi-Dataset : La création d'un jeu de données à grande échelle (50k+ vidéos) avec des annotations 3D et textuelles de haute qualité, comblant un vide critique dans la recherche.
4. Architecture Innovante : Un modèle à double branche avec attention croisée 3D-2D et régularisation SMPL directe, permettant une estimation précise du mouvement 3D sans étape de reconstruction complexe.

5. Signification et Impact

CoMoVi représente une avancée significative pour l'animation de personnages, la réalité virtuelle (VR/AR) et le jeu vidéo. En démontrant que la génération de mouvement 3D et de vidéo peut être mutuellement bénéfique, l'article remet en question les pipelines séquentiels traditionnels.

• Généralisation : La méthode montre une capacité de généralisation supérieure, générant des mouvements plausibles pour des actions non vues lors de l'entraînement.
• Autonomie : Elle élimine le besoin de références externes (vidéos ou poses) pour guider la génération, rendant le processus entièrement piloté par le texte et l'image d'entrée.
• Fondation pour la recherche : Le dataset et le code open-source fournissent une base solide pour les futures recherches sur la génération multimodale de contenu humain.

En résumé, CoMoVi établit un nouvel état de l'art en unifiant la compréhension structurelle 3D et la génération visuelle 2D, offrant des résultats de haute qualité pour des applications nécessitant à la fois une précision cinématique et un réalisme visuel.