MTVCraft: Tokenizing 4D Motion for Arbitrary Character Animation

Le papier présente MTVCraft, un cadre pionnier qui tokenise directement les séquences de mouvement 3D en tokens 4D pour animer des personnages à partir d'images, surpassant les méthodes existantes basées sur des poses 2D grâce à une meilleure généralisation zéro-shot et un contrôle plus flexible.

L'essentiel

🎬 MTVCraft : Le Magicien qui donne vie aux images en 4D

Imaginez que vous avez une photo statique d'un personnage (un ami, un dessin animé, ou même un animal) et que vous voulez le faire danser, sauter ou courir en suivant les mouvements d'une autre vidéo. C'est ce qu'on appelle l'animation d'images.

Jusqu'à présent, les méthodes existantes étaient un peu comme des marionnettes à fils rigides. Elles regardaient une vidéo de référence, en extrayaient une image "squelette" (comme un dessin au trait) et essayaient de coller votre personnage sur ce dessin, image par image.

• Le problème ? C'est comme essayer de faire du patin à glace en regardant une photo de quelqu'un d'autre qui patine. Vous perdez la fluidité, la profondeur et la vraie physique du mouvement. Si le personnage de la photo est grand et celui de la vidéo est petit, ça fait des grimaces bizarres.

MTVCraft change la donne. Voici comment il fonctionne, avec quelques analogies :

1. Au lieu de dessiner des plans, on parle le langage du mouvement (4D Motion Tokens)

Les anciennes méthodes regardaient le mouvement comme une série de photos 2D (comme un flipbook).
MTVCraft, lui, ne regarde pas les photos. Il regarde l'âme du mouvement.

• L'analogie : Imaginez que vous voulez enseigner à un robot à danser.
  • Méthode ancienne : Vous lui montrez des photos de danseurs. Le robot essaie de copier la pose exacte de la photo, mais il ne comprend pas comment les muscles se contractent ou comment le corps tourne dans l'espace.
  • Méthode MTVCraft : Vous lui donnez les coordonnées exactes de ses articulations dans l'espace 3D, frame par frame. C'est comme lui donner la partition musicale exacte plutôt que des photos de l'orchestre.

Le papier appelle cela des "4D Motion Tokens". C'est une façon de transformer le mouvement brut (3D + Temps) en un code compact et intelligent, comme des briques LEGO qui contiennent toute l'information du mouvement sans le bruit visuel inutile.

2. Le Cerveau du Mouvement (MV-DiT)

Une fois qu'on a ces "briques LEGO" du mouvement, il faut un cerveau pour les assembler et les appliquer à votre personnage.
MTVCraft utilise un modèle appelé MV-DiT.

• L'analogie : Imaginez un chef d'orchestre très talentueux.
  • Les anciennes méthodes, c'est comme un chef qui regarde une partition écrite sur du papier 2D et essaie de deviner la musique.
  • MTVCraft, c'est un chef qui entend la musique directement (les tokens de mouvement) et qui dit à chaque musicien (chaque pixel de votre image) exactement quoi faire, en temps réel, en tenant compte de la profondeur et de la perspective.

Il utilise une technique spéciale appelée "Attention 4D". C'est comme si le chef pouvait voir non seulement où sont les musiciens sur la scène (gauche, droite), mais aussi quand ils jouent et comment ils bougent dans l'espace (avant, arrière, haut, bas).

3. Pourquoi c'est une révolution ? (La Magie du "Zéro Shot")

Le plus impressionnant avec MTVCraft, c'est sa capacité à généraliser.

• L'analogie : Imaginez un acteur de théâtre qui a joué le rôle de "Hamlet" des milliers de fois.
  • Les anciens modèles : Si vous lui demandez de jouer "Hamlet" mais avec un costume de clown, il panique. Il essaie de copier le costume original et ça fait un désastre.
  • MTVCraft : Il comprend le mouvement de Hamlet, pas juste le costume. Donc, vous pouvez lui demander de jouer Hamlet, mais en tant que chat, robot, ou personnage de dessin animé, et il le fera parfaitement.

Le papier montre que MTVCraft peut animer n'importe quoi : des humains, des animaux, et même des objets inanimés (comme une tasse qui danse), simplement parce qu'il comprend la géométrie du mouvement et non pas l'apparence de la personne.

En résumé

MTVCraft est comme un traducteur universel entre le mouvement réel et l'image.

1. Il ne se contente pas de regarder des images 2D (comme les autres).
2. Il transforme le mouvement en un code mathématique pur (les tokens 4D).
3. Il utilise ce code pour dire à n'importe quel personnage (réel ou imaginaire) comment bouger, en préservant sa personnalité et en évitant les déformations bizarres.

C'est un pas de géant vers des humains numériques (digital humans) qui bougent de manière naturelle, sans avoir besoin de recréer des modèles 3D complexes pour chaque nouvelle vidéo. C'est la différence entre regarder un film d'animation et voir la vie s'animer sous vos yeux.

Résumé technique

Voici un résumé technique détaillé du papier de recherche MTVCraft, présenté à la conférence ICLR 2026.

1. Problématique

L'animation d'images de personnages (Character Image Animation) a connu des progrès rapides, mais les méthodes existantes souffrent de limitations fondamentales liées à leur dépendance aux images de pose 2D rendues (squelettes, rendus de maillages SMPL, cartes de profondeur) pour guider le mouvement.

Ces approches 2D présentent deux défauts majeurs :

• Perte d'information 4D : Elles ignorent la richesse de l'espace 4D (3D spatial + temps), rendant difficile la synthèse de mouvements physiquement plausibles et expressifs, en particulier dans des scénarios complexes.
• Alignement pixelique rigide : Les modèles tendent à copier aveuglément la forme et la position des images de pose 2D, ce qui entraîne des distorsions ou des artefacts lorsque la pose de conduite diffère significativement de l'apparence du personnage de référence (problème de découplage mouvement/apparence).

La question centrale est donc : Peut-on modéliser directement le mouvement 4D brut plutôt que des images de pose 2D rendues ?

2. Méthodologie : MTVCraft

Les auteurs proposent MTVCraft (Motion Tokenization Video Crafter), un cadre innovant qui tokenise directement les séquences de mouvement 3D brutes (mouvement 4D) pour l'animation. L'architecture se compose de deux modules principaux :

A. 4DMoT (4D Motion Tokenizer)

Ce module est un VQ-VAE (Vector Quantized Variational Autoencoder) conçu pour convertir les séquences de coordonnées des articulations SMPL (24 articulations en 3D sur le temps) en tokens de mouvement 4D discrets.

• Représentation différentielle : Au lieu d'utiliser les coordonnées absolues, le système normalise les données et calcule les coordonnées relatives par rapport à la première image. Cela découple le mouvement des variations de position absolue et de forme.
• Tokenisation : Un encodeur-decodeur avec des convolutions 2D (le long des axes temps et articulations) comprime les séquences en un espace latent continu, qui est ensuite discrétisé via un quantificateur vectoriel (codebook de 8192 entrées).
• Avantage : Contrairement aux rendus 2D, les tokens préservent l'information de profondeur (axe Z) et la continuité spatiale-temporelle, offrant des indices de mouvement plus robustes.

B. MV-DiT (Motion-aware Video Diffusion Transformer)

C'est le modèle de génération vidéo basé sur l'architecture DiT (Diffusion Transformer), conditionné par les tokens de mouvement 4DMoT.

• Préservation de l'identité : Au lieu d'un réseau de référence séparé complexe, MTVCraft utilise un schéma simple de concaténation : les latents de l'image de référence sont répétés et concaténés aux latents vidéo bruités à chaque étape temporelle.
• Attention Mouvement 4D (4D Motion Attention) : C'est le cœur de l'innovation. Le modèle intègre une attention où les tokens de vision agissent comme requêtes (Queries) et les tokens de mouvement comme clés et valeurs (Keys/Values). Cela permet au modèle de récupérer dynamiquement les indices de mouvement lors de la génération.
• Encodage de Position 4D (4D RoPE) : Pour gérer la nature spatio-temporelle des tokens, les auteurs étendent le Rotary Positional Encoding (RoPE) standard 3D à un espace 4D (t, x, y, z).
  • Pour les tokens de mouvement, les coordonnées (x, y, z) sont basées sur les positions moyennes des articulations du dataset.
  • Pour les tokens de vision, la dimension z est fixée à 0.
  • Cela permet une interaction géométrique cohérente entre le mouvement 3D et l'image 2D dans l'espace d'attention.
• Guidage sans classeur (CFG) pour le mouvement : Une version adaptée du CFG est introduite où les tokens de mouvement sont remplacés aléatoirement par des tokens "unconditionnels" appris durant l'entraînement, améliorant la robustesse.

3. Contributions Clés

1. Premier pipeline de tokenisation 4D : MTVCraft est la première méthode à modéliser directement les séquences de mouvement 4D brutes (coordonnées articulaires) au lieu d'images de pose 2D rendues pour l'animation de personnages.
2. 4DMoT : Un nouveau tokeniseur qui encode les coordonnées articulaires SMPL en tokens compacts et expressifs, surpassant les représentations d'images 2D en termes de guidage spatio-temporel.
3. MV-DiT : Un modèle DiT vidéo équipé d'une attention spécifique au mouvement et d'encodages de position 4D, permettant un contrôle précis et un découplage efficace entre l'identité du personnage et le mouvement.
4. Évolutivité (Scalability) : Le cadre a été implémenté avec succès sur deux échelles de modèles : CogVideoX-5B (version 6B) et Wan-2.1-14B (version 18B), démontrant une intégration fluide et une capacité de mise à l'échelle.

4. Résultats Expérimentaux

Les évaluations ont été menées sur les benchmarks TikTok et Fashion.

• Performance Quantitative (SOTA) : MTVCraft bat l'état de l'art sur toutes les métriques (PSNR, SSIM, LPIPS, FID, FVD, FID-VID).
  • Sur TikTok, la version 18B atteint un FVD de 276.65 (contre 402.14 pour le précédent meilleur, UniAnimate-DiT) et un FID de 20.70.
  • Sur Fashion, la version 18B obtient un FVD de 64.88 et un FID de 8.74.
• Généralisation Zero-Shot : Le modèle montre une capacité exceptionnelle à animer des personnages non vus lors de l'entraînement, y compris :
  • Des personnages humains complets ou en demi-corps.
  • Des styles variés (anime, pixel art, dessin à l'encre, photoréalisme).
  • Des sujets non-humains : Animaux et même objets inanimés, grâce à la représentation purement géométrique du mouvement (coordonnées articulaires) qui ne dépend pas de l'apparence spécifique d'un humain.
• Robustesse : Le modèle gère mieux les désalignements entre l'image de référence et la pose de conduite que les méthodes concurrentes (ex: MimicMotion, ControlNeXt), évitant les artefacts de distorsion.

5. Signification et Impact

MTVCraft marque une étape significative dans le domaine de la génération vidéo guidée par la pose. En passant d'une approche basée sur l'image 2D à une approche basée sur le token 4D, les auteurs réussissent à :

• Découpler le mouvement de l'apparence : Le modèle apprend la sémantique du mouvement indépendamment de la forme ou de la position absolue.
• Ouvrir l'animation à un monde ouvert : La capacité à animer n'importe quel objet (humain, animal, objet) avec une fidélité élevée ouvre de nouvelles perspectives pour la création de contenu immersif et les jumeaux numériques.
• Démontrer la puissance des Transformers vidéo : L'intégration réussie de tokens de mouvement 4D dans des architectures DiT massives (jusqu'à 18B paramètres) valide l'efficacité de cette nouvelle approche pour la génération vidéo contrôlée.

Le code et les modèles sont disponibles publiquement, et une version mise à l'échelle est déjà déployée commercialement, soulignant la maturité pratique de cette technologie.