Résumé Technique : MACE-Dance

Énoncé du Problème

La tâche de génération de vidéos de danse à partir de musique vise à synthétiser des vidéos de danse de haute qualité à partir d'entrées audio et d'une image de référence. Malgré les progrès réalisés dans des domaines connexes tels que la génération de danse 3D pilotée par la musique, l'animation d'images pilotée par la posture et la synthèse de têtes parlantes pilotées par l'audio, les approches existantes échouent à traiter adéquatement cette tâche spécifique en raison de décalages fondamentaux dans les objectifs et les contraintes de génération.

• Génération de Danse 3D : Bien qu'efficaces pour produire des mouvements cinématiquement plausibles, ces méthodes manquent souvent d'interactions réalistes entre l'humain et la scène ainsi que de textures visuelles haute fidélité lorsqu'elles sont rendues en vidéo 2D.
• Animation d'Images Pilotée par la Posture : Ces méthodes reposent sur une conception manuelle des postures, ce qui est chronophage et difficile pour des séquences de danse complexes impliquant tout le corps. De plus, les méthodes existantes pilotées par l'audio (par exemple, les têtes parlantes) se concentrent sur des gestes simples du haut du corps plutôt que sur la locomotion complexe du corps entier requise pour la danse.
• Approches Directes de Bout en Bout : Les recherches actuelles limitées sur la génération directe de musique vers vidéo échouent souvent à capturer la nature intrinsèquement 3D de la danse, entraînant une qualité de mouvement compromise (par exemple, une impossibilité physique) et une apparence visuelle dégradée (par exemple, flou, artefacts).

Le défi central réside dans la réalisation simultanée de (1) mouvements de danse cinématiquement plausibles et artistiquement expressifs, et (2) d'une apparence visuelle haute fidélité avec une forte cohérence spatio-temporelle.

Méthodologie : MACE-Dance

Les auteurs proposent MACE-Dance, un cadre utilisant une architecture en Mélange d'Experts Cascadé (MoE). Le système décompose la tâche complexe en deux étapes spécialisées : un Expert Mouvement et un Expert Apparence, connectés par une représentation explicite du mouvement 3D (paramètres SMPL) plutôt que par des points clés 2D. Ce choix préserve la structure géométrique du corps entier, dissocie la posture de la vue et offre une robustesse face aux occlusions.

1. Expert Mouvement (Musique vers Mouvement 3D)

Ce module génère des séquences de mouvement 3D conditionnées par la musique, imposant une plausibilité cinématique et une expressivité artistique.

• Architecture : Un Modèle de Diffusion avec un squelette hybride BiMamba-Transformer.
  • BiMamba : Capture les dépendances locales intra-modales dans les séquences musicales et de danse en utilisant des modèles d'espace d'état bidirectionnels, assurant une continuité temporelle fine.
  • Transformer : Modélise le contexte global inter-modale, alignant la structure globale de la danse avec la phraséologie musicale à long terme via l'attention croisée.
  • Génération Non-Autoregressive : Le modèle génère l'ensemble de la séquence en un seul passage, améliorant l'efficacité et évitant le biais d'exposition courant dans les méthodes autoregressives.
• Stratégie d'Entraînement : Les auteurs emploient un Entraînement Sans Guidage (GFT) au lieu du Guidage Sans Classificateur (CFG) conventionnel. Le GFT entraîne un modèle unique pour représenter implicitement un comportement d'échantillonnage contrôlé par la température, atténuant le décalage de distribution et améliorant la stabilité de la génération.
• Fonctions de Perte : Le modèle est optimisé à l'aide d'une somme pondérée de la perte de reconstruction, de la perte d'articulations 3D, de la perte de vitesse et de la perte de contact des pieds pour assurer le réalisme physique.

2. Expert Apparence (Synthèse Vidéo Conditionnée par le Mouvement et la Référence)

Ce module synthétise la vidéo finale en animant une image de référence à l'aide du mouvement 3D généré, préservant l'identité visuelle et la cohérence spatio-temporelle.

• Modèle de Base : Basé sur Wan-Animate, un modèle d'animation de personnages polyvalent.
• Stratégie de Fine-Tuning Découplée : Pour combler l'écart de domaine entre l'animation générale et la danse complexe, les auteurs introduisent une approche de fine-tuning en deux étapes :
  • Phase Cinématique : Affine uniquement l'Adaptateur de Corps pour renforcer le conditionnement cinématique et l'adhésion au mouvement, garantissant que la vidéo générée suit strictement les indications du mouvement 3D sans altérer les priors génératifs du modèle de base.
  • Phase Esthétique : Attache des adaptateurs LoRA légers aux projections d'attention et feed-forward de chaque bloc DiT. Cette étape affine la qualité visuelle, améliorant la fidélité des textures (peau, cheveux, tissu) et gérant la chorégraphie complexe de la caméra tout en préservant l'identité du sujet.
• Projecteur : Un Projecteur de Mouvement 3D vers 2D convertit la séquence SMPL de l'Expert Mouvement en points clés 2D requis par l'Expert Apparence, faisant le pont entre les domaines 3D et 2D.

Contributions Clés

1. Dataset et Benchmark : Les auteurs ont constitué MA-Data, un dataset à grande échelle comprenant 70 000 clips (116 heures) couvrant plus de 20 genres de danse. Il combine des données rendues en 3D (centrées sur le mouvement) et des données internet réelles (centrées sur l'apparence). Ils ont également conçu un protocole d'évaluation mouvement-apparence complet couvrant la fidélité cinématique, la diversité, la synchronisation et les métriques de qualité visuelle.
2. Cadre MACE-Dance : Un cadre MoE cascadé qui atteint des performances de pointe (SOTA) dans la génération de vidéos de danse pilotée par la musique en intégrant de manière synergique la génération de mouvement et d'apparence.
3. Innovations de l'Expert Mouvement : L'introduction d'une architecture hybride BiMamba-Transformer et d'une stratégie d'Entraînement Sans Guidage (GFT), atteignant des performances SOTA dans la génération de danse 3D pilotée par la musique sur le dataset FineDance.
4. Innovations de l'Expert Apparence : Le développement d'une stratégie de fine-tuning découpé Cinématique–Esthétique, atteignant des performances SOTA dans l'animation d'images pilotée par la posture sur le dataset MA-Data.

Résultats

Des expériences extensives démontrent que MACE-Dance surpasse les bases de référence existantes (y compris les méthodes de génération 3D mises en chaîne avec des modèles d'animation, et les générateurs de vidéos de mouvement humain généraux) sur plusieurs métriques :

• Qualité du Mouvement : Sur le dataset FineDance, l'Expert Mouvement atteint le meilleur FID (17,83), la meilleure diversité (DIV) et le meilleur Score d'Alignement sur le Beat (BAS), indiquant une haute fidélité, une grande diversité et une synchronisation musicale.
• Qualité Vidéo : Sur le dataset MA-Data, MACE-Dance obtient des scores SOTA en qualité d'image (IQ), qualité esthétique (AQ), cohérence du sujet (SC) et scintillement temporel (TF).
• Étude Utilisateur : Une étude en double aveugle avec 40 participants a confirmé que MACE-Dance est massivement préféré aux bases de référence (par exemple, Hallo2, EDGE, Lodge, MEGA) sur les six dimensions : Synchronisation de la Danse, Qualité de la Danse, Créativité de la Danse, Qualité Perceptuelle, Cohérence Temporelle et Cohérence de l'Identité.
• Génération de Séquences Longues : Le cadre génère avec succès des vidéos cohérentes de séquences longues (jusqu'à 34 secondes en inférence) sans dérive de mouvement significative ni dégradation visuelle, tirant parti de l'extrapolation de longueur du BiMamba-Transformer et du rendu relais ancré sur la posture.

Importance et Revendications

L'article revendique que MACE-Dance représente une avancée significative dans le domaine de l'AIGC pour la danse. En découplant explicitement la tâche en génération de mouvement et d'apparence et en utilisant une représentation intermédiaire 3D, le cadre surmonte les limitations des modèles de bout en bout qui peinent avec les corrélations inter-modales spurious et la plausibilité physique.

Les auteurs soulignent que leur approche établit non seulement une nouvelle référence pour la qualité vidéo et l'expressivité du mouvement, mais fournit également un pipeline contrôlable et interprétable. La sortie explicite du mouvement 3D permet des applications en aval telles que l'édition de mouvement, le transfert vers différents rigs de personnages, et un usage potentiel en VR/AR et en IA incarnée, la distinguant des modèles de génération vidéo en boîte noire. Le travail souligne l'importance des modules experts spécialisés et des représentations intermédiaires structurées pour résoudre des tâches de génération complexes et multi-modales.