🤖 AI

MusicInfuser: Making Video Diffusion Listen and Dance

MusicInfuser est une méthode efficace qui adapte des modèles de diffusion texte-vidéo pré-entraînés pour générer des vidéos de danse de haute qualité synchronisées avec la musique en affinant sélectivement des couches spécifiques, atteignant ainsi une forte généralisation et synchronisation sans nécessiter de données de mouvement ni de ressources computationnelles importantes.

Auteurs originaux : Susung Hong, Ira Kemelmacher-Shlizerman, Brian Curless, Steven M. Seitz

Publié 2026-05-06

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Susung Hong, Ira Kemelmacher-Shlizerman, Brian Curless, Steven M. Seitz

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un instructeur de danse talentueux, de classe mondiale, qui a passé des années à regarder des millions de vidéos. Cet instructeur sait comment bouger, comment avoir l'air bien, et comment suivre une description textuelle comme « un danseur en uniforme de chef ». Cependant, il y a un hic : cet instructeur est complètement sourd. Si vous lui faites écouter de la musique, il continue simplement de danser sur son propre rythme interne, ignorant complètement le battement.

MusicInfuser est la solution à ce problème. C'est un nouveau programme informatique qui apprend à cette IA de création vidéo « sourde » à écouter et à danser sur la musique, sans avoir à embaucher un nouvel instructeur ou à repartir de zéro.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le Problème : L'« Artiste Sourd »

Les générateurs de vidéo actuels (comme celui appelé Mochi) sont incroyables pour créer des visuels à partir de texte. Si vous dites « Un chien qui danse sur une plage », il peut le faire. Mais si vous ajoutez de la musique, la vidéo ne se synchronise pas. Le chien pourrait faire une valse lente tandis que la musique est un rock rapide.

Les tentatives précédentes pour résoudre ce problème visaient à construire une nouvelle IA entièrement neuve, capable de comprendre à la fois le son et la vue. Mais c'est comme essayer de construire un nouvel orchestre à partir de zéro alors que vous en avez déjà un de classe mondiale assis dans la pièce. C'est coûteux, lent, et conduit souvent à des mouvements saccadés et non naturels, car il n'y a pas assez de données pour l'enseigner parfaitement.

2. La Solution : L'« Implant Auditif »

Au lieu de construire une nouvelle IA, MusicInfuser prend l'IA vidéo existante, de haute qualité, et lui donne des « oreilles ».

Le Module Initialisé à Zéro : Imaginez que vous enseignez à un élève à jouer du piano. Si vous lui donnez un tout nouveau jeu de touches, lourd et complexe, il pourrait être submergé et jouer les mauvaises notes immédiatement. Au lieu de cela, MusicInfuser attache une « oreille » spéciale à l'IA qui commence complètement silencieuse (initialisée à zéro). Au début, l'IA ignore la musique et danse simplement sur son propre rythme. Au fur et à mesure de l'entraînement, cette « oreille » s'éveille lentement et commence à chuchoter des instructions à l'IA : « Hé, le beat vient de tomber, tourne plus vite ! » ou « La musique est douce, bouge doucement. »
Le Placement « Intelligent » : Les chercheurs n'ont pas simplement attaché ces oreilles partout. Ils ont déterminé exactement où dans le cerveau de l'IA la musique devrait se connecter. Ils ont utilisé un test spécial pour identifier les couches de l'IA les plus sensibles au mouvement et à la structure, et ils y ont branché la musique. C'est comme accorder une radio sur la fréquence exacte où le signal est le plus clair, plutôt que de diffuser du bruit à travers tous les haut-parleurs.

3. L'Entraînement : Apprendre du Réel

Habituellement, les vidéos de danse utilisées pour l'entraînement sont très rigides et filmées dans un studio avec un fond blanc. C'est comme apprendre à danser uniquement dans une salle de sport. MusicInfuser a également appris à partir de vidéos « in-the-wild » (dans la nature) — de vrais clips de danse provenant de YouTube avec différents éclairages, caméras et arrière-plans désordonnés. Cela a aidé l'IA à apprendre qu'un danseur peut avoir l'air bien même si la caméra tremble ou si l'éclairage est étrange.

4. Les Résultats : Écouter et Danser

Le résultat est un système capable de prendre une invite textuelle (par exemple, « Une danseuse en robe hawaïenne sur une plage ») et une piste musicale, et de générer une vidéo où :

Les Mouvements Correspondent au Beat : Le danseur botte, tourne et saute exactement au moment où la musique frappe un tambour ou une mélodie.
Le Style est Flexible : Vous pouvez modifier le texte pour que le danseur porte un smoking ou danse dans une cuisine, et la musique restera parfaitement synchronisée.
C'est Rapide et Bon Marché : Parce qu'ils n'ont pas eu à reconstruire toute l'IA, ils ont pu entraîner cette capacité d'« écoute » sur une seule carte graphique en moins d'une journée.

Ce Que Cela Peut et Ne Peut Pas Faire

Ce Que Cela Peut Faire : Générer des mouvements de danse diversifiés pour des musiques inédites (même de nouveaux genres comme le K-pop), créer des vidéos d'animaux dansants, et gérer des vidéos longues. Il crée des détails réalistes comme des cheveux qui bougent et des vêtements qui flottent, ce que les anciennes méthodes « squelette » (qui ne dessinent que des bonhommes allumettes) manquent.
Ce Que Cela Ne Peut Pas Faire : Il hérite toujours de certaines bizarreries de l'IA vidéo originale. Parfois, si le danseur bouge très vite, l'IA peut se tromper sur les doigts ou les visages, ou elle peut inverser la position des parties du corps. Il est également limité par la qualité de l'IA vidéo originale en matière de réalisme.

En bref : MusicInfuser est comme prendre un artiste visuel brillant qui n'entend pas, lui donner une paire d'écouteurs haute technologie, et lui apprendre à danser sur le rythme de la musique, tout en préservant son style artistique original intact.

Résumé Technique : MusicInfuser

Énoncé du Problème

Les modèles de diffusion vidéo open-source actuels génèrent principalement des vidéos silencieuses ou axées sur la parole, sans capacité à synchroniser le mouvement avec des pistes musicales spécifiques. Bien que certaines recherches explorent la génération audio-vidéo, l'entraînement de tels modèles à partir de zéro pour le domaine spécifique de la danse est difficile en raison de la rareté de jeux de données de haute qualité, alignés sur la musique. Les méthodes existantes de génération de danse reposent souvent sur des représentations intermédiaires telles que le mouvement squelettique ou les données de capture de mouvement. Ces approches souffrent de limitations : elles sont coûteuses à acquérir, sujettes à des artefacts de flottement ou de tremblement, et sous-paramétrées pour la danse, échouant à capturer des nuances telles que la courbure du dos, la rotation axiale, l'articulation des mains, la dynamique des cheveux et le mouvement des vêtements. De plus, générer un mouvement correctement synchronisé avec une piste musicale spécifiée tout en maintenant un contrôle sur le style et l'apparence reste difficile.

Méthodologie

MusicInfuser propose une approche pour aligner des modèles de diffusion vidéo texte-vers-vidéo pré-entraînés sur des entrées musicales sans nécessiter de capture de mouvement ni de reconstruction. La méthode adapte des modèles de diffusion vidéo existants (spécifiquement Mochi) pour générer des vidéos de danse de haute qualité synchronisées avec des pistes musicales spécifiées, tout en préservant la capacité du modèle à accepter un contrôle de style et de scène via des invites textuelles.

Architecture de Base et Adaptation

Le cadre injecte des modules musique-vidéo initialisés à zéro dans les blocs du Transformer de Diffusion (DiT) du modèle pré-entraîné.

Attention Croisée Initialisée à Zéro (ZICA) : Pour conditionner le modèle sur l'audio, des blocs ZICA sont employés. La matrice de projection de sortie ( $W_O$ ) est initialisée à zéro, garantissant que le bloc d'attention croisée agit comme une fonction identité au début de l'entraînement. Cela prévient les biais et la déstabilisation, permettant au modèle d'intégrer progressivement les caractéristiques audio au fur et à mesure que $W_O$ apprend durant l'entraînement.
Adaptateurs à Faible Rang (LoRA) : LoRA est utilisé pour l'adaptation au domaine et au mouvement. Contrairement aux modèles d'images standards, les auteurs emploient des configurations de rang plus élevé (par exemple, rang 64) pour capturer adéquatement les dépendances temporelles requises pour les mouvements humains complexes.

Stratégie de Sélection des Couches

Reconnaissant que le fine-tuning de toutes les couches est coûteux en calcul et peut dégrader les capacités de débruitage du modèle pré-entraîné (surtout avec des jeux de données spécialisés limités), les auteurs proposent un critère d'adaptabilité couche par couche.

Au lieu d'une recherche exhaustive ou d'une sélection intuitive (par exemple, des couches uniformément distribuées), ils utilisent une fonction d'influence constructive inspirée de la guidance.
Cette métrique quantifie l'influence positive d'une couche en effectuant un échantillonnage guidé où la couche est ignorée mais utilisée pour fournir une guidance (similaire à la guidance par attention perturbée).
Les couches qui montrent une meilleure performance lorsqu'elles sont exclues et utilisées pour la guidance sont identifiées comme étant intrinsèquement plus connectées à la qualité structurelle et perceptuelle. Ce sont ces couches qui sont sélectionnées pour l'adaptation, préservant ainsi les connaissances pré-entraînées tout en établissant des corrélations entre la musique et le mouvement.

Stratégies d'Entraînement

Planification Beta-Uniforme : Pour préserver la capacité de débruitage du modèle pré-entraîné, la distribution du bruit d'entraînement évolue d'une distribution Beta (concentrée sur de faibles niveaux de bruit) vers une distribution uniforme. Cela permet au modèle d'apprendre d'abord les composants fins spécifiques à la tâche (détails de la danse) avant d'ajuster la structure fondamentale des mouvements, empêchant ainsi la perte des connaissances physiques générales.
Utilisation des Données : Le modèle est entraîné sur un mélange du jeu de données AIST contraint et de données « in-the-wild » provenant de YouTube. Les données in-the-wild introduisent une diversité dans les trajectoires de caméra, l'éclairage et les environnements, servant de régularisation pour prévenir le surapprentissage à des paramètres de studio spécifiques.
Diversification des Invites : Pour réduire la dépendance aux indices textuels et encourager des associations musique-mouvement plus fortes, une partie des légendes détaillées est remplacée aléatoirement par des invites basiques durant l'entraînement.

Contributions Clés

Adaptation Efficace des Modèles de Diffusion Vidéo : Démontre comment les modèles de diffusion vidéo texte-vers-vidéo pré-entraînés peuvent être efficacement adaptés aux entrées musicales sans entraîner un modèle multimodal à partir de zéro ni utiliser de données de mouvement intermédiaires.
Critère d'Adaptabilité Couche par Couche : Introduit une nouvelle métrique basée sur une fonction d'influence constructive pour sélectionner les couches optimales pour l'adaptation par attention croisée, réduisant considérablement les coûts d'entraînement tout en préservant les riches connaissances a priori.
Modules Initialisés à Zéro : Propose ZICA et LoRA à rang élevé pour stabiliser l'entraînement et permettre l'intégration progressive des caractéristiques audio sans déstabiliser la variété de débruitage pré-entraînée.
Efficacité de l'Entraînement : Réalise un entraînement sur un seul GPU en moins d'un jour (environ 20 heures pour 4 000 étapes) en utilisant un seul NVIDIA A100.
Cadre d'Évaluation : Introduit un cadre d'évaluation automatique utilisant des LLM vidéo (VideoLLaMA 2 et Qwen3-Omni) pour évaluer conjointement l'alignement vidéo, audio et linguistique, ce qui corréle bien avec le jugement humain.

Résultats Expérimentaux

Performance : MusicInfuser surpasse les modèles de référence (y compris MM-Diffusion et Mochi) dans les métriques de qualité de danse (alignement du style, alignement sur le rythme, réalisme du mouvement, complexité de la chorégraphie) et les métriques de qualité vidéo (qualité d'imagerie, cohérence globale).
Généralisation : La méthode se généralise à des pistes musicales non vues (y compris des pistes K-pop synthétiques absentes de la distribution d'entraînement), à des séquences vidéo plus longues (jusqu'à 9 secondes, plusieurs fois la longueur d'entraînement) et à des sujets non conventionnels (par exemple, des animaux).
Contrôle : Le système prend en charge un contrôle basé sur le texte concernant le style de danse, le décor, la tenue et le nombre de danseurs tout en maintenant la synchronisation musicale.
Réactivité : Le modèle répond dynamiquement aux caractéristiques musicales ; l'accélération ou le ralentissement de l'entrée audio entraîne des changements correspondants dans le tempo et la dynamique de la danse.
Études d'Ablation : Les résultats confirment que la stratégie de sélection de couches proposée, la planification Beta-Uniforme et l'initialisation ZICA sont critiques. L'ajout naïf de caractéristiques (similaire à ControlNet) et l'initialisation non nulle des couches d'attention croisée entraînent des performances inférieures.

Importance et Revendications

L'article revendique que MusicInfuser comble avec succès le fossé entre la génération de musique et de vidéo pour la danse sans données de mouvement intermédiaires. En tirant parti des riches connaissances chorégraphiques déjà intégrées dans les modèles de diffusion vidéo texte-vers-vidéo pré-entraînés, l'approche génère des mouvements de danse nouveaux, diversifiés et de haute qualité qui répondent naturellement aux rythmes musicaux.

Les auteurs soulignent que leur méthode offre une alternative flexible aux approches basées sur le squelette, capturant des nuances visuelles (cheveux, vêtements, dynamique corporelle) que les représentations squelettiques manquent. Ils affirment que le cadre se généralise bien à la musique et aux sujets non vus, surpassant les références en termes de cohérence et de synchronisation, le tout tout en étant suffisamment efficace en calcul pour être entraîné sur un seul GPU en une journée. Le travail est présenté comme une étape vers la capacité des modèles de diffusion vidéo à « écouter et danser », permettant une synthèse vidéo contrôlable et pilotée par la musique.