FlowDance: Music-Driven Dance Video Generation with Parallel Pose and RGB Streams

La musique et le mouvement partagent depuis longtemps une conversation profonde et tacite. Lorsqu'un rythme commence, le corps répond souvent avant que l'esprit ne puisse nommer la cadence. Pendant des décennies, des scientifiques et des ingénieurs ont tenté d'enseigner aux ordinateurs cette connexion, espérant créer des machines capables de regarder une chanson et d'inventer une danse pour l'accompagner. Les premières tentatives se concentraient sur le squelette du mouvement lui-même, créant des personnages de bâtons numériques capables de sauter et de tournoyer en rythme avec une mélodie. Bien que ces systèmes puissent générer les formes de base du mouvement, ils ne pouvaient pas capturer la personne qui les exécutait. Ils manquaient du visage spécifique, des vêtements uniques et des détails subtils qui font d'un danseur un véritable humain plutôt qu'une simple collection de lignes. Le défi consistait à combler le fossé entre l'idée abstraite d'une danse et la réalité visuelle d'une personne spécifique bougeant sur la musique, tout en maintenant une vidéo fluide et crédible du début à la fin.

Une équipe de chercheurs a maintenant développé un nouveau système appelé FlowDance qui relève ce défi en changeant la manière dont l'ordinateur aborde la tâche. Au lieu d'essayer de tout faire en une seule étape géante ou de diviser le processus en étapes séparées et déconnectées, le système travaille avec deux flux d'informations parallèles qui fonctionnent côte à côte. Un flux se concentre sur la structure du mouvement, créant une vidéo simplifiée de la pose du danseur, tandis que l'autre flux se concentre sur l'apparence visuelle, générant la vidéo réelle de la personne. Ces deux flux communiquent constamment entre eux pendant la création de la vidéo. Le flux structurel guide le flux visuel, garantissant que les membres de la personne bougent correctement, tandis que le flux visuel veille à ce que le visage et les vêtements du danseur restent cohérents tout au long du clip. Cette approche permet au système de générer une vidéo où un individu spécifique danse naturellement sur une chanson, préservant son identité et les détails de sa tenue sans les erreurs qui affectent souvent les méthodes précédentes.

Les tentatives antérieures pour résoudre ce problème reposaient souvent sur une chaîne d'outils distincts. Un outil devinait la forme 3D du corps, un deuxième tentait d'aplatir cette forme en un dessin 2D, et un troisième utilisait ce dessin pour peindre la vidéo finale. Les chercheurs ont constaté que les erreurs dans les premières étapes s'accumulaient, menant à des vidéos où les membres du danseur pouvaient soudainement s'étirer, son corps pouvait changer de taille, ou son visage pouvait paraître déformé. D'autres méthodes tentaient de tout faire en même temps, en mappant la musique et une photo directement vers une vidéo, mais cela rendait souvent le mouvement rigide ou peu convaincant car l'ordinateur devait résoudre trop de problèmes complexes simultanément. FlowDance évite ces pièges en gardant le mouvement et la génération d'images liés mais distincts. Il utilise un modèle vidéo pré-entraîné comme fondation, puis ajoute un chemin spécifique pour que la musique influence la pose, et un autre chemin pour que le visage et le corps du danseur ressemblent à la photo originale.

Pour entraîner ce système, les chercheurs ont construit une vaste collection de vidéos de danse provenant d'Internet, sélectionnant soigneusement des clips de haute qualité présentant une seule personne qui danse. Ils ont rassemblé plus de 165 000 courts clips, chacun durant cinq secondes, et y ont ajouté des étiquettes détaillées. Pour chaque vidéo, ils ont enregistré la musique, les mouvements du danseur en trois dimensions, les angles de caméra et les positions 2D des articulations. Ce jeu de données, qu'ils ont nommé FlowDanceSet, a permis à l'ordinateur d'apprendre la relation entre le rythme de la musique et la façon spécifique dont un corps humain bouge, tout en observant l'apparence d'une personne réelle en plein mouvement. Le système a ensuite été testé sur de nouvelles chansons et de nouveaux danseurs qu'il n'avait jamais vus auparavant. Les résultats ont montré que FlowDance produisait des vidéos plus fluides et plus réalistes que les autres méthodes actuelles. Lors de tests comparant le résultat à des vidéos produites par d'autres systèmes, les observateurs humains ont systématiquement préféré les vidéos réalisées par FlowDance, notant que les danseurs paraissaient plus naturels, les mouvements plus fluides et la connexion entre la musique et le mouvement plus forte.

Le système a également introduit une façon de gérer des vidéos plus longues sans perdre l'identité du danseur. À mesure que la vidéo s'allonge, les ordinateurs peinent souvent à se souvenir de l'apparence de la personne dans la première image, ce qui entraîne une dérive où le visage ou les vêtements changent légèrement au fil du temps. FlowDance résout ce problème en réinjectant de manière répétée la photo originale du danseur dans le système à différents moments du processus de création. Cela maintient les détails visuels verrouillés en place, permettant au système de générer des séquences qui durent de nombreuses secondes tout en conservant une apparence constante. Les chercheurs ont découvert que cette méthode, combinée aux flux parallèles, leur a permis de créer des vidéos où les vêtements, la forme du corps et les traits du visage du danseur restaient stables, même lors de mouvements complexes et énergiques. Ce travail démontre qu'en séparant la tâche de planification du mouvement de la tâche de rendu de l'image, tout en les maintenant en communication constante, il est possible de créer des vidéos de danse qui sont à la fois structurellement précises et visuellement convaincantes.