FlowDance: Music-Driven Dance Video Generation with Parallel Pose and RGB Streams

La musica e il movimento hanno da tempo condiviso una conversazione profonda e non detta. Quando inizia un ritmo, il corpo spesso risponde prima che la mente possa dare un nome al battito. Per decenni, scienziati e ingegneri hanno cercato di insegnare ai computer a comprendere questo collegamento, sperando di creare macchine capaci di guardare una canzone e inventare un ballo per adattarsi ad essa. I primi tentativi si sono concentrati sullo scheletro del movimento stesso, creando figure stilizzate digitali che potessero saltare e ruotare a tempo con una melodia. Sebbene questi sistemi potessero generare le forme base del movimento, non riuscivano a catturare la persona che lo eseguiva. Mancavano del volto specifico, dei vestiti unici e di quei dettagli sottili che rendono un ballerino un essere umano reale piuttosto che una collezione di linee. La sfida è stata colmare il divario tra l'idea astratta di un ballo e la realtà visiva di una persona specifica che si muove a ritmo di musica, il tutto mantenendo il video fluido e credibile dall'inizio alla fine.

Un team di ricercatori ha sviluppato un nuovo sistema chiamato FlowDance che affronta questa sfida cambiando il modo in cui il computer affronta il compito. Invece di cercare di fare tutto in un unico grande passaggio o di suddividere il processo in fasi separate e scollegate, il sistema lavora con due flussi paralleli di informazioni che scorrono fianco a fianco. Un flusso si concentra sulla struttura del movimento, creando un video semplificato della posa del ballerino, mentre l'altro flusso si concentra sull'aspetto visivo, generando il video effettivo della persona. Questi due flussi comunicano costantemente tra loro durante la creazione del video. Il flusso strutturale guida il flusso visivo, assicurando che le membra della persona si muovano correttamente, mentre il flusso visivo assicura che il volto e i vestiti del ballerino rimangano coerenti durante l'intera clip. Questo approccio permette al sistema di generare un video in cui un individuo specifico danza naturalmente a una canzone, preservando la sua identità e i dettagli del suo abbigliamento senza gli errori che spesso affliggono i metodi precedenti.

I tentativi precedenti di risolvere questo problema spesso si affidavano a una catena di strumenti separati. Uno strumento ipotizzava la forma 3D del corpo, un secondo cercava di appiattire quella forma in un disegno 2D e un terzo usava quel disegno per dipingere il video finale. I ricercatori hanno scoperto che gli errori nei primi passaggi si accumulavano, portando a video in cui le membra del ballerino potevano improvvisamente allungarsi, il corpo poteva cambiare dimensione o il volto poteva apparire distorto. Altri metodi cercavano di fare tutto in una volta, mappando la musica e una foto direttamente su un video, ma ciò rendeva spesso il movimento rigido o poco convincente perché il computer doveva risolvere troppi problemi complessi simultaneamente. FlowDance evita queste insidie mantenendo il movimento e la generazione dell'immagine collegati ma distinti. Utilizza un modello video pre-addestrato come base, aggiungendo poi un percorso specifico affinché la musica influenzi la posa, e un altro percorso per mantenere il volto e il corpo del ballerino uguali alla foto originale.

Per addestrare questo sistema, i ricercatori hanno costruito una vasta collezione di video di danza da internet, selezionando attentamente clip di alta qualità che presentassero una singola persona che ballava. Hanno raccolto oltre 165.000 brevi clip, ciascuna della durata di cinque secondi, e hanno aggiunto etichette dettagliate ad esse. Per ogni video, hanno registrato la musica, i movimenti del ballerino in tre dimensioni, le angolazioni della telecamera e le posizioni 2D delle articolazioni. Questo dataset, che hanno chiamato FlowDanceSet, ha permesso al computer di apprendere la relazione tra il ritmo della musica e il modo specifico in cui un corpo umano si muove, vedendo allo stesso tempo come appare una persona reale mentre lo fa. Il sistema è stato poi testato su nuove canzoni e nuovi ballerini che non aveva mai visto prima. I risultati hanno mostrato che FlowDance produceva video più fluidi e realistici rispetto agli altri metodi attuali. Nei test di confronto tra l'output e i video realizzati da altri sistemi, gli osservatori umani hanno costantemente preferito i video prodotti da FlowDance, notando che i ballerini sembravano più naturali, i movimenti più fluidi e la connessione tra la musica e il movimento più forte.

Il sistema ha anche introdotto un modo per gestire video più lunghi senza perdere l'identità del ballerino. Man mano che il video si allunga, i computer spesso faticano a ricordare l'aspetto della persona nel primo fotogramma, portando a una deriva in cui il volto o i vestiti cambiano leggermente nel tempo. FlowDance risolve questo problema rialimentando ripetutamente la foto originale del ballerino nel sistema in diversi punti durante il processo di creazione. Ciò mantiene i dettagli visivi bloccati in posizione, permettendo al sistema di generare sequenze che durano molti secondi mantenendo un aspetto coerente. I ricercatori hanno scoperto che questo metodo, combinato con i flussi paralleli, ha permesso loro di creare video in cui l'abbigliamento, la forma del corpo e i tratti del viso del ballerino rimanevano stabili anche mentre eseguiva movimenti complessi ed energici. Il lavoro dimostra che separando il compito di pianificare il movimento dal compito di renderizzare l'immagine, ma mantenendoli in costante comunicazione, è possibile creare video di danza che siano sia strutturalmente accurati che visivamente convincenti.