FlowDance: Music-Driven Dance Video Generation with Parallel Pose and RGB Streams

A música e o movimento há muito tempo compartilham uma conversa profunda e silenciosa. Quando um ritmo começa, o corpo frequentemente responde antes que a mente possa nomear a batida. Por décadas, cientistas e engenheiros tentaram ensinar os computadores a entender essa conexão, esperando criar máquinas que pudessem assistir a uma canção e inventar uma dança para combiná-la. As tentativas iniciais focaram no esqueleto do movimento em si, criando figuras de palito digitais que podiam pular e girar no tempo de uma melodia. Embora esses sistemas pudessem gerar as formas básicas de movimento, eles não conseguiam capturar a pessoa que os executava. Eles careciam do rosto específico, das roupas únicas e dos detalhes sutis que fazem um dançarino parecer um ser humano real, em vez de uma coleção de linhas. O desafio tem sido preencher a lacuna entre a ideia abstrata de uma dança e a realidade visual de uma pessoa específica se movendo ao som da música, tudo isso mantendo o vídeo fluido e convincente do início ao fim.

Uma equipe de pesquisadores desenvolveu agora um novo sistema chamado FlowDance, que aborda esse desafio mudando a forma como o computador pensa sobre a tarefa. Em vez de tentar fazer tudo em um único passo gigante ou dividir o processo em estágios separados e desconectados, o sistema trabalha com dois fluxos paralelos de informação que rodam lado a lado. Um fluxo foca na estrutura do movimento, criando um vídeo simplificado da pose do dançarino, enquanto o outro fluxo foca na aparência visual, gerando o vídeo real da pessoa. Esses dois fluxos conversam entre si constantemente enquanto o vídeo está sendo criado. O fluxo estrutural guia o fluxo visual, garantindo que os membros da pessoa se movam corretamente, enquanto o fluxo visual garante que o rosto e as roupas do dançarino permaneçam consistentes ao longo do clipe. Essa abordagem permite que o sistema gere um vídeo onde um indivíduo específico dança naturalmente ao som de uma música, preservando sua identidade e os detalhes de seu traje sem os erros que frequentemente assolam métodos anteriores.

Tentativas anteriores de resolver este problema frequentemente dependiam de uma cadeia de ferramentas separadas. Uma ferramenta adivinhava a forma 3D do corpo, uma segunda tentava achatar essa forma em um desenho 2D e uma terceira usava esse desenho para pintar o vídeo final. Os pesquisadores descobriram que erros nos primeiros passos se acumulavam, levando a vídeos onde os membros do dançarino podiam subitamente esticar, seu corpo podia mudar de tamanho ou seu rosto poderia parecer distorcido. Outros métodos tentavam fazer tudo de uma vez, mapeando a música e uma foto diretamente para um vídeo, mas isso frequentemente tornava o movimento rígido ou pouco convincente porque o computador tinha que resolver muitos problemas complexos simultaneamente. O FlowDance evita essas armadilhas ao manter a movimentação e a geração da imagem ligadas, porém distintas. Ele utiliza um modelo de vídeo pré-treinado como base, adicionando então um caminho específico para a música influenciar a pose, e outro caminho para manter o rosto e o corpo do dançarino parecidos com a foto original.

Para treinar este sistema, os pesquisadores construíram uma grande coleção de vídeos de dança da internet, selecionando cuidadosamente clipes que fossem de alta qualidade e apresentassem uma única pessoa dançando. Eles reuniram mais de 165.000 clipes curtos, cada um com cinco segundos de duração, e adicionaram rótulos detalhados a eles. Para cada vídeo, eles registraram a música, os movimentos do dançarino em três dimensões, os ângulos da câmera e as posições 2D das articulações. Esse conjunto de dados, que chamaram de FlowDanceSet, permitiu que o computador aprendesse a relação entre o ritmo da música e a maneira específica como um corpo humano se move, tudo isso enquanto via como uma pessoa real parece ao fazê-lo. O sistema foi então testado com novas músicas e novos dançarinos que ele nunca tinha visto antes. Os resultados mostraram que o FlowDance produziu vídeos mais suaves e realistas do que outros métodos atuais. Em testes comparando a produção com vídeos feitos por outros sistemas, observadores humanos preferiram consistentemente os vídeos feitos pelo FlowDance, notando que os dançarinos pareciam mais naturais, os movimentos eram mais fluidos e a conexão entre a música e o movimento era mais forte.

O sistema também introduziu uma maneira de lidar com vídeos mais longos sem perder a identidade do dançarino. À medida que o vídeo fica mais longo, os computadores frequentemente têm dificuldade em lembrar como a pessoa era no primeiro quadro, levando a um desvio onde o rosto ou as roupas mudam ligeiramente ao longo do tempo. O FlowDance resolve isso alimentando repetidamente a foto original do dançarino de volta ao sistema em diferentes pontos durante o processo de criação. Isso mantém os detalhes visuais travados no lugar, permitindo que o sistema gere sequências que duram muitos segundos enquanto mantém uma aparência consistente. Os pesquisadores descobriram que este método, combinado com os fluxos paralelos, permitiu que criassem vídeos onde as roupas, a forma corporal e as características faciais do dançarino permaneciam estáveis mesmo enquanto realizavam movimentos complexos e enérgicos. O trabalho demonstra que, ao separar a tarefa de planejar o movimento da tarefa de renderizar a imagem, mas mantendo-as em constante comunicação, é possível criar vídeos de dança que são tanto estruturalmente precisos quanto visualmente convincentes.