💻 computer science

OmniDance: Multimodal Driven Dance Video Generation with Large-scale Internet Data

Este artigo apresenta o OmniDance, um framework que aproveita o recém-construído conjunto de dados de larga escala CIPE-Dance e uma arquitetura especializada para alcançar a geração de vídeos de dança orientada por música, por texto e multimodal com estado da arte, preservando alta fidelidade visual e controlabilidade.

Autores originais: Kaixing Yang, Jiashu Zhu, Xulong Tang, Ziqiao Peng, Xiangyue Zhang, Chubin Chen, Puwei Wang, Jiahong Wu, Xiangxiang Chu, Hongyan Liu, Jun He

Publicado 2026-06-30

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Kaixing Yang, Jiashu Zhu, Xulong Tang, Ziqiao Peng, Xiangyue Zhang, Chubin Chen, Puwei Wang, Jiahong Wu, Xiangxiang Chu, Hongyan Liu, Jun He

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você queira criar um vídeo de dança onde uma pessoa se mova perfeitamente ao som de uma música, parecendo exatamente um ser humano real. Até agora, a IA tem tido dificuldade em fazer isso bem. Ela podia ou fazer a pessoa se mover conforme a música, mas parecer um desenho animado com falhas (glitchy), ou fazer com que ela parecesse realista, mas se movesse de forma rígida, ignorando a batida.

O artigo apresenta o OmniDance, um novo sistema que resolve isso combinando uma nova e massiva biblioteca de dados de dança com uma maneira mais inteligente de ensinar a IA a dançar.

Aqui está como eles fizeram isso, dividido em partes simples:

1. O Problema: A "Pista de Dança Vazia"

Pense nas ferramentas de dança de IA existentes como dançarinos tentando aprender em um palco vazio. Eles não têm exemplos bons o suficiente para estudar.

A Lacuna de Dados: Não havia vídeos de dança de alta qualidade na internet organizados de uma forma que uma IA pudesse aprender facilmente.
A Lacuna de Método: Os modelos de IA que criam vídeos foram treinados para ouvir textos (como "uma pessoa dançando"), mas não sabiam como ouvir a música (o ritmo e a batida) sem ficarem confusos.

2. A Solução Parte 1: Construindo uma Biblioteca Massiva (CIPE-Dance)

Para corrigir o problema dos dados, os pesquisadores construíram o CIPE-Dance.

O Pipeline de "Filtro Especialista": Imagine que você está contratando um instrutor de dança para encontrar os melhores vídeos da internet. Em vez de uma pessoa checar tudo, eles usaram uma equipe de "especialistas" de IA com diferentes funções.
- Primeiro, um especialista "leve" verifica rapidamente se um vídeo é claro e de alta qualidade.
- Depois, especialistas "pesados" verificam problemas específicos de dança, como: É apenas uma pessoa dançando? (Não são permitidas danças em grupo). A câmera está tremendo demais? A pessoa está de costas?
O Resultado: Eles terminaram com 300.000 clipes de dança de alta qualidade (mais de 400 horas de vídeo).
As "Notas de Coreografia": Eles não apenas jogaram os vídeos em uma pasta. Eles usaram IA para escrever "notas de dança" detalhadas para cada vídeo, descrevendo não apenas o que o dançarino está vestindo, mas como ele está se mov셈o (ex: "isolações de quadril", "intenção lúdica", "balanços rítmicos de braços"). Isso dá à IA um vocabulário rico para aprender.

3. A Solução Parte 2: O Professor Inteligente (OmniDance)

Para corrigir o problema do método, eles construíram o OmniDance, que é como um professor de dança que sabe ensinar três tipos diferentes de aulas ao mesmo tempo:

Texto-para-Vídeo: Dançando baseando-se em uma descrição escrita.
Música-para-Vídeo: Dançando baseando-se apenas em uma música.
Música + Texto: Dançando baseado em ambos.

Eles usaram uma estratégia inteligente de Aprendizado em Três Etapas (Aprendizado por Currículo):

Etapa 1 (O Aquecimento): A IA primeiro aprende a dançar usando apenas descrições de texto. Isso estabiliza sua capacidade de parecer um ser humano real.
Etapa 2 (A Prática Guiada): Eles introduzem a música, mas a IA ainda tem o texto para ajudar. Ela aprende como a música se encaixa com o texto, como um aluno aprendendo a seguir o ritmo enquanto ainda lê a partitura.
Etapa 3 (A Performance Solo): Finalmente, a IA aprende a dançar usando apenas a música, sem precisar de ajuda do texto.

4. O Ingrediente Secreto: Especialização "Consciente de Profundidade"

O artigo descreve um truque arquitetônico inteligente chamado Especialização Progressiva Música-Texto.

A Analogia: Imagine construir uma casa.
- Camadas Rasas (A Fundação): A IA usa o Texto primeiro para construir a "estrutura" da dança (o estilo geral, a pose, a história). Isso é como assentar os tijolos.
- Camadas Profundas (A Decoração): À medida que a geração do vídeo se aproxima do fim, a IA muda o foco para a Música. Ela usa o ritmo para adicionar os "toques finais" (o tempo específico, o balanço, a energia).
Por que isso funciona: Se você tentar ouvir a batida e ler as instruções ao mesmo tempo com a mesma intensidade, você fica confuso. Ao deixar o texto preparar o cenário e a música refinar os detalhes, a dança parece natural e acerta a batida perfeitamente.

5. O Resultado

Quando testaram o OmniDance, ele superou todos os outros métodos atuais.

Visuais: Os dançarinos parecem reais, com rostos e roupas consistentes (sem falhas/glitches).
Movimento: Os movimentos são expressivos e fluidos.
Ritmo: O dançarino acerta as batidas da bateria e as mudanças musicais com precisão.
Flexibilidade: Você pode dar a ele apenas uma música, apenas um comando de texto, ou ambos, e ele funciona muito bem em todos os três cenários.

Em resumo: O OmniDance é um novo sistema de IA que aprendeu a dançar estudando uma biblioteca massiva e cuidadosamente filtrada de vídeos de dança reais e sendo ensinado de uma forma passo a passo que permite entender tanto a "história" da dança (texto) quanto o "ritmo" da dança (música) sem ficar confuso.

Resumo Técnico: OmniDance

Declaração do Problema

A geração de vídeos de dança impulsionados por música visa sintetizar movimentos humanos expressivos temporalmente alinhados com a música, mantendo uma alta fidelidade visual. Apesar dos avanços recentes na geração de conteúdo por IA (AIGC), os métodos existentes lutam para alcançar simultaneamente movimento expressivo e alta qualidade visual. Os autores identificam duas limitações primárias que impedem o progresso:

Limitações de Conjunto de Dados: Há uma falta de conjuntos de dados de grande escala e alta qualidade e de pipelines de coleta de dados eficazes especificamente adaptados para a geração de vídeos de dança. Os conjuntos de dados existentes são frequentemente de pequena escala (por exemplo, o FineDance contém apenas cerca de 8 horas de movimento) ou carecem de anotações coreográficas específicas.
Limitações Metodológicas: Há uma ausência de soluções de nível de framework principadas para integrar efetivamente a música como um sinal de condicionamento complementar em Modelos de Fundação de Geração de Vídeo (VGFMs), que são tipicamente treinados sem supervisão de áudio. As abordagens existentes frequentemente dependem de representações intermediárias (keypoints 2D ou SMPL 3D) ou falham em aproveitar todo o potencial de modelos de difusão de ponta a ponta, resultando em expressividade de movimento limitada ou aparência visual degradada.

Metodologia: OmniDance

Para abordar esses desafios, os autores propõem o OmniDance, um framework unificado projetado para integrar o condicionamento de música em um modelo de fundação de Texto/Imagem-para-Vídeo (TI2V) sem comprometer sua controlabilidade original ou fidelidade visual. O framework opera em três níveis co-projetados:

1. Conjunto de Dados: CIPE-Dance

Os autores introduzem o CIPE-Dance, o maior conjunto de dados de código aberto para geração de vídeos de dança até o momento, compreendendo aproximadamente 300.000 clipes de alta qualidade (mais de 400 horas).

Pipeline de Construção: Um "Pipeline de Coleta de Dados Baseado em Especialistas Progressivos" é empregado para filtrar dados coletados da web de criadores populares. Ele utiliza uma estratégia progressiva de fácil-para-difícil, começando com especialistas de verificação leves (Qwen3-VL-2B) para tarefas simples e empregando especialistas de filtragem mais pesados (Qwen3-VL-8B) para identificar e eliminar modos de falha complexos (ex: danças em grupo, reflexos em espelhos, instabilidade de cena).
Anotações: O conjunto de dados apresenta Anotações de Texto Informadas pela Coreografia geradas pelo Qwen3-VL-8B em cinco dimensões: Dinâmica Corporal, Conteúdo Coreográfico, Expressividade, Apresentação de Câmera e Aspecto Geral.
Diversidade: O conjunto de dados cobre mais de 30 gêneros de dança, ambientes diversos (estúdios, ruas, casas) e variadas demografias de performers.

2. Arquitetura do Modelo: Especialização Progressiva Música-Texto

Construído sobre o backbone de Diffusion Transformer (DiT) WAN2.2-TI2V-5B, o OmniDance introduz um mecanismo de especialização consciente da profundidade:

Arquitetura: Uma camada adicional de atenção cruzada de música é adicionada a cada bloco DiT.
Especialização Progressiva: Motivados pela observação de que camadas rasas capturam estruturas globais de baixa frequência enquanto camadas profundas refinam detalhes de alta frequência, o modelo emprega uma estratégia de escalonamento consciente da profundidade. O condicionamento de texto domina nas camadas rasas para estabelecer o layout semântico, enquanto a influência do ramo de música (via atualização residual) aumenta progressivamente nas camadas mais profundas para refinar a dinâmica de movimento sensível ao ritmo. O fator de escala é definido como $(\ell/L)^\gamma$ , onde $\ell$ é o índice da camada e $L$ é a profundidade total.

3. Estratégia de Treinamento: Aprendizado de Currículo Fácil-para-Difícil

Para estender a capacidade TI2V para geração unificada de TI2V, Música-para-Vídeo (MI2V) e Música-Texto-para-Vídeo (MTI2V), um currículo de três estágios é adotado:

Estágio I (Aquecimento de Adaptação de Texto): O modelo é treinado exclusivamente em TI2V para adaptar o backbone pré-treinado para descrições textuais específicas de dança, mantendo o ramo de música congelado.
Estágio II (Integração de Música Ancorada): Um ramo de música é introduzido, e o modelo é treinado tanto em TI2V quanto em MTI2V. Isso permite que o condicionamento de música seja aprendido sob a orientação de texto, evitando a degradação abrupta das capacidades TI2V pré-treinadas.
Estágio III (Desacoplamento de Modalidade): O modelo é treinado em todas as três tarefas (TI2V, MTI2V, MI2V), permitindo a geração de vídeos de dança apenas a partir da música quando o texto está ausente.

4. Estratégia de Inferência: CFG Especializada por Modalidade

Os autores propõem uma estratégia de Classificador-Free Guidance (CFG) Especializada por Modalidade. Reconhecendo que o texto transmite semântica global e a música fornece dinâmica temporal, os pesos de orientação são dependentes do tempo:

Timesteps Iniciais: A orientação de texto domina para estabelecer a semântica global.
Timesteps Posteriores: A orientação de música torna-se progressivamente mais influente para refinar a dinâmica de movimento sensível ao ritmo.
As escalas de orientação decaem ao longo do tempo (Texto: $5 \to 1$ ; Música: $4 \to 2$ ), garantindo uma transição suave do layout semântico para o refinamento rítmico.

Principais Contribuições

Conjunto de Dados CIPE-Dance: A introdução do maior conjunto de dados de geração de vídeo de dança de código aberto (300k clipes) com anotações informadas pela coreografia, construído via um novo pipeline de especialista progressivo.
Framework OmniDance: Um framework unificado que integra com sucesso o condicionamento de música em um modelo de fundação TI2V através de um design de três níveis (arquitetura, aprendizado de currículo e inferência), suportando a alternância perfeita entre as tarefas TI2V, MI2V e MTI2V.
Desempenho de Estado da Arte (SOTA): Experimentos extensos demonstram que o OmniDance alcança desempenho SOTA em todas as três tarefas de geração, exibindo capacidades robustas de integração multimodal.

Resultados Experimentais

Experimentos foram conduzidos no conjunto de dados CIPE-Dance, avaliando Qualidade de Vídeo, Qualidade de Movimento e Alinhamento.

Tarefa TI2V: O OmniDance superou baselines fortes (CogVideoX1.5-5B, HunyuanVideo, WAN2.2-TI2V-5B) em métricas de qualidade de vídeo (IQ: 67.74, AQ: 55.17) e fidelidade de movimento (FIDk: 13.55).
Tarefa MI2V: O OmniDance alcançou resultados SOTA em geração impulsionada por música, superando modelos de talking-head ajustados (Hallo2) e baselines de apenas inferência (WAN-S2V, Echomimic-V3) em qualidade visual (IQ: 65.61) e alinhamento de batida (BAS: 0.293).
Tarefa MTI2V: O modelo demonstrou sinergia multimodal eficaz, alcançando alta consistência (OC: 13.08) e mantendo forte sincronização de batida (BAS: 0.287) enquanto preserva identidade e estabilidade de cena.
Estudos de Ablação: Remover a especialização progressiva (MTPS) ou os estágios de currículo degradou significativamente a suavidade temporal e o alinhamento de batida, validando a necessidade dos designs arquiteturais e de treinamento propostos.

Significância e Alegações

O artigo afirma que o OmniDance representa um passo significativo à frente na geração de vídeos de dança impulsionados por multimodalidade ao resolver os desafios duplos da escassez de dados e da integração eficaz de música. Ao aproveitar um conjunto de dados de grande escala e alta qualidade e um framework principado que respeita os papéis complementares do texto (semântica) e da música (dinâmica), os autores demonstram que é possível gerar vídeos de dança com alta fidelidade visual e movimento expressivo alinhado ao ritmo. O trabalho unifica três tarefas de geração distintas em um único modelo, eliminando a necessidade de geradores separados. Embora os autores reconheçam que a geração em tempo real ainda não é suportada, eles sugerem que combinar sua abordagem com técnicas de destilação oferece um caminho promissor para eficiência futura.