Resumo Técnico: MusicInfuser

Declaração do Problema

Os modelos atuais de difusão de vídeo de código aberto geram predominantemente vídeos silenciosos ou focados em fala, carecendo da capacidade de sincronizar movimento com faixas musicais específicas. Embora algumas pesquisas explorem a geração de áudio-vídeo, treinar tais modelos do zero para o domínio específico da dança é desafiador devido à escassez de conjuntos de dados de dança de alta qualidade e alinhados com música. Os métodos existentes de geração de dança frequentemente dependem de representações intermediárias, como movimento esquelético ou dados de captura de movimento. Essas abordagens sofrem limitações: são custosas para adquirir, propensas a artefatos de flutuação/jitter e subparametrizadas para dança, falhando em capturar nuances como curvatura da coluna, rotação axial, articulação das mãos, dinâmica do cabelo e movimento de roupas. Além disso, gerar movimento que esteja devidamente sincronizado com uma faixa musical específica, mantendo o controle sobre estilo e aparência, continua sendo difícil.

Metodologia

O MusicInfuser propõe uma abordagem para alinhar modelos de difusão texto-para-vídeo pré-treinados com entradas musicais sem exigir captura ou reconstrução de movimento. O método adapta modelos de difusão de vídeo existentes (especificamente o Mochi) para gerar vídeos de dança de alta qualidade sincronizados com faixas musicais especificadas, preservando a capacidade do modelo de aceitar controle de estilo e cena por meio de prompts de texto.

Arquitetura Central e Adaptação

O framework injeta módulos de música-vídeo inicializados com zero nos blocos do Transformer de Difusão (DiT) do modelo pré-treinado.

• Atenção Cruzada Inicializada com Zero (ZICA): Para condicionar o modelo ao áudio, são empregados blocos ZICA. A matriz de projeção de saída ($W_O$) é inicializada com zero, garantindo que o bloco de atenção cruzada atue como uma função identidade no início do treinamento. Isso previne viés e desestabilização, permitindo que o modelo incorpore gradualmente características de áudio à medida que $W_O$ aprende durante o treinamento.
• Adaptadores de Baixo Rango (LoRA): O LoRA é utilizado para adaptação de domínio e movimento. Diferentemente de modelos de imagem padrão, os autores empregam configurações de maior rango (por exemplo, rango 64) para capturar adequadamente as dependências temporais necessárias para movimentos humanos complexos.

Estratégia de Seleção de Camadas

Reconhecendo que o ajuste fino de todas as camadas é computacionalmente caro e pode degradar as capacidades de remoção de ruído do modelo pré-treinado (especialmente com conjuntos de dados especializados limitados), os autores propõem um critério de adaptabilidade por camada.

• Em vez de busca exaustiva ou seleção intuitiva (por exemplo, camadas distribuídas uniformemente), eles utilizam uma função de influência construtiva inspirada em orientação.
• Essa métrica quantifica a influência positiva de uma camada realizando amostragem orientada onde a camada é pulada, mas usada para fornecer orientação (semelhante à orientação por atenção perturbada).
• Camadas que exibem maior desempenho quando excluídas e usadas para orientação são identificadas como intrinsecamente mais conectadas à qualidade estrutural e perceptual. Estas são as camadas selecionadas para adaptação, preservando o conhecimento pré-treinado enquanto estabelecem correlações entre música e movimento.

Estratégias de Treinamento

• Agendamento Beta-Uniforme: Para preservar a capacidade de remoção de ruído do modelo pré-treinado, a distribuição de ruído do treinamento evolui de uma distribuição Beta (concentrada em níveis baixos de ruído) para uma distribuição uniforme. Isso permite que o modelo primeiro aprenda componentes finos específicos da tarefa (detalhes da dança) antes de ajustar a estrutura fundamental dos movimentos, prevenindo a perda de conhecimento físico geral.
• Utilização de Dados: O modelo é treinado em uma mistura do conjunto de dados AIST restrito e dados "in-the-wild" do YouTube. Os dados in-the-wild introduzem diversidade em trajetórias de câmera, iluminação e ambientes, servindo como regularização para evitar overfitting a configurações de estúdio específicas.
• Diversificação de Prompts: Para reduzir a dependência de pistas textuais e encorajar associações mais fortes entre música e movimento, uma porção de legendas detalhadas é aleatoriamente substituída por prompts básicos durante o treinamento.

Contribuições Principais

1. Adaptação Eficiente de Modelos de Difusão de Vídeo: Demonstra como modelos de texto-para-vídeo pré-treinados podem ser eficientemente adaptados para entradas musicais sem treinar um modelo multimodal do zero ou usar dados de movimento intermediários.
2. Critério de Adaptabilidade por Camada: Introduz uma métrica inovadora baseada em uma função de influência construtiva para selecionar camadas ótimas para adaptação de atenção cruzada, reduzindo significativamente os custos de treinamento enquanto preserva conhecimento prévio rico.
3. Módulos Inicializados com Zero: Propõe ZICA e LoRA de alto rango para estabilizar o treinamento e permitir a integração gradual de características de áudio sem desestabilizar a variedade de remoção de ruído pré-treinada.
4. Eficiência de Treinamento: Consegue treinamento em uma única GPU dentro de um dia (aproximadamente 20 horas para 4.000 passos) usando uma única NVIDIA A100.
5. Framework de Avaliação: Introduz um framework de avaliação automático usando Video-LLMs (VideoLLaMA 2 e Qwen3-Omni) para avaliar conjuntamente o alinhamento de vídeo, áudio e linguagem, o que correlaciona-se bem com o julgamento humano.

Resultados Experimentais

• Desempenho: O MusicInfuser supera os modelos de base (incluindo MM-Diffusion e Mochi) em métricas de qualidade de dança (alinhamento de estilo, alinhamento de batida, realismo de movimento, complexidade coreográfica) e métricas de qualidade de vídeo (qualidade de imagem, consistência geral).
• Generalização: O método generaliza para faixas musicais não vistas (incluindo faixas K-pop sintéticas não presentes na distribuição de treinamento), sequências de vídeo mais longas (até 9 segundos, múltiplas vezes o comprimento de treinamento) e sujeitos não convencionais (por exemplo, animais).
• Controle: O sistema suporta controle baseado em texto sobre estilo de dança, cenário, vestuário e número de dançarinos, mantendo a sincronização musical.
• Responsividade: O modelo responde dinamicamente a características musicais; acelerar ou desacelerar a entrada de áudio resulta em mudanças correspondentes no tempo e na dinâmica da dança.
• Estudos de Ablação: Os resultados confirmam que a estratégia de seleção de camadas proposta, o agendamento Beta-Uniforme e a inicialização ZICA são críticos. A adição ingênua de características (semelhante ao ControlNet) e a inicialização não zero de camadas de atenção cruzada resultam em desempenho inferior.

Significado e Alegações

O artigo afirma que o MusicInfuser conecta com sucesso a lacuna entre geração de música e vídeo para dança sem dados de movimento intermediários. Ao aproveitar o rico conhecimento coreográfico já embutido em modelos de texto-para-vídeo pré-treinados, a abordagem gera movimentos de dança novos, diversos e de alta qualidade que respondem naturalmente aos ritmos musicais.

Os autores enfatizam que seu método oferece uma alternativa flexível às abordagens baseadas em esqueleto, capturando nuances visuais (cabelo, roupas, dinâmica corporal) que representações esqueléticas perdem. Eles afirmam que o framework generaliza bem para músicas e sujeitos não vistos, superando as bases em consistência e sincronização, tudo enquanto é computacionalmente eficiente o suficiente para treinar em uma única GPU em um dia. O trabalho é apresentado como um passo em direção a fazer modelos de difusão de vídeo "ouvir e dançar", permitindo síntese de vídeo controlável e impulsionada por música.