Resumo Técnico: Atribuição de Movimento para Geração de Vídeo (Motive)

Declaração do Problema

Apesar dos rápidos avanços nos modelos de geração de vídeo, o papel específico dos dados de treinamento na moldagem do movimento (dinâmica temporal) permanece pouco compreendido. Os métodos de atribuição de dados existentes, projetados primariamente para geração de imagens, focam na aparência visual estática. Quando aplicados ingenuamente ao vídeo, esses métodos colapsam o movimento na aparência, falhando em distinguir entre fundos estáticos e trajetórias dinâmicas. Isso cria uma lacuna na compreensão de quais clipes de treinamento influenciam a coerência temporal, a plausibilidade física e padrões de movimento específicos (ex: velocidade, aceleração, deformação). Além disso, a atribuição de vídeo enfrenta desafios únicos: o alto custo computacional de processar sequências longas, os vieses introduzidos por comprimentos de clipe variáveis e a dificuldade de isolar relações temporais do conteúdo espacial.

Metodologia: Estrutura Motive

Os autores apresentam o Motive (MOTIon attribution for Video gEneration), uma estrutura de atribuição de dados baseada em gradiente projetada para isolar a influência específica do movimento da aparência estática. A estrutura opera no regime de ajuste fino (fine-tuning), visando identificar quais clipes de treinamento mais fortemente influenciam a dinâmica temporal de um vídeo de consulta gerado.

Componentes Principais

1. Computação de Gradiente Escalável:

   • Para lidar com modelos de bilhões de parâmetros e grandes conjuntos de dados, o Motive evita a inversão exata da Hessiana. Em vez disso, aproxima a influência via similaridade de gradiente usando um pré-condicionador de identidade.
   • Estratégias de Eficiência: Utiliza uma variante de amostra única (fixando um único passo de tempo $t_{fix}$ e uma extração de ruído $\epsilon_{fix}$) para reduzir a variância enquanto mantém a estabilidade do ranking. Reduz ainda mais os custos de armazenamento usando uma projeção Fastfood (transformada de Johnson–Lindenstrauss) para projetar gradientes de alta dimensão em um espaço de menor dimensão ($D' = 512$) antes de calcular a similaridade de cosseno.
   • Correção de Viés de Comprimento de Quadro: A magnitude bruta dos gradientes correlaciona-se com a duração do vídeo. O Motive normaliza os gradientes pelo número de quadros ($F$) antes da projeção para garantir uma atribuição justa entre clipes de diferentes comprimentos.

2. Ponderação Consciente de Movimento (Mascaramento de Movimento):

   • Ao contrário da atribuição padrão que trata um vídeo como uma unidade única, o Motive repondera os gradientes com base no movimento local.
   • Detecção de Movimento: A estrutura utiliza o AllTracker para extrair fluxo óptico e vetores de deslocamento no espaço de pixels.
   • Alinhamento Latente: As magnitudes de movimento são subamostradas para alinhar com a grade latente do modelo (onde os gradientes são calculados).
   • Perda Ponderada pelo Movimento: Uma máscara de magnitude de movimento ($W$) é aplicada à função de perda. Isso suprime gradientes de regiões estáticas (fundos, texturas) e enfatiza gradientes de regiões dinâmicas (objetos em movimento, movimento de câmera). A pontuação de influência resultante rastreia o movimento gerado de volta aos clipes de treinamento que contribuíram para esses comportamentos dinâmicos específicos.

3. Estratégia de Seleção de Dados:

   • Para um determinado vídeo de consulta, o Motive calcula pontuações de influência conscientes de movimento para todas as amostras de treinamento.
   • Seleção de Subconjunto: Para selecionar um subconjunto de ajuste fino, os $K$ melhores exemplares são escolhidos. Para múltiplas consultas, um mecanismo de votação majoritária agrega as pontuações, selecionando amostras que são consistentemente influentes através de diferentes consultas de movimento.

Principais Contribuições

1. Atribuição Escalável para Vídeo: Uma abordagem de atribuição baseada em gradiente computacionalmente eficiente que escala para conjuntos de dados e modelos generativos modernos e de grande escala, utilizando estimadores de amostra única e projeções estruturadas.
2. Correção de Viés de Comprimento de Quadro: Uma técnica de normalização inovadora que corrige o viés onde vídeos mais longos recebem artificialmente pontuações de influência mais altas devido aos gradientes acumulados.
3. Atribuição Centrada no Movimento: A primeira estrutura que isola explicitamente a dinâmica temporal da aparência estática em modelos generativos de vídeo usando máscaras de perda ponderadas pelo movimento, permitindo o rastreamento de padrões de movimento específicos até os dados de treinamento.
4. Validação Empírica: Demonstração de que o uso de dados selecionados pelo Motive (apenas 10% do conjunto de dados) melhora a suavidade do movimento e o grau dinâmico no VBench, superando tanto a seleção aleatória quanto as linhas de base de atribuição não conscientes de movimento.

Resultados Experimentais

A estrutura foi avaliada nos modelos de texto-para-vídeo Wan2.1-T2V-1.3B e Wan2.2-TI2V-5B, bem como LTX-2B, utilizando os conjuntos de dados VIDGEN-1M e 4DNeX-10M.

• Desempenho Quantitativo (VBench):
  • O Motive alcançou as maiores pontuações de Grau Dinâmico (47,6% no Wan2.1 e 48,3% no Wan2.2), superando significativamente a seleção aleatória (41,3%) e a atribuição de vídeo completo (43,8%).
  • Notavelmente, o Motive superou o ajuste fino do conjunto de dados completo nas métricas de grau dinâmico usando apenas 10% dos dados.
  • Manteve pontuações competitivas em Suavidade de Movimento, Consistência de Objeto e Qualidade Estética.
• Avaliação Humana:
  • Em comparações pareadas com 17 anotadores, os modelos guiados pelo Motive alcançaram uma taxa de vitória de 74,1% contra o modelo base pré-treinado e uma taxa de vitória de 53,1% contra modelos de ajuste fino completo.
• Estudos de Ablação:
  • Dimensão de Projeção: Uma dimensão de projeção de 512 proporcionou o melhor equilíbrio entre precisão (correlação de Spearman $\rho \approx 74,7\%$ com gradientes completos) e eficiência.
  • Normalização de Comprimento de Quadro: Remover esta correção fez com que os rankings correlacionassem fortemente com o comprimento do vídeo ($\rho=78,0\%$) em vez da qualidade do movimento. A normalização reduziu as correlações espúrias de comprimento em 54%.
  • Mascaramento de Movimento: Modelos ajustados com seleção consciente de movimento superaram aqueles que usaram atribuição de vídeo completo, confirmando que isolar sinais de movimento é crítico para melhorar a dinâmica temporal.

Significância e Alegações

O artigo afirma apresentar a primeira estrutura para atribuir movimento, em vez de aparência visual, em modelos generativos de vídeo e para utilizar essa atribuição na curadoria de dados de ajuste fino.

Os autores enfatizam que, embora a escala de dados em larga escala tenha impulsionado o progresso na geração de vídeo, a influência específica dos dados sobre o movimento tem sido uma "caixa preta". O Motive fornece uma lente direta para entender por que os modelos se movem da maneira que o fazem. Ao isolar a dinâmica temporal, a estrutura permite:

• Curadoria de Dados Direcionada: Selecionar uma pequena fração de dados de alta influência para melhorar significativamente a qualidade do movimento e a plausibilidade física.
• Diagnóstico de Modos de Falha: Identificar quais clipes de treinamento levam a artefatos de movimento ou inconsistências específicas.
• Eficiência: Alcançar desempenho que iguala ou excede o ajuste fino de todo o conjunto de dados com uma fração dos dados, tornando a geração de movimento de alta qualidade mais acessível.

O trabalho conclui que, à medida que os modelos de vídeo escalam, a compreensão do movimento ao nível dos dados será essencial para construir sistemas generativos mais controláveis e fisicamente plausíveis.