MotionGrounder: Grounded Multi-Object Motion Transfer via Diffusion Transformer

Resumo Técnico: MotionGrounder

1. Problema e Motivação

A transferência de movimento (motion transfer) visa gerar novos vídeos condicionados a uma legenda de texto, transferindo a dinâmica temporal de um vídeo de referência. Embora métodos baseados em Diffusion Transformers (DiT) tenham avançado a qualidade visual, eles enfrentam limitações críticas em cenas com múltiplos objetos:

• Falta de Controle Granular: A maioria dos métodos existentes é restrita a vídeos de objeto único ou falha em atribuir movimentos específicos a objetos distintos em cenas complexas.
• Desalinhamento Semântico: Métodos que tentam lidar com múltiplos objetos frequentemente não associam explicitamente as legendas dos objetos às suas regiões espaciais correspondentes, levando a erros onde o movimento de um objeto é atribuído ao errado ou objetos são gerados em locais incorretos.
• Sinais de Movimento Instáveis: Técnicas anteriores que utilizam fluxo de atenção (Attention Motion Flow) em DiTs tendem a ser ruidosas, especialmente em fundos estáticos ou com objetos visualmente similares, resultando em trajetórias de movimento instáveis.

O objetivo do MotionGrounder é criar um framework zero-shot e sem treinamento adicional (training-free) capaz de realizar transferência de movimento para múltiplos objetos, garantindo que cada objeto gerado corresponda semanticamente à sua descrição textual e mantenha sua localização espacial correta.

2. Metodologia

O MotionGrounder é construído sobre um modelo de difusão baseado em Transformer (DiT) e introduz dois componentes principais para resolver os problemas de estabilidade e alinhamento:

A. Sinal de Movimento Baseado em Fluxo (Flow-based Motion Signal - FMS)

• Objetivo: Fornecer um prior de movimento estável e robusto, superando o ruído dos métodos baseados apenas em atenção.
• Funcionamento:
  1. Estima-se o fluxo óptico denso entre quadros do vídeo de referência usando o modelo GMFlow.
  2. Os campos de deslocamento são amostrados e mapeados para o espaço latente do modelo de difusão.
  3. Constroem-se trajetórias de "patches" (pequenos blocos da imagem) ao longo do tempo.
  4. Durante a geração, o modelo é supervisionado para minimizar a diferença entre as trajetórias de deslocamento calculadas a partir do fluxo óptico (FMS) e as trajetórias inferidas pela atenção do modelo de difusão. Isso garante que o movimento gerado siga a física e a direção do vídeo original de forma estável.

B. Perda de Alinhamento Objeto-Legenda (Object-Caption Alignment Loss - OCAL)

• Objetivo: Garantir que cada objeto descrito na legenda apareça na região espacial correta do vídeo gerado.
• Funcionamento:
  1. Utiliza-se máscaras de objetos do vídeo de referência para definir as regiões espaciais alvo.
  2. Durante a inferência, extrai-se os mapas de atenção 3D (tempo-espaço) do DiT.
  3. Define-se uma perda que maximiza a atenção dos tokens de texto específicos (ex: "lobo", "urso") dentro das regiões de máscara correspondentes (perda de foreground) e minimiza a atenção fora dessas regiões (perda de background).
  4. Inclui-se um regularizador de tamanho para garantir que objetos pequenos não sejam ignorados durante a otimização.

C. Métrica de Avaliação: Pontuação de Ancoragem de Objeto (Object Grounding Score - OGS)

• Para avaliar a eficácia, os autores propõem o OGS, que combina duas métricas:
  1. IoU (Interseção sobre União): Mede a precisão da localização espacial entre o objeto original e o gerado.
  2. Similaridade Local CLIP: Mede a consistência semântica entre o objeto gerado (recortado) e sua legenda específica.
• O OGS penaliza falhas onde o objeto correto é gerado no lugar errado ou onde o objeto errado é gerado.

3. Contribuições Principais

1. Primeiro Framework Multi-Objeto Grounded: O MotionGrounder é o primeiro método baseado em DiT que realiza transferência de movimento conjunta com ancoragem semântica para cenas de múltiplos objetos, sem necessidade de re-treinamento do modelo base.
2. FMS Estável: Introdução de um sinal de movimento baseado em fluxo óptico que fornece uma orientação mais robusta e menos ruidosa do que os métodos baseados puramente em atenção.
3. OCAL para Ancoragem Espacial: Uma nova função de perda que força a associação explícita entre legendas de objetos e regiões espaciais durante a geração.
4. Métrica OGS: Uma nova métrica de avaliação que quantifica simultaneamente a precisão de localização e a consistência semântica em nível de objeto.

4. Resultados Experimentais

Os experimentos foram conduzidos no modelo CogVideoX-5B e generalizados para o Wan2.1, comparando-se com cinco baselines de última geração (DMT, MOFT, MotionClone, ConMo, DiTFlow).

• Avaliação Quantitativa: O MotionGrounder superou consistentemente todos os baselines na maioria das métricas, incluindo:
  • Fidelidade de Movimento (MF): Alta preservação da dinâmica original.
  • IoU e OGS: Melhores resultados em localização espacial e alinhamento objeto-legenda.
  • Alinhamento Textual Local (LTA): Maior correspondência entre o objeto gerado e sua descrição.
• Avaliação Qualitativa: Em cenários de prompts de "Assunto" (troca de objetos) e "Cena" (troca de ambiente), métodos anteriores falhavam em gerar todos os objetos, causavam entrelaçamento de objetos (ex: gerar dois gatos em vez de um gato e um coelho) ou atribuíam movimentos errados. O MotionGrounder gerou todos os objetos corretos, nas posições corretas, com movimentos específicos.
• Estudo com Usuários: Em um estudo com 49 participantes, o MotionGrounder obteve a melhor classificação média em aderência ao movimento, fidelidade textual global e ancoragem de objetos.
• Ablação: Estudos mostraram que a combinação de FMS e OCAL é essencial: o FMS sozinho melhora o movimento, mas falha na localização; o OCAL sozinho melhora a localização, mas falha na transferência de movimento. A combinação oferece o melhor equilíbrio.

5. Significado e Impacto

O MotionGrounder representa um avanço significativo na geração de vídeo controlável. Ao resolver o problema da ancoragem multi-objeto, ele permite:

• Controle Fino: Criar vídeos complexos onde múltiplos agentes interagem com movimentos específicos e consistentes.
• Aplicações Práticas: Beneficia indústrias criativas, simulações, educação e criação de conteúdo assistido, onde a precisão na posição e no movimento de objetos é crucial.
• Limitações e Futuro: O método ainda enfrenta desafios em cenas extremamente densas (mais de 4 objetos), devido à compressão espacial dos modelos latentes atuais. No entanto, estabelece uma nova direção para o controle semântico e espacial em modelos de difusão de vídeo.

Em resumo, o MotionGrounder preenche uma lacuna crítica na geração de vídeo, permitindo que modelos de IA compreendam e executem instruções complexas envolvendo múltiplos entes dinâmicos com precisão espacial e semântica.