TRACE: Object Motion Editing in Videos with First-Frame Trajectory Guidance

Resumo Técnico: TRACE

1. O Problema

O artigo aborda o desafio da edição de trajetória de objetos em vídeos. O objetivo é alterar o movimento de um objeto específico em um vídeo existente, fazendo com que ele siga um novo caminho definido pelo usuário, enquanto se preserva rigorosamente o conteúdo original da cena (fundo, iluminação, câmera e aparência do objeto).

• Limitações das abordagens atuais: Métodos anteriores de edição de vídeo focam principalmente em mudanças de aparência (estilo, cor) ou exigem controles espaciais densos e complexos, como sequências de máscaras ou caixas delimitadoras (bounding boxes) quadro a quadro.
• Dificuldade para o usuário: Especificar trajetórias quadro a quadro é tedioso e propenso a erros, especialmente em vídeos com movimento de câmera dinâmico, onde a relação entre o espaço 2D da tela e o espaço 3D da cena muda constantemente.
• Gap de pesquisa: Não existia uma solução prática que permitisse ao usuário desenhar uma trajetória simples em um único quadro (o primeiro) e ter o sistema gerar automaticamente um vídeo editado temporalmente consistente, adaptando-se ao movimento da câmera.

2. Metodologia

O TRACE propõe um pipeline de duas etapas para resolver o problema de alinhamento espacial entre visões cruzadas (cross-view misalignment). A ideia central é permitir que o usuário defina a trajetória desejada apenas no primeiro quadro (frame de âncora), assumindo que a câmera está fixa, e o sistema traduz isso para o vídeo dinâmico real.

A. Módulo de Transformação de Movimento entre Visões (Cross-View Motion Transformation)

• Função: Mapear a trajetória 2D definida pelo usuário no primeiro quadro estático para uma sequência de caixas delimitadoras alinhada temporalmente com o vídeo dinâmico original (considerando o movimento da câmera).
• Abordagem: Em vez de usar reconstrução 3D explícita (que sofre com ruído em estimativas de profundidade e pose, como visto em métodos baseados em Depth Anything ou MegaSAM), o TRACE utiliza um modelo de Transformador de Difusão (DiT).
• Entradas do Modelo:
  1. Imagem do primeiro quadro (codificada via 3DVAE para contexto visual estático).
  2. Trajetórias de pontos esparsos (pontos de rastreamento) que capturam o movimento da câmera.
  3. Caixas delimitadoras esparsas definidas pelo usuário no primeiro quadro.
• Saída: Uma sequência densa de caixas delimitadoras para cada quadro do vídeo, que guiam o objeto para o destino desejado, mantendo a consistência com a perspectiva da câmera.
• Dados de Treinamento: Como dados reais pareados são difíceis de obter, os autores criaram um pipeline de dados sintéticos usando o ReCamMaster para re-renderizar vídeos estáticos com caminhos de câmera dinâmicos, gerando pares de caixas (visão estática vs. visão dinâmica).

B. Módulo de Re-síntese de Vídeo (Video Re-Synthesis)

• Função: Gerar o vídeo final onde o objeto segue a nova trajetória, apagando o objeto original e sintetizando o novo movimento, preservando o fundo.
• Arquitetura: Baseado no modelo de difusão Wan 2.1 (fine-tuned com LoRA).
• Mecanismo: O modelo recebe como condição:
  • O vídeo original (com máscaras).
  • O primeiro quadro (como referência de identidade/aparência do objeto).
  • As caixas de síntese (nova trajetória) e caixas de inpainting (áreas a serem preenchidas pelo fundo).
• Processo: O modelo realiza simultaneamente a remoção do objeto original (inpainting) e a geração do objeto na nova posição, garantindo que a identidade visual do objeto seja mantida conforme ele se move.

3. Contribuições Principais

1. Novo Paradigma de Edição: Introduz o conceito de "Edição de Vídeo com Design de Movimento no Primeiro Quadro". Isso democratiza o controle de movimento, permitindo que usuários definam trajetórias complexas sem precisar manipular cada quadro individualmente.
2. Arquitetura TRACE: Desenvolvimento de um framework de duas etapas que desacopla a transformação de trajetória (resolvendo o problema de perspectiva/câmera) da síntese de vídeo (resolvendo o problema de geração de conteúdo).
3. Módulo de Transformação Aprendido: Substitui métodos de warping 3D tradicionais (propensos a erros) por um modelo de aprendizado de máquina que aprende implicitamente a dinâmica da câmera e a geometria da cena para mapear trajetórias de forma suave e precisa.
4. Aplicações Versáteis: O sistema suporta edição de múltiplos objetos, inserção de objetos com controle de movimento, edição de atributos (cor/textura) e substituição de objetos, tudo mantendo a consistência temporal.

4. Resultados e Avaliação

Os autores avaliaram o TRACE em vídeos do mundo real e benchmarks padrão (DAVIS, VBench), comparando com métodos Image-to-Video (I2V) e Video-to-Video (V2V) de última geração.

• Transformação de Movimento (Cross-View):
  • O TRACE superou significativamente as linhas de base (Interpolação simples e Warping 3D com MegaSAM/Depth Anything).
  • Métricas: Alcançou um mAP de 0.91 (f2v) e 0.85 (v2f), comparado a ~0.53-0.65 dos métodos baseados em 3D. Visualmente, o TRACE evita trajetórias "jittery" (tremidas) e mantém o objeto no alvo correto mesmo com mudanças drásticas de câmera.
• Re-síntese de Vídeo:
  • O método produziu vídeos de alta fidelidade, preservando a identidade do objeto e a consistência do fundo melhor que concorrentes como VACE, GenCompositor e HunyuanCustom.
  • Qualidade: Obteve os melhores resultados em métricas de qualidade temporal (Flickering, Motion Smoothness) e consistência de imagem no benchmark VBench.
• Estudo com Usuários:
  • Em uma avaliação subjetiva com 70 vídeos, os usuários preferiram o TRACE em mais de 77% dos casos em relação à qualidade de vídeo e preservação da identidade do objeto, e até 85% contra o PISCO.
• Ablação: Estudos mostraram que a remoção de condições críticas (como trajetórias de pontos ou o primeiro quadro) degrada severamente o desempenho, validando a importância do design do pipeline.

5. Significado e Impacto

O trabalho TRACE representa um avanço significativo na edição de vídeo generativa ao resolver o problema de controle de movimento temporal de forma intuitiva.

• Praticidade: Elimina a necessidade de ferramentas profissionais complexas ou de especificação manual quadro a quadro, tornando a re-planejamento de movimento acessível.
• Aplicações Criativas: Abre novas possibilidades para pós-produção, como alterar a direção ou velocidade de objetos em cenas de ação, inserir objetos com movimento controlado em cenas existentes e criar efeitos visuais complexos sem necessidade de rastreamento 3D manual.
• Avanço Técnico: Demonstra que modelos de difusão podem ser adaptados para tarefas de edição espacial-temporal complexas quando combinados com módulos de transformação de visão cruzada aprendidos, superando as limitações de métodos baseados em reconstrução geométrica explícita.

Em resumo, o TRACE oferece uma solução robusta e de alta qualidade para editar o "como" e "para onde" os objetos se movem em um vídeo, mantendo a integridade do restante da cena.