Resumo Técnico: Go-with-the-Track

Declaração do Problema

A produção de filmes e a geração de vídeos de alta qualidade exigem controle preciso tanto sobre a aparência visual dos elementos (composição) quanto sobre sua evolução espaço-temporal (controle de movimento). Os métodos existentes tipicamente tratam essas capacidades de forma isolada. Modelos de imagem-para-vídeo condicionados por rastreamento de pontos (point-track) geralmente restringem a inserção de conteúdo ao primeiro quadro, assumindo que todos os elementos controláveis estão presentes inicialmente; consequentemente, eles têm dificuldade em compor naturalmente elementos que entram ou saem de uma cena em quadros arbitrários. Por outro lado, modelos de referência-para-vídeo permitem a injeção de aparência de múltiplas referências, mas carecem de representações editáveis e detalhadas de movimento, tornando difícil controlar como múltiplos elementos de referência se movem e interagem no espaço e no tempo. Além disso, abordagens anteriores ao condicionamento por rastreamento de pontos frequentemente dependem de embeddings aleatórios para distinguir os rastros, o que falha em aproveitar pistas de proximidade espacial, levando a uma convergência lenta e baixa generalização ao lidar com um grande número de rastros ou correspondências descontínuas entre imagens de referência e quadros gerados.

Metodologia

Os autores propõem o Go-with-the-Track, um framework unificado que condiciona conjuntamente a geração de vídeo em múltiplas imagens de referência e rastros de pontos ancorados em referências. A inovação central é a extensão dos rastros de pontos convencionais para estabelecer explicitamente correspondências entre os quadros de vídeo gerados e as imagens de referência de entrada, permitindo que o modelo dite não apenas como um elemento se move, mas qual conteúdo de referência específico está ancorado a esse movimento.

Componentes Técnicos Principais

1. Rastros de Pontos Ancorados em Referência (Reference-Anchored Point-Tracks):
   Ao contrário dos rastros tradicionais definidos apenas dentro de uma sequência de vídeo, os autores definem rastros de pontos que abrangem tanto os quadros de vídeo gerados quanto as imagens de referência de entrada. Esta formulação vincula explicitamente as coordenadas de pixels 2D nas imagens de referência às suas trajetórias no vídeo gerado, permitindo a composição precisa de elementos que podem aparecer em diferentes momentos ou de diferentes pontos de vista.

2. Embeddings de Rastro de Ponto Espacialmente Conscientes (Spatially-Aware Point-Track Embeddings):
   Para abordar a limitação de embeddings aleatórios usados em trabalhos anteriores, os autores introduzem uma estratégia de embedding espacialmente consciente.

   • Codificação: Para cada rastro de ponto, a sequência de coordenadas 2D (aumentada com índices de quadro) dos quadros gerados é processada através de um MLP (Multi-Layer Perceptron) por coordenada, seguido por codificação senoidal.
   • Agrupamento (Pooling): Uma operação de max-pooling temporal agrega esses embeddings de coordenadas em um único vetor por rastro.
   • Benefício: Este design garante que a similaridade do embedding correlacione-se diretamente com a proximidade espacial. Rastros que estão espacialmente próximos no vídeo compartilham características de embedding semelhantes, fornecendo ao modelo priors espaciais explícitos para distinguir e associar rastros entre quadros e imagens de referência, mesmo quando as coordenadas brutas são disjuntas.

3. Adaptador de Rastro de Ponto Leve (Lightweight Point-Track Adapter):
   Um desafio crítico é a ponte da lacuna de resolução entre os rastros de pontos de alta resolução no espaço de pixels e o espaço latente compactado e em patches dos transformadores de difusão de vídeo (tipicamente reduzido 16×16 espacialmente e 4× temporalmente).

   • Agregação de Blocos: O volume de vídeo é dividido em blocos espaço-temporais de $4 \times 16 \times 16$, cada um correspondendo a um único token latente.
   • Injeção de Posição Relativa: Para cada bloco, o adaptador coleta todos os embeddings de rastros de pontos que caem dentro dele. Crucialmente, antes do agrupamento, cada embedding é concatenado com sua posição relativa $(f', x', y')$ dentro do bloco.
   • Agrupamento (Pooling): Um MLP processa esses vetores concatenados, seguido de max-pooling para produzir um único vetor de condicionamento comprimido por bloco. Esta abordagem preserva detalhes de movimento refinados que o subamostragem ingênua ou a simples redução de escala descartariam.

4. Estratégia de Treinamento Híbrida:
   Para superar a escassez de anotações de rastreamento de pontos de verdade fundamental (ground-truth) em vídeos do mundo real, os autores empregam um conjunto de dados de treinamento híbrido composto por:

   • Datasets Sintéticos (ex: PointOdyssey): Fornecem rastros de pontos por vértice derivados de malhas 3D, oferecendo verdade fundamental perfeita para o desmembramento do movimento da câmera e do objeto.
   • Datasets de Cenas Estáticas (ex: DL3DV, TartanAir): Fornecem profundidade e poses de câmera precisas para computar rastros de pontos exatos.
   • Datasets de Vídeos Dinâmicos Reais (ex: OpenVidHD, MiraData): Fornecem priors fotorrealistas, anotados usando rastreadores prontos para uso (DELTA) com densificação iterativa para preencher regiões esparsas.
     Esta mistura permite que o modelo aprenda controle de movimento preciso a partir de dados sintéticos enquanto mantém fortes capacidades fotorrealistas de dados reais.

Principais Contribuições

• Controle de Movimento e Composição Unificados: O artigo introduz um paradigma onde o controle de movimento e a composição de múltiplas referências são unificados via rastros de pontos ancorados em referência, permitindo a geração de vídeo controlável espaço-temporalmente a partir de múltiplas imagens de referência.
• Embeddings Espacialmente Conscientes e Adaptador: Os autores demonstram que embeddings aleatórios são subótimos para condicionamento ancorado em referência. Eles propõem embeddings espacialmente conscientes que codificam características espaciais e um adaptador leve que mapeia rastros do espaço de pixels para o espaço latente sem perda significativa de detalhes de movimento.
• Dados de Treinamento Híbridos: Ao combinar conjuntos de dados sintéticos, estáticos e do mundo real, o método reduz a dependência de rastreadores de pontos ruidosos, permitindo que o modelo aprenda controle de movimento preciso enquanto mantém o fotorrealismo.
• Ampla Aplicabilidade: O framework suporta diversas aplicações, incluindo reestilização de vídeo com preservação de movimento, composição impulsionada por malhas ou pontos-chave (keypoints), e controle de câmera para cenas estáticas e dinâmicas.

Resultados

Experimentos extensivos nos conjuntos de dados DAVIS 2017 e TAPVid3D-ADT demonstram que o Go-with-the-Track supera os principais modelos de referência (incluindo DiffusionAsShader, Go-with-the-Flow, Tora, ATI e Wan-Move) em termos de fidelidade visual, precisão de reconstrução e métricas de fidelidade de movimento.

• Desempenho Quantitativo: O modelo alcança pontuações superiores em FID, FVD, LPIPS, PSNR, SSIM e Erro de Ponto Final (EPE), particularmente em cenários de rastros densos onde os modelos de referência costumam falhar ou exigir subamostragem pesada.
• Estudos de Ablação: A remoção de embeddings espacialmente conscientes, da injeção de posição relativa no adaptador ou dos dados de treinamento híbridos leva a uma degradação significativa no desempenho, confirmando a necessidade de cada componente.
• Estudo de Usuário: Em um estudo com 45 participantes, o Go-with-the-Track foi preferido em relação ao segundo melhor método por uma margem de mais de 2:1 no que diz respeito ao seguimento de movimento, preservação de assunto e qualidade geral.

Significância

O artigo afirma que o Go-with-the-Track aborda uma lacuna fundamental na geração de vídeo ao unificar o controle de aparência e movimento em um único framework flexível. Ao estender os rastros de pontos para servirem como âncoras espaço-temporais para múltiplas imagens de referência, o método desbloqueia novas capacidades para cineastas e criadores, como inserir personagens ou objetos em quadros arbitrários, reestilizar vídeos preservando movimentos complexos e retargeting de movimentos de câmera em cenas estáticas e dinâmicas. O trabalho destaca que o controle preciso na geração de vídeo requer não apenas melhores modelos, mas também representações de condicionamento melhores que respeitem a continuidade espacial e temporal do conteúdo gerado.