Resumo Técnico: TriMotion

Declaração do Problema

O controle de movimento de câmera é uma técnica fundamental para direcionar mudanças de perspectiva, organizar o espaço cinematográfico e realizar a intenção do usuário em sistemas de vídeo generativo. Embora avanços recentes em modelos de difusão de vídeo condicionais tenham permitido várias formas de sinal de condicionamento, os métodos atuais de controle de câmera são tipicamente restritos a uma única modalidade de entrada específica.

• Métodos condicionados por pose exigem trajetórias geométricas de câmera explícitas, o que é pouco intuitivo para usuários comuns e difícil de especificar com precisão.
• Abordagens baseadas em vídeos de referência codificam implicitamente padrões de movimento, mas carecem de controle de trajetória explícito e oferecem flexibilidade limitada.
• Descrições de texto, embora intuitivas, têm sido pouco exploradas para controle de câmera devido à falta de estruturas temporais explícitas e restrições geométricas, tornando difícil a execução de trajetórias precisas e fisicamente consistentes.

Essa restrição de modalidade limita a flexibilidade dos sistemas generativos. Há uma necessidade de uma representação de movimento compartilhada que faça a ponte entre entradas heterogêneas (vídeo, pose e texto) para permitir o controle consistente de movimento de câmera através de diferentes tipos de entrada.

Metodologia

Os autores propõem o TriMotion, um framework unificado e agnóstico a modalidades para geração de vídeo com controle de câmera. O framework mapeia diversos sinais de controle — vídeo, pose e texto — em um único espaço de incorporação (embedding) de movimento contínuo.

1. Conjunto de Dados de Triplet de Movimento (Motion Triplet Dataset)

Para treinar um espaço cross-modal que exige supervisão sincronizada, os autores construíram o Motion Triplet Dataset estendendo o Multi-Cam Video Dataset.

• Fonte: 136K vídeos de alta fidelidade do Unreal Engine 5 com extrínsecos de câmera de verdade fundamental (ground-truth) precisos.
• Processamento: Um pipeline automatizado converte extrínsecos de câmera brutos em descrições de linguagem natural fundamentadas em geometria.
  • Sequências de pose brutas são convertidas em trajetórias relativas ancoradas no primeiro quadro.
  • Mudanças de translação e rotação quadro a quadro são computadas e mapeadas para operações de câmera canônicas (ex: Dolly, Pan, Tilt) para formar sequências simbólicas compactas.
  • Um Large Language Model (Qwen3-4B-Instruct) gera dois níveis de descrições: um resumo curto e um parágrafo detalhado descrevendo transições temporais e mudanças de velocidade, evitando valores métricos explícitos.
• Resultado: Um conjunto de dados que fornece supervisão alinhada sobre vídeos, trajetórias de câmera e descrições de movimento.

2. Espaço de Incorporação de Movimento Unificado (Unified Motion Embedding Space)

O TriMotion aprende uma representação compartilhada onde as entradas de vídeo, texto e pose são alinhadas.

• Codificadores: Codificadores específicos de modalidade ($\Phi_{video}, \Phi_{text}, \Phi_{pose}$) produzem sequências de tokens de movimento.
  • Vídeo: Utiliza um módulo de agregação de características (baseado em VGGT) para extrair tokens de câmera a partir de informações geométricas de múltiplas visões.
  • Texto: Utiliza um codificador T5 congelado com queries de movimento aprendíveis que realizam cross-attention aos tokens de texto para inferir a dinâmica temporal.
  • Pose: Projeta matrizes extrínsecas de câmera achatadas via um MLP quadro a quadro.
• Objetivos de Alinhamento: Os codificadores são treinados com uma perda composta para garantir:
  • Alinhamento Global: A perda InfoNCE alinha tokens de movimento globais entre as modalidades.
  • Sincronização Temporal: Minimização da distância de cosseno entre tokens temporais correspondentes.
  • Fidelidade Geométrica: Um regressor de pose compartilhado prevê extrínsecos de câmera a partir das incorporações, garantindo que o espaço preserve a geometria 3D física.

3. Consistência de Movimento Latente (Latent Motion Consistency)

Para garantir consistência geométrica estrita sem o custo de decodificação no espaço de pixels, o TriMotion introduz um objetivo de Consistência de Movimento Latente.

• Preditor de Incorporação de Movimento ($\mathcal{M}_{pred}$): Um módulo composto por convoluções 3D e um Transformer temporal que estima uma sequência de incorporação de movimento a partir de uma representação de vídeo latente limpa ($z_0$).
• Estratégia de Treinamento: O preditor é treinado para alinhar sua saída com a incorporação de movimento alvo derivada do vídeo de verdade fundamental.
• Integração de Difusão: Durante o treinamento de difusão, o modelo reconstrói um latente alvo limpo a partir do input ruidoso. Este latente reconstruído é alimentado no preditor congelado. A incorporação de movimento prevista é então comparada com a incorporação de movimento alvo usando uma perda de consistência de movimento. Isso força a trajetória gerada a corresponder ao alvo diretamente no espaço latente.

4. Backbone de Geração

O framework utiliza um transformer de difusão de vídeo latente.

• Condicionamento: O denoiser é condicionado em uma descrição de aparência global, o primeiro quadro de origem e a sequência de incorporação de movimento unificada injetada via MLPs de projeção específicos de bloco.
• Treinamento: O modelo suporta tanto Image-to-Video (I2V) quanto Video-to-Video (V2V) via treinamento conjunto equilibrado, atualizando apenas as camadas de atenção e os MLPs de projeção para preservar os priors generativos pré-treinados.

Principais Contribuições

1. Framework TriMotion: Uma abordagem unificada que permite o controle de câmera via entradas de vídeo, pose ou texto, mapeando-as para um espaço de incorporação de movimento compartilhado.
2. Motion Triplet Dataset: Um novo conjunto de dados que pareia vídeos de múltiplas visões com descrições de texto fundamentadas em geometria, permitindo supervisão multimodal sincronizada.
3. Consistência de Movimento Latente: Um objetivo inovador que regulariza o backbone de difusão no espaço latente, garantindo fidelidade de trajetória sem a necessidade de repetidas decodificações no espaço de pixels.
4. Capacidades Cross-Modais: O espaço de incorporação compartilhado permite novas aplicações, como composição sequencial de movimento (combinando movimentos de diferentes modalidades) e interpolação de movimento cross-modal.

Resultados Experimentais

Experimentos extensos foram conduzidos nas tarefas I2V e V2V utilizando os datasets Koala-36M e RealEstate10K.

• Desempenho Quantitativo: O TriMotion alcança resultados de estado da arte ou competitivos em qualidade visual (FVD, FID, CLIP Score), qualidade dinâmica (Suavidade de Movimento, Cintilação Temporal) e precisão de movimento de câmera (Erro de Rotação, Erro de Translação, CamMC). Notavelmente, a variante condicionada por pose apresenta o melhor desempenho na maioria das métricas, enquanto as variantes de vídeo e texto permanecem altamente competitivas, validando a eficência do espaço compartilhado.
• Comparação Qualitativa: O TriMotion gera vídeos mais limpos com movimento mais estável e segue as trajetórias alvo de forma mais fiel do que os baselines como CamI2V, MotionClone e ReCamMaster. Ele evita os artefatos e a degradação de textura vistos em métodos que dependem de renderização explícita de nuvem de pontos 3D (ex: TrajectoryCrafter).
• Estudos de Ablação:
  • A remoção da perda de consistência de movimento latente degrada significamente a precisão da câmera.
  • O condicionamento apenas do alvo (target-only) supera a concatenação ou subtração de embeddings de origem/alvo, fornecendo o sinal de movimento mais limpo.
  • O espaço de movimento unificado demonstra forte alinhamento cross-modal (alto Recall@1) e fidelidade geométrica (precisão de regressão de pose competitiva).
• Estudo de Usuário: Avaliações humanas confirmam que o pipeline de captioning fundamentado em geometria produz descrições de alta qualidade e que o TriMotion gera vídeos que seguem os movimentos alvo de forma mais fiel com menos artefatos do que métodos anteriores.

Significância e Alegações

O artigo afirma que o TriMotion estabelece novos benchmarks para a geração de vídeo controlável por câmera ao superar a limitação de entradas de modalidades específicas. Ao aprender um espaço de incorporação de movimento compartilhado, o framework permite o controle de câmera flexível e consistente através de entradas heterogêneas.

Os autores enfatizam que o objetivo de consistência de movimento latente é crucial para melhorar a fidelidade da trajetória enquanto evita os gargalos tradicionais de decodificação. Além disso, o espaço compartilhado pioneira novos paradigmas de interação, permitindo com sucesso a composição sequencial de movimento e a interpolação de movimento cross-modal sem necessidade de retreinamento ou design manual de trajetória.

O artigo conclui de forma modesta, reconhecendo que, embora o TriMotion transfira efetivamente movimentos de câmera suaves, trajetórias extremas que exigem regiões não vistas amplas ainda podem produzir artefatos de outpainting de borda. Sugere-se como trabalho futuro integrar outpainting de fundo 3D explícito ou estender o framework para modelar conjuntamente outros atributos cinematográficos, como gradação de cor.