CT-1: Vision-Language-Camera Models Transfer Spatial Reasoning Knowledge to Camera-Controllable Video Generation

1. Problema e Motivação

A geração de vídeo controlada por câmera é um tópico central para melhorar a qualidade narrativa e o realismo dinâmico em criações comerciais, animação e modelos de mundo. No entanto, os métodos existentes enfrentam duas limitações principais:

1. Controle Semântico Impreciso: Métodos baseados apenas em prompts de texto (ex: "a câmera avança") frequentemente falham em seguir instruções de movimento específicas, gerando vídeos com movimentos de câmera inconsistentes ou inexistentes.
2. Dependência de Parâmetros Manuais: Métodos que utilizam parâmetros explícitos de trajetória exigem anotações manuais intensivas e laboriosas, o que limita sua escalabilidade em cenários automatizados.

O desafio fundamental é gerar trajetórias de câmera que sejam simultaneamente consistentes com a intenção do usuário (semântica) e fisicamente plausíveis dentro do contexto da cena visual, sem depender de anotações manuais de trajetória.

2. Metodologia: CT-1 (Camera Transformer 1)

Os autores propõem um novo modelo denominado CT-1, uma instância de um modelo Visão-Linguagem-Câmera (VLC). O objetivo do CT-1 é transferir conhecimento de raciocínio espacial para a geração de vídeo, estimando trajetórias de câmera automaticamente a partir de uma imagem de referência e uma descrição textual.

Arquitetura do Modelo

O framework é dividido em três módulos principais:

1. Módulo Visão-Linguagem:

   • Visão: Utiliza uma arquitetura de dois ramos com codificadores DINOv2 e SigLIP para capturar desde detalhes locais de baixo nível até informações semânticas de alto nível.
   • Linguagem: Utiliza um LLM (baseado em LLaMA-2) para processar instruções textuais.
   • Fusão: A imagem e o texto são combinados com um token aprendível especial <CAM>. A representação oculta deste token <CAM> atua como um sinal de condicionamento global que agrega informações visuais e linguísticas.

2. Transformador de Câmera (Camera Transformer):

   • Diferente de modelos de regressão que preveem coordenadas fixas, o CT-1 modela a distribuição de trajetórias plausíveis usando um Diffusion Transformer (DiT).
   • A trajetória é representada como uma sequência de parâmetros de pose euclidianos (em $SE(3)$).
   • O modelo utiliza um processo de difusão para prever a trajetória limpa a partir de ruído, permitindo a geração de múltiplas trajetórias semanticamente válidas para a mesma instrução (não unicidade).

3. Geração de Vídeo Controlada:

   • O CT-1 atua como um módulo prévio que gera a trajetória de câmera.
   • Essa trajetória estimada é então injetada em um modelo de difusão de vídeo (como CameraNoise, CameraCtrl ou MotionCtrl) para sintetizar o vídeo final, garantindo que o movimento da câmera siga a trajetória prevista.

Inovação Chave: Perda de Regularização Baseada em Wavelets (WavReg)

Para garantir que as trajetórias geradas sejam suaves e fisicamente estáveis, os autores introduzem uma perda de regularização no domínio da frequência:

• Análise de Wavelet: Trajetórias de câmera são decompostas em componentes de baixa frequência (movimento global e suave) e alta frequência (perturbações locais e rápidas).
• Mecanismo: A perda WavReg penaliza a discrepância entre os componentes de baixa frequência da trajetória prevista e a trajetória real (Ground Truth).
• Benefício: Isso força o modelo a priorizar a tendência global do movimento (que carrega a maior parte da energia semântica) enquanto permite que os detalhes de alta frequência sejam aprendidos, resultando em movimentos de câmera estáveis e sem "jitter" (tremores).

3. Conjunto de Dados: CT-200K

Para treinar o CT-1, os autores construíram o CT-200K, um conjunto de dados em larga escala contendo mais de 47 milhões de quadros.

• Pipeline de Curadoria: Devido à escassez de anotações de movimento de câmera, eles desenvolveram um pipeline automatizado que combina:
  • Modelos VLM (Visão-Linguagem) para gerar descrições de movimento de câmera e conteúdo visual.
  • Modelos de Estimativa de Pose de Câmera (como VGGT) para obter parâmetros de trajetória precisos.
  • Filtros de segurança e LLMs para refinar as anotações, removendo inconsistências entre o texto e a imagem.
• Cenários: O dataset inclui tanto cenários gerais quanto cenários de raciocínio espacial (ex: "mova a caixa para a direita da furadeira"), onde a câmera deve inferir o movimento baseado na relação entre objetos.

4. Resultados Experimentais

Os experimentos foram conduzidos no CameraBench100 e em outros datasets (RealEstate10K, DrivingDoJo).

• Precisão no Controle de Câmera:

  • O CT-1 alcançou uma Taxa de Sucesso (Success Rate) média de 81.6%, superando significativamente os métodos mais recentes.
  • Houve uma melhoria de 25.7% em relação aos melhores métodos baseados em prompts com extensão (PE) e uma melhoria massiva de 171.1% sobre modelos baseados em entrada de trajetória via VLMs.
  • O modelo demonstrou robustez em movimentos complexos (ex: "truck left", "pan right") onde modelos baseados apenas em texto falhavam frequentemente.

• Qualidade do Vídeo:

  • Métricas de qualidade visual (VBench) mostraram que o uso do CT-1 não degrada a qualidade estética ou a suavidade do vídeo gerado, mantendo consistência temporal.

• Estudos de Ablação:

  • Escala: O desempenho melhora consistentemente com o aumento do tamanho do modelo (Base, Large, Huge).
  • WavReg: A perda de regularização baseada em wavelets é crucial; sem ela (ou com pesos incorretos), a precisão do controle cai significativamente.
  • Token <CAM>: A presença do token dedicado de contexto de câmera é essencial para alinhar a semântica do texto com a geometria da imagem.

5. Contribuições Principais

1. Novo Modelo VLC: Introdução do CT-1, que realiza raciocínio conjunto sobre observações visuais e instruções semânticas para inferir trajetórias de câmera espaciais e coerentes temporalmente.
2. Arquitetura Híbrida: Combinação de módulos Visão-Linguagem com um Diffusion Transformer, utilizando uma perda de regularização baseada em wavelets para modelagem distribucional de trajetórias.
3. Dataset CT-200K: Criação de um dataset massivo e curado especificamente para treinar modelos de raciocínio espacial e estimativa de trajetória de câmera.
4. Transferência de Conhecimento: Demonstração de que a estimativa de trajetória pode ser desacoplada da geração de vídeo, permitindo que modelos de difusão existentes sejam controlados com alta precisão sem alterar suas arquiteturas principais.

6. Significado e Impacto

Este trabalho representa um avanço significativo na interseção entre raciocínio espacial multimodal e geração de vídeo. Ao resolver o problema de como traduzir intenções textuais e contextos visuais em movimentos de câmera precisos e fisicamente plausíveis, o CT-1:

• Elimina a necessidade de anotação manual de trajetórias, viabilizando aplicações automatizadas em escala.
• Melhora a fidelidade de modelos de mundo e ferramentas de criação de vídeo, permitindo que usuários não especialistas controlem a cinematografia de forma intuitiva.
• Estabelece um novo paradigma onde a estimativa de câmera é tratada como um problema de distribuição probabilística modelada por difusão, em vez de uma simples regressão determinística.

Em resumo, o CT-1 preenche a lacuna entre a compreensão semântica de alto nível e a síntese de vídeo de baixo nível, tornando a geração de vídeos controlada por câmera mais acessível, precisa e realista.