Resumo Técnico: OmniDirector

Definição do Problema

O movimento de câmera é um elemento crítico na geração de vídeo, moldando atmosfera, emoção e profundidade narrativa. No entanto, os métodos existentes para controle de câmera enfrentam limitações significativas:

1. Descrições Textuais: Embora acessíveis, falham em definir com precisão atributos cinematográficos matizados.
2. Representações Paramétricas Explícitas: Métodos que utilizam matrizes ou coordenadas de Plücker oferecem precisão, mas impõem altas barreiras ao usuário e têm dificuldade com a geração de múltiplos planos (multi-shot) e transições de cena.
3. Abordagens Baseadas em Vídeo de Referência:
   • Extração de Parâmetros Explícitos: Sofre de ambiguidades de escala ao transferir trajetórias de câmera de ambientes de referência para cenas geradas com diferentes escalas espaciais.
   • Aprendizado Implícito/End-to-End: Depende de dados pareados cruzados (vídeos com o mesmo movimento de câmera, mas conteúdos diferentes). Tais dados são escassos no mundo real. Embora dados sintéticos possam aliviar isso, eles frequentemente carecem da complexidade narrativa de filmagens reais, levando a um desempenho insatisfatório no tratamento de cortes de cena e transições intrincadas. Além disso, os métodos existentes frequentemente sofrem de "vazamento de informação" (information leakage), onde o modelo copia inadvertidamente a aparência ou o movimento de personagens do vídeo de referência em vez de apenas a trajetória da câmera.

Há uma carência de um framework geral capaz de clonar movimentos de câmera complexos e de múltiplos planos a partir de vídeos de referência sem exigir dados de treinamento pareados cruzados ou sofrer de vazamento de conteúdo.

Metodologia

Os autores propõem o OmniDirector, um framework unificado projetado para Multi-Modal Diffusion Transformers (MMDiTs) para alcançar a clonagem de câmera de múltiplos planos de forma geral. A metodologia consiste em três componentes principais:

1. Representação de Grade de Câmera (Camera Grid Representation)

Para desacoplar o movimento da câmera do conteúdo da cena e permitir um treinamento escalável, os autores introduzem a Camera Grid.

• Conceito: Em vez de usar vídeos brutos ou parâmetros explícitos, o movimento da câmera é renderizado como um vídeo de uma cena 3D vazia contendo uma grade espacial.
• Construção:
  • Poses de câmera ($R_i, t_i$) são extraídas de vídeos de referência.
  • Uma cena 3D vazia é modelada com linhas de grade ortogonais representando o chão, o teto e uma "parede de túnel" ao redor da trajetória da câmera para visualizar o movimento relativo.
  • Efeitos especiais como distorção olho de peixe (fisheye) e dolly zoom (Hitchcock zoom) são suportados através da modificação do esquema de renderização (ex: usando o modelo de Kannala–Brandt para distorção).
• Vantagens:
  • Generalidade: Unifica a clonagem de plano único e múltiplos planos.
  • Desacoplamento: A cena vazia evita interferências do movimento de aparência ou de personagens.
  • Escalabilidade: Qualquer vídeo pode ser convertido em uma grade de câmera, permitindo a construção de conjuntos de dados de treinamento de escala de milhões sem a necessidade de curadoria manual de dados pareados cruzados.

2. Arquitetura e Treinamento do OmniDirector

• Arquitetura: Construído sobre um Multi-Modal Diffusion Transformer (MMDiT).
• Injeção de Entrada: A grade de câmera ($G$), a imagem de referência ($I$) e o latente de vídeo ruidoso ($Z_v$) são codificados via um 3D VAE e concatenados ao longo da dimensão de frames para formar uma representação espaço-temporal unificada ($z_{vis}$). As condições de texto são processadas separadamente e interagem com os tokens visuais via atenção conjunta.
• Estratégia de Treinamento:
  • Dataset: Treinado em 1,8 milhão de pares de vídeos de escala de internet (vídeo de referência + grade de câmera gerada).
  • Objetivo de Autorreconstrução: 30% das amostras de treinamento usam a própria grade de câmera como o vídeo alvo. Isso força o modelo a aprender a estrutura geométrica e a dinâmica temporal da grade em vez de tratá-la como uma dica fraca, evitando o overfitting a correlações espúrias.

3. Agente de Expansão de Prompt Hierárquico (PE Agent)

Para integrar harmoniosamente o controle de câmera com outros sinais (prompts do usuário, imagens de referência) durante a inferência, um novo Agente PE é empregado:

• Geração de Prompt de Câmera: Um MLLM (Qwen3-VL) gera um prompt de câmera ($T_c$) decomposto em:
  • Inter-shot (Entre planos): Analisa as relações entre planos adjacentes para garantir coerência semântica através das transições.
  • Intra-shot (Dentro do plano): Descreve o movimento da câmera dentro de planos individuais com base em estimativa de pose e correção visual.
• Fusão Semântica: O agente funde o prompt de câmera, a imagem de referência e o prompt do usuário em uma única condição de texto coesa, evitando conflitos e vazamento de fundo.
• Guia de Classificador-Livre Adaptativo (Adaptive CFG): Uma estratégia de denoising de grosso a fino é utilizada. As características da grade de câmera são injetadas durante o regime de alto ruído para estabelecer a estrutura espacial global, enquanto outros sinais são introduzidos no regime de baixo ruído para refinar detalhes locais.

Principais Contribuições

1. Framework OmniDirector: Um framework de geração de vídeo unificado que alcança a clonagem de câmera de múltiplos planos de forma geral sem dados pareados cruzados, proporcionando controle de nível de diretor para MMDiTs.
2. Camera Grid: Uma representação visual nova e geral para movimento de câmera que desacopla a trajetória do conteúdo, permitindo a construção de conjuntos de dados de treinamento de escala de milhões.
3. Agente de Expansão de Prompt Hierárquico: Um mecanismo que integra sistematicamente o movimento de câmera com sinais multimodais, garantindo coerência semântica em cenários de múltiplos planos e minimizando o vazamento de informação.

Resultados Experimentais

O framework foi avaliado em um conjunto diversificado de 1.094 amostras, abrangendo vídeos de plano único/múltiplos planos, várias resoluções e efeitos complexos.

• Desempenho Quantitativo: O OmniDirector supera os baselines de estado da arte (CamCloneMaster, Seedance2.0, LTX-LoRA) em todas as métricas.
  • Precisão de Câmera: Alcançou um Erro de Translação Relativa (RTE) de 16,84° e uma Precisão de Translação (T-Pre) de 72,74%, representando uma melhoria relativa de 39,3% na precisão de translação sobre o segundo melhor método.
  • Precisão de Transição: Alcançou 96,52% de Precisão Temporal (Tem-Pre) e 83,79% de Precisão Semântica (Sem-Pre) para transições de planos.
  • Taxa de Vazamento (Leakage Rate): Demonstrou a menor taxa de vazamento (0,51% de frame, 3,38% de plano), superando significativamente os baselines que lutam contra o vazamento de conteúdo.
• Desempenho Qualitativo: O modelo clona fielmente trajetórias complexas (incluindo dolly zooms e movimentos de arco) e mantém a coerência semântica em sequências de múltiplos planos, enquanto os baselines frequentemente falham em transições ou exibem artefatos de movimento.
• Capacidades Emergentes: O modelo demonstra generalização zero-shot, executando movimentos de câmera com sucesso quando condicionado a vídeos RGB brutos ou sequências de bordas Canny sem retreinamento, sugerindo que a grade de câmera desbloqueia efetivamente a compreensão da dinâmica espacial.

Significância

O artigo afirma que o OmniDirector aborda o compromisso fundamental entre precisão e acessibilidade no controle de câmera. Ao introduzir a grade de câmera, os autores contornam a escassez de dados de conjuntos de dados pareados cruzados e a ambiguidade de escala da extração de parâmetros explícitos. O framework permite a geração de vídeos de alta fidelidade com múltiplos planos e controle de nível de diretor, preenchendo efetivamente a lacuna entre o controle baseado em referência intuitivo e os requisitos rigorosos da cinematografia profissional. O trabalho estabelece um novo paradigma para treinar modelos de geração de vídeo em conjuntos de dados massivos, curados automaticamente a partir de vídeos padrão da internet.