Resumo Técnico: CineOrchestra

Declaração do Problema

A geração de vídeo cinematográfico é inerentemente um problema de composição que requer o controle simultâneo de quatro eixos distintos: sujeitos (identidade de personagem/objeto), eventos (ações temporais e interações), câmeras (movimento de viewpoint) e transições de cena (cortes, dissoluções, etc.). Os modelos atuais de texto-para-vídeo tipicamente condicionam-se a uma única legenda global para produzir um único plano estático, falhando em capturar a complexidade de cenas de filmes onde múltiplas entidades interagem em momentos específicos, capturadas por câmeras em movimento e costuradas por transições.

Pesquisas existentes abordam esses eixos isoladamente:

1. Personalização de múltiplos sujeitos: Foca em renderizar múltiplas identidades, mas trata o clipe como um evento global único.
2. Controle temporal: Gerencia o tempo dos eventos, mas frequentemente carece de descrições densas intra-plano ou definições de transição em linguagem natural.
3. Síntese de múltiplos planos (multi-shot): Gera planos conectados, mas frequentemente assume cortes instantâneos e carece de cronometragem fina ou continuidade de identidade.
4. Condicionamento de câmera: Controla o movimento de viewpoint, mas tipicamente requer sinais geométricos explícitos (ex: trajetórias 3D) em vez de linguagem natural.

Nenhum framework anterior integra conjuntamente todos os quatro eixos dentro de um único modelo para gerar cenas cinematográficas coerentes a partir de instruções unificadas.

Metodologia

O CineOrchestra propõe um framework de transformer de difusão de vídeo (DiT) unificado que controla todos os quatro eixos cinematográficos simultaneamente através de um novo primitivo de Condicionamento Cinematográfico Centrado em Entidades.

1. Primitivo de Condicionamento Unificado

O insight central é que elementos cinematográficos heterogêneos (sujeitos visuais, movimentos de câmera e transições) compartilham uma estrutura fundamental: cada um é uma entidade atuando sobre um intervalo temporal específico. O CineOrchestra representa cada elemento como uma tupla estruturada de (tempo_inicial, tempo_final, prompt):

• Sujeitos Visuais: Atribuídos a tags únicas (ex: {mágico}), imagens de referência opcionais, descrições de identidade global e um conjunto de descrições densas de nível de evento (ex: "[0.1s – 2.3s] {mágico} pula").
• Cinematografia: Estendida via duas tags reservadas, {camera} e {transition}, que carregam apenas descrições de nível de evento (ex: "[6.3s – 6.4s] {transition} mostra um corte seco" ou "[0.0s – 10.0s] {camera} faz um pan para a esquerda").
• Composição: Esta representação unificada permite interações complexas (ex: {camera} faz um pan através de {mágico}) e diversos tipos de transição (ex: dissoluções, fades) em uma única passagem direta (forward pass).

2. Arquitetura

O modelo baseia-se em um backbone padrão de vídeo DiT com um VAE de vídeo.

• Entrada: Tokens de vídeo com ruído são concatenados com tokens de imagem de referência (codificados como vídeos de um único frame) e processados via auto-atenção total.
• Condicionamento: Prompts de texto (globais e de nível de evento) são codificados via T5 e injetados via cross-attention.
• Eficiência de Parâmetros: O framework adiciona nenhum parâmetro treinável ao DiT subjacente. A inovação reside inteiramente na estratégia de codificação posicional.

3. Rotary Positional Embeddings (RoPE) Coordenados

Para lidar com o condicionamento unificado, os autores introduzem dois designs de RoPE coordenados e sem parâmetros para resolver o desafio da codificação posicional:

• RoPE Temporal Amostrado por Intervalo:

  • Problema: O RoPE de cadência fixa padrão falha para eventos com durações vastamente diferentes (ex: cortes de 0.1s vs. pans de 10s), fazendo com que eventos sub-cadência sejam indistinguíveis e enviesando a atenção para eventos mais curtos.
  • Solução: Em vez de amostragem fixa, o método amostra $N=16$ posições uniformemente dentro do intervalo de cada evento $[t_s, t_e]$.
  • Normalização: Um escalar dependente da duração $\beta(L)$ é aplicado para garantir que a norma de Frobenius da codificação posicional seja invariante à duração. Isso evita que intervalos mais amplos recebam picos de atenção menores devido ao cancelamento de fase, garantindo um comportamento de atenção consistente em diferentes comprimentos de evento.

• RoPE de Cross-Attention Entidade-Temporal 2D:

  • Problema: Com múltiplas entidades e eventos sobrepostos, o modelo deve desambiguar qual condição se aplica a qual entidade e tempo.
  • Solução: Um RoPE 2D é construído com dois eixos:
    1. Eixo de Índice de Entidade: Usa rotações RoPE padrão para separar diferentes entidades (desambiguação).
    2. Eixo Temporal: Usa o RoPE temporal amostrado por intervalo para alinhar condições com frames temporais específicos (roteamento).
  • Mecanismo: Os tokens de vídeo fazem a média sobre todos os índices de entidade para serem receptivos a todos os sujeitos. Imagens de referência e descrições globais são ancoradas à posição temporal média da entidade. Descrições de eventos densos usam coordenadas temporais precisas, criando picos de similaridade nítidos apenas onde a query (frame de vídeo) e a key (condição) compartilham a mesma entidade e tempo sobreposto.

4. Curadoria de Dados

Os autores construíram o CineBench (de filmes/TV licenciados) e o CineBenchSyn (prompts gerados por LLM e imagens sintéticas). As anotações foram geradas usando o Gemini 2.5 para extrair entidades visuais, movimentos de câmera e transições para o formato de primitivo centrado em entidade. As imagens de referência são aumentadas usando o Qwen-Image-Edit para variar a aparência enquanto preservam a identidade, mitigando artefatos de "copy-paste".

Principais Contribuições

1. Framework CineOrchestra: O primeiro modelo de difusão de vídeo que controla conjuntamente sujeitos, eventos, câmera e transições de cena em uma única passagem direta usando um primitivo unificado centrado em entidade.
2. RoPEs Coordenados: Dois designs de codificação posicional sem parâmetros (temporal amostrado por intervalo e entidade-temporal 2D) que lidam com eventos de duração variável e roteiam condições para regiões espaço-temporais específicas sem máscaras auxiliares.
3. Novos Benchmarks: Introdução do CineBench e CineBenchSyn, especificamente projetados para avaliar o seguimento de legendas densas e a cronometragem de transição de cena através de múltiplos eixos cinematográficos.

Resultados

Avaliado no CineBench e CineBenchSyn, o CineOrchestra supera seis baselines especializados (cobrindo personalização de múltiplas referências e síntese de múltiplos planos) em múltiplas métricas:

• Seguimento de Legenda Densa: Alcança maior similaridade ViCLIP para sujeitos, cenas, câmera e transições em comparação aos especialistas.
• Cronometragem de Transição de Cena: Supera significativamente os baselines nas taxas de recall para cronometrar corretamente transições (ex: cortes secos, dissoluções).
• Identidade do Sujeito: Mantém pontuações competitivas de Masked DINO (M-DINO), preservando a consistência de identidade comparável aos principais modelos de personalização.
• Estudo de Usuário: Em uma comparação pareada, o CineOrchestra foi preferido em relação a todos os seis baselines nas dimensões relacionadas a entidade, texto e estrutura. Ele empatou ou teve bom desempenho contra baselines perceptuais em movimento e qualidade geral.

Estudos de ablação confirmam que tanto o RoPE temporal amostrado por intervalo (com normalização $\beta(L)$) quanto o Ro de cross-attention entidade-temporal 2D são críticos para alcançar alta consistência de identidade e precisão na cronometragem de transição.

Significância e Alegações

O artigo afirma que o CineOrchestra representa um passo significativo em direção à geração de vídeo em nível de filme. Ao unificar controles cinematográficos díspares em um único primitivo centrado em entidade, o framework reconcilia o controle detalhado com a coerência narrativa de longo horizonte.

Os autores enfatizam que esta abordagem permite que usuários dirijam cenas complexas usando scripts de linguagem natural e imagens de referência, reduzindo a barreira para cineastas independentes e educadores. No entanto, o artigo permanece modesto quanto às limitações:

• Precisão Geométrica: O controle de câmera depende de linguagem natural, trocando a repetibilidade geométrica exata pela acessibilidade.
• Duração: O modelo é limitado pelo comprimento de contexto do DiT subjacente, gerando cenas únicas em vez de filmes de longa duração (embora extensões autorregressivas sejam mencionadas como uma direção futura).
• Áudio: O sistema atual é puramente visual.

O trabalho posiciona-se como um passo fundamental para passar da geração de vídeo de prompt único para a síntese cinematográfica dirigida por roteiro.