Warp-as-History: Generalizable Camera-Controlled Video Generation from One Training Video

Resumo Técnico: Warp-as-History

Declaração do Problema
A geração de vídeo controlada por câmera visa sintetizar vídeos que sigam trajetórias de ponto de vista prescritas. As abordagens existentes geralmente se enquadram em duas categorias, ambas com limitações significativas. Métodos baseados em treinamento (por exemplo, CameraCtrl, PRoPE) injetam informações de câmera por meio de codificadores dedicados, ramos de controle ou modificações de codificação posicional, exigindo tipicamente pós-treinamento em grandes conjuntos de dados de vídeo anotados com câmera. Por outro lado, métodos sem treinamento evitam essa carga de dados, mas frequentemente transferem o custo computacional para o tempo de inferência, dependendo de otimização no momento do teste, orientação no momento da remoção de ruído ou procedimentos complexos de deformação e repintura. O artigo postula que os modelos recentes de geração de vídeo já possuem capacidades latentes de movimento de câmera, mas carecem de um mecanismo para expô-las e controlá-las sem mudanças arquitetônicas pesadas ou retreinamento extensivo.

Metodologia: Warp-as-History
Os autores propõem o Warp-as-History, um framework que converte deformações geométricas induzidas por câmera em "pseudo-história deformada por câmera" para condicionar um modelo de geração de vídeo congelado. O método opera através de três mecanismos principais, utilizando o caminho nativo de história visual do modelo em vez de introduzir novos ramos de controle:

1. Construção de Pseudo-História Deformada por Câmera: Dada uma trajetória de câmera alvo, o método reconstrói a cena (usando um modelo pronto como o Pi3X) e a projeta nas vistas de câmera alvo para gerar um vídeo de deformação 2D. Em vez de tratar isso como um alvo de renderização rígido ou um sinal de condicionamento separado, os quadros deformados são processados através do operador padrão de construção de história do modelo ($H$). Eles são fragmentados, codificados e empacotados como tokens de história visual ordinários.
2. Alinhamento Posicional do Quadro-Alvo: Para garantir que o modelo interprete a história deformada como evidência para o quadro atual sendo desruido (e não apenas como contexto passado), o método atribui aos tokens deformados os mesmos índices de Incorporação Posicional Rotativa Temporal (RoPE) que os latentes ruidosos correspondentes do alvo. Esse alinhamento permite que o modelo congelado aplique seu comportamento pré-treinado de "história para futuro" às pistas de movimento induzidas pela câmera.
3. Seleção de Tokens Visíveis: O movimento da câmera cria regiões recém-visíveis (disocluções) que a deformação não pode observar, e imperfeições geométricas podem criar buracos ou artefatos. O método filtra o fluxo de história removendo tokens correspondentes a regiões inválidas ou invisíveis na deformação. Isso força o modelo a depender de seu prior generativo para completar essas regiões, enquanto usa regiões deformadas confiáveis como evidência de movimento.

Regimes de Treinamento
O framework é avaliado em duas configurações:

• Zero-Shot: A interface é aplicada diretamente a um modelo de geração de vídeo pré-treinado e congelado (especificamente Helios). Isso revela uma capacidade latente e não trivial do modelo de seguir trajetórias de câmera quando apresentado com história deformada, sem nenhuma atualização de parâmetros.
• Ajuste Fino com Um Vídeo de Treinamento: Para estabilizar o comportamento e melhorar a qualidade visual, os autores realizam um ajuste fino leve offline LoRA em um único vídeo separado anotado com câmera. Essa atualização é treinada offline e compartilhada entre todos os vídeos de teste; não envolve otimização no momento do teste ou adaptação por vídeo. O objetivo não é aprender o controle de câmera do zero, mas ajustar como o modelo equilibra a evidência deformada contra seu prior generativo para dinâmica e disoclução.

Principais Contribuições

1. Exposição de Priors Latentes: O artigo demonstra que modelos de vídeo condicionados por história pré-treinados contêm um prior fraco e latente de seguimento de câmera. Ao rotear a pseudo-história deformada por câmera através do caminho nativo de história com alinhamento e filtragem específicos, essa capacidade pode ser ativada de maneira zero-shot.
2. Ativação de Baixo Recurso: Os autores mostram que um único vídeo de treinamento separado é suficiente para estabilizar e generalizar esse comportamento. Isso sugere que o ajuste fino atua como um "estabilizador de comportamento" para um prior existente, em vez de um mecanismo para aprender novos módulos de controle de câmera do zero.
3. Eficiência e Generalização: O método evita grandes conjuntos de dados anotados com câmera, modificações arquitetônicas e otimização no momento do teste. Ele alcança desempenho competitivo em diversos conjuntos de dados (WorldScore, RE10K, DAVIS) com dados de treinamento significativamente menores do que as bases de referência mais avançadas.

Resultados
Experimentos extensivos confirmam a eficácia da abordagem:

• Adesão à Câmera: No WorldScore, a configuração zero-shot melhora as pontuações de controle de câmera de 26,42 (linha de base apenas texto) para 61,32, com ganhos adicionais para 62,00 após o ajuste fino one-shot.
• Qualidade Visual e Consistência: Em comparações com bases de referência treinadas em grande escala (Gen3C, Voyager, ViewCrafter) no RE10K e DAVIS, o Warp-as-History (ajustado fino em apenas um vídeo) alcança precisão de seguimento de câmera comparável, enquanto frequentemente supera essas bases em métricas de qualidade visual (FID, FVD, DOVER e eixos do VBench como Consistência do Sujeito e do Fundo).
• Desempenho Qualitativo: O método preserva o conteúdo da cena e o movimento do primeiro plano de forma mais limpa do que métodos anteriores baseados em deformação, evitando artefatos comuns como desfoque ou objetos distorcidos.
• Estudos de Ablação: Remover o alinhamento do quadro-alvo ou a seleção de tokens visíveis degrada significativamente o desempenho, confirmando a necessidade de ambos o alinhamento temporal e a filtragem de evidências.

Significado e Alegações
O artigo alega que o controle de câmera pode ser uma capacidade inerente e latente dentro dos modelos de geração de vídeo que pode ser desbloqueada através da interface de história visual. O significado do Warp-as-History reside em sua capacidade de alcançar forte controle de câmera com recursos mínimos (um vídeo de treinamento, sem otimização no momento do teste), aproveitando a capacidade existente do modelo de interpretar a história visual. Os autores enquadram o método como um "framework de controle de câmera de baixo recurso" em vez de um novo modelo generativo, enfatizando que a etapa de ajuste fino serve para amplificar e estabilizar um prior existente, em vez de aprender um novo mecanismo de controle. O trabalho sugere que o futuro controle de câmera pode não exigir grandes conjuntos de dados ou mudanças arquitetônicas complexas, mas sim melhores interfaces para acessar o raciocínio geométrico latente dentro de modelos pré-treinados.