Probing into Camera Control of Video Models

Resumo Técnico: Investigação do Controle de Câmera em Modelos de Vídeo

Declaração do Problema
Os modelos de geração de vídeo possuem priores ricos para estrutura espacial e dinâmica temporal, contudo, habilitar movimento de câmera controlado permanece um desafio significativo. Abordagens existentes tipicamente dependem de ajuste fino (fine-tuning) de modelos de vídeo em conjuntos de dados pareados de pose de câmera, utilizando módulos adicionais de câmera (por exemplo, adaptadores, embeddings ou modificações de atenção). Os autores identificam três limitações fundamentais neste paradigma:

1. Mapeamento Implícito e Ininterpretável: A relação entre movimento de câmera e conteúdo é implicitamente codificada, frequentemente aprendendo correlações específicas do conjunto de dados em vez da geometria subjacente.
2. Limitações de Dados: Conjuntos de dados anotados com câmera disponíveis são frequentemente limitados em escala, diversidade e dinâmica (tipicamente sintéticos ou derivados de Estrutura a partir de Movimento), restringindo a generalização para padrões de movimento realistas e cenas complexas.
3. Degradação de Prior: O ajuste fino em conjuntos de dados especializados tende a enviesar o modelo para uma distribuição de saída mais estreita, sobrepondo os priores diversos aprendidos durante o pré-treinamento em larga escala e degradando a qualidade visual.

Além disso, métodos existentes sem treinamento frequentemente dependem de operações não diferenciáveis (por exemplo, reconstrução de nuvem de pontos, inpainting), tornando a otimização de ponta a ponta intratável.

Metodologia: CamProbe
O artigo propõe o CamProbe, um método sem treinamento que reformula o controle de câmera não como um problema de aprendizado generativo, mas como uma forma de guia geométrico aplicado via campos de deslocamento.

• Formulação de Campo de Deslocamento: Em vez de aprender um mapeamento de trajetórias de câmera para vídeo, o método constrói um conjunto de campos de deslocamento ($\mathcal{F}$) para uma dada trajetória de câmera. Dada uma trajetória de câmera $T_f = (R_f, t_f)$, o método computa transformações relativas em relação ao primeiro quadro. Ele eleva coordenadas de pixels latentes para pontos pseudo-3D usando um estimador de profundidade pronto para uso ($D_f$), aplica a transformação de câmera e projeta-os de volta ao plano da imagem para derivar uma grade de deformação densa (campo de deslocamento).
• Reamostragem Diferenciável em Difusão: Esses campos de deslocamento são integrados ao processo de remoção de ruído do modelo de difusão de vídeo. Em cada passo de tempo $t$ (especificamente durante o estágio inicial $t \in [T, 0.8T]$), o latente limpo estimado $\hat{z}_0$ é deformado usando o campo de deslocamento via um operador de reamostragem diferenciável ($\circ$).
  • A atualização segue uma forma de guia livre de classificador: $\hat{z}'_{0,f} = \hat{z}_{0,f} + \omega (\mathcal{F}_f \circ \hat{z}_{0,f} - \hat{z}_{0,f})$.
  • A estimativa modificada é usada para atualizar o latente ruidoso $z_t$ (ou a velocidade $v_t$ em correspondência de fluxo) antes do próximo passo de amostragem.
• Natureza Sem Treinamento: O método não requer módulos adicionais, ajuste fino ou dados pareados. Os campos de deslocamento podem ser definidos heuristicamente (como feito neste trabalho usando deformação baseada em profundidade) ou aprendidos.

Principais Contribuições

1. Reformulação do Controle de Câmera: Os autores propõem tratar o controle de câmera como um conjunto de campos de deslocamento aplicados via reamostragem diferenciável durante a remoção de ruído, permitindo controle sem treinamento ou alterações arquitetônicas.
2. Sonda para Análise de Modelo: O método serve como uma sonda padronizada para isolar e analisar as capacidades inerentes de controle de câmera de modelos fundamentais de vídeo base, separando o comportamento do modelo de artefatos induzidos por condicionamento de texto ou conjuntos de dados de treinamento específicos.
3. Identificação de Vieses Universais: Usando a sonda, os autores identificam comportamentos sistemáticos em modelos de vídeo representativos:
   • Subestimação da Capacidade: Os modelos frequentemente performam melhor sob guia geométrico do que sob prompts de texto, sugerindo que as limitações residem no mecanismo de guia e não no próprio modelo.
   • Vazamento Assimétrico: Movimentos translacionais são mais fáceis de gerar do que os rotacionais; comandos rotacionais frequentemente vazam para translação, mas o inverso é menos comum.
   • Preferência Direcional: Os modelos exibem um viés em direção ao movimento horizontal sobre o movimento vertical.
   • Mudança de Modo: Força de controle excessiva pode causar uma "mudança de modo" onde o movimento suave degrada-se em transições abruptas.
4. Benchmarks Multivisão: O artigo introduz um protocolo de avaliação multinível (2D, 2.5D e 3D) para avaliar consistência multivisão e estabelece benchmarks de cinco modelos de vídeo sob movimentos de câmera orbital.

Resultados

• Desempenho vs. Baselines com Ajuste Fino: Comparado a métodos com ajuste fino de última geração (por exemplo, Gen3C, TrajectoryCrafter, ReCamMaster), o CamProbe alcança qualidade visual competitiva com apenas uma queda menor na precisão do controle de câmera (medida pelo Erro de Pose Relativa). Crucialmente, preserva o prior generativo do modelo base, resultando em menos degradação na qualidade de imagem e suavidade de movimento em comparação com abordagens com ajuste fino.
• Eficiência: O método incorre em sobrecarga de memória de GPU adicional negligenciável. O principal custo de tempo de execução vem da estimativa de profundidade e reamostragem latente, o que pode ser reduzido usando profundidade constante ou pulando certos passos de reamostragem.
• Descobertas da Sonda:
  • Visão Única: Os modelos mostram uma compensação entre força de movimento e qualidade. HunyuanVideo-1.5 e Wan2.2-I2V-A14B demonstram o melhor equilíbrio.
  • Multivisão: Enquanto alguns modelos (por exemplo, LTX-2.3) produzem visões estáticas de alta qualidade, outros (por exemplo, HunyuanVideo-1.5) alcançam um melhor equilíbrio entre consistência geométrica e alinhamento de movimento, indicando maior potencial para tarefas 3D/4D.
  • Comparação com CamTrol: O CamProbe produz dinâmicas mais fortes do que o método sem treinamento CamTrol, mantendo qualidade visual comparável, atribuído à sua preservação de dinâmicas intrínsecas do modelo em vez de propagar uma única referência estática.

Significância e Alegações
O artigo argumenta que o controle de câmera na geração de vídeo não precisa ser tratado como um problema de aprendizado implícito exigindo conjuntos de dados massivos e ajuste fino. Em vez disso, pode ser efetivamente resolvido através de geração guiada por campos de deslocamento. Os autores alegam que mesmo um campo de deslocamento definido heuristicamente serve como um sinal suficientemente forte para induzir movimento de câmera sem comprometer a qualidade do modelo base.

A significância deste trabalho reside em duas áreas:

1. Utilidade Prática: Oferece um mecanismo simples e sem treinamento para controlar o movimento de câmera em modelos de vídeo existentes, preservando suas capacidades generativas de alta fidelidade.
2. Insight Analítico: Fornece uma ferramenta para "sondar" as capacidades latentes de modelos fundamentais, revelando que muitos modelos possuem compreensão geométrica inerente que é frequentemente obscurecida por métodos de avaliação atuais (que dependem de prompts de texto) ou paradigmas de treinamento. As descobertas sugerem que as limitações no controle de câmera atual são frequentemente devidas ao mecanismo de indução e não à incapacidade dos modelos de gerar conteúdo geometricamente consistente.

Os autores reconhecem limitações, notando que o campo de deslocamento heurístico atual pode ser menos confiável em cenas com relações espaciais complexas e que o guia geométrico é grosseiro. Eles sugerem que trabalhos futuros poderiam focar em aprender os campos de deslocamento ou refinar as estratégias de atualização de difusão para ainda maior precisão.