Resumo Técnico: EPiC: Aprendizado Eficiente de Controle de Câmera de Vídeo com Guia Preciso de Âncora-Vídeo

Declaração do Problema

Avanços recentes em modelos de difusão de vídeo (VDMs) melhoraram a geração realista de vídeos, mas o controle de trajetórias de câmera permanece um desafio significativo. Abordagens existentes geralmente dependem da criação de "vídeos de âncora" (vídeos renderizados que aproximam os movimentos de câmera desejados) para guiar modelos de difusão. Esses métodos geralmente envolvem elevar uma imagem de origem a uma nuvem de pontos 3D e re-renderizá-la ao longo de uma trajetória de câmera. No entanto, esse processo enfrenta duas limitações críticas:

1. Imprecisão e Desalinhamento: Erros na reconstrução da nuvem de pontos e na estimativa da trajetória de câmera levam a desalinhamentos em nível de pixel entre os vídeos de âncora e de origem. Isso força o modelo a compensar erros de renderização e reparar conteúdo desalinhado, resultando em treinamento ineficiente, altos custos computacionais e qualidade inferior.
2. Restrições de Dados e Estimativa: Dados 3D de alta qualidade frequentemente exigem sistemas caros de captura de movimento ou dependem de estimadores imprecisos. Consequentemente, o treinamento é frequentemente restrito a conjuntos de dados estáticos e multiview (por exemplo, RealEstate10K), limitando a generalização para vídeos dinâmicos do mundo real ("in-the-wild"). Além disso, muitos métodos anteriores exigem extenso ajuste fino completo do modelo base, aumentando a contagem de parâmetros e o tempo de treinamento.

Metodologia

Os autores propõem o EPiC (Controle de Câmera de Vídeo Eficiente e Preciso), um framework projetado para aprender controle de câmera de forma eficiente, construindo vídeos de treinamento de âncora bem alinhados sem exigir estimativa de pose de câmera ou de nuvem de pontos durante o treinamento.

1. Construção de Vídeo de Âncora Baseada em Visibilidade

Em vez de renderizar a partir de nuvens de pontos 3D estimadas, o EPiC constrói vídeos de âncora mascarando o vídeo de origem com base na visibilidade do primeiro quadro.

• Rastreamento de Pixels: O método estima trajetórias de pixels a partir do primeiro quadro usando fluxo óptico denso (RAFT).
• Mascaramento: Para cada quadro subsequente, apenas pixels que podem ser rastreados com confiança de volta ao primeiro quadro são preservados. Pixels sem correspondência válida (representando regiões recém-reveladas ou oclusões) são mascarados.
• Injeção de Artefatos: Para preencher a lacuna entre o treinamento (origem mascarada) e a inferência (renderização potencialmente imperfeita de nuvem de pontos), os autores injetam artefatos sintéticos de "pixels voadores" nos vídeos de âncora mascarados durante o treinamento. Isso ensina o modelo a ignorar tais artefatos durante a inferência.
• Benefício: Esse processo garante alinhamento preciso em regiões visíveis e imita as propriedades geométricas dos vídeos de âncora (excluindo novo conteúdo) sem necessidade de reconstrução 3D.

2. Anchor-ControlNet

O EPiC introduz o Anchor-ControlNet, um módulo leve que integra a orientação do vídeo de âncora em modelos de difusão de vídeo pré-treinados (especificamente CogVideoX-5B-I2V) sem modificar a base.

• Arquitetura: É um módulo baseado em DiT com apenas ~26M de parâmetros (<1% da base). Ele injeta sinais de controle nas primeiras 25% das camadas da base usando uma dimensão oculta reduzida (256 vs. 3072).
• Mascaramento de Saída Consciente de Visibilidade: Uma inovação chave é que a saída do ControlNet é mascarada pelo mapa de visibilidade. O ControlNet é encarregado apenas de copiar conteúdo visível do vídeo de âncora. A síntese de regiões ocluídas ou invisíveis é inteiramente delegada ao modelo de difusão base congelado. Essa divisão de trabalho impede que erros em regiões invisíveis corrompam a saída e simplifica a tarefa de aprendizado.

3. Treinamento e Inferência

• Treinamento: O modelo é treinado em 5.000 vídeos in-the-wild (do Panda70M) por apenas 500 passos. A base permanece congelada; apenas o Anchor-ControlNet é treinado.
• Inferência (I2V): Suporta dois modos:
  • Nuvem de Pontos Completa: Renderização padrão a partir de profundidade estimada.
  • Nuvem de Pontos Mascarada: Os usuários podem segmentar objetos dinâmicos (por exemplo, pessoas, animais) usando GroundedSAM. Essas regiões são excluídas da renderização da nuvem de pontos 3D, permitindo que o fundo dirija o movimento da câmera enquanto os objetos em primeiro plano se movem naturalmente dentro do vídeo gerado.
• Inferência (V2V): Suporta controle de vídeo para vídeo construindo nuvens de pontos dinâmicas a partir do vídeo de entrada usando estimativa de profundidade (DepthCrafter) e aplicando a trajetória alvo como uma transformação relativa.

Contribuições Principais

1. Novo Pipeline de Vídeo de Âncora: Uma estratégia de mascaramento baseada em visibilidade que produz pares âncora-origem perfeitamente alinhados sem estimativa de pose de câmera ou de nuvem de pontos, permitindo treinamento em diversos vídeos in-the-wild.
2. Anchor-ControlNet Leve: Um adaptador consciente de visibilidade que condiciona vídeos de âncora com <1% de parâmetros adicionais. Seu design separa as tarefas de copiar conteúdo visível (ControlNet) e sintetizar regiões invisíveis (Modelo Base), melhorando a eficiência do treinamento e a qualidade da saída.
3. Eficiência e Generalização: O framework alcança desempenho state-of-the-art com significativamente menos parâmetros, passos de treinamento e dados em comparação com métodos anteriores. Demonstra forte generalização zero-shot para tarefas de Vídeo para Vídeo (V2V), apesar de ser treinado exclusivamente em dados de Imagem para Vídeo (I2V).

Resultados

• Desempenho: Nos benchmarks RealEstate10K e MiraData para controle de câmera I2V, o EPiC alcança os menores erros de rotação e translação (por exemplo, 0,40 ± 0,11 RotErr em RE10K) e as maiores pontuações totais de qualidade entre os métodos comparados (CameraCtrl, AC3D, ViewCrafter, Gen3C, etc.).
• Eficiência: O EPiC converge com 5.000 vídeos e 500 passos de treinamento (aproximadamente 15 horas de GPU), o que é mais de uma ordem de magnitude mais eficiente em termos de custo de dados e computação do que métodos como TrajCrafter ou ViewCrafter. Utiliza apenas 26M de parâmetros treináveis em comparação com bilhões em algumas bases.
• Generalização V2V: Apesar de treinar apenas em dados I2V, o EPiC alcança desempenho comparável a métodos especificamente treinados para V2V (por exemplo, GCD, TrajectoryCrafter) no conjunto de dados Kubric-4D, demonstrando robusta generalização zero-shot.
• Qualitativo: Comparações visuais mostram que o EPiC preserva melhor a fidelidade do conteúdo visível do que métodos que reparam excessivamente regiões desalinhadas e gera conteúdo mais coerente em regiões invisíveis em comparação com métodos que seguem rigidamente sinais de âncora errôneos.

Significado

O artigo afirma que o EPiC aborda a ineficiência fundamental dos métodos atuais de controle de câmera transformando a tarefa de aprendizado de "reparar conteúdo desalinhado" para "copiar regiões visíveis". Ao eliminar a dependência de estimativa 3D precisa durante o treinamento e utilizar um ControlNet leve e consciente de visibilidade, o EPiC permite controle de câmera informado por 3D preciso com recursos computacionais mínimos. Essa abordagem permite aplicação robusta a vídeos dinâmicos do mundo real e suporta controle flexível sobre elementos de cena estáticos e dinâmicos, avançando a praticidade da geração de vídeo controlável para aplicações como regravamento de filmes e cinematografia virtual.