Resumo Técnico: A Geometria Epipolar Melhora Modelos de Geração de Vídeo

Declaração do Problema

Modelos modernos de geração de vídeo, particularmente aqueles baseados em transformadores de difusão latente treinados com técnicas de fluxo retificado, alcançaram um progresso significativo na geração de conteúdo realista a partir de condições de texto e imagem. No entanto, esses modelos lutam contra inconsistências geométricas fundamentais, movimentos instáveis e artefatos visuais que quebram a ilusão de cenas 3D realistas. Apesar de serem treinados em vastos conjuntos de dados que são inerentemente consistentes em 3D, os modelos falham em capturar princípios geométricos básicos, frequentemente produzindo conteúdo com geometria imperfeita e falhas de perspectiva.

Abordagens existentes para melhorar a consistência 3D enfrentam diversas limitações:

• Otimização de Ruído: Métodos que dependem de otimização de ruído ou orientação explícita através de nuvens de pontos podem restringir as capacidades de geração.
• Otimização no Espaço Latente: Calcular perdas geométricas diretas no espaço latente é difícil.
• Alinhamento Subjetivo: O alinhamento pós-treinamento usando dados de preferência humana (por exemplo, via Aprendizado por Reforço) introduz sinais ruidosos, é caro de coletar e pode falhar em capturar os princípios geométricos objetivos necessários para a consistência 3D. Os julgamentos humanos são inerentemente subjetivos e não necessariamente se alinham com restrições geométricas matemáticas.

Metodologia

Os autores propõem um método para unir modelos de difusão de vídeo modernos com algoritmos clássicos de visão computacional. Em vez de incorporar orientação 3D explícita durante a geração ou depender de anotações humanas subjetivas, a abordagem utiliza restrições geométricas bem estabelecidas e não diferenciáveis como sinais de recompensa dentro de uma estrutura de otimização baseada em preferência.

Abordagem Central: Otimização da Geometria Epipolar

O método aproveita a geometria epipolar para avaliar a consistência 3D entre quadros de vídeo. A lógica central é a seguinte:

1. Amostragem: Múltiplos vídeos são gerados condicionados ao mesmo prompt, resultando em diversas trajetórias de câmera com variados graus de coerência geométrica.
2. Computação de Métrica: Para pares de quadros, correspondências de pontos são estabelecidas (usando SIFT ou descritores aprendidos). Uma matriz fundamental é estimada via RANSAC, e o erro de Sampson é calculado. Este erro quantifica quão bem os pontos correspondentes satisfazem a restrição epipolar ($x'^\top F x = 0$). Um erro de Sampson menor indica uma melhor adesão à geometria projetiva e maior consistência 3D.
3. Construção de Preferência: Vídeos gerados a partir do mesmo prompt são classificados com base em seu erro de Sampson médio. O vídeo com o erro menor é designado como a amostra preferida ($x_w$), e o de maior erro como a amostra menos preferida ($x_l$).
4. Otimização (Flow-DPO): O modelo é ajustado finamente usando Otimização de Preferência Direta (DPO) adaptada para modelos de fluxo retificado (Flow-DPO). Este objetivo requer apenas preferências pareadas em vez de valores de recompensa absolutos, contornando a necessidade de funções de recompensa diferenciáveis. A função de perda minimiza o erro de previsão de velocidade para amostras preferidas em relação às menos preferidas, guiada pelas métricas epipolares.

Enfrentando Desafios Principais

O artigo identifica e aborda dois desafios primários:

• Compromisso entre Movimento e Consistência: Um modelo poderia teoricamente alcançar uma consistência 3D perfeita ao gerar vídeos estáticos (repetindo um único quadro). Para evitar esta solução degenerada, uma penalidade de variação temporal ($L_{temp}$) é adicionada ao objetivo da função. Este termo penaliza a baixa variância através da dimensão temporal, incentivando o modelo a manter o movimento enquanto melhora a consistência.
• Generalização para Cenas Dinâmicas: Restrições epipolares assumem cenas estáticas com movimento de câmera; objetos dinâmicos violam essa suposição. Para garantir que o modelo generalize para conteúdo dinâmico apesar de ser treinado em cenas estáticas:
  • Adaptação de Baixo Rank (LoRA): Apenas um adaptador de baixo rank é ajustado finamente, preservando a capacidade do modelo base para conteúdo dinâmico diverso.
  • Divergência KL Implícita: O objetivo Flow-DPO mantém naturalmente o modelo ajustado próximo à distribuição de referência, evitando o overfitting para características de cenas estáticas.
  • Pesagem Adaptativa de Timestamp: A perda é ponderada pelo passo de tempo (timestep), atribuindo pesos menores aos passos iniciais onde o movimento geral da cena é codificado e pesos maiores aos passos posteriores onde detalhes espaciais finos (e potenciais violações geométricas) são gerados.

Principais Contribuições

1. Otimização da Geometria Epipolar: A introdução de um método para ajustar modelos de difusão de vídeo usando restrições de geometria epipolar (especificamente a distância de Sampson) como sinais de recompensa. Esta abordagem impõe consistência 3D sem exigir diferenciabilidade de ponta a ponta ou supervisão 3D explícita.
2. Análise de Desafios de Alinhamento: O artigo analisa o compromisso entre movimento e consistência e o desafio de generalizar para cenas dinâmicas. Propõe soluções simples e eficientes (penalidade temporal, LoRA, regularização KL e pesagem adaptativa) para abordar esses problemas.
3. Estrutura de Avaliação Abrangente: Os autores desenvolvem um protocolo de avaliação extensivo medindo qualidade perceptual, consistência 3D, estabilidade de movimento e generalização. Eles liberam um conjunto de dados de 162.000 vídeos gerados com anotações de consistência geométrica para facilitar pesquisas futuras.
4. Demonstração da Utilidade da Visão Computacional Clássica: O trabalho demonstra que uma restrição geométrica básica (Sampson, 1982) pode recuperar capacidades que modelos de larga escala baseados em dados falham em aprender, unindo o aprendizado baseado em dados com a visão computacional clássica.

Resultados

O método proposto foi avaliado no modelo Wan-2.1 (1.3B de parâmetros) e comparado com baselines e outras estratégias de alinhamento.

• Consistência 3D: O modelo alinhado por epipolar reduziu o erro de Sampson em 31% (de 0.190 para 0.131). Em termos de reconstrução de cena 3D (via Gaussian Splatting), melhorou o PSNR em 3.6% e o SSIM em 3.2%.
• Avaliação Humana: Avaliadores humanos classificaram 71.8% dos vídeos do modelo alinhado como geometricamente consistentes, uma melhoria significativa sobre os 54.1% do baseline. Em comparações pareadas, o modelo alinhado foi preferido sobre o baseline em 60.4% dos casos de conteúdo inconsistente, enquanto preservou a qualidade para conteúdos já consistentes.
• Qualidade de Movimento: O modelo alcançou uma taxa de vitória de 53.2% na preferência humana para qualidade de movimento, indicando melhor estabilidade e redução de jitter, apesar de uma leve redução no grau dinâmico (o que os autores argumentam ser um tradeoff necessário para a estabilidade).
• Qualidade Visual: O método melhorou as pontuações de qualidade estética e consistência de fundo. Alcançou uma taxa de vitória de 72.0% nas avaliações de qualidade visual do VideoReward.
• Generalização: Apesar de treinar exclusivamente em cenas estáticas com câmeras dinâmicas, o modelo generalizou-se efetivamente para cenas dinâmicas (benchmarks VBench 2.0, MiraData, VideoReward), alcançando taxas de vitória de 57.9%, 58.5% e 58.5%, respectivamente.
• Comparação com Alternativas: A abordagem superou o ajuste fino supervisionado em datasets multi-view e outros métodos de alinhamento, como Flow-RWR e DRO, que ou sofreram overfitting para especificidades de datasets ou falharam em aprender com a lacuna entre trajetórias consistentes e inconsistentes.

Significância

O artigo afirma que restrições geométricas clássicas fornecem sinais de otimização mais estáveis e confiáveis do que métricas aprendidas modernas (como as de VLMs ou anotações humanas), que podem ser ruidosas ou subjetivas. Ao alinhar modelos com princípios geométricos fundamentais via otimização de preferência, os autores demonstram que é possível melhorar significativamente a consistência 3D e a estabilidade de movimento de modelos de geração de vídeo sem comprometer sua flexibilidade criativa ou exigir supervisão 3D explícita. O trabalho destaca que restrições matematicamente fundamentadas podem complementar eficazmente o aprendizado profundo, abordando limitações inerentes às abordagens puramente baseadas em dados.