VGGRPO: Towards World-Consistent Video Generation with 4D Latent Reward

Título: VGGRPO: Rumo à Geração de Vídeo Consistente com o Mundo usando Recompensa Latente 4D

1. O Problema

Os modelos de difusão de vídeo em larga escala alcançaram qualidade visual impressionante, mas frequentemente falham em preservar a consistência geométrica e 3D. Os principais problemas incluem:

• Deriva Geométrica: A estrutura da cena muda inconsistentemente ao longo do tempo.
• Trajetórias de Câmera Instáveis: Movimentos de câmera tremidos ou fisicamente implausíveis.
• Limitações das Abordagens Atuais:
  • Métodos Arquiteturais: Adicionar módulos condicionais de geometria ao gerador aumenta a complexidade e pode comprometer a capacidade de generalização dos modelos pré-treinados.
  • Métodos de Alinhamento (RL/DPO): Abordagens existentes baseadas em Reinforcement Learning (RL) ou Otimização de Preferência Direta (DPO) geralmente operam no espaço RGB (pixels). Isso exige decodificação repetida do VAE (Variational Autoencoder) para calcular recompensas, o que gera um custo computacional e de memória massivo. Além disso, muitas dessas recompensas são limitadas a cenas estáticas e não funcionam bem em vídeos dinâmicos complexos.

2. Metodologia: VGGRPO

O VGGRPO (Visual Geometry GRPO) é um framework de pós-treinamento que realiza otimização de política diretamente no espaço latente, evitando a decodificação para RGB. O método consiste em dois componentes principais:

A. Modelo de Geometria Latente (LGM - Latent Geometry Model)

• Conceito: Em vez de decodificar o latente para imagem RGB e depois extrair geometria, o LGM "costura" (stitches) os latentes do vídeo diretamente a um Modelo de Fundação de Geometria (como o Any4D ou VGGT).
• Funcionamento: Um conectador leve (camada de convolução 3D) mapeia os latentes do VAE para o espaço de características intermediário do modelo de geometria.
• Vantagem: Permite a extração direta de representações geométricas 4D (pose da câmera, mapa de profundidade, mapa de pontos 3D e fluxo de cena) a partir dos latentes, sem passar pelo espaço RGB. Isso é crucial para eficiência e para lidar com cenas dinâmicas.

B. Otimização de Política Relativa em Grupo no Espaço Latente (Latent-Space GRPO)

• O framework utiliza o algoritmo GRPO (Group Relative Policy Optimization), que é uma alternativa eficiente ao PPO, eliminando a necessidade de uma rede de valor (critic) separada.
• Recompensas Complementares: O sistema otimiza o modelo usando duas recompensas calculadas exclusivamente no espaço latente:
  1. Recompensa de Suavidade do Movimento da Câmera: Penaliza trajetórias de câmera irregulares (jitter) calculando a aceleração e velocidade angular/linear da pose da câmera prevista pelo LGM.
  2. Recompensa de Consistência de Reprojeção Geométrica: Garante a coerência 3D entre diferentes visões. O LGM projeta a estrutura 3D prevista de volta para as vistas da câmera e compara as profundidades. Para cenas dinâmicas, utiliza o fluxo de cena para filtrar regiões dinâmicas e focar na consistência de objetos estáticos.

3. Principais Contribuições

1. Recompensas no Espaço Latente: Demonstra que recompensas geométricas confiáveis podem ser computadas diretamente no espaço latente, eliminando o gargalo de decodificação RGB repetida e reduzindo drasticamente o custo computacional.
2. Modelo de Geometria Latente (LGM): Propõe uma arquitetura que conecta latentes de difusão a modelos de fundação de geometria, permitindo a extração de previsões geométricas 4D sem entrada de pixels.
3. VGGRPO: Um framework de RL baseado em GRPO que integra recompensas de suavidade de câmera e consistência geométrica, aplicável tanto a cenas estáticas quanto dinâmicas.
4. Generalização para Cenas Dinâmicas: Ao contrário de métodos anteriores limitados a cenas estáticas, o VGGRPO lida com reconstrução 4D dinâmica, suportando objetos em movimento e cenas complexas.

4. Resultados Experimentais

Os experimentos foram realizados nos modelos base Wan2.1-1B e Wan2.2-5B, comparando com baselines como SFT, Epipolar-DPO e VideoGPA.

• Qualidade Geométrica e de Movimento: O VGGRPO superou consistentemente todas as baselines em métricas de consistência geométrica (erro epipolar de Sampson) e suavidade de movimento em benchmarks estáticos e dinâmicos.
• Cenas Dinâmicas: Enquanto métodos anteriores degradavam significativamente em cenas com movimento não-rígido complexo, o VGGRPO manteve a coerência estrutural e a estabilidade da câmera.
• Qualidade Visual Geral: O modelo melhorou as métricas do VBench (consistência de assunto, qualidade estética, etc.), indicando que a melhoria na consistência geométrica não veio às custas da qualidade visual percebida.
• Eficiência: O cálculo de recompensas no espaço latente reduziu o tempo de execução em 24,5% e o uso de memória de pico de GPU em 10,7% (de 76,80 GB para 68,57 GB) em comparação com métodos baseados em RGB.
• Guia em Tempo de Teste: O LGM é diferenciável, permitindo o uso de "reward guidance" durante a inferência (sem treinamento adicional) para melhorar ainda mais a consistência geométrica.

5. Significado e Impacto

O VGGRPO representa um avanço significativo na geração de vídeos realistas e consistentes com o mundo físico.

• Eficiência: Ao remover a dependência da decodificação RGB para avaliação de recompensas, torna o alinhamento de modelos de vídeo escalável e viável para grandes conjuntos de dados.
• Aplicabilidade em IA Embutida e Simulação: A capacidade de gerar vídeos com geometria 3D coerente e trajetórias de câmera estáveis é fundamental para aplicações como treinamento de robôs (embodied AI), simulações físicas e realidade virtual.
• Flexibilidade: A abordagem é agnóstica ao modelo de fundação de geometria utilizado, permitindo que o método se beneficie de futuros avanços nessa área sem reescrever o pipeline de treinamento.

Em resumo, o VGGRPO resolve o dilema entre alta qualidade visual e consistência geométrica 3D, oferecendo uma solução eficiente e robusta para a geração de vídeos de "mundo consistente" em cenários estáticos e dinâmicos.