See4D: Pose-Free 4D Generation via Auto-Regressive Video Inpainting

1. O Problema

A criação de conteúdo 4D (espaço + tempo) imersivo para Realidade Virtual (VR) e outras aplicações exige vídeos sincronizados de múltiplas perspectivas. Atualmente, a geração de cenas 4D a partir de vídeos casuais (capturados com câmeras de mão, sem equipamento profissional) enfrenta dois grandes desafios:

1. Dependência de Pose Externa: Métodos existentes que geram novas vistas geralmente requerem poses de câmera precisas (6-DoF) anotadas manualmente ou estimadas com alta precisão. Isso é inviável para vídeos "in-the-wild" (do mundo real), onde a anotação é cara e a estimativa automática é frágil.
2. Limitações da Abordagem "Trajetória-a-Trajetória": Métodos recentes que usam "warp-then-inpaint" (deformar e preencher) tentam evitar poses explícitas, mas formulam o problema como a conversão de uma trajetória de câmera de entrada para uma trajetória de saída totalmente diferente. Isso entrelaça o movimento da câmera com a dinâmica da cena, tornando o treinamento instável e a inferência complexa, especialmente em cenas com oclusões e ruído de profundidade.

2. Metodologia: SEE4D

O SEE4D propõe uma nova formulação sem pose (pose-free) baseada em uma abordagem "Trajetória-a-Câmera". Em vez de prever uma trajetória de câmera contínua, o modelo gera vídeos sincronizados para um banco de câmeras virtuais fixas.

Componentes Principais:

• Formulação Trajetória-a-Câmera:

  • O sistema assume um vídeo fonte monocular e gera vídeos de saída para um conjunto de câmeras virtuais fixas.
  • Isso desacopla a modelagem da cena do movimento da câmera, simplificando o treinamento e melhorando a estabilidade da síntese.

• Modelo de Preenchimento Condicional à Vista (View-Conditional Inpainting):

  • Base: Utiliza um modelo de difusão latente (LDM).
  • Condicionamento: Em vez de matrizes de pose, o modelo é condicionado a imagens deformadas (warped) e máscaras de visibilidade geradas a partir de estimativas de profundidade monoculares.
  • Síntese de Warp Realista: Durante o treinamento, o sistema simula artefatos reais de deformação (como rasgos e distorções causadas por ruído de profundidade e movimento de objetos) através de um processo de "re-projeção dupla" com jitter de pose. Isso ensina o modelo a lidar com imperfeições geométricas.
  • Condicionamento Adaptativo ao Ruído: Uma técnica inovadora que ajusta a quantidade de ruído adicionado à imagem condicionada (a imagem deformada) com base na densidade da máscara de oclusão. Se a deformação for pouco confiável (muita oclusão), o modelo confia menos nela, evitando superajuste a geometrias incorretas.
  • Backbone Espaço-Temporal: Um transformador leve que integra atenção espacial e temporal, garantindo consistência entre quadros e vistas diferentes.

• Pipeline de Inferência Auto-Regressiva Espaço-Temporal:

  • Expansão Espacial (Auto-Regressiva): Para evitar saltos grandes que causam erros de deformação, o sistema interpola uma trajetória de câmeras virtuais entre a vista de origem e a alvo. O processo avança em pequenos "hops" (saltos): deforma -> preenche -> re-estima profundidade -> avança para o próximo hop. Isso mitiga oclusões e erros de profundidade progressivamente.
  • Expansão Temporal (Auto-Regressiva): Para gerar vídeos longos, o sistema usa uma janela deslizante. Os últimos quadros limpos de uma janela são usados como semente (seed) para a próxima janela de difusão, garantindo continuidade temporal suave sem aumentar o custo de memória.

3. Principais Contribuições

1. Pipeline SEE4D: Um framework totalmente sem pose que gera cenas 4D diretamente de vídeos casuais, eliminando a necessidade de anotações de pose em larga escala.
2. Formulação Trajetória-a-Câmera: Substitui a previsão de trajetórias complexas pela geração de vistas fixas, simplificando o problema de otimização e aumentando a robustez.
3. Mecanismos de Treinamento Robustos: Introdução de "Síntese de Warp Realista" e "Condicionamento Adaptativo ao Ruído" para lidar com a incerteza geométrica inerente a vídeos monoculares dinâmicos.
4. Inferência Auto-Regressiva: Um pipeline escalável que permite a geração de vídeos longos e com grandes deslocamentos de vista, mantendo a coerência geométrica e temporal.

4. Resultados e Avaliação

O SEE4D foi avaliado em benchmarks de reconstrução 4D e geração de vídeo cruzado (cross-view).

• Reconstrução 4D (Dataset iPhone):
  • O SEE4D superou todos os métodos state-of-the-art (incluindo TrajectoryCrafter, ReCamMaster, Shape-of-Motion) em métricas de qualidade de reconstrução (PSNR, SSIM e LPIPS).
  • Demonstrou maior completude geométrica e fidelidade, especialmente em cenas com objetos deformáveis e movimento complexo.
• Geração de Vídeo (Protocolo VBench):
  • No conjunto de dados "in-the-wild", o SEE4D obteve as melhores pontuações na maioria das métricas de qualidade de vídeo, consistência temporal e estética.
  • Superou modelos focados apenas em geração de vídeo ao integrar dicas geométricas explícitas (via warp) com priores temporais robustos.
• Análise Qualitativa:
  • Os resultados mostram síntese de textura suave, transições sem emendas e melhor tratamento de oclusões em comparação com métodos concorrentes que sofrem com "bleed-through" (vazamento de pixels) e jitter.

5. Significado e Aplicações

O SEE4D representa um avanço significativo na modelagem de mundos 4D a partir de dados não supervisionados. Ao eliminar a dependência de poses de câmera, o método torna viável a conversão de vastos acervos de vídeos casuais para conteúdo 4D.

Aplicações Práticas Demonstradas:

• Robótica: Geração de visões panorâmicas para planejamento de pega (grasping).
• Dirigência Autônoma: Criação de fluxos de vídeo virtuais laterais e traseiros a partir de câmeras de bordo.
• Jogos Interativos: Criação de replays em múltiplos ângulos ("fly-through") a partir de gravações únicas.
• Produção Cinematográfica: Reenquadramento e estabilização de tomadas de mão, preenchendo oclusões para permitir novos ângulos de câmera em pós-produção.

Em resumo, o SEE4D estabelece um novo padrão para a geração de conteúdo 4D imersivo, tornando-o acessível, escalável e robusto para aplicações do mundo real.