One View Is Enough! Monocular Training for In-the-Wild Novel View Generation

Título: OVIE: Treinamento Monocular para Geração de Novas Vistas "In-the-Wild"

1. O Problema

A síntese de novas vistas (Novel View Synthesis - NVS) a partir de uma única imagem (monocular) é um desafio fundamental para a compreensão 3D de cenas. O problema principal reside na escassez de dados de treinamento:

• Dependência de Dados Multi-vista: Os métodos atuais exigem pares de imagens com poses conhecidas (multi-vista) para supervisionar o aprendizado geométrico.
• Limitação de Domínio: Conjuntos de dados existentes (como RealEstate10K ou DL3DV) cobrem apenas uma fatia estreita do mundo visual (principalmente interiores ou objetos específicos).
• Falha de Generalização: Modelos treinados nesses conjuntos limitados falham ao generalizar para domínios não vistos (ex: arte, paisagens externas, objetos fora do padrão) e não conseguem lidar com a variabilidade do mundo real ("in-the-wild").
• Complexidade de Inference: Muitas abordagens exigem otimização por cena, representações 3D explícitas ou inferência iterativa lenta (baseada em difusão).

2. Metodologia (OVIE)

O OVIE propõe uma mudança de paradigma: uma única vista é suficiente. O modelo é treinado inteiramente em imagens da internet não emparelhadas, eliminando a necessidade de dados multi-vista supervisionados.

Principais Componentes:

• Geração de Pares Pseudo-Etiqueta (Pseudo-Pairs):

  • Em vez de usar pares reais, o método utiliza um estimador de profundidade monocular pré-treinado (especificamente MoGe-2, que fornece estimativas métricas) como um "andaime geométrico" durante o treinamento.
  • Para cada imagem de entrada ($I_0$), o estimador gera uma nuvem de pontos 3D.
  • Uma transformação de câmera aleatória ($T_{0\to1}$) é aplicada a essa nuvem de pontos.
  • A nuvem é reprojetada para gerar uma vista alvo pseudo ($I^*_1$) e uma máscara de validade ($M$). A máscara identifica pixels válidos e regiões de oclusão/desocclusão.

• Arquitetura do Modelo:

  • É uma rede feed-forward (sem otimização por cena) que mapeia diretamente a imagem de origem e a pose da câmera alvo para a imagem sintetizada no espaço de pixels.
  • Codificador: Downsampling convolucional.
  • Bottleneck: Arquitetura Transformer (ViT-B) condicionada pela pose. A pose é codificada como um vetor 7D (3D de translação + quaternion unitário) e injetada via Adaptive Layer Normalization (AdaLN).
  • Decodificador: Upsampling convolucional simétrico.
  • Inference: O estimador de profundidade e o pipeline de reprojeção são descartados. O modelo roda apenas com a imagem e a pose desejada.

• Função de Perda (Objetivo de Treinamento):
  Para lidar com a natureza esparsa e imperfeita das vistas pseudo-alvo, o treinamento utiliza uma formulação mascarada:

  1. Perda de Reconstrução ($L_{recon}$): MSE (Mean Squared Error) aplicada apenas nas regiões válidas definidas pela máscara $M$.
  2. Perda Perceptual ($L_{perc}$): Combinação de LPIPS e P-DINO (baseado em DINOv2), também mascarada para evitar penalizar regiões não observadas.
  3. Perda Adversarial ($L_{adv}$): Um discriminador PatchGAN (baseado em StyleGAN-T) compara a imagem gerada com a imagem de origem para garantir realismo textural nas regiões desocluídas (onde não há supervisão geométrica).

3. Contribuições Chave

1. Paradigma de Treinamento Escalável e Agnóstico de Domínio: Demonstra que é possível treinar um modelo de NVS robusto usando apenas 30 milhões de imagens soltas da internet (ImageNet, Places, Open Images, OpenStreetView), sem qualquer par multi-vista ou anotação de pose real.
2. Consciência de Escala Métrica: Ao utilizar um estimador de profundidade métrico (MoGe-2), o modelo aprende transformações em unidades métricas reais. Isso permite que o OVIE entenda a paralaxe correta baseada na distância física dos objetos, algo que métodos baseados em poses de SLAM (ambíguas em escala) não conseguem fazer nativamente.
3. Eficiência Extrema (Geometry-Free): O modelo não gera representações 3D intermediárias nem requer estimadores de profundidade na inferência. Ele opera em uma única passagem (single-shot), alcançando >100 FPS (116 FPS em GPU H100), sendo 600x mais rápido que os melhores baselines existentes (que usam difusão ou otimização iterativa).
4. Generalização "In-the-Wild": O modelo supera ou compete com métodos de última geração (SOTA) treinados especificamente em domínios restritos, mesmo quando testado em benchmarks fora do domínio de treinamento (Zero-shot).

4. Resultados Experimentais

• Benchmarks: Avaliado em RealEstate10K e DL3DV.
• Desempenho Quantitativo:
  • No RealEstate10K (onde os baselines são treinados no mesmo domínio e o OVIE não), o OVIE supera 2 dos 3 baselines e compete com o melhor (VIVID).
  • No DL3DV (cenário de generalização fora de domínio para todos), o OVIE supera todos os baselines em todas as métricas (PSNR, SSIM, LPIPS, FID).
• Qualidade Visual: Gera vistas com geometria consistente, paralaxe métrica correta (demonstrado em Fig. 4, onde a mesma translação de câmera produz deslocamentos diferentes dependendo da distância do objeto) e preenchimento convincente de regiões ocluídas.
• Velocidade: Enquanto métodos concorrentes levam segundos ou minutos para gerar uma vista (devido a passos de difusão), o OVIE gera em milissegundos, permitindo navegação interativa em tempo real.
• Escalabilidade de Dados: Experimentos mostram que o aumento da escala de dados (de 3k para 30M de imagens) é o principal motor de desempenho, superando ganhos marginais de diversidade de domínio isolada.

5. Significado e Impacto

O OVIE representa um avanço significativo na visão computacional ao provar que capacidades 3D podem ser aprendidas a partir de dados 2D em escala da internet, sem a necessidade de captura multi-vista controlada.

• Aplicações Práticas: Permite a criação de experiências 3D imersivas a partir de fotos únicas de arquivos históricos, obras de arte, ou qualquer foto da internet, onde a captura multi-vista é impossível.
• Eficiência: A velocidade de inferência abre portas para aplicações em tempo real, como navegação virtual em jogos, realidade aumentada e robótica, onde a latência é crítica.
• Mudança de Paradigma: Sugere que a complexidade arquitetural e a dependência de dados supervisionados específicos podem ser substituídas por escala de dados e o uso inteligente de estimadores de profundidade como supervisão indireta.

Em resumo, o OVIE democratiza a síntese de novas vistas, tornando-a acessível, rápida e aplicável a qualquer imagem do mundo real.