Generalizable Sparse-View 3D Reconstruction from Unconstrained Images

1. Declaração do Problema

A reconstrução de cenas 3D a partir de imagens da internet esparsas e sem pose ("in-the-wild") permanece um desafio significativo devido a três fatores principais:

1. Iluminação Variável: Fotos da internet frequentemente capturam a mesma cena sob condições de iluminação drasticamente diferentes (hora do dia, estações do ano).
2. Oclusões Transitórias: Capturas feitas à mão frequentemente contêm objetos em movimento (turistas, veículos) que atuam como distrações dinâmicas em vez de geometria estática da cena.
3. Vistas Esparsas: Conjuntos de dados do mundo real frequentemente carecem da cobertura densa e multi-visão exigida por métodos tradicionais.

Limitações dos Métodos Existentes:

• Métodos baseados em otimização (ex.: WildGaussians, NexusSplats): Requerem extensa otimização por cena (horas de treinamento) e frequentemente falham quando as vistas são esparsas ou a iluminação difere das condições de treinamento. Eles lutam para generalizar para cenas não vistas.
• Métodos feed-forward: Embora rápidos, são tipicamente limitados a iluminação fixa ou exigem poses de câmera precisas. Frequentemente falham em desentrelaçar geometria de aparência, levando a artefatos sob iluminação variável.

2. Metodologia: GenWildSplat

O GenWildSplat é um framework feed-forward que reconstrói cenas 3D em uma única passagem (aproximadamente 3 segundos) sem otimização por cena. Ele integra previsão de geometria, controle de aparência e tratamento de oclusão em uma arquitetura unificada.

A. Arquitetura Central

O framework é construído sobre o AnySplat, utilizando uma espinha dorsal (backbone) VGGT transformer para processar imagens multi-visão esparsas e sem pose em mapas de características ricos. Essas características são decodificadas por cabeças especializadas:

• Cabeça de Profundidade: Prevê mapas de profundidade por pixel.
• Cabeça de Câmera: Estima intrínsecos e extrínsecos da câmera.
• Cabeça Gaussiana: Prevê atributos canônicos de Gaussiana 3D (posição, rotação, escala, opacidade e coeficientes harmônicos esféricos independentes de aparência).

B. Componentes Chave

1. Representação do Espaço Canônico:
   O modelo prevê um conjunto "canônico" de Gaussiana 3D ($\mathcal{G}_c$) que representa a geometria da cena estática, desentrelaçada de condições de iluminação específicas.

2. Adaptador de Aparência (Controle de Iluminação):
   Para lidar com iluminação variável, o modelo introduz um Adaptador de Aparência.

   • Um Codificador de Luz ($E_{Light}$) extrai um código de luz compacto ($L_i$) de cada imagem de entrada.
   • Um MLP ($F_{light}$) modula as cores canônicas da Gaussiana ($c$) com base no código de luz alvo para produzir cores transformadas ($c_{L_i}$).
   • Isso permite que o modelo renderize a mesma cena sob condições de iluminação novas simplesmente alterando o código de luz, sem reotimizar a geometria.

3. Modelagem de Oclusão:
   Para lidar com objetos transitórios (pessoas, carros), o sistema aproveita uma rede de segmentação semântica pré-treinada (YOLOv8).

   • Gera máscaras binárias identificando regiões transitórias.
   • Essas máscaras são usadas para mascarar a perda de supervisão, garantindo que o modelo aprenda apenas com conteúdo estático. Isso evita "explicar" estruturas estáticas (como árvores) como oclusões e evita o colapso de gradiente em regiões dinâmicas.

C. Estratégia de Aprendizado Curricular

Treinar diretamente em dados em grande escala e não constrainados é instável devido à natureza mal-posta do aprendizado conjunto de geometria, iluminação e oclusão. Os autores empregam um currículo de três estágios:

1. Estágio 1 (Iluminação): Treino em uma única cena sintética com variações de iluminação para aprender o desentrelaçamento de iluminação sem confusões geométricas/ocluentes.
2. Estágio 2 (Multi-cenas): Introdução de cenas sintéticas diversas para aprender priores robustos de geometria e aparência.
3. Estágio 3 (Oclusão): Adição de objetos transitórios sintéticos com máscaras ground-truth para ensinar o modelo a ignorar elementos dinâmicos.

3. Contribuições Chave

• Primeira Abordagem Feed-Forward para Cenas Wild: O GenWildSplat é o primeiro método a integrar modelagem de aparência e tratamento de oclusão dentro de um paradigma de reconstrução 3D feed-forward para imagens esparsas e sem pose.
• Generalização sem Otimização: Alcança desempenho state-of-the-art (SOTA) em cenas não vistas em 3 segundos sem qualquer otimização no tempo de teste ou ajuste por cena.
• Transferência de Aparência entre Cenas: Ao desentrelaçar geometria de iluminação, o modelo pode transferir estilos de iluminação de uma cena para outra (ex.: aplicar a iluminação de uma cena de pôr do sol a um edifício diferente), uma capacidade ausente em métodos anteriores de otimização conjunta.
• Tratamento Robusto de Oclusão: O uso de priores de segmentação externos para supervisão mascarada garante treinamento estável e reconstrução limpa mesmo com oclusões transitórias pesadas.

4. Resultados Experimentais

O método foi avaliado nos conjuntos de dados PhotoTourism e o desafiador MegaScenes (apresentando vistas esparsas, iluminação diversa e oclusões pesadas).

• Desempenho Quantitativo:
  • Supera baselines baseados em otimização (WildGaussians, NexusSplats, GS-W) no MegaScenes.
  • MegaScenes (6 Vistas): Alcança 15.84 PSNR, 0.440 SSIM e 0.407 LPIPS, superando significativamente o próximo melhor método (NexusSplats: 13.92 PSNR).
  • Tempo de Inferência: 3 segundos vs. horas para métodos baseados em otimização.
• Desempenho Qualitativo:
  • Produz renderizações consistentes com vistas com menos artefatos (ex.: nenhum céu "espinhoso" ou distorções geométricas) em comparação com baselines.
  • Lida com sucesso com condições de iluminação novas e remove objetos transitórios (pessoas/carros) para revelar a geometria estática subjacente.
• Estudos de Ablação:
  • Remover o Adaptador de Aparência resulta em saídas de aparência fixa e única.
  • Remover o Tratamento de Oclusão leva a objetos transitórios incorporados ("baked-in").
  • Remover o Aprendizado Curricular causa colapso de cor e instabilidade.

5. Significado e Impacto

O GenWildSplat representa um grande avanço na reconstrução 3D generalizável.

• Aplicabilidade em Tempo Real: Ao eliminar a necessidade de otimização por cena, permite a compreensão de cenas 3D em tempo real para AR/VR, navegação e gêmeos digitais usando fotos brutas da internet.
• Robustez: Demonstra que priores pré-treinados em grande escala (via aprendizado curricular em dados sintéticos) podem generalizar efetivamente para condições complexas do mundo real "in-the-wild" onde métodos tradicionais falham.
• Controlabilidade: A capacidade de controlar aparência e iluminação pós-reconstrução abre novas possibilidades para criação de conteúdo e edição de cena sem re-treinamento.

Limitações:
O artigo reconhece que o método ainda luta com vistas extremamente esparsas (levando a geometria faltante), vistas muito fora da distribuição de treinamento (causando artefatos), cenas internas com máscaras imperfeitas e ainda não modela sombras projetadas ou relighting fisicamente preciso.