Enhancing Novel View Synthesis via Geometry Grounded Set Diffusion

1. O Problema

O trabalho aborda as limitações da Síntese de Novas Vistas (NVS - Novel View Synthesis) em cenários de direção autônoma, especificamente quando se utiliza 3D Gaussian Splatting (3DGS). Embora o 3DGS ofereça alta coerência temporal e eficiência computacional, sua qualidade degrada-se significativamente quando o agente (câmera) se desvia das trajetórias observadas durante o treinamento. Isso resulta em:

• Artefatos de renderização: Como "flutuadores" (floaters), inconsistências geométricas e sangramento de textura.
• Falhas em extrapolação: Dificuldade em lidar com grandes deslocamentos de visão (wide-baseline) ou oclusões severas.
• Limitações dos métodos existentes: Métodos baseados apenas em RGB (como DiFix3D) tendem a "alucinar" conteúdo plausível, mas sem fidelidade geométrica real, enquanto métodos de regularização geométrica são sensíveis a ruídos e vistas esparsas.

2. Metodologia: SetDiff

O SetDiff é um framework de difusão baseado em conjuntos, ancorado na geometria, projetado para aprimorar as renderizações do 3DGS. A abordagem integra três componentes principais:

A. Ancoragem Geométrica (Geometry Grounding)

Diferente de modelos de difusão tradicionais que operam apenas em imagens RGB, o SetDiff condiciona o processo de difusão em representações geométricas explícitas extraídas do 3DGS:

• Mapas de Coordenadas (C-maps): Em vez de apenas cor, o modelo renderiza mapas 3D por pixel que codificam as coordenadas do mundo ($x, y, z$) dos pontos visíveis. Isso fornece correspondências espaciais alinhadas aos pixels.
• Embebedimentos de Raios Plücker: Codifica a geometria da câmera (origem e direção do raio) para cada pixel, permitindo que o modelo entenda a pose da câmera e a relação entre as vistas.
• Fusão: Essas informações geométricas são codificadas e adicionadas aos latentes do VAE, guiando o denoiser a respeitar a estrutura 3D e as oclusões.

B. Difusão Baseada em Conjuntos (Set Diffusion)

O modelo processa simultaneamente um conjunto variável de vistas de referência (limpas, das trajetórias de treinamento) e vistas alvo (ruidosas, das novas poses), em vez de processar imagem por imagem:

• Mixer de Conjuntos (Set Mixer): Substitui as camadas de atenção padrão do U-Net por um mecanismo que trata todas as imagens (referência e alvo) como um único conjunto de tokens.
• Permutação Equivariante: O modelo não depende da ordem das imagens, permitindo lidar com um número arbitrário de câmeras e frames.
• Atenção Global: Isso permite que o modelo agregue informações complementares de múltiplas vistas de referência para preencher lacunas nas vistas alvo, melhorando a consistência multiview.

C. Arquitetura e Treinamento

• Utiliza um U-Net 2D destilado do SD-Turbo para inferência de um único passo (single-step), garantindo eficiência.
• O treinamento combina uma perda de difusão latente com uma perda de reconstrução no espaço de pixels (L2, SSIM, LPIPS) para garantir fidelidade fotométrica e estrutural.

3. Principais Contribuições

1. Estratégia de Condicionamento Geométrico: Introduz o uso de mapas de coordenadas 3D e embebedimentos de raios Plücker para guiar o processo de difusão, reduzindo alucinações e melhorando a fidelidade estrutural em comparação com métodos baseados apenas em RGB.
2. Arquitetura de Difusão Variável: Propõe um modelo que processa conjuntos de imagens de referência e alvo de tamanho e ordem variáveis, permitindo uma propagação de conteúdo mais eficaz entre múltiplas câmeras e frames temporais.
3. Eficiência e Escalabilidade: O design permite aprimoramento em tempo real de imagens de alta resolução, mantendo baixa sobrecarga computacional através do processamento em lote e da inferência de um único passo.

4. Resultados Experimentais

O SetDiff foi avaliado em quatro conjuntos de dados desafiadores: EUVS, Para-Lane, nuScenes e DL3DV.

• Desempenho Quantitativo: O modelo superou consistentemente o estado da arte (SOTA), incluindo o 3DGS base, o DiFix3D e o DiFix3D++.
  • Em EUVS, obteve ganhos significativos em PSNR, SSIM e LPIPS, especialmente em configurações de extrapolação extrema.
  • Em Para-Lane, reduziu o LPIPS em aproximadamente 50% em relação ao 3DGS cru e superou outros aprimoradores de difusão em ~1 dB de PSNR.
  • Em nuScenes e DL3DV, demonstrou robustez superior em trajetórias extrapoladas e cenários com vistas esparsas.
• Análise Qualitativa: As imagens geradas apresentam texturas mais nítidas, detalhes geométricos mais coerentes e menos artefatos de flutuação, mesmo sob deslocamentos de visão severos (ex: mudança de faixa em rodovias).
• Estudos de Ablação:
  • A combinação de mapas de coordenadas e poses de câmera ("ambos") produziu os melhores resultados, confirmando a complementaridade das pistas geométricas.
  • O aumento do conjunto de imagens de referência (até 3-4 vistas) melhorou significativamente a qualidade, saturando após esse ponto.

5. Significado e Impacto

O SetDiff estabelece um novo padrão para a síntese de novas vistas em cenários de direção autônoma. Sua capacidade de integrar priors geométricos explícitos com a capacidade generativa de modelos de difusão resolve o dilema entre realismo visual e fidelidade estrutural.

• Aplicação Prática: É crucial para simuladores de mundo real (world models) e treinamento em loop fechado, onde a consistência temporal e a precisão geométrica são vitais para a segurança e eficácia dos sistemas autônomos.
• Eficiência: Ao operar como um pós-processador eficiente sem necessidade de retreinar o modelo 3DGS subjacente, oferece uma solução escalável para a melhoria de simulações em larga escala.

Em resumo, o SetDiff transforma a síntese de novas vistas de um problema de reconstrução frágil em uma tarefa robusta e de alta fidelidade, superando as limitações de métodos anteriores ao alinhar a geração de conteúdo com a geometria 3D real da cena.