Geometry-Aware Scene Configurations for Novel View Synthesis

Resumo Técnico: Configurações de Cena Conscientes de Geometria para Síntese de Novas Vistas

Declaração do Problema
Avanços recentes em Campos de Radiância Neural (NeRF) permitem experiências 3D imersivas a partir de observações de imagens, mas enfrentam desafios significativos quando aplicados a cenas internas em grande escala capturadas por meio de trajetórias casuais e manuais. Esses cenários frequentemente apresentam padrões de observação irregulares, dados esparsos e layouts complexos contendo desordem, oclusão e superfícies planas e homogêneas. Representações escaláveis de cena padrão geralmente alocam sua capacidade representacional limitada (bases, como blocos NeRF ou grades de características) usando estratégias uniformes — seja dividindo o espaço uniformemente ou distribuindo bases ao longo da trajetória da câmera. Essas abordagens falham em levar em conta a natureza não uniforme da geometria interna ou as estatísticas específicas das medições de entrada, levando a um uso ineficiente de recursos e qualidade de renderização degradada, particularmente em cenários de extrapolação ou regiões sem textura. Além disso, os métodos existentes frequentemente lutam com artefatos flutuantes em regiões subconstrangidas devido à falta de consistência geométrica.

Metodologia
Os autores propõem um framework sistemático e adaptativo à cena que aproveita priores geométricos prontamente disponíveis para otimizar tanto o posicionamento das bases de representação quanto a configuração de vistas de treinamento. O método consiste em três etapas principais:

1. Extração de Andaime Geométrico: O pipeline começa extraindo um andaime geométrico aproximado a partir das imagens multiview de entrada. Isso pode ser alcançado por meio de métodos de reconstrução de superfície implícita (por exemplo, MonoSDF) ou preditores de profundidade feed-forward (por exemplo, MapAnything). Este andaime serve como uma estimativa consistente da superfície subjacente da cena.
2. Otimização de Posicionamento de Bases Consciente de Geometria: Em vez de distribuição uniforme, o método otimiza as posições de um conjunto limitado de bases (blocos NeRF ou sondas de campo de luz neural). Primeiro, registra estatísticas de observação no andaime geométrico calculando "pesos de cobertura" para pontos de superfície. Esses pesos acumulam informações de visibilidade de todas as câmeras de treinamento, ponderadas por distância e alinhamento de normal de superfície. Uma função de energia é então minimizada para deslocar as posições das bases em direção a regiões com alta densidade de observação e geometria complexa, garantindo que a capacidade fixa das bases seja alocada onde é mais necessária.
3. Regularização Geométrica Adaptativa à Cena: Para abordar regiões com medições insuficientes (por exemplo, paredes planas ou áreas ocluídas), o método introduz pontos de vista virtuais conscientes da cena. Usando uma estratégia de planejamento de próxima melhor vista que considera a diversidade espacial e a co-visibilidade de características, o sistema seleciona pontos de vista virtuais para cobrir a cena. Profundidades renderizadas a partir dessas vistas virtuais, guiadas pelo andaime geométrico, são usadas para impor regularização de profundidade robusta durante o treinamento. Isso suprime artefatos flutuantes e estabiliza a otimização em regiões pouco observadas.

Principais Contribuições

• Distribuição de Bases Adaptativa à Cena: Os autores introduzem uma estratégia de otimização que posiciona bases com base na correlação entre a geometria da cena e as estatísticas de medição, superando métodos de alocação uniformes ou baseados em trajetória.
• Otimização de Posicionamento Baseada em Energia: Uma nova função de energia é definida no andaime geométrico para acumular estatísticas de observação, permitindo o posicionamento ótimo de um conjunto limitado de bases para cobrir a trajetória de entrada de forma eficiente.
• Regularização por Ponto de Vista Virtual: O artigo sugere um método para gerar e utilizar pontos de vista virtuais adaptativos à cena para fornecer supervisão plausível em regiões não observadas, regularizando efetivamente a reconstrução sem exigir capturas adicionais do mundo real.
• Avaliação Abrangente: O framework é validado em cenas internas do mundo real dos conjuntos de dados ScanNet++ e Zip-NeRF, demonstrando melhorias significativas em relação a linhas de base como NeLF-Pro, LocalRF e várias variantes de 3D Gaussian Splatting (3DGS).

Resultados
Os resultados experimentais nos conjuntos de dados ScanNet++ e Zip-NeRF demonstram que o método proposto melhora significativamente a qualidade de reconstrução em termos de PSNR, SSIM e LPIPS, particularmente em cenários desafiadores de extrapolação onde as linhas de base frequentemente falham.

• Desempenho: Quando aplicado ao NeLF-Pro e LocalRF, o método alcança desempenho state-of-the-art entre abordagens baseadas em NeRF, frequentemente superando variantes 3DGS em tarefas de extrapolação onde o 3DGS sofre de artefatos severos.
• Eficiência: A abordagem alcança esses ganhos sem aumentar o uso de memória em comparação com as arquiteturas de linha de base subjacentes, pois reutiliza o mesmo número de parâmetros, mas otimiza seu arranjo espacial.
• Robustez: Estudos de ablação confirmam que tanto a otimização de posicionamento de bases quanto a regularização geométrica (usando vistas virtuais) contribuem independentemente para o desempenho. O método também mostra robustez a imprecisões no andaime geométrico, mantendo melhorias mesmo quando a geometria prior é ruidosa.

Significado e Alegações
O artigo alega que, ao modelar explicitamente a interação entre a geometria subjacente e os pontos de vista da câmera pré-capturados, é possível maximizar a utilização de recursos limitados para reconstrução de cenas internas em grande escala. Os autores enfatizam que, embora o 3D Gaussian Splatting ofereça velocidade, as representações baseadas em NeRF retêm vantagens em eficiência de memória e consistência geométrica para cenas em grande escala e ilimitadas, particularmente em regiões sem textura. As estratégias adaptativas à cena propostas são apresentadas como um aprimoramento generalizável aplicável a várias representações de síntese de novas vistas, oferecendo uma solução principiante para o desafio não trivial de alocar capacidade representacional em ambientes internos complexos. O trabalho não alega resolver falhas catastróficas em SfM ou calibração a montante, mas foca em melhorar a fidelidade de reconstrução dado um andaime geométrico bem-sucedido.