GSM-GS: Geometry-Constrained Single and Multi-view Gaussian Splatting for Surface Reconstruction

1. Problema e Motivação

O Gaussian Splatting 3D (3DGS) tornou-se uma técnica proeminente para síntese de novas visões e reconstrução 3D devido à sua velocidade de treinamento ultrarrápida e capacidade de renderização de alta fidelidade. No entanto, a natureza não estruturada e irregular das nuvens de pontos gaussianas impõe desafios significativos à precisão da reconstrução de superfícies.

As principais limitações identificadas são:

• Perda de Detalhes de Alta Frequência: Em microestruturas de superfícies complexas, estratégias convencionais falham em capturar detalhes finos.
• Regiões sem Textura: Em áreas com pouca ou nenhuma textura (regiões uniformes), a falta de informação de gradiente leva a estimativas de vetores normais instáveis (mínimos locais), resultando em detalhes geométricos excessivamente suavizados e curvaturas de superfície distorcidas.
• Inconsistência Multivista: A ausência de restrições geométricas cruzadas entre visões discretas causa artefatos de reconstrução e distorções geométricas na síntese de novas visões.
• Acoplamento Ambíguo: Em regiões ricas em textura, a otimização baseada em consistência fotométrica pode causar ambiguidade na decupagem entre a orientação do vetor normal e os parâmetros de covariância da elipse gaussiana.

2. Metodologia (GSM-GS)

Os autores propõem o GSM-GS, um framework de otimização sinérgica que integra restrições geométricas adaptativas de visão única e refinamento estrutural espacial de múltiplas visões.

A. Otimização de Visão Única (Single-View)

O método utiliza uma estratégia de peso adaptativo por sub-região baseada em gradientes de imagem:

1. Particionamento de Regiões: A cena é dividida dinamicamente em regiões ricas em textura e pobres em textura (ou sem textura) utilizando a magnitude do gradiente da imagem (operador Sobel).
2. Filtragem de Confiança: Uma métrica de peso é gerada baseada na discrepância entre o mapa de profundidade renderizado e o mapa de profundidade imparcial (unbiased). Regiões com baixa discrepância (alta confiança) são selecionadas para otimização.
3. Estratégia de Dupla Ramificação (Dual-Branch):
   • Regiões Ricas em Textura: Aplica-se uma restrição de ortogonalidade entre o gradiente de profundidade e a direção normal ($L_{cross}$), juntamente com uma perda de diferença de normais ponderada pelo peso de confiança. Isso preserva detalhes finos e evita a degradação de características geométricas de alta frequência.
   • Regiões Pobres em Textura: Utiliza-se uma regularização de Variação Total (TV) ponderada pela similaridade de cor. Isso suaviza a geometria de forma adaptativa, evitando ruído estocástico e erros de reconstrução causados pela falta de textura, enquanto preserva descontinuidades fisicamente plausíveis.

B. Otimização de Múltiplas Vistas (Multi-View)

Para melhorar a consistência entre visões, o método introduz um mecanismo de associação de nuvem de pontos guiada por geometria:

1. Amostragem Dinâmica Guiada por Peso: Combina pesos de confiança de visões adjacentes para gerar métricas de confiança global. Amostras de pontos estáveis (com alta confiança e baixa discrepância de profundidade) são selecionadas para evitar associações geométricas errôneas em áreas oclusas ou ruidosas.
2. Restrições de Normal Espacial Cruzada: Os pontos amostrados de visões adjacentes são transformados para um sistema de coordenadas comum. A normal da superfície de cada ponto é calculada usando Análise de Componentes Principais (PCA) em patches locais.
3. Consistência de Normais: Uma perda baseada na similaridade do cosseno entre as normais das visões cruzadas é aplicada, ponderada pela curvatura local (superfícies mais curvas recebem menos peso para evitar instabilidade). Isso reforça a consistência geométrica 3D e reduz artefatos.

C. Função de Perda Total

A perda final combina a perda fotométrica padrão ($L_{rgb}$), a restrição geométrica de visão única ($L_{svgeo}$) e a restrição geométrica de múltiplas visões ($L_{mvgeo}$), balanceadas por fatores de ponderação.

3. Contribuições Principais

1. Restrição Adaptativa de Sub-região de Visão Única: Uma estratégia de otimização de dupla ramificação que desacopla e filtra pesos com base em gradientes de imagem, permitindo a reconstrução precisa de microestruturas de superfície em regiões ricas em textura e suavização robusta em regiões sem textura.
2. Estratégia de Amostragem Dinâmica Guiada por Peso e Restrições de Normal Cruzada: Um modelo de correlação geométrica 3D contínuo construído através da filtragem adaptativa global de dados de nuvem de pontos, abordando eficazmente a perda de consistência multivista em cenas complexas.
3. Avaliação Abrangente: Validação extensiva em conjuntos de dados de referência (DTU, Mip-NeRF360, Tanks and Temples), demonstrando superioridade tanto na qualidade de renderização quanto na precisão da reconstrução geométrica.

4. Resultados Experimentais

Os experimentos foram realizados nos conjuntos de dados DTU, Mip-NeRF360 e Tanks and Temples, comparando o GSM-GS com métodos state-of-the-art como 3DGS, 2DGS, GOF, RaDe-GS e PGSR.

• Precisão Geométrica (DTU): O método alcançou uma distância de Chamfer média de 0.51 mm, superando o PGSR (0.53 mm) e outros métodos. Obteve os melhores resultados em 13 de 15 cenas avaliadas.
• Qualidade de Reconstrução (Tanks and Temples): Alcançou uma pontuação média F1-Score de 0.36, representando uma melhoria de 5,9% em relação ao segundo melhor método (PGSR) e até 63,6% em relação a outros.
• Síntese de Novas Vistas (Mip-NeRF360): O GSM-GS obteve resultados competitivos em SSIM, PSNR e LPIPS, destacando-se particularmente na redução de artefatos e na preservação de detalhes em cenas internas e externas complexas.
• Eficiência: Embora o tempo de treinamento seja ligeiramente superior ao de métodos puramente fotométricos (0.45h vs 0.13h do RaDe-GS), o ganho na fidelidade geométrica justifica o custo computacional marginal. O aumento de tempo deve-se principalmente às transformações rígidas e análises espectrais PCA nas restrições multivistas.

5. Significado e Conclusão

O GSM-GS representa um avanço significativo na reconstrução de superfícies baseada em Gaussian Splatting. Ao introduzir restrições geométricas diferenciadas por região e consistência multivista baseada em nuvens de pontos, o método resolve problemas crônicos de suavização excessiva em áreas sem textura e inconsistências em cenas complexas.

A principal contribuição do trabalho é a capacidade de manter a alta fidelidade de renderização e a velocidade de treinamento do 3DGS original, enquanto se alcança uma precisão geométrica comparável a métodos mais lentos baseados em campos de radiação neural (NeRF) ou mapeamento de densidade. O framework demonstra robustez em cenários desafiadores, como oclusões, regiões sem textura e superfícies especulares, estabelecendo um novo padrão para a reconstrução 3D de alta qualidade em tempo real.