Laplace-Beltrami Operator for Gaussian Splatting

1. O Problema

O 3D Gaussian Splatting (3DGS) revolucionou a síntese de novas visualizações e a reconstrução 3D devido à sua eficiência e qualidade fotorealista. No entanto, a aplicação de técnicas tradicionais de processamento geométrico (como suavização, deformação e análise espectral) ao 3DGS enfrenta desafios fundamentais:

• Falta de Conectividade Explícita: O 3DGS representa cenas como uma coleção de distribuições gaussianas independentes, sem a informação de conectividade (arestas/faces) necessária para operadores geométricos clássicos.
• Perda de Informação: As abordagens atuais convertem os centros das gaussianas em nuvens de pontos ou malhas para usar algoritmos existentes. Isso descarta informações valiosas codificadas nas matrizes de covariância (forma e orientação) e introduz sobrecarga computacional.
• Presença de Outliers: A otimização focada em renderização tende a gerar muitas gaussianas de baixa opacidade ou posicionadas no interior dos objetos (espaço livre), que não afetam a qualidade visual, mas introduzem ruído significativo e distorcem a análise geométrica.
• Limitações de Representações Intermediárias: A reconstrução de malhas a partir do 3DGS frequentemente resulta em superfícies excessivamente suavizadas, ruidosas ou com um número excessivo de vértices, comprometendo a precisão geométrica.

2. Metodologia

Os autores propõem um framework que opera diretamente sobre a representação de Gaussian Splatting, sem conversão para formatos intermediários. A abordagem baseia-se em dois pilares principais:

A. Remoção de Outliers Baseada em Grafos

Para lidar com o ruído e os outliers inerentes à otimização do 3DGS, os autores desenvolvem uma estratégia de filtragem específica para distribuições gaussianas:

• Distância de Mahalanobis: Em vez de usar a distância Euclidiana (que trata todos os pontos como esferas), utilizam a distância de Mahalanobis. Isso leva em conta a natureza anisotrópica das gaussianas (variação direcional), permitindo agrupar pontos que formam uma superfície coerente e identificar outliers com maior distância.
• Construção de Grafos Bidirecionais: Um grafo de vizinhança é construído onde uma aresta existe entre duas gaussianas ($p_i$ e $p_j$) apenas se ambas forem vizinhos $k$-mais próximos uma da outra sob a métrica de Mahalanobis.
• Filtragem: O algoritmo mantém apenas o maior componente conectado do grafo, removendo eficientemente gaussianas internas e de baixa opacidade que não contribuem para a estrutura da superfície.

B. Formulação do Operador de Laplace-Beltrami (LBO) para Gaussianas

O LBO é uma ferramenta fundamental em processamento geométrico (usada para suavização, análise espectral, etc.). Os autores propõem sua discretização direta sobre as gaussianas:

• Aproveitamento da Covariância: Diferente dos Laplacianos em nuvens de pontos que usam vizinhanças Euclidianas, o novo operador utiliza a matriz de covariância de cada gaussiana para definir a vizinhança e os pesos.
• Estimativa de Normais: A normal de cada ponto é estimada como o autovetor correspondente ao menor autovalor da matriz de covariância da gaussiana, assumindo que as gaussianas estão alinhadas à superfície.
• Matriz de Rigidez: O operador é formulado para respeitar a geometria implícita codificada nas covariâncias, ponderando as conexões com base na proximidade espacial e na compatibilidade geométrica.

C. Treinamento Adaptativo

Os autores integram a remoção de outliers diretamente no processo de treinamento do 3DGS. A cada $N$ iterações, o sistema filtra as gaussianas, mantendo apenas os componentes conectados maiores. Isso resulta em uma representação final mais limpa e compacta sem degradar a qualidade da renderização.

3. Principais Contribuições

1. Definição do LBO Nativo: Uma nova definição do Operador de Laplace-Beltrami calculada diretamente na representação de Gaussian Splatting, aproveitando totalmente a informação geométrica das covariâncias.
2. Filtragem de Outliers Específica: Um método baseado em grafos e distância de Mahalanobis, desenhado especificamente para distribuições gaussianas, que preserva a estrutura geométrica enquanto elimina ruído.
3. Validação Experimental: Demonstração da eficácia do método em diversas tarefas (cálculo de distância geodésica, correspondência de formas, estimativa de curvatura), superando abordagens baseadas em nuvens de pontos e competindo com métodos baseados em malhas.

4. Resultados Experimentais

Os experimentos foram realizados em conjuntos de dados como TOSCA, DTU e Shiny Blender, comparando o método proposto ("Ours") com:

• Laplaciano de Nuvem de Pontos (usando apenas centros).
• Laplaciano em Malhas reconstruídas (via GOF ou Poisson).
• Versões do método proposto usando distância Euclidiana.

Desempenho Chave:

• Análise Espectral (Autovalores): O método proposto (com Mahalanobis) produziu autovalores mais próximos da verdade fundamental (ground-truth) do que a nuvem de pontos e, para os primeiros autovalores, até superou a malha reconstruída.
• Curvatura: A estimativa de curvatura média foi significativamente mais precisa do que a obtida em malhas extraídas (que sofrem de artefatos de reconstrução) e nuvens de pontos.
• Distância Geodésica: O método superou consistentemente o Laplaciano de nuvem de pontos e a maioria das malhas reconstruídas no cálculo de caminhos mais curtos na superfície.
• Correspondência de Formas: Na correspondência funcional (Functional Maps), o método obteve resultados competitivos, superando a nuvem de pontos bruta.
• Eficiência e Limpeza: O treinamento adaptativo resultou em representações muito mais compactas (menos gaussianas) e limpas, sem perda perceptível na qualidade de renderização (PSNR).

5. Significado e Conclusão

Este trabalho preenche uma lacuna fundamental no processamento geométrico para representações baseadas em Gaussianas. Ao permitir a aplicação direta de operadores clássicos (como o LBO) sem a necessidade de conversão para malhas ou nuvens de pontos, o método:

• Preserva informações geométricas implícitas que seriam perdidas na conversão.
• Elimina a sobrecarga computacional e os artefatos de reconstrução de malhas.
• Oferece uma base sólida para expandir o uso do 3DGS além da renderização, permitindo aplicações em análise de formas, deformação e edição geométrica direta.

A abordagem demonstra que tratar as gaussianas como distribuições anisotrópicas, e não apenas como pontos, é crucial para extrair geometria precisa e robusta.