Shape Representation using Gaussian Process mixture models

1. Problema e Motivação

A representação de formas 3D é fundamental em áreas como visão computacional, fotogrametria e gráficos. As representações explícitas tradicionais (nuvens de pontos, malhas e voxels) sofrem de duas limitações principais:

• Alto custo de armazenamento: Para capturar detalhes geométricos finos, exigem grandes volumes de dados.
• Complexidade de indexação: Requerem sistemas complexos para consultas de superfície (ex: vizinhança mais próxima).

Por outro lado, as representações funcionais implícitas (baseadas em redes neurais, como DeepSDF) são eficientes em armazenamento, mas frequentemente focam na generalização de classes de objetos, perdendo detalhes idiossincráticos de geometrias específicas. Além disso, métodos baseados em redes neurais podem ser computacionalmente pesados e difíceis de treinar para reconstruções de alta fidelidade de objetos únicos a partir de amostragens esparsas.

O objetivo deste trabalho é preencher essa lacuna propondo uma representação funcional específica para o objeto, leve e contínua, capaz de reconstruir geometrias complexas a partir de nuvens de pontos esparsas sem depender de arquiteturas neurais profundas.

2. Metodologia

A abordagem proposta utiliza Modelos de Mistura de Processos Gaussianos (GP) para modelar campos de distância direcional (Directional Distance Fields - DDFs). O processo é dividido nas seguintes etapas:

• Parametrização de Campos de Distância Direcional (DDF):
  A superfície do objeto é representada como uma coleção de distâncias a partir de pontos de referência internos ($C$). Para cada ponto na superfície ($P$), a relação é parametrizada em coordenadas esféricas $(\phi, \theta, d)$, onde $d$ é a distância euclidiana e $(\phi, \theta)$ definem a direção do vetor de azimute.

• Modelagem com Processos Gaussianos (GP):
  Em vez de redes neurais, o método utiliza GPs para aprender a função de distância contínua para uma dada direção.

  • Assume-se que a distância $d$ segue uma distribuição Gaussiana: $d \sim \mathcal{GP}(0, k)$.
  • Utiliza-se uma Função de Covariância (Kernel) para medir a similaridade entre direções. O artigo compara vários kernels e identifica o Rational Quadratic (RQ) como o mais adaptável para comportamentos multi-escala.

• Mistura de Priors Locais (Mixture of Priors):
  Um único GP não consegue cobrir objetos com topologias complexas (onde um raio pode intersectar a superfície múltiplas vezes). Para resolver isso:

  1. A nuvem de pontos é dividida em regiões (clusters) usando métodos como k-means ou esqueltonização.
  2. Pontos de referência são definidos nos centros desses clusters (idealmente dentro da estrutura esquelética do objeto).
  3. Um GP local é treinado para cada região, modelando a superfície visível a partir daquele ponto de referência.
  4. A representação final do objeto é uma mistura desses GPs locais. A probabilidade de um ponto pertencer a uma região específica é ponderada pela distância ao centro do cluster (usando uma função softmax).

• Treinamento e Inference:
  O modelo é treinado em nuvens de pontos esparsas. A reconstrução é feita calculando a distribuição condicional da distância para qualquer direção query, combinando as previsões dos múltiplos GPs.

3. Contribuições Principais

1. Nova Representação Funcional Leve: Propõe uma representação de forma baseada em misturas de priors de Processos Gaussianos. Diferente dos métodos neurais, é "leve" (lightweight), não possui componentes de redes profundas e opera diretamente sobre pontos esparsos.
2. Avaliação Robusta: O modelo foi avaliado extensivamente com dados sintéticos (ShapeNetCore) e reais (IndustryShapes), demonstrando capacidade de capturar detalhes finos e topologias complexas (como buracos e estruturas tubulares) com alta precisão.
3. Independência de Arquitetura Neural: O método evita o custo de treinamento pesado de redes neurais, oferecendo uma alternativa interpretável e probabilisticamente fundamentada para reconstrução de superfícies.

4. Resultados Experimentais

Os experimentos foram realizados nos conjuntos de dados ShapeNetCore (categorias: Aviões, Cadeiras, Sofás) e IndustryShapes (Parafusadeiras).

• Comparação com o Estado da Arte (SOTA):

  • O método superou consistentemente o DeepSDF e o NKSR (Neural Kernel Surface Reconstruction).
  • Métricas: Alcançou a menor distância de Chamfer (CD) e F-scores superiores a 90% em todas as categorias.
  • Exemplo: Para a categoria "Aviões", o método alcançou um F-score de 90.3% e uma precisão de 87.4%, enquanto o DeepSDF (treinado com 10k pontos) ficou em 62.5% de F-score.
  • O método demonstrou superioridade na preservação de detalhes geométricos finos, evitando o "alisamento" (over-smoothing) comum em métodos neurais.

• Estudos de Ablação:

  • Kernel: O kernel Rational Quadratic (RQ) apresentou o melhor desempenho geral, superando kernels RBF, Matérn e Polinomiais.
  • Pontos de Referência: Aumentar o número de pontos de referência melhora a fidelidade até um platô. Para objetos muito complexos (como cadeiras), a colocação automática via k-means é inferior à colocação manual ou baseada em esqueltonização, destacando a importância da localização semântica dos pontos de referência.

5. Significado e Conclusão

Este trabalho apresenta uma alternativa viável e eficiente às representações neurais implícitas para modelagem de objetos específicos.

• Eficiência: O tempo de treinamento é baixo (aprox. 30 segundos para 10.000 pontos em uma GPU RTX 4090).
• Aplicabilidade: É particularmente útil em fluxos de trabalho fotogramétricos onde se deseja converter nuvens de pontos ruidosas e esparsas em superfícies contínuas e compactas para digital twins, documentação de patrimônio ou modelagem urbana.
• Futuro: Os autores planejam automatizar a escolha dos pontos de referência e fornecer garantias teóricas de cobertura total da superfície, independentemente da complexidade da forma.

Em resumo, o método oferece um equilíbrio superior entre compactação de dados, fidelidade geométrica e custo computacional, provando que Processos Gaussianos, quando combinados em misturas locais, são ferramentas poderosas para a representação de formas 3D.