Hierarchical Point-Patch Fusion with Adaptive Patch Codebook for 3D Shape Anomaly Detection

1. O Problema

A detecção de anomalias em formas 3D é fundamental para a inspeção industrial e análise geométrica. As abordagens existentes de aprendizado profundo geralmente aprendem representações de formas normais e identificam anomalias através de detecção de out-of-distribution (OOD) ou reconstrução baseada em decodificador. No entanto, esses métodos apresentam limitações críticas:

• Falta de Generalização: Eles frequentemente falham ao generalizar para tipos e escalas diversas de anomalias, especialmente erros geométricos globais (como deslocamentos de planos ou desalinhamentos de ângulos).
• Sensibilidade a Ruído: São sensíveis a pontos locais ruidosos ou incompletos durante o treinamento.
• Dependência de Representações Locais: Métodos baseados apenas em pontos ou reconstrução tendem a focar em defeitos locais pequenos, sendo inadequados para deslocamentos estruturais grandes ou desalinhamentos de partes, que são comuns em cenários industriais reais mas sub-representados em benchmarks públicos.

2. Metodologia Proposta

Os autores propõem uma rede de pontuação de anomalias hierárquica (ponto-patch) que modela conjuntamente características de partes regionais e características de pontos locais. O framework consiste nos seguintes componentes principais:

A. Módulo de Patchificação Adaptativa e Codebook

• Patchificação Multi-escala: O método extrai "patches" (pedaços) de formas normais em três escalas diferentes (fina, média e grossa) usando Farthest Point Sampling (FPS). Isso fornece referências multi-escala para detectar anomalias de tamanhos variados.
• Codebook de Features de Patch: As características dos patches das formas normais são armazenadas em um codebook leve e invariante à posição.
  • Durante o treinamento, formas "pseudo-anômalas" são geradas via negative augmentation (deformações geométricas, buracos, cortes planares) para criar discrepâncias.
  • O codebook é atualizado dinamicamente: características similares são mescladas (para reduzir redundância) e características distintas criam novas entradas, preservando a diversidade geométrica.
• Consulta Adaptativa: Na inferência, os patches da forma de teste consultam o codebook para encontrar os patches normais mais similares, calculando pontuações de similaridade.

B. Fusão Hierárquica de Features (Ponto-Patch)

• Cross-Attention com RoPE: O modelo utiliza um mecanismo de atenção cruzada (cross-attention) baseado em Rotary Position Embedding (RoPE). As características dos pontos locais são consultadas com as características dos patches normais recuperados do codebook.
• Modulação de Pontuação de Patch: Uma função de gate estima a probabilidade de anomalia baseada na discrepância entre o patch anômalo e o patch normal correspondente. Isso modula as características fundidas, permitindo que o modelo adapte sua discriminação conforme a escala e o tipo da anomalia.

C. Função de Perda

O modelo é treinado para prever vetores de deslocamento de anomalia e máscaras de direção, utilizando uma perda combinada que inclui:

1. Perda de regressão de distância (L1).
2. Perda de similaridade de cosseno (para alinhamento de direção).
3. Perda de Entropia Cruzada Binária (para o sinal de anomalia).

3. Principais Contribuições

1. Módulo de Patchificação Adaptativa: Extração de patches multi-escala e armazenamento em um codebook invariante à posição, capturando geometria invariante em várias escalas.
2. Modelo de Fusão Patch-Ponto: Integração de características de nível de patch e ponto via cross-attention e modulação baseada em similaridade, permitindo discriminação adaptativa de anomalias diversas.
3. Novo Dataset Industrial: Criação e liberação de um conjunto de testes industrial com modelos CAD reais exibindo defeitos complexos, como desalinhamentos angulares e deslocamentos planares, que são difíceis de detectar para métodos existentes.

4. Resultados Experimentais

Os experimentos foram conduzidos em benchmarks públicos (Anomaly-ShapeNet, Real3D-AD) e no novo conjunto de dados industrial.

• Desempenho em Benchmarks Públicos:
  • No Real3D-AD, o método alcançou uma melhoria média de 7% no AUC-ROC em relação aos melhores métodos existentes (como PO3AD e R3D-AD).
  • No Anomaly-ShapeNet, obteve ganhos médios de 4% no AUC-ROC, superando ou empatando com o estado da arte na maioria das 40 categorias.
• Desempenho no Dataset Industrial:
  • O modelo demonstrou robustez superior em cenários industriais reais, com uma melhoria de mais de 40% no nível de ponto (AUC-ROC) para novos tipos de anomalias industriais em comparação com a base PO3AD.
  • Métodos baseados em reconstrução (como R3D-AD) falharam na maioria das amostras industriais, enquanto a abordagem proposta manteve alta precisão.
• Eficiência: O tempo de inferência é comparável aos métodos state-of-the-art (~178 ms), com uso de memória de GPU moderado.

5. Significado e Impacto

Este trabalho avança significativamente o campo da detecção de anomalias 3D ao superar a dependência exclusiva de representações locais de pontos. Ao introduzir uma arquitetura hierárquica baseada em patches e um codebook adaptativo, o método consegue lidar eficazmente com anomalias estruturais globais e deslocamentos de grandes escalas, que são críticos para a inspeção industrial real.

A liberação de um novo dataset industrial com defeitos realistas (deslocamentos planares e angulares) preenche uma lacuna importante nos benchmarks atuais, permitindo um treinamento e avaliação mais rigorosos para aplicações do mundo real. A abordagem demonstra que a fusão de contexto global (patches) com detalhes locais (pontos) é essencial para uma detecção de anomalias robusta e generalizável.