Hierarchical Point-Patch Fusion with Adaptive Patch Codebook for 3D Shape Anomaly Detection

Título: Fusión Jerárquica Punto-Parche con Libro de Códigos de Parche Adaptativo para la Detección de Anomalías en Formas 3D

1. Problema

La detección de anomalías en formas 3D es fundamental para la inspección industrial y el análisis geométrico. Sin embargo, los enfoques actuales de aprendizaje profundo presentan limitaciones significativas:

• Falta de generalización: Tienen dificultades para generalizar ante diversos tipos y escalas de anomalías, especialmente errores geométricos globales (como desplazamientos de planos o desalineaciones angulares) y defectos estructurales grandes.
• Sensibilidad al ruido: Los métodos basados en reconstrucción o en puntos individuales son sensibles a puntos locales ruidosos o incompletos durante el entrenamiento.
• Dependencia de representaciones locales: La mayoría de los métodos se centran en representaciones de puntos locales, lo que les impide capturar el contexto estructural necesario para detectar desviaciones a gran escala o desalineaciones de partes.
• Falta de datos industriales reales: Existe una carencia de conjuntos de datos industriales que reflejen defectos realistas como grietas en engranajes o desplazamientos de planos.

2. Metodología

Los autores proponen una red de puntuación de anomalías jerárquica punto-parche que modela conjuntamente características de partes regionales y características de puntos locales. El marco de trabajo se compone de los siguientes módulos clave:

• Aumento Negativo y Parchificación Adaptativa:

  • Se generan formas "pseudo-anómalas" ($\tilde{S}$) a partir de formas normales ($S$) mediante deformaciones geométricas locales (desplazamientos gaussianos, huecos, cortes planos) para simular defectos realistas.
  • Se implementa un módulo de parchificación adaptativa que extrae parches a tres escalas diferentes (fino, medio, grueso) utilizando Muestreo del Punto Más Lejano (FPS). Esto permite al modelo distinguir anomalías de tamaños variados y ser robusto ante el ruido.

• Libro de Códigos de Parche (Patch Codebook):

  • Se extraen características de los parches de las formas normales y se almacenan en un libro de códigos ligero e invariante a la posición.
  • Este libro actúa como una referencia de "geometría normal". Durante la inferencia, los parches de la forma de prueba se comparan con este libro mediante similitud de coseno para recuperar las correspondencias normales más cercanas.
  • El libro se actualiza dinámicamente fusionando características similares (por encima de un umbral) para reducir la redundancia y preservar la diversidad geométrica.

• Fusión de Características Punto-Parche (Cross-Attention):

  • Se utiliza un mecanismo de atención cruzada para integrar las características de nivel de parche (recuperadas del libro de códigos) con las características de nivel de punto (extraídas por un codificador 3D U-Net preentrenado).
  • Se emplea Embedding de Posición Rotatorio (RoPE) para codificar las relaciones espaciales relativas entre los puntos y sus centros de parche, mejorando la comprensión geométrica.

• Modulación de Puntuación de Parche:

  • Se calcula una discrepancia a nivel de parche entre el parche anómalo y su correspondiente parche normal recuperado.
  • Una función de puerta (gating) y una red de modulación ajustan adaptativamente las características fusionadas basándose en esta discrepancia, ponderando la contribución de cada parche a la puntuación final de anomalía.
  • Finalmente, se predice un vector de desplazamiento de anomalía y una máscara de dirección para localizar el defecto punto a punto.

3. Contribuciones Clave

1. Módulo de Parchificación Adaptativa: Extrae parches multi-escala y los almacena en un libro de códigos invariante a la posición, capturando la geometría invariante a diferentes escalas.
2. Modelo de Fusión Parche-Punto: Integra características de nivel de parche y punto mediante atención cruzada y modulación basada en similitud, permitiendo una discriminación adaptativa de anomalías de diversos tipos y escalas.
3. Nuevo Conjunto de Datos Industrial: Se libera un conjunto de pruebas industrial con 8 componentes reales que presentan defectos de manufactura difíciles (desalineaciones angulares, desplazamientos de planos, grietas), superando las limitaciones de los benchmarks públicos existentes.
4. Rendimiento Superior: Demostración de robustez y generalización superiores en benchmarks públicos y en el nuevo conjunto industrial.

4. Resultados

Los experimentos se realizaron en tres conjuntos de datos: Anomaly-ShapeNet, Real3D-AD y el nuevo Conjunto Industrial.

• Rendimiento en Benchmarks Públicos:
  • En Real3D-AD, el método propuesto logró un promedio de 84.2% en AUC-ROC (objetivo), superando al segundo mejor método en un 7.5%.
  • En Anomaly-ShapeNet, obtuvo un rendimiento promedio de 87.6%, superando a la mayoría de los métodos baselines (como PO3AD, R3D-AD, ISMP) en la mayoría de las 40 clases.
• Rendimiento en el Conjunto Industrial:
  • El modelo demostró una robustez extrema en defectos estructurales complejos. Superó a PO3AD en más del 50% en métricas AUC-ROC a nivel de punto para anomalías industriales.
  • Se observó una mejora superior al 40% en la detección de nuevos tipos de anomalías industriales en comparación con los métodos existentes.
• Análisis de Complejidad:
  • La velocidad de inferencia es comparable a los métodos state-of-the-art (~178 ms), y el uso de memoria GPU es eficiente (2125 MB), siendo dominado principalmente por el backbone 3D UNet.

5. Significado e Impacto

Este trabajo representa un avance significativo en la detección de anomalías 3D al abordar la brecha entre los defectos locales pequeños y las desviaciones estructurales globales, que son críticas en entornos industriales reales.

• Generalización: La estrategia de libro de códigos y la fusión multi-escala permiten que el modelo generalice mejor a formas y defectos no vistos durante el entrenamiento.
• Aplicabilidad Industrial: La liberación de un conjunto de datos con defectos realistas (desplazamientos de planos, ángulos) y el alto rendimiento en estos casos posicionan a la metodología como una solución viable para la inspección automatizada en la industria 4.0.
• Innovación Técnica: La combinación de parchificación adaptativa, libros de códigos invariante a la posición y atención cruzada con RoPE establece un nuevo paradigma para el razonamiento de anomalías geométricas, superando las limitaciones de los enfoques puramente basados en reconstrucción o en puntos individuales.

El código y los datos de prueba están disponibles públicamente, facilitando la reproducción y el avance futuro en este campo.