Resumen Técnico: Selección Destilada de Memoria para Detección de Anomalías Robusta al Ruido

Enunciado del Problema

En la fabricación industrial, los sistemas de detección de anomalías (DA) basados en visión son críticos para el control de calidad. Estos sistemas se entrenan típicamente bajo el supuesto de que el conjunto de datos de entrenamiento consiste exclusivamente en muestras normales (sin defectos). Sin embargo, en escenarios del mundo real, la curación de conjuntos de entrenamiento perfectamente limpios es costosa y a menudo impráctica; el cribado manual inevitablemente pasa por alto una fracción no despreciable de muestras anómalas, lo que conduce a la contaminación de los datos.

Los métodos existentes para DA en condiciones ruidosas sufren una degradación significativa del rendimiento a medida que aumenta la relación de ruido. Los enfoques actuales dependen generalmente de suposiciones fuertes, tales como:

1. Propiedades estadísticas específicas de los datos de entrenamiento (por ejemplo, priores unimodales).
2. Conocimiento previo de la proporción de anomalías en el conjunto de entrenamiento.
3. Conocimiento del rango de puntuación para las muestras anómalas.

Estas dependencias requieren un ajuste de hiperparámetros específico del conjunto de datos y a menudo fallan cuando los niveles de ruido se desvían de los rangos esperados. Además, muchos métodos existentes carecen de la capacidad de realizar una localización de defectos a nivel de píxel fina bajo contaminación severa.

Metodología: Selección Destilada de Memoria (MeDS)

Los autores proponen Selección Destilada de Memoria (MeDS), un marco de entrenamiento diseñado para mantener un rendimiento robusto a través de diversas relaciones de ruido tanto para la detección a nivel de imagen como para la localización a nivel de píxel, sin requerir un ajuste de hiperparámetros específico para la relación de ruido. El método procede en tres fases secuenciales:

1. Construcción de Memoria con Bootstrap (Filtrado Grueso)

La primera fase construye un conjunto de bancos de memoria parciales mediante submuestreo aleatorio de características a nivel de parche extraídas de los datos de entrenamiento.

• Mecanismo: En lugar de utilizar un único banco de memoria completo, MeDS crea $B$ memorias parciales ($M_b$), cada una conteniendo un subconjunto aleatorio de características con una relación de submuestreo $\rho$ (por ejemplo, 0.1).
• Base Teórica: Los autores demuestran teóricamente que el submuestreo disperso actúa como un filtro paso bajo. Bajo relaciones de submuestreo apropiadas, la brecha de distancia esperada entre las características normales y las anómalas se maximiza. El promediado del conjunto de estas memorias dispersas reduce la varianza y aísla los patrones nominales, restando efectivamente peso a las muestras contaminadas a un nivel grueso.
• Salida: Una puntuación de anomalía de conjunto $s_M(x)$ que proporciona una separación robusta y a nivel grueso entre parches normales y anómalos.

2. Destilación de Puntuación de Memoria (Inicialización)

La segunda fase aborda la limitación de que las puntuaciones de memoria dependen exclusivamente de características congeladas y preentrenadas, las cuales podrían no capturar suficientemente los patrones de anomalía específicos del dominio.

• Mecanismo: Una red estudiante (red de puntuación de reconstrucción) se entrena mediante destilación en el espacio de puntuaciones. El estudiante aprende a minimizar la distancia L2 entre sus propias puntuaciones de reconstrucción ($s_\theta$) y las puntuaciones de memoria del conjunto ($s_M$).
• Beneficio: Este proceso aprovecha el fenómeno de aprendizaje temprano de las redes neuronales, donde las redes ajustan patrones dominantes (datos normales) antes de memorizar los raros (ruido). La destilación inicializa la red estudiante con un modelo que ya ha aprendido a separar patrones normales de anómalos, desruidando efectivamente las puntuaciones de memoria.

3. Ajuste Fino con Selección Progresiva (Refinamiento)

La tercera fase resuelve el compromiso entre el parada temprana (que preserva la robustez pero limita la precisión a nivel de píxel) y el entrenamiento extendido (que arriesga el sobreajuste al ruido).

• Mecanismo: La red estudiante se ajusta finamente en un subconjunto auto-seleccionado de los datos de entrenamiento ($S_t$).
• Criterio de Selección: En cada época, las muestras se seleccionan basándose en un criterio $\eta_t(x)$ que interpola entre las puntuaciones destiladas iniciales y las puntuaciones de reconstrucción actuales. Un umbral $\tau_t$, derivado de la mediana y la Desviación Absoluta Mediana (MAD) de las puntuaciones, se utiliza para filtrar las muestras de alta puntuación (probablemente anómalas).
• Relajación Progresiva: El umbral de selección se relaja progresivamente a lo largo de las iteraciones de entrenamiento, permitiendo que el modelo incorpore más muestras normales a medida que sus propias estimaciones de puntuación se vuelven más fiables. Esto crea un bucle de retroalimentación positiva, permitiendo un entrenamiento extendido para la localización fina sin sobreajustarse al ruido restante.

Contribuciones Clave

1. Algoritmo Resistente a la Contaminación: La introducción de MeDS, que explota la dispersión de conjuntos de memoria con bootstrap como un filtro paso bajo para aislar patrones nominales, seguido de un refinamiento mediante destilación y auto-selección iterativa.
2. Validación Empírica Exhaustiva: Experimentos extensos en tres puntos de referencia industriales (MVTecAD, VisA, Real-IAD) bajo diversas relaciones de ruido, incluyendo estudios de ablación que desglosan el papel de cada componente y análisis de sensibilidad a hiperparámetros.
3. Perspectivas Teóricas y Prácticas: Una demostración teórica de cómo el submuestreo de memoria con baja relación produce un punto de partida de alta recuperación bajo contaminación severa, junto con una demostración de la utilidad de MeDS para la corrección activa de etiquetas (identificación y eliminación eficiente de muestras contaminadas con mínimo esfuerzo humano).

Resultados Experimentales

MeDS se evaluó en MVTecAD, VisA y Real-IAD con relaciones de ruido que van del 0% al 40%.

• Robustez: A diferencia de las líneas base (por ejemplo, SoftPatch, InReaCh, FUN-AD) que muestran caídas significativas de rendimiento a medida que aumenta el ruido, MeDS mantiene un rendimiento estable en todos los niveles de ruido.
• Rendimiento:
  • En MVTecAD, MeDS logró un 99.16% de AUROC a nivel de imagen con una relación de ruido del 40%, superando significativamente a las líneas base del estado del arte.
  • En VisA y Real-IAD, MeDS estableció un rendimiento del estado del arte tanto en métricas a nivel de imagen como a nivel de píxel en configuraciones ruidosas.
  • Cuando se aplica como marco a otras líneas base (HVQ, Dinomaly, INP-Former), MeDS mejora consistentemente la robustez bajo contaminación mientras incurre solo en una degradación marginal en datos limpios.
• Corrección Activa de Etiquetas: En experimentos con intervención humana, MeDS demostró una calidad de clasificación superior (AUPRC) y redujo la profundidad de inspección, permitiendo a los anotadores identificar todas las muestras contaminadas revisando una fracción significativamente menor del conjunto de datos en comparación con los métodos convencionales.

Significado y Afirmaciones

El artículo afirma que MeDS representa una formulación sistemática de la selección progresiva basada en la destilación de memoria, diseñada específicamente para la detección de anomalías industrial. Su significado principal radica en:

• Eliminar la necesidad de ajuste específico para la relación de ruido: El método logra robustez en un amplio rango de niveles de contaminación sin requerir conocimiento de la relación de ruido.
• Cerrar la brecha entre robustez y precisión: Al transicionar del filtrado paso bajo al ajuste fino con selección de datos, MeDS logra tanto una detección a nivel de imagen de alta calidad como una segmentación precisa a nivel de píxel, una capacidad que a menudo falta en los métodos existentes robustos al ruido.
• Utilidad Práctica: Más allá de la detección automatizada, el marco sirve como una herramienta práctica para la curación de conjuntos de datos, permitiendo la identificación y eliminación eficiente de muestras contaminadas en entornos industriales.

Los autores reconocen limitaciones, señalando que MeDS puede mostrar un rendimiento marginalmente inferior en conjuntos de datos completamente limpios en comparación con algunas líneas base debido al mecanismo de selección basado en la mediana, e incurre en una sobrecarga computacional adicional para las etapas de construcción de memoria y destilación. Sin embargo, estos costos están justificados en escenarios donde es probable que los datos de entrenamiento estén contaminados.