Resumen Técnico: El Prompting Visual se une a la Reconstrucción de Características para la Detección de Anomalías con Supervisión de Doble Profesor

1. Planteamiento del Problema

La Detección de Anomalías (AD) no supervisada ha alcanzado un rendimiento casi perfecto en los bancos de pruebas establecidos como MVTec AD, reportando a menudo puntuaciones de AUROC a nivel de imagen que superan el 99%. Sin embargo, el artículo argumenta que estos éxitos dependen fuertemente de supuestos de conjuntos de datos "estériles": escala de objeto constante, colocación centrada, fondos homogéneos y puntos de vista fijos. Cuando estos supuestos se violan en escenarios industriales del mundo real (por ejemplo, iluminación variable, fondos desordenados o alineación incorrecta de objetos), el rendimiento se degrada significativamente.

Para demostrar esta fragilidad, los autores introducen una variante de MVTec Distorsionado donde los fondos son reemplazados por texturas aleatorias. Los experimentos muestran que los métodos de AD populares sufren caídas de rendimiento que oscilan entre 1,7 y 16,4 puntos porcentuales en este conjunto de datos distorsionado, y el ruido de fondo en las esquinas de la imagen a menudo altera las clasificaciones de los algoritmos. Esto resalta una brecha crítica entre el rendimiento controlado en los bancos de pruebas y la aplicabilidad en el mundo real.

2. Metodología

El marco propuesto es agnóstico a la arquitectura, diseñado para mejorar los métodos de reconstrucción basados en estudiante-profesor (específicamente utilizando el modelo de Reconstrucción Multiescala con Máscara (MMR) como base). El flujo de trabajo consta de tres fases modulares: Preparación, Entrenamiento e Inferencia.

2.1 Pipeline de Máscaras de Visual Prompting (Eliminación de Fondo)

Para mitigar la sensibilidad a las variaciones del fondo, los autores introducen un pipeline de post-procesamiento que aísla el objeto de interés.

• Mecanismo: Utilizando el Segment Anything Model (SAM) y un marco de "Matcher" (basado en el emparejamiento de características escalable), el sistema genera máscaras de segmentación de primer plano/fondo (FG/BG).
• Proceso: Se utiliza un pequeño conjunto de imágenes de referencia para crear máscaras iniciales mediante Visual Prompting. Durante la inferencia, estas referencias guían la generación automática de máscaras para las imágenes de prueba.
• Aplicación: La máscara FG generada se aplica al mapa de puntuación de anomalías. Para asegurar que no se omitan defectos de borde, los autores emplean un "método de mezcla" que dilata la máscara FG y la recorta al valor máximo del mapa de puntuación bruto, equilibrando una discriminación nítida con una cobertura completa de defectos.

2.2 Enfoque de Doble Profesor de Preservación de Conocimiento

Los métodos estándar de estudiante-profesor utilizan un profesor pre-entrenado congelado (por ejemplo, ImageNet) para guiar al estudiante. Los autores argumentan que esto limita la adaptabilidad a dominios objetivo donde las características pre-entrenadas pueden ser subóptimas.

• El Desafío: Descongelar ingenuamente al profesor conduce al "colapso de características", donde el modelo converge a una solución trivial para minimizar la distancia entre el estudiante y el profesor.
• La Solución: Se introduce un marco de Doble Profesor (Dual-Teacher):
  1. Profesor Débil (Weak Teacher): Una copia no congelada del modelo pre-entrenado que se adapta al dominio objetivo.
  2. Profesor Fuerte (Strong Teacher): Una copia congelada del modelo pre-entrenado que actúa como regularizador.
• Función de Pérdida: La pérdida total combina la pérdida de Destilación de Conocimiento (KD) entre el Estudiante y el Profesor Débil ($L_{S\_WT}$) y la pérdida de KD entre el Profesor Débil y el Profesor Fuerte ($L_{WT\_ST}$).
  $$L_{total} = L_{S\_WT} + \lambda L_{WT\_ST}$$
  El hiperparámetro $\lambda$ controla la flexibilidad del Profesor Débil. Un $\lambda$ alto restringe la adaptación; un $\lambda$ bajo permite más flexibilidad pero conlleva el riesgo de colapso. El Profesor Fuerte se desactiva durante la inferencia para ahorrar tiempo de computación.

2.3 Datos de Entrenamiento Sintéticos vía Modelos de Difusión

Para mejorar la generalización y actuar como un mecanismo de regularización, los autores aumentan el conjunto de entrenamiento con imágenes sintéticas.

• Generación: Un modelo de difusión pre-entrenado se ajusta (fine-tuned) en el conjunto de entrenamiento del dominio objetivo para muestrear imágenes sintéticas que se asemejan estrechamente a las muestras "buenas" originales en apariencia y contexto.
• Estrategia: A diferencia de los métodos que generan anomalías sintéticas (convirtiendo la AD en una tarea supervisada), este enfoque genera imágenes normales de alta calidad. Esto aumenta la diversidad de los datos y evita el sobreajuste a la distribución de entrenamiento original sin introducir sesgos de patrones de defectos potencialmente poco realistas.

3. Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Pipeline de Visual Prompting: Un método para aislar objetos utilizando máscaras FG/BG autogeneradas, reduciendo la sensibilidad al ruido de fondo y mejorando la robustez del mapa de puntuación.
2. Supervisión de Doble Profesor: Un mecanismo para descongelar al profesor en modelos basados en reconstrucción sin sufrir colapso de características, mejorando así la adaptabilidad al dominio y mitigando el sesgo de pre-entrenamiento.
3. Aumento de Datos Basado en Difusión: Una estrategia para generar imágenes normales sintéticas para enriquecer la diversidad de los datos de entrenamiento y actuar como un regularizador, mejorando las capacidades de generalización.

4. Resultados Experimentales

El marco fue evaluado en el conjunto de datos AeBAD-S (palas de motores aeroespaciales con iluminación y fondos variables) y el conjunto de datos MVTec.

4.1 Rendimiento en AeBAD-S

El marco propuesto (MMR+++) logró resultados de vanguardia (SOTA) en el desafiante conjunto de datos AeBAD-S:

• AUROC a nivel de imagen: 88,2%, superando al SOTA anterior (MiniMaxAD con 87,0%) y al backbone MMR (con 3,5%).
• AUPRO a nivel de píxel: 90,2%, superando al SOTA anterior (89,1%) por un 1,1%.
• Estudios de Ablación:
  • Datos Sintéticos: Se encontró que el rendimiento óptimo se daba con una relación de 1:3 de imágenes reales a sintéticas. El entrenamiento puramente sintético aún superó a la mayoría de las líneas base.
  • Doble Profesor: El rendimiento máximo ocurrió en valores intermedios de $\lambda$. A medida que el volumen de datos sintéticos aumentaba, el $\lambda$ óptimo disminuía, lo que sugiere que los datos sintéticos proporcionan una regularización implícita.
  • Eliminación de Fondo: El método de mezcla (máscaras dilatadas + brutas) produjo el mejor equilibrio, recuperando las puntuaciones de AUPRO perdidas por las máscaras brutas mientras mantenía un alto AUROC.

4.2 Rendimiento en MVTec

En el conjunto de datos controlado de MVTec, el marco mostró mejoras progresivas sobre la línea base. Sin embargo, los autores señalaron que los datos sintéticos a veces perjudicaban el rendimiento en MVTec. La inspección reveló que algunas imágenes sintéticas "buenas" parecían "similares a defectos", y que los datos sintéticos desalineados afectaron negativamente el ajuste fino del profesor descongelado. Esto sugiere que los beneficios del aumento sintético son más pronunciados en dominios complejos y menos controlados.

5. Significación y Reivindicaciones

El artículo afirma que los métodos de AD establecidos dependen fuertemente de entornos controlados, lo que limita su utilidad en el mundo real. El marco propuesto aborda esto mediante la introducción de un enfoque modular y agnóstico a la arquitectura que mejora la robustez contra:

• Variaciones de fondo (vía Visual Prompting).
• Cambios de dominio y sesgo de pre-entrenamiento (vía supervisión de Doble Profesor).
• Escasez de datos y sobreajuste (vía aumento basado en Difusión).

Los autores enfatizan que sus mejoras son independientes y pueden aplicarse a la mayoría de los métodos de reconstrucción basados en destilación de conocimiento. Los resultados en AeBAD-S demuestran que estas modificaciones pueden cerrar significativamente la brecha entre el rendimiento de los bancos de pruebas y la aplicabilidad en el mundo real, logrando puntuaciones de detección y segmentación de vanguardia en condiciones desafiantes.