FreqPrompt-AD: Frequency-guided local semantic prompting for zero-shot industrial anomaly detection and segmentation

Resumen Técnico: FreqPrompt-AD

Planteamiento del Problema
La detección de anomalías industriales (IAD) tradicionalmente depende del aprendizaje de una sola clase o no supervisado utilizando muestras normales, lo que limita su aplicabilidad en escenarios zero-shot donde los datos de la categoría objetivo no están disponibles debido a restricciones de confidencialidad o de arranque en frío (cold-start). Aunque los Modelos de Lenguaje-Visión (VLM) como CLIP ofrecen una fuerte transferibilidad zero-shot mediante el alineamiento semántico, sufren de un "desajuste de granularidad". Los VLM están entrenados para la invarianza semántica a nivel de objeto, pasando por alto a menudo defectos locales de alta frecuencia, como rayaduras finas, grietas o irregularidades en los bordes. Además, los embeddings estándar de los VLM tienden a suprimir las respuestas de alta frecuencia, lo que los hace subóptimos para la localización densa de defectos industriales, donde las anomalías se manifiestan como discontinuidades sutiles de textura en lugar de cambios de categoría.

Metodología: FreqPrompt-AD
Los autores proponen FreqPrompt-AD, un marco de trabajo libre de entrenamiento (training-free) que reformula la detección de anomalías zero-shot como un problema de "construcción de evidencia semántica de frecuencia local". El marco utiliza un backbone VLM congelado y consta de tres módulos principales:

1. Interacción de Prompts Sensibles a la Frecuencia (FPI):

   • La imagen de entrada se descompone en un componente de baja frecuencia y un residuo de alta frecuencia utilizando un operador de paso bajo Gaussiano.
   • Los residuos de alta frecuencia se promedian sobre parches de imagen para generar un prior de frecuencia ($w_f$).
   • Este prior modula la probabilidad de anomalía entre parche y texto estándar. Específicamente, amplifica la puntuación de anomalía semántica bruta para los parches ubicados en regiones de alta frecuencia, convirtiendo los residuos espectrales en guía espacial para el alineamiento parche-texto.

2. Calibración Semántica Local (LSC):

   • Para mitigar el sesgo semántico a nivel de objeto (donde las imágenes normales y anormales comparten la misma identidad de categoría), LSC elimina el componente semántico global de los tokens de parche mediante proyección.
   • Se construye un "prototipo de normalidad" adaptativo a la imagen mediante la agregación de los tokens de parche menos sospechosos (seleccionados basándose en puntuaciones de anomalía bajas y pesos de frecuencia bajos).
   • La evidencia de anomalía local se deriva midiendo la desviación de los tokens de parche calibrados respecto a este prototipo de normalidad específico de la imagen, complementando la evidencia basada en texto.

3. Decisión Anclada al Texto (TAD):

   • TAD fusiona la evidencia semántica condicionada por la frecuencia (de FPI) y la evidencia de desviación del prototipo (de LSC) mediante una suma ponderada.
   • Las puntuaciones de los parches resultantes se reescalan (upsampling) y suavizan para generar mapas de anomalías densos.
   • Las puntuaciones de anomalía a nivel de imagen se computan mediante el pooling top-$p$ sobre el mapa de anomalías para evitar la dilución de defectos pequeños por el promedio global.

Variante Mejorada con Adaptador (FreqPrompt-AD-FT)
Los autores también introducen FreqPrompt-AD-FT, una variante donde se inserta un adaptador de cuello de botella (bottleneck adapter) ligero en el codificador visual. Solo se optimizan los parámetros del adaptador utilizando imágenes normales para minimizar las puntuaciones de parches normales y suprimir falsos positivos, mientras que el backbone del VLM, el codificador de texto y los prompts permanecen congelados.

Contribuciones Clave

• Diseño del Marco: Propone un marco unificado, libre de entrenamiento, que inyecta explícitamente priors del dominio de la frecuencia en el proceso de interacción parche-texto de un VLM congelado, abordando el desajuste de granularidad en la detección de defectos industriales.
• Cadena de Evidencia: Diseña una cadena de evidencia cohesiva (FPI, LSC, TAD) donde las pistas de frecuencia exponen discontinuidades de textura, los prototipos de normalidad suprimen el sesgo de nivel de objeto y los anclajes lingüísticos proporcionan la dirección de la decisión.
• Rendimiento: Demuestra que esta formulación logra resultados de vanguardia (state-of-the-art) entre los detectores basados en VLM zero-shot sin requerir bancos de memoria específicos para el objetivo ni el ajuste fino completo del modelo.

Resultados Experimentales
El método fue evaluado en cuatro benchmarks industriales: MVTec AD, VisA, BTAD y MPDD.

• Rendimiento Zero-Shot: FreqPrompt-AD superó a todos los detectores existentes basados en VLM zero-shot. Comparado con la línea base más fuerte, DLVP-CLIP, mejoró el AUROC promedio de imagen en un 2.05% y el AUROC de píxel en un 2.15%.
• Variante de Adaptador: FreqPrompt-AD-FT logró los mejores resultados promedio generales en todos los conjuntos de datos y métricas, validando que la formulación de evidencia se beneficia de la adaptación ligera.
• Eficiencia: La versión estrictamente zero-shot no requiere parámetros entrenables ni construcción de banco de memoria, ofreciendo una latencia de inferencia menor que métodos como AF-CLIP y VisualAD. La variante FT añade solo 0.68M de parámetros mientras aumenta significativamente la precisión.
• Análisis Cualitativo: Las visualizaciones muestran que FreqPrompt-AD produce mapas de calor más nítidos y localizados para grietas finas y contaminaciones irregulares, reduando la activación de fondo en estructuras de objetos normales en comparación con los métodos de prompt global.

Significancia y Reivindicaciones
El artículo afirma que FreqPrompt-AD aborda una limitación crítica en la detección de anomalías zero-shot actual: la incapacidad de la semántica global de los VLM para capturar defectos locales de alta frecuencia. Al tratar la detección de anomalías como una construcción de "evidencia semántica de frecuencia local", el método cierra la brecha entre la transferibilidad semántica y la naturaleza física de los defectos industriales. Los autores aseguran que su enfoque es particularmente adecuado para el despliegue industrial rápido en entornos de una sola GPU donde los datos objetivo no están disponibles. Enfatizan que los priors de frecuencia deben ser calibrados por la información semántica (vía LSC y TAD) para evitar falsos positivos en estructuras de alta frecuencia normales como los bordes, un equilibrio logrado por su cadena de evidencia unificada. Se sugiere como trabajo futuro explorar la selección adaptativa de bandas de frecuencia y la extensión al razonamiento multimodal 2D-3D.