💻 computer science

DriftAD: Visually-Guided Text Drift for Few-Shot Industrial Anomaly Detection

DriftAD es un marco de detección de anomalías industriales de pocos disparos (few-shot) que supera las limitaciones de los prompts de texto estáticos mediante la introducción de un mecanismo de Deriva de Texto Guiada Visualmente para generar dinámicamente descriptores de anomalías espaciales y por capas, mejorando significamente el rendimiento de detección en los conjuntos de datos MVTec-AD y VisA.

Autores originales: Wenyang Liu, Tianyi Liu, Dongshuo Zhang, Kejun Wu, Adams Wai-Kin Kong

Publicado 2026-08-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Wenyang Liu, Tianyi Liu, Dongshuo Zhang, Kejun Wu, Adams Wai-Kin Kong

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el vasto y automatizado mundo de la fabricación moderna, mantener la perfección de los productos es una batalla constante contra lo invisible. Las máquinas ensamblan miles de artículos idénticos cada hora, pero en el momento en que aparece un pequeño rasguño en una superficie metálica o una sutil decoloración empaña una tela, todo el lote corre el riesgo de fallar. Durante décadas, las computadoras han luchado por detectar estos defectos porque son raros e impredecibles. Los métodos tradicionales requerían enseñar a una computadora cómo se ve lo "normal" para cada tipo de producto, un proceso lento y costoso que se desmoronaba tan pronto como una fábrica introducía un nuevo artículo. Recientemente, surgió un nuevo enfoque utilizando modelos de inteligencia artificial que fueron entrenados originalmente para comprender tanto imágenes como lenguaje. Estos modelos pueden leer una descripción como "una botella dañada" y buscarla en una imagen, ofreciendo una forma flexible de encontrar defectos sin necesidad de miles de ejemplos. Sin embargo, incluso estos sistemas avanzados tienen un punto ciego: tienden a tratar un defecto como una idea única y uniforme, fallando al notar que un defecto puede verse diferente dependiendo de dónde se encuentre o qué tan profundo se asiente dentro de las capas de los datos de la imagen.

Investigadores de la Universidad Tecnológica de Nanyang y la Universidad de Ciencia y Tecnología de Huazhong han desarrollado un nuevo sistema llamado DriftAD para solucionar esta debilidad específica. Su trabajo, presentado para la Conferencia Internacional de Multimedia ACM 2026, introduce una forma de hacer que la comprensión de un defecto de la computadora "derive" o se desplace dinámicamente mientras observa diferentes partes de una imagen. En lugar de utilizar una descripción única y estática de un defecto que permanece igual sin importar lo que la computadora vea, DriftAD permite que esa descripción cambie basándose en el contexto visual local. Imagine a un guardia de seguridad que, en lugar de sostener una descripción única y rígida de un sospechoso, ajusta su imagen mental de ese sospechoso en tiempo real mientras escanea diferentes áreas de una multitud, teniendo en cuenta la iluminación, la distancia y el ángulo. De la misma manera, este nuevo método toma una descripción de texto congelada e inalterable de un defecto y la empuja suavemente para que coincida con los detalles visuales específicos del área que está examinando actualmente.

El proceso comienza agudizando la visión de la computadora de la imagen. El sistema utiliza primero ramas especializadas para resaltar señales sutiles que de otro modo podrían estar ocultas por los patrones dominantes y perfectos de un producto normal. Observa la imagen a través de una lente espacial, comparando cada pequeña sección con sus vecinas inmediatas para encontrar desviaciones, y una lente de frecuencia, analizando los patrones subyacentes de la imagen para detectar irregularidades que el ojo podría pasar por alto. Una vez que estas tenues señales de defectos son amplificadas, el sistema activa su innovación central: la Deriva de Texto Guiada Visualmente (Visually-Guided Text Drift). Aquí, la computadora toma la descripción de texto estándar de una anomalía y, guiada por las características visuales que acaba de amplificar, desplaza esa descripción hacia una nueva versión personalizada para cada capa de su análisis. Esto significa que, a medida que la computadora desprende las capas de la imagen, desde las formas generales hasta las texturas finas, la definición de lo que constituye un "defecto" evoluciona para adaptarse a la escala y ubicación específica del posible fallo.

Para asegurar que estas descripciones cambiantes sean útiles, el sistema las utiliza como sondas para escanear la imagen nuevamente. Pregunta a las características visuales: "¿Coincide esta parte de la imagen con la descripción de defecto actual y personalizada?". Si la respuesta es sí, esa parte de la imagen se resalta; si no, se ignora. Esto crea un mapa altamente enfocado de dónde reside el problema, filtrando el ruido del fondo. Los investigadores probaron este enfoque en dos importantes conjuntos de datos industriales, MVTec-AD y VisA, que contienen miles de imágenes de diversos productos, que van desde tuercas metálicas hasta cables y alfombras. Desafiaron al sistema con datos muy limitados, proporcionándole solo uno, dos o cuatro ejemplos de un producto perfecto para aprender, un escenario conocido como aprendizaje de pocos disparos (few-shot learning).

Los resultados fueron decisivos. En pruebas que medían qué tan bien el sistema podía identificar imágenes defectuosas y localizar el lugar exacto de la falla, DriftAD superó a todos los métodos existentes en cada configuración. En el conjunto de datos MVTec-AD, el sistema logró una puntuación de precisión de nivel de imagen del 97.2 por ciento con solo un ejemplo, y una precisión de nivel de píxel del 96.8 por ciento. En el conjunto de datos VisA, que presenta defectos más complejos y variados, alcanzó un 93.1 por ciento de precisión en la detección de imágenes y un 97.4 por ciento para localizar los píxeles específicos del defecto. Estas cifras representan un salto significativo, superando a los mejores métodos anteriores por un margen claro. El estudio confirma que al permitir que la descripción de texto de un defecto se mueva y se adapte a la realidad visual de la imagen, en lugar de forzar la imagen a ajustarse a una descripción rígida, las máquinas pueden detectar defectos industriales con un nivel de precisión que antes era inalcanzable. Este enfoque no requiere el reentrenamiento de todo el sistema para cada nuevo producto, lo que lo convierte en una solución escalable para las necesidades dinámicas de la fabricación moderna.

Resumen Técnico: DriftAD

Planteamiento del Problema

La detección de anomalías de pocos disparos (Few-shot Anomaly Detection, FSAD) en entornos industriales tiene como objetivo identificar y localizar defectos poco comunes utilizando solo un pequeño número de imágenes normales de soporte. Aunque los enfoques recientes aprovechan los Modelos de Visión-Lenguaje (VLM) como CLIP para lograr una generalización de conjunto abierto, los métodos existentes sufren una limitación fundamental: representaciones de texto estáticas.

Los métodos actuales basados en VLM (por ejemplo, WinCLIP, PromptAD) dependen típicamente de incrustaciones (embeddings) de texto globales compartidas y estáticas, o de prompts aprendibles que se aplican uniformemente en todas las ubicaciones espaciales y profundidades del codificador. Este emparejamiento "global-a-local" no logra capturar la naturaleza intrínseca de los defectos industriales, los cuales son altamente localizados, dependientes de la escala y específicos del contexto. En consecuencia, estos descriptores estáticos carecen de conciencia sobre la ubicación precisa y la morfología de un defecto en una imagen de prueba específica, lo que conduce a mapas de anomalías difusos que luchan por distinguir regiones de defectos finos de los patrones normales circundantes.

Metodología

Los autores proponen DriftAD, un marco diseñado para transformar las incrustaciones de texto congeladas de CLIP en descriptores de anomalías por capa y espacialmente adaptativos, condicionados al contexto visual local de cada imagen de entrada. La arquitectura consta de cuatro componentes primarios:

1. Amplificación de la Señal de Anomalía (ASA)

Antes del emparejamiento texto-visual, los sutiles signos de defectos, a menudo suprimidos por patrones normales dominantes, deben ser expuestos. ASA mejora las características visuales ( $V_\ell$ ) a través de dos ramas paralelas:

Rama Espacial: Calcula residuales multiescala entre las características y sus fondos suavizados (mediante pooling de 3×3 y 9×9) para resaltar regiones desviadas.
Rama de Frecuencia: Descompone las características en espectros de magnitud y fase mediante 2D FFT, reponderando adaptativamente los componentes de baja y alta frecuencia para realzar el contenido espectral anormal.
Las salidas se combinan de forma adaptativa para producir características amplificadas ( $A_\ell$ ).

2. Deriva de Texto Guiada Visualmente (VGTD)

Esta es la innovación central. En lugar de utilizar un token de texto fijo, VGTD hace que las incrustaciones de texto normales ( $t_+$ ) y anormales ( $t_-$ ) congeladas "deriven" dinámicamente basándose en el contexto visual.

Extracción de Contexto: El contexto visual se extrae de $A_\ell$ mediante pooling adaptativo y se fusiona de arriba hacia abajo desde las capas profundas a las superficiales para asegurar la riqueza semántica.
Generación de Deriva: Un generador dedicado produce campos de deriva normales y anormales ( $\Delta_{\ell, \pm}$ ) para cada profundidad del codificador.
Modulación: Las incrustaciones congeladas se desplazan a lo largo de estos campos de deriva: $T_{\ell, \pm} = \text{Norm}(t_{\pm} + \Delta_{\ell, \pm} \cdot \rho)$ .
Esto resulta en descriptores ( $T_{\ell, \pm}$ ) que son únicos para cada ubicación espacial y profundidad del codificador, adaptándose al patrón de defecto específico de la imagen de entrada.

3. Puerta Espacial Guiada por Deriva (DGSG)

Para asegurar que las características visuales se alineen con el nuevo espacio de texto derivado, DGSG utiliza el descriptor anormal derivado ( $T_{\ell, -}$ ) como una sonda espacial.

Calcula la similitud de coseno píxel a píxel entre las características visuales amplificadas ( $A_\ell$ ) y $T_{\ell, -}$ para generar puertas de atención ( $G_\ell$ ).
Estas puertas mejoran selectivamente las regiones relevantes para la anomalía en las características visuales, produciendo características refinadas ( $\tilde{A}_\ell$ ) que están mejor alineadas con los descriptores de texto derivados.

4. Puntuación de Anomalía de Multi-Rama (MBAS)

El mapa de anomalía final se sintetiza fusionando tres ramas complementarias:

Rama Limpia (Clean Branch): Empareja características sensibles a la escala con incrustaciones de texto congeladas (preservando la generalización zero-shot).
Rama de Deriva (Drift Branch): Empareja características refinadas ( $\tilde{A}_\ell$ ) con los descriptores derivados ( $T_{\ell, \pm}$ ), capturando señales específicas del defecto.
Rama de Soporte (Support Branch): (Solo para inferencia) Utiliza un banco de memoria de parches del conjunto de soporte para medir distancias de vecino más cercano.

Objetivos de Entrenamiento

Además de las pérdidas estándar de clasificación y segmentación, DriftAD introduce dos pérdidas específicas:

Pérdida de Separación de Deriva (Drift Separation Loss): Evita que los descriptores normales y anormales derivados colapsen en representaciones similares, imponiendo un margen relativo a las incrustaciones originales congeladas.
Pérdida de Supervisión de Puerta (Gate Supervision Loss): Supervisa directamente las puertas de atención en DGSG para asegurar una segmentación espacialmente discriminativa.

Principales Contribuciones

Deriva de Texto Guiada Visualmente (VGTD): Un mecanismo novedoso que desplaza las incrustaciones de texto de CLIP congeladas hacia descriptores espacialmente adaptativos y por capa, condicionados al contexto visual local, abordando la rigidez de los prompts de texto estáticos.
Puerta Espacial Guiada por Deriva (DGSG): Un módulo que utiliza el descriptor anormal derivado como una sonda espacial para mejorar selectivamente las características visuales relevantes para la anomalía, resolviendo el desajuste texto-visual.
Amplificación de la Señal de Anomalía (ASA): Un módulo de preprocesamiento que expone señales de defectos sutiles a través de ramas espaciales y de frecuencia antes del emparejamiento.
Estrategias de Regularización: La introducción de pérdidas de separación de deriva y de supervisión de puerta para asegurar una optimización robusta y prevenir el colapso de la representación.

Resultados Experimentales

El método fue evaluado en los conjuntos de datos MVTec-AD y VisA en configuraciones de 1, 2 y 4 disparos (shots).

Desempeño: DriftAD logra un desempeño de estado del arte (SOTA) en todas las configuraciones de disparos, tanto en métricas de nivel de imagen (AUROC, AUPR) como de nivel de píxel (pAUROC, PRO).
Comparaciones: Supera a los métodos basados en prompts existentes (por ejemplo, PromptAD, AnomalyGPT) y a los métodos de mejora visual (por ejemplo, KAG-prompt, FocusPatch-AD). Notablemente, en la configuración de 1 disparo en MVTec-AD, mejora el AUROC promedio hasta en un 1.5% respecto al mejor método competidor (KAG-prompt).
Pocos Disparos vs. Muchos Disparos: Con solo 4 disparos de soporte, DriftAD logra un desempeño competitivo o superior comparado con las líneas base de muchos disparos (por ejemplo, DeSTSeg, OmniAL) y supera significativamente a los métodos de 8 disparos.
Análisis Cualitativo: Las visualizaciones muestran que DriftAD produce mapas de anomalías más nítidos con menor interferencia de fondo en comparación con las líneas base, particularmente para defectos pequeños y dispersos en objetos complejos (VisA).

Significado y Reivindicaciones

El artículo afirma que DriftAD repensó fundamentalmente la representación de texto de anomalías en los VLM para detección. Al alejarse de los tokens globales fijos hacia descriptores dinámicamente derivados y espacialmente adaptativos, el método alinea la fuerza semántica de CLIP con la naturaleza localizada y dependiente del contexto de los defectos industriales.

Los autores enfatizan que este enfoque permite al modelo:

Adaptar los descriptores de texto a la forma, escala y distribución espacial específica de los defectos en cada imagen.
Lograr un alineamiento preciso entre texto y parche sin sacrificar las capacidades de generalización zero-shot del modelo CLIP preentrenado.
Cerrar eficazmente la brecha entre los sesgos semánticos globales y las anomalías visuales locales, resultando en un desempeño superior de detección y localización de pocos disparos.

El trabajo se presenta como una solución al problema del "emparejamiento rígido de global-a-local" inherente a los métodos actuales de FSAD basados en VLM, demostando que condicionar las incrustaciones de texto al contexto visual local es crítico para la detección de anomalías industriales de alta precisión.