FiLo: Zero-Shot Anomaly Detection by Fine-Grained Description and High-Quality Localization

El artículo presenta FiLo, un método de detección de anomalías en ceros (ZSAD) que mejora la precisión y localización mediante descripciones de anomalías de grano fino generadas por modelos de lenguaje grandes y un módulo de interacción multimodal de múltiples escalas y formas para la localización de alta calidad.

Lo esencial

¡Claro que sí! Imagina que tienes un inspector de calidad en una fábrica de juguetes. Su trabajo es encontrar cualquier juguete defectuoso (una rueda torcida, una pintura mal hecha, una pieza rota) y decirte exactamente dónde está el problema.

El problema es que este inspector nunca ha visto los juguetes antes. Es como si le dieran una caja de juguetes nuevos cada mañana sin darle un manual de instrucciones. A esto se le llama "Detección de Anomalías en Cero Disparos" (Zero-Shot Anomaly Detection).

Hasta ahora, los inspectores de IA (Inteligencia Artificial) tenían dos grandes problemas:

1. Hablaban muy poco: Decían simplemente "esto está roto" o "esto está mal", pero no sabían si era un "rayón", un "agujero" o una "mancha". Era como si el inspector gritara "¡Algo está mal!" sin saber qué era.
2. Se perdían: Cuando intentaban señalar el defecto, a veces señalaban la mesa o el fondo de la foto en lugar del juguete, o no podían encontrar un defecto muy pequeño o muy grande.

Aquí es donde entra FiLo, el nuevo super-inspector creado por los autores de este paper. FiLo tiene dos superpoderes principales:

1. El Superpoder de la "Descripción Detallada" (FG-Des)

Imagina que antes, el inspector solo tenía dos tarjetas de colores: una roja que decía "MALO" y una verde que decía "BUENO".

FiLo, en cambio, tiene una biblioteca de vocabulario infinita gracias a una Inteligencia Artificial muy inteligente (un LLM, como un ChatGPT muy avanzado).

• La analogía: En lugar de decir "esto es un juguete malo", FiLo le pregunta a su cerebro: "¿Qué tipos de cosas pueden salir mal en un juguete de madera?". Y su cerebro responde: "Puede tener un nudo en la madera, una grieta, estar húmedo, o tener moho".
• Cómo funciona: FiLo crea descripciones muy específicas para cada tipo de objeto. Si ve un juguete de madera, busca específicamente "grietas en la madera" en lugar de solo "defecto". Además, en lugar de usar frases hechas por humanos, FiLo "aprende" a hablar como un experto en defectos, ajustando sus palabras para que encajen perfectamente con la imagen.

Resultado: El inspector ya no adivina; sabe exactamente qué buscar y puede decirte: "¡Ese juguete tiene un rayón en la esquina!" en lugar de "¡Ese juguete está roto!".

2. El Superpoder de la "Localización de Alta Calidad" (HQ-Loc)

Imagina que el inspector tiene que buscar un defecto en una foto gigante. Antes, miraba la foto cuadrito por cuadrito (como un rompecabezas) y comparaba cada cuadrito con la palabra "roto".

• El problema: A veces, el defecto es muy grande (cubre muchos cuadritos) o muy pequeño (solo uno). O peor aún, el inspector se confundía y señalaba la sombra de la mesa como si fuera un defecto.

FiLo usa una estrategia de tres pasos, como un detective que usa un mapa:

1. El Escaneo Rápido (Grounding DINO): Primero, FiLo usa una herramienta rápida para decir: "Oye, el defecto probablemente está en el juguete, no en la mesa". Esto elimina de inmediato todas las zonas de fondo donde no debería haber defectos. Es como poner una lupa solo sobre el objeto de interés.
2. La Pista de Ubicación: FiLo le dice a su cerebro: "Busca el defecto en la parte superior derecha del juguete". Al añadir la ubicación a la descripción, el inspector se concentra mucho mejor.
3. Los Lentes Mágicos (MMCI): FiLo tiene lentes de diferentes formas y tamaños. Algunos lentes son cuadrados pequeños (para ver rasguños finos), otros son rectangulares largos (para ver grietas largas) y otros son grandes (para ver deformaciones). Mira la imagen a través de todos estos lentes al mismo tiempo para asegurarse de no perder ningún detalle, sin importar su tamaño o forma.

¿Por qué es importante esto?

FiLo es como un detective de policía que nunca ha visto el caso antes, pero tiene un manual de instrucciones generado por un experto y una lupa mágica.

• Antes: Los sistemas fallaban mucho porque eran demasiado genéricos ("todo lo que no es perfecto es malo") y se perdían en el fondo de la imagen.
• Ahora con FiLo: El sistema entiende la diferencia entre un "nudo en la madera" y una "grieta", y sabe exactamente dónde mirar, ignorando el fondo.

En resumen:
FiLo ha logrado que la IA detecte defectos en productos industriales (como botellas, cables o piezas de madera) con una precisión increíble, incluso sin haber visto ejemplos de esos defectos antes. Ha logrado el mejor resultado mundial (State-of-the-Art) en pruebas reales, detectando el 95.9% de los defectos a nivel de píxel (¡casi perfecto!).

Es como pasar de tener un guardia de seguridad que grita "¡Algo raro pasa!" a tener un inspector forense que llega, mira el objeto, dice "Aquí hay una grieta de 2 milímetros en la esquina superior izquierda" y lo señala con un puntero láser.

Resumen técnico

Resumen Técnico: FiLo para Detección de Anomalías Zero-Shot

1. Planteamiento del Problema

La Detección de Anomalías Zero-Shot (ZSAD) tiene como objetivo identificar defectos en productos industriales sin tener acceso previo a muestras normales o anormales de la categoría objetivo. Aunque los métodos existentes basados en modelos multimodales preentrenados (como CLIP) han mostrado promesa, enfrentan dos limitaciones críticas:

1. Descripciones Genéricas Insuficientes: Los métodos actuales suelen utilizar descripciones de texto genéricas (ej. "dañado", "defectuoso") para representar anomalías. Estas descripciones no logran capturar la diversidad específica de tipos de defectos que pueden aparecer en diferentes categorías de objetos (ej. un "rasguño" en madera es diferente a un "agujero" en un chip electrónico), lo que reduce la precisión en la detección.
2. Localización de Baja Calidad: La localización de anomalías mediante la comparación de similitud entre parches de imagen individuales y características de texto a menudo falla. Esto se debe a que las anomalías pueden tener tamaños y formas variables, y la comparación directa sin contexto espacial genera falsos positivos en el fondo o regiones normales, además de ser computacionalmente costoso si se intenta cubrir múltiples escalas.

2. Metodología Propuesta: FiLo

El autores proponen FiLo (Fine-Grained Description and High-Quality Localization), un marco de trabajo que mejora la detección y localización mediante dos componentes principales: FG-Des (Descripción de Alta Granularidad) y HQ-Loc (Localización de Alta Calidad).

A. Descripción de Alta Granularidad (FG-Des)
Este módulo aborda el problema de la detección global mejorando la calidad de los prompts de texto:

• Generación con LLMs: En lugar de usar descripciones genéricas, se utiliza un Modelo de Lenguaje Grande (LLM) para generar listas detalladas de tipos de anomalías específicas para cada categoría de objeto (ej. para "madera": nudos, grietas a lo largo de la veta, moho).
• Plantillas de Texto Adaptativas: Se reemplazan las plantillas de texto fijas (manuales) por vectores de texto aprendibles (learnable vectors). Estos vectores se optimizan durante el entrenamiento para adaptarse mejor a la tarea de detección de anomalías.
• Estructura del Prompt: Se combinan los vectores aprendibles con el estado (normal/anormal), la clase del objeto y la descripción detallada de la anomalía generada por el LLM. Esto permite al modelo distinguir con mayor precisión entre estados normales y anormales y ofrece interpretabilidad al identificar el tipo específico de defecto.

B. Localización de Alta Calidad (HQ-Loc)
Este módulo se centra en la localización precisa de los defectos en el espacio de la imagen:

• Localización Preliminar con Grounding DINO: Se utiliza Grounding DINO para obtener cajas delimitadoras preliminares basadas en las descripciones detalladas de anomalías. Aunque Grounding DINO no es perfecto en ZSAD, sus detecciones suelen estar en el primer plano (foreground), lo que ayuda a eliminar falsos positivos en el fondo.
• Mejora de Prompts por Posición: La información de la posición (ej. "arriba a la izquierda") obtenida de las cajas de Grounding DINO se incorpora de nuevo en el prompt de texto, creando una descripción más precisa que guía al modelo hacia la región correcta.
• Módulo de Interacción Cruzada Multi-Escala y Multi-Forma (MMCI): Para manejar anomalías de diversos tamaños y formas sin el costo computacional de procesar múltiples ventanas de imagen (como hace WinCLIP), se diseña un módulo MMCI. Este módulo utiliza convoluciones de diferentes tamaños y formas (ej. 1x1, 3x3, 5x5, 1x5, 5x1) en paralelo sobre las características de los parches de imagen extraídas por el codificador de CLIP. Luego, interactúa con las características de texto mejoradas para generar mapas de anomalía precisos.

Arquitectura General:
El modelo utiliza CLIP (con codificadores de imagen y texto congelados) como base. Se entrena un adaptador (Adapter) para alinear las características globales de la imagen con el texto, y se optimizan los vectores de texto y los parámetros del MMCI. La puntuación final de anomalía combina la puntuación global y el valor máximo del mapa de anomalía local.

3. Contribuciones Clave

1. FG-Des (Descripción Adaptativa): Introducción de descripciones de anomalías de alta granularidad generadas por LLMs y el uso de vectores de texto aprendibles en lugar de plantillas manuales, mejorando tanto la precisión como la interpretabilidad.
2. HQ-Loc (Localización Mejorada): Desarrollo de una estrategia de localización que combina la detección preliminar de Grounding DINO, la mejora de prompts con información de posición y un módulo MMCI para capturar anomalías de múltiples escalas y formas eficientemente.
3. Rendimiento State-of-the-Art: Demostración experimental de que FiLo supera a los métodos existentes en detección y localización, logrando nuevos récords en conjuntos de datos industriales estándar.

4. Resultados Experimentales

Los experimentos se realizaron en los conjuntos de datos MVTec AD y VisA, entrenando en uno y realizando pruebas zero-shot en el otro.

• Métricas: Se utilizaron el Área bajo la Curva Característica de Operación del Receptor (AUC) a nivel de imagen (detección) y a nivel de píxel (localización).
• Rendimiento en VisA: FiLo alcanzó un AUC a nivel de imagen del 83.9% y un AUC a nivel de píxel del 95.9%, superando al método anterior más cercano (AnomalyCLIP) en un 1.1% y 0.4% respectivamente.
• Rendimiento en MVTec: Se obtuvo un AUC a nivel de píxel del 92.3%, superando a AnomalyCLIP en un 1.2%.
• Estudios de Ablación: Las pruebas confirmaron que tanto las descripciones de alta granularidad como los componentes de localización (Grounding, mejora de posición y MMCI) contribuyen significativamente al rendimiento final. La visualización muestra una reducción drástica de falsos positivos en el fondo y una mejor delimitación de defectos de formas irregulares.

5. Significado e Impacto

El trabajo FiLo representa un avance significativo en el campo de la inspección industrial automatizada. Su principal valor reside en:

• Generalización Realista: Al no requerir datos de entrenamiento de la categoría objetivo, es ideal para líneas de producción nuevas o donde la privacidad de los datos impide compartir muestras de defectos.
• Interpretabilidad: Al identificar no solo que hay un defecto, sino qué tipo de defecto es (gracias a las descripciones detalladas), facilita la toma de decisiones en entornos industriales.
• Eficiencia y Precisión: Logra una localización de alta calidad sin el costo computacional prohibitivo de métodos que requieren inferencia múltiple con diferentes ventanas de imagen, haciendo viable su aplicación en tiempo real.

En resumen, FiLo demuestra que la combinación de conocimiento experto generado por LLMs y una arquitectura de localización espacialmente consciente puede superar las limitaciones de los enfoques puramente basados en similitud de características en la detección de anomalías zero-shot.