MIRAGE: Model-agnostic Industrial Realistic Anomaly Generation and Evaluation for Visual Anomaly Detection

Resumen Técnico: MIRAGE

1. El Problema

La detección visual de anomalías (VAD) en la manufactura industrial suele entrenarse únicamente con muestras normales (paradigma de una sola clase). Aunque efectivo, el rendimiento mejora significativamente si se dispone de datos anómalos, incluso en cantidades limitadas. Sin embargo, en entornos industriales reales, los ejemplos de defectos son escasos o inexistentes.

Las soluciones existentes para generar anomalías sintéticas presentan limitaciones críticas:

• Métodos de copia y pegado (ej. DRAEM, GLASS): Producen defectos visualmente poco realistas (ruido de Perlin, mezclas de texturas).
• Métodos basados en difusión (ej. RealNet): Requieren entrenar un modelo específico por categoría, lo que aumenta el costo computacional y reduce la escalabilidad.
• Métodos Few-Shot (ej. AnomalyDiffusion): Necesitan ejemplos reales de defectos para el entrenamiento, lo cual contradice el objetivo de trabajar sin datos anómalos.
• Métodos Zero-Shot actuales (ej. AnomalyAny): Aunque no requieren entrenamiento, dependen de modelos de difusión congelados que exigen hardware costoso (GPUs con >30 GB de VRAM), tiempos de generación largos y un esfuerzo de implementación alto, dificultando su actualización ante nuevos modelos generativos.

2. Metodología: El Pipeline MIRAGE

MIRAGE (Model-agnostic Industrial Realistic Anomaly Generation and Evaluation) propone un pipeline totalmente automatizado, agnóstico al modelo y sin necesidad de entrenamiento, que opera en tres etapas principales:

A. Generación de Imágenes Anómalas (Model-Agnostic)

• Enfoque: Trata el modelo generativo como una "caja negra" accesible mediante llamadas a API, eliminando la necesidad de descargar pesos o entrenar modelos locales.
• Generación de Prompts: Utiliza un Modelo de Lenguaje Visual (VLM) para analizar imágenes normales de referencia y generar automáticamente descripciones de defectos realistas (prompts de texto).
• Síntesis: Se utiliza un modelo generativo multimodal (en este caso, Gemini 2.5 Flash Image, internamente "Nano Banana") que recibe la imagen normal y el prompt de defecto. El modelo genera una imagen anómala fotorrealista preservando el fondo, la iluminación y la textura original, pero introduciendo el defecto solicitado.
• Ventaja: El sistema es fácilmente actualizable; cambiar a un modelo generativo más nuevo solo requiere modificar el endpoint de la API.

B. Filtrado de Calidad (CLIP-Based)

• Para evitar artefactos o defectos no alineados con el prompt, se aplica un filtro ligero basado en CLIP.
• Se calculan similitudes entre imagen y texto para verificar tres condiciones:
  1. La imagen anómala se alinea bien con el prompt de defecto.
  2. La imagen anómala se alinea mejor con el prompt de defecto que con el prompt de "normal".
  3. La imagen anómala se alinea mejor con el prompt de defecto que la imagen original.
• Solo las imágenes que cumplen estas condiciones se retienen, asegurando coherencia semántica.

C. Generación de Máscaras (Detección de Cambio Semántico Dual)

• Desafío: Obtener una máscara de píxeles precisa sin entrenamiento y sin datos reales de defectos.
• Solución: Un módulo de detección de cambios semánticos de doble rama, libre de entrenamiento:
  1. Rama Semántica (Grounding DINO): Utiliza Grounding DINO condicionado por el texto del defecto para identificar la ubicación semántica del defecto. Compara las características de la imagen normal y la anómala bajo el mismo prompt para eliminar falsos positivos de texturas normales.
  2. Rama Estructural (YOLOv26-L-Seg): Utiliza las características de un modelo de segmentación (YOLOv26) sin condicionamiento de texto para detectar cambios estructurales finos y detallados entre las dos imágenes.
• Fusión: Se multiplica (producto elemento a elemento) los mapas de calor de ambas ramas. Esto genera una máscara final que es tanto semánticamente relevante como estructuralmente precisa.
• Calibración: Se utiliza un pequeño conjunto de calibración (5-8 máscaras de referencia generadas por un modelo de mayor costo) para determinar el umbral óptimo de binarización.

3. Contribuciones Clave

1. Pipeline de Generación Agnóstico al Modelo: Un sistema "plug-and-play" que no requiere entrenamiento, imágenes anómalas ni hardware costoso. Permite la integración inmediata de nuevos modelos generativos o VLMs.
2. Generación de Máscaras sin Entrenamiento: Un módulo innovador de doble rama (Grounding DINO + YOLOv26) que produce máscaras de alta precisión (AUROC de píxeles de 0.92) sin necesidad de datos etiquetados para el entrenamiento del detector de máscaras.
3. Benchmark Exhaustivo: La evaluación más completa hasta la fecha de métodos de generación de anomalías, incluyendo métricas automáticas (IS, IC-LPIPS), rendimiento en tareas downstream (segmentación con U-Net) y un estudio de percepción humana.
4. Dataset Público a Gran Escala: Liberación de más de 13,000 pares de imagen-máscara (500 por categoría) para todas las clases de los datasets MVTec AD y VisA, junto con todos los prompts de generación y el código fuente.

4. Resultados

El método se evaluó contra tres enfoques de vanguardia (GLASS, RealNet, AnomalyAny) en MVTec AD y VisA:

• Calidad Visual y Percepción Humana:

  • En un estudio con 31 participantes y 1,550 votos comparativos, MIRAGE obtuvo una puntuación TrueSkill de 28.33, extremadamente cercana a las imágenes reales (28.61) y superando significativamente a AnomalyAny (27.16).
  • MIRAGE ganó el 67.2% de las comparaciones decisivas, superando a AnomalyAny (59.2%) y RealNet (33.7%).
  • Obtuvo el puntaje más alto en Inception Score (IS) y el mejor IC-LPIPS, indicando alta calidad y alineación perceptual con defectos reales.

• Rendimiento en Tareas Downstream (Segmentación):

  • Un modelo U-Net entrenado con los datos sintéticos de MIRAGE logró el mejor rendimiento en segmentación de anomalías en ambos datasets.
  • MVTec AD: AUROC de píxeles promedio de 0.92.
  • VisA: AUROC de píxeles promedio de 0.92.
  • El filtrado CLIP mejoró consistentemente el rendimiento de detección (AUROC a nivel de imagen) al eliminar generaciones fallidas.

5. Significado e Impacto

MIRAGE representa un cambio de paradigma en la detección de anomalías industriales al eliminar la dependencia de datos defectuosos reales y de hardware especializado.

• Escalabilidad y Accesibilidad: Al basarse en APIs y modelos preentrenados, democratiza la generación de datos sintéticos, haciéndola accesible para industrias sin grandes recursos computacionales.
• Reproducibilidad: La liberación del dataset masivo y el código soluciona el problema de la falta de estandarización y datos públicos en la investigación de generación de anomalías.
• Futuro: La arquitectura agnóstica permite que el sistema evolucione automáticamente con los avances en IA generativa, asegurando su relevancia a largo plazo para tareas de inspección industrial, clasificación de defectos y segmentación.