Resumen Técnico: GenAU – Comprensión de Anomalías Industriales Basada en el Lenguaje

1. Planteamiento del Problema

Los sistemas de inspección industrial requieren algo más que la detección binaria de anomalías; las aplicaciones prácticas exigen una comprensión integral que responda a cuatro preguntas clave para cada imagen: (1) ¿Hay una anomalía? (2) ¿Dónde se localiza? (3) ¿Qué tipo de anomalía es? (4) ¿Por qué se considera anómala?

Los enfoques existentes no logran unificar estas capacidades:

• Los métodos zero-shot basados en CLIP (por ejemplo, AnomalyCLIP, MultiADS) sobresalen en la detección a nivel de imagen y la localización a nivel de píxel, pero ofrecen una comprensión semántica limitada y no pueden explicar los defectos en lenguaje natural.
• Los Modelos de Visión-Lenguaje (VLM) ajustados por instrucciones (por ejemplo, LLaVA, AnomalyGPT) poseen un fuerte razonamiento multimodal y pueden describir defectos, pero típicamente carecen de capacidades nativas de segmentación a nivel de píxel, dependiendo a menudo de detectores externos para la localización.

La brecha reside en la ausencia de una arquitectura única que realice simultáneamente la detección a nivel de imagen, la segmentación a nivel de píxel, el reconocimiento de múltiples tipos y el razonamiento sobre el defecto sin requerir el reentrenamiento de tareas específicas o módulos externos.

2. Metodología: Marco de Trabajo GenAU

GenAU es un marco de trabajo de visión-lenguaje generalista diseñado para unificar estas tareas dentro de un único modelo que sigue instrucciones. Extiende un VLM autorregresivo (específicamente LLaVA-OneVision) mediante un mecanismo de segmentación basado en el lenguaje.

Arquitectura Central

• Vías Duales: El modelo acopla una vía de generación de texto con una vía de fundamentación visual (visual grounding).
• Tokens de Segmentación: GenAU introduce dos tokens especiales dedicados: [SEG defect] y [SEG normal]. Estos tokens actúan como anclajes fundamentados en el lenguaje.
• Fundamentación Visual:
  • El codificador de visión congelado (SigLIP) extrae características de parches multiescala.
  • Los estados ocultos de los tokens generados [SEG defect] y [SEG normal] del decodificador en su capa final sirven como consultas (queries).
  • Estas consultas se alinean con las características visuales multiescala a través de capas de proyección lineal para calcular los logits de similitud de coseno.
  • Los mapas de similitidad resultantes se sobremuestrean y agregan para producir mapas de anomalías a nivel de píxel.
• Lectura de Alta Resolución (AnyRes): Para manejar detalles espaciales finos, el marco procesa teselas de imágenes de alta resolución además de una vista global, fusionando los mapas resultantes para la salida de segmentación final.

Entrenamiento e Inferencia

• Objetivo Conjunto: El modelo se entrena con una función de pérdida combinada:
  • Pérdida de Generación de Texto ($L_{txt}$): Pérdida de entropía cruzada estándar para generar descripciones de defectos y los tokens de segmentación requeridos.
  • Pérdida de Segmentación ($L_{seg}$): Una combinación de pérdidas Focal, Tversky y Dice aplicadas a los mapas de similitud generados frente a las máscaras de verdad de campo (ground-truth).
  • Equilibrio: Un hiperparámetro $\lambda_{seg}$ equilibra el modelado del lenguaje y la supervisión a nivel de píxel.
• Eficiencia de Parámetros: El entrenamiento utiliza LoRA (Low-Rank Adaptation) en el decodificador, los embeddings de los tokens, la cabeza del LM y las capas de proyección, manteniendo congelados el codificador de visión y el proyector transmodal.
• Inferencia: El modelo opera en un entorno de imagen única y zero-shot. Genera una respuesta estructurada que contiene el tipo de defecto y los dos tokens de segmentación.
  • Puntuación a Nivel de Imagen: Se computa fusionando el valor máximo del mapa de segmentación con el log-odds del decodificador para una decisión de normal/defecto.
  • Detección de Multi-Tipo: Un analizador determinista mapea la respuesta textual a un vector de etiquetas múltiples sobre el vocabulario de defectos objetivo.
  • Razonamiento: El modelo responde preguntas abiertas sobre la percepción de defectos y el razonamiento causal.

3. Contribuciones Clave

1. Marco Unificado: Introducción de GenAU, la primera arquitectura de seguimiento de instrucciones que realiza conjuntamente la detección a nivel de imagen, la segmentación a nivel de píxel, el reconocimiento de anomalías de múltiples tipos y el análisis textual de defectos.
2. Segmentación Fundamentada en el Lenguaje: Un mecanismo novedoso donde los estados ocultos de los tokens de segmentación dedicados actúan como anclajes para alinear las representaciones del lenguaje con las características visuales multiescala, permitiendo la localización a nivel de píxel sin decodificadores de máscara externos.
3. Evaluación de Cross-Dataset: Evaluación exhaustiva bajo cambio de distribución (distribution shift) (entrenado en MVTec-AD, probado en VisA, MPDD y Real-IAD), demostrando que un solo VLM autorregresivo puede manejar todo el proceso de inspección industrial.
4. Caracterización de Compromisos (Trade-off): Análisis explícito del compromiso entre segmentación y razonamiento, mostrando que añadir capacidades de razonamiento incurre en un costo cuantificable y manejable en el rendimiento de detección y segmentación.

4. Resultados Experimentales

El artículo evalúa GenAU en bancos de pruebas industriales estándar bajo cambio de distribución de cross-dataset.

• Detección Binaria y Segmentación:
  • En VisA, GenAU-7B logra el AUROC más alto a nivel de imagen (87.6%) entre los métodos zero-shot basados en CLIP, con un AUROC competitivo a nivel de píxel (94.7%).
  • En MPDD y Real-IAD, GenAU demuestra un sólido rendimiento, aunque se observa que el AUPRO a nivel de píxel sigue siendo una métrica desafiante para todos los métodos.
  • GenAU no supera a las líneas base especializadas en CLIP (ej. AnomalyCLIP, MultiADS) en métricas puras de segmentación a nivel de píxel, pero ofrece la capacidad añadida de razonamiento lingüístico.
• Detección de Multi-Tipo:
  • GenAU-7B supera a la única línea base capaz de multi-tipo (MultiADS) y al especialista en razonamiento (Anomaly-OV) tanto en VisA como en MPDD en términos de puntuación F1.
  • La mejora es impulsada principalmente por una mayor precisión, atribuida a la decodificación con lista de candidatos restringida.
• Razonamiento de Defectos:
  • En el benchmark VisA-D&R, GenAU supera significativamente a su columna vertebral base LLaVA-OneVision y al especialista en razonamiento Anomaly-OV tanto en puntuaciones de percepción de bajo nivel como en razonamiento causal complejo (calificado por GPT-4o).
  • Notablemente, GenAU-0.5B supera a Anomaly-OV-7B en percepción de bajo nivel, lo que indica la efectividad de la mezcla de instrucciones de razonamiento incluso en escalas menores.

5. Significación y Reivindicaciones

El artículo afirma que GenAU representa un cambio de modelos específicos de tareas hacia un enfoque de "generalista" unificado para la inspección industrial. Su principal significación radica en demostrar que un solo VLM de seguimiento de instrucciones puede cubrir todo el proceso de inspección —respondiendo "si hay", "dónde", "qué" y "por qué"— dentro de una sola arquitectura y receta de entrenamiento.

Los autores reconocen las limitaciones:

• Segmentación vs. Especialización: Aunque GenAU unifica las tareas, su rendimiento de segmentación a nivel de píxel no supera al de las líneas base especializadas basadas en CLIP.
• Contexto Global: El modelo tiene dificultades con anomalías definidas globalmente o lógicas (ej. componentes faltantes) que carecen de señales visuales locales fuertes, un desafío común en entornos zero-shot.
• Clasificación Fina: La generalización a tipos de defectos finos sigue siendo difícil cuando los datos de entrenamiento contienen solo instancias únicas de defectos específicos.

El artículo concluye que, si bien persisten desafíos en el contexto global y la clasificación fina, GenAU logra cerrar la brecha entre detección, segmentación y razonamiento, ofreciendo un compromiso cuantificado para un sistema de inspección industrial más holístico.