Resumen Técnico: OmniAD

Declaración del Problema

El análisis de anomalías industriales requiere sistemas que no solo predigan la presencia de defectos, sino que también localicen irregularidades sutiles y expliquen sus causas e implicaciones. Aunque los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) han demostrado capacidades sólidas en el razonamiento visual de dominio abierto, su aplicación al análisis de anomalías industriales sigue siendo un desafío. Las anomalías suelen ser sutiles, específicas de una categoría y están semánticamente entrelazadas con evidencia visual de grano fino.

Una estrategia prevalente consiste en acoplar los MLLM con detectores de anomalías externos (el "Paradigma de Asistencia de Expertos"), donde un detector proporciona mapas de calor o máscaras como pistas visuales para el MLLM. Los autores argumentan que este enfoque es frágil por dos razones principales:

1. Pistas Visuales Ruidosas: Las salidas de los detectores externos suelen depender de un umbral y son imperfectas. Al convertirse en pistas rígidas (hard cues), estos errores se exponen directamente al MLLM.
2. Supresión Contextual: Incluso cuando las pistas localizan aproximadamente una anomalía, pueden dominar la atención del modelo, debilitando el razonamiento holístico sobre el objeto, la estructura circundante y los modos de falla.

El problema central identificado es que la localización y la comprensión de anomalías están débilmente acopladas a través de pistas inyectadas externamente, en lugar de estar unificadas dentro de un único proceso de razonamiento.

Metodología

Los autores proponen OmniAD, un marco de extremo a extremo que integra intrínsecamente la detección y la comprensión de anomalías en un único proceso de razonamiento multimodal. En lugar de depender de detectores externos, OmniAD genera y consume la evidencia de la anomalía dentro del mismo modelo y cadena de razonamiento.

1. Marco de Razonamiento Multimodal

OmniAD opera a través de dos etapas secuenciales:

• Razonamiento Visual mediante Codificación de Anomalía Semántica (SAE):
  En lugar de importar mapas de calor umbralizados, el modelo realiza la localización internamente. Inspirado en la segmentación basada en texto, el SAE reformula la detección de anomalías como una tarea de generación de texto.

  • La imagen se divide en parches de tamaño fijo.
  • Siguiendo una intuición de clase única (one-class), los parches normales se descartan y solo se retienen los parches anómalos.
  • Se aplica la codificación de longitud de carrera (RLE) a lo largo de las filas para comprimir los parches de anomalía contiguos.
  • La secuencia comprimida se convierte en una cadena de coordenadas (por ejemplo, <seg>(2,1),(4,2)-(4,4),...</seg>).
  • Esta representación es compacta, densa en información y libre de umbrales, sirviendo como una variable intermedia intrínseca para el razonamiento posterior.

• Razonamiento Textual Guiado Visualmente (VGTR):
  El modelo realiza un razonamiento de alto nivel condicionado en la evidencia de SAE generada internamente.

  • La salida de SAE actúa como un ancla semántica, guiando al modelo hacia las regiones relevantes sin anular el análisis holístico.
  • El modelo produce una respuesta estructurada que contiene <seg> (localización), <reasoning> (análisis del estado del objeto y la evidencia del defecto) y <answer> (decisión final).
  • Este diseño asegura que la evidencia de la anomalía sea tratada como un estado intermedio semánticamente coherente en lugar de una pista aislada, mitigando la supresión contextual.

2. Estrategia de Entrenamiento Conjunto

Para abordar la escasez de datos de entrenamiento industrial y mejorar las capacidades de razonamiento, OmniAD emplea una estrategia de post-entrenamiento conjunta que combina el Ajuste Fino Supervisado (SFT) y la Optimización de Política Relativa de Grupo (GRPO).

• SFT: Enseña al modelo el formato de respuesta objetivo, el conocimiento específico del objeto y el acoplamiento entre la localización y la explicación.
• GRPO: Refina el comportamiento de razonamiento utilizando recompensas verificables sin requerir anotaciones de razonamiento a nivel de token costosas.
• Funciones de Recompensa: Se diseñaron tres recompensas específicas:
  1. Recompensa de Formato: Asegura que el modelo produzca respuestas razonadas estructuradas dentro de etiquetas específicas.
  2. Recompensa de Precisión de Detección: Utiliza la puntuación F1 (en lugar de IoU) para evaluar la máscara generada por SAE contra la verdad de campo (ground truth), incentivando la localización precisa mientras penaliza los falsos positivos en imágenes normales.
  3. Recompensa de Precisión de Respuesta: Evalúa la respuesta final de opción múltiple, proporcionando una señal de optimización más suave para la ruta de razonamiento.

3. Curación de Datos

Los autores construyeron un conjunto de datos multimodal adaptado para ambas etapas. Para el SFT, curaron pares de Pregunta-Respuesta Visual (VQA) de alta calidad con supervisión densa. Para el GRPO, utilizaron las mismas fuentes de datos con supervisión a nivel de respuesta y objetivos de localización verificables, ya que las anotaciones de razonamiento denso no son necesarias para la fase de aprendizaje por refuerzo.

Contribuciones Clave

1. Marco OmniAD: Un marco unificado de extremo a extremo que acopla intrínsecamente la detección y la comprensión de anomalías, reemplazando el frágil acoplamiento de asistencia de expertos externo con un flujo interno de evidencia de anomalía.
2. Codificación de Anomalía Semántica (SAE) y VGTR: Un mecanismo novedoso donde la evidencia de la anomalía se genera como una representación textual compacta y se reutiliza inmediatamente para el análisis posterior, formando una cadena de generación-consumo intrínseca.
3. Entrenamiento Conjunto con SFT y GRPO: Una demostración de que la combinación de aprendizaje supervisado con optimización de política mejora tanto la precisión de la detección de anomalías como la calidad del razonamiento, validado mediante experimentos extensos.

Resultados Experimentales

El marco fue evaluado en el conjunto de datos MMAD para la comprensión de anomalías y en cuatro benchmarks de detección de anomalías industriales (MVTec-AD, VisA, MVTec-LOCO, GoodsAD).

• Comprensión de Anomalías (MMAD): OmniAD (modelo de 7B) alcanzó una precisión promedio del 79.9%, superando a bases sólidas incluyendo a Qwen2.5-VL-7B (por 15.9 puntos) y GPT-4o (por 5.0 puntos). Mostró ganancias significativas en Clasificación de Defectos, Localización y Análisis, superando a anotadores humanos ordinarios en varias subtareas.
• Comparación con Asistencia de Expertos: A diferencia del paradigma de Asistencia de Expertos, que a menudo degradaba el rendimiento al usar pistas externas (por ejemplo, mapas de calor o máscaras), OmniAD logró resultados superiores al generar sus propias pistas.
• Detección de Anomalías: OmniAD entregó un rendimiento robusto a nivel de píxel y de imagen en los cuatro benchmarks de detección sin requerir la selección de umbrales durante la inferencia. Logró el mejor rendimiento promedio de nivel de píxel en cero disparos (0-shot) y resultados competitivos en un disparo (1-shot).
• Estudios de Ablación:
  • Estrategia de Entrenamiento: El entrenamiento conjunto SFT+GRPO superó significativamente a cada etapa por separado. El GRPO por sí solo no pudo adquirir el conocimiento de dominio y la estructura necesarios, mientras que el SFT por sí solo carecía del refinamiento para un razonamiento óptimo.
  • Componentes de Razonamiento: Eliminar el Razonamiento Visual (SAE) o el VGTR degradó significativamente el rendimiento, confirmando que tanto la generación de evidencia precisa como el razonamiento semántico de alto nivel son necesarios y complementarios.
  • Diseño de Recompensa: Tanto la recompensa de Precisión de Detección como la de Precisión de Respuesta fueron esenciales; la primera estabilizó la evidencia visual intermedia, mientras que la segunda aseguró la consistencia global del razonamiento y las decisiones.

Significado

El artículo afirma que fortalecer la percepción intrínseca dentro de los MLLM es una ruta práctica hacia un razonamiento de anomalías industriales preciso e interpretable. Al unificar la localización y la comprensión en una única cadena de razonamiento, OmniAD aborda las limitaciones de la inyección de pistas externas, como el ruido y la supresión de la atención. Los resultados sugieren que, para aplicaciones industriales, mantener la continuidad del razonamiento dentro del modelo es más efectivo que acoplar débilmente las salidas de detectores externos a las tareas de comprensión descendentes. Este enfoque ofrece una solución robusta y libre de umbrales que escala a través de diversos tipos de anomalías y benchmarks de detección.