ADOPD: Reference-Privileged On-Policy Distillation for MLLM-Based Industrial Anomaly Detection

Resumen Técnico: ADOPD para la Detección de Anomalías Industriales

Planteamiento del Problema
La Detección de Anomalías Industriales (IAD, por sus siglas en inglés) requiere identificar desviaciones de grano fino respecto a los patrones visuales normales. Aunque los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) ofrecen interfaces prometedoras para el reconocimiento de conjunto abierto y el razonamiento explicable, sus representaciones de dominio abierto suelen tener dificultades para capturar patrones de anomalías específicos de un producto. Los enfoques actuales aprovechan la comparación de referencias durante la inferencia (por ejemplo, el aprendizaje de un solo paso o one-shot learning) para mejorar la precisión al proporcionar un contexto visual específico del producto. Sin embargo, esta inferencia condicionada explícitamente a una referencia introduce una sobrecarga computacional debido a la necesidad de recuperar y procesar imágenes para cada consulta. El desafío central abordado por este trabajo es si los beneficios de la comparación de referencias pueden internalizarse en los parámetros del modelo durante el entrenamiento, permitiendo que un modelo que solo requiere la consulta (query-only) funcione de manera efectiva en la inferencia sin acceso a imágenes de referencia.

Metodología: Marco de Trabajo ADOPD
Los autores proponen ADOPD (Reference-Privileged On-Policy Distillation), un marco diseñado para destilar los beneficios de la comparación de referencias en un modelo estudiante que solo requiere la consulta. El enfoque opera bajo una configuración de "información privilegiada" donde un modelo profesor congelado tiene acceso tanto a la imagen de consulta como a la evidencia de referencia durante el entrenamiento, mientras que el estudiante solo ve la consulta.

La metodología consta de dos mecanismos primarios:

1. Destilación On-Policy Privilegiada por Referencia (OPD):
   A diferencia del Ajuste Fino Supervisado (SFT) estándar que utiliza objetivos de profesor fijos (off-policy), ADOPD evalúa al profesor sobre los prefijos generados por el propio estudiante (on-policy). Esto mitiga el sesgo de exposición.

   • El estudiante muestrea trayectorias (rollouts) a partir de un prompt de solo consulta.
   • Un profesor congelado evalúa estos tokens generados por el estudiante bajo una referencia coincidente (semánticamente consistente con la anomalía de la consulta) y una referencia no coincidente (que rompe deliberadamente la relación válida consulta-referencia).
   • La dirección de aprendizaje a nivel de token se define mediante la razón de log-probabilidad entre el profesor con la referencia coincidente y el estudiante. Esto especifica qué debe aprender el estudiante (reforzando los tokens preferidos por el profesor bajo condiciones de referencia válidas).

2. Ponderación de Referencia Contrastiva:
   Para determinar con qué fuerza aprender, ADOPD introduce un mecanismo para calibrar la magnitud de la actualización basada en la especificidad de la referencia.

   • La brecha de verosimilitud del profesor entre las vistas coincidente y no coincidente define una puntuación de soporte de referencia contrastiva. Esta puntuación estima si la preferencia del profesor está genuinamente fundamentada en la comparación de referencias o en sesgos lingüísticos o de la consulta.
   • Esta puntuación se agrega sobre la secuencia y se normaliza frente a la media y la desviación estándar del grupo para producir un peso de referencia relativo al grupo.
   • El objetivo final de entrenamiento combina la ventaja a nivel de token (dirección) con el peso a nivel de secuencia (magnitud), creando una ventaja calibrada para las actualizaciones de gradiente de política.

Contribuciones Clave

• Marco ADOPD: Un novedoso marco de destilación on-policy privilegiada por referencia que internaliza los beneficios de la comparación de referencias en la inferencia en los parámetros del modelo, permitiendo una inferencia de cero pasos (zero-shot) de alto rendimiento.
• Intervención de Referencia Asimétrica: La introducción de un mecanismo de control de referencia coincidente/no coincidente. La vista coincidente define la dirección de la OPD a nivel de token, mientras que la vista no coincidente controla la fuerza de la actualización a nivel de secuencia, asegurando que el modelo aprenda estrategias de inspección de anomalías de grano fino en lugar de una supervisión visual genérica.
• Ganancias de Rendimiento: El método demuestra que separar "qué aprender" de "con qué fuerza aprender" permite al modelo retener los beneficios de la comparación de referencias sin requerir imágenes de referencia en la inferencia.

Resultados Experimentales
Los experimentos se realizaron en el benchmark MMAD, que agrega MVTec-AD, VisA, Mévtec-LOCO y GoodsAD.

• Rendimiento Zero-Shot: Utilizando solo 6,000 registros de entrenamiento construidos, ADOPD alcanzó una precisión promedio del 77.31% en el benchmark MMAD bajo inferencia de cero pasos.
• Mejora del Backbone: Esto representa una mejora de 6.14 puntos porcentuales sobre el backbone Qwen3-VL-4B.
• Comparación con Baselines:
  • ADOPD superó la configuración de un solo paso (one-shot) condicionada por referencia del mismo backbone por 2.64 puntos.
  • Superó al modelo más fuerte listado específico de IAD (Reason-IAD, 8B) por 0.60 puntos, a pesar de utilizar un backbone más pequeño de 4B.
  • Mejoró respecto a la destilación basada en SFT por 1.61 puntos.
• Análisis de Granularidad: Los experimentos mostraron que el uso de recortes regionales (coincidentes/no coincidentes) para la supervisión privilegiada produjo mejores resultados que las referencias de imagen completa, lo que indica que el modelo aprende patrones de anomalías locales en lugar de características globales del producto.
• Análisis Cualitativo: Los mapas de atribución indicaron que ADOPD produce respuestas más fuertes cerca de los defectos anotados (por ejemplo, rayaduras finas, puntos aislados) en comparación con los baselines, demostrando una mayor sensibilidad a la evidencia visual relevante para el defecto.

Significancia y Reivindicaciones
El artículo afirma que ADOPD internaliza con éxito los beneficios de la comparación de referencias, permitiendo que los MLLM realicen inspecciones de anomalías de grano fino sin la sobrecarga computacional de recuperar imágenes de referencia en la inferencia. Los autores enfatizan que el método aprende una "estrategia de inspección de anomalías moldeada por la comparación de referencias" específica, en lugar de simplemente añadir supervisión visual genérica. El trabajo destaca que la supervisión de referencia contrastiva es crucial para retener estos beneficios, como lo demuestra la caída en el rendimiento al usar OPD o SFT no calibrados. Los autores señalan que el enfoque actual depende de imágenes emparejadas y anotaciones de defectos, lo que sugiere que trabajos futuros podrían explorar referencias privilegiadas más débiles o construidas automáticamente.