Large-Scale Universal Defect Generation: Foundation Models and Datasets

Resumen Técnico: UniDG y el Conjunto de Datos UDG

1. El Problema

La detección de anomalías es crucial en industrias como la inspección industrial, el diagnóstico médico y aplicaciones de seguridad crítica. Sin embargo, un obstáculo fundamental es la escasez de muestras anormales en el mundo real, lo que dificulta el entrenamiento de detectores supervisados.

Las soluciones existentes de generación de anomalías/defectos sufren de limitaciones severas:

• Dependencia del Few-Shot Learning: La mayoría de los métodos actuales se basan en pocos ejemplos, lo que provoca un overfitting (sobreajuste) a categorías específicas de defectos.
• Falta de Generalización: Debido a la variabilidad en la escala y morfología de los defectos, estos modelos no generalizan bien a nuevos escenarios u objetos.
• Realismo y Consistencia Degradados: Los defectos generados a menudo carecen de realismo visual o no son consistentes con la categoría de referencia.
• Ausencia de Datos Emparejados a Gran Escala: No existen conjuntos de datos masivos de pares "normal-anormal-máscara-descripción" que permitan entrenar modelos fundacionales universales sin necesidad de ajuste fino por categoría.

2. Metodología Propuesta

Los autores proponen un enfoque integral que combina un nuevo conjunto de datos masivo y un modelo fundacional universal.

A. El Conjunto de Datos UDG (Universal Defect Generation)

• Escala y Composición: UDG contiene 300,000 cuartetas (imagen normal, imagen anormal, máscara de defecto, descripción/captión).
• Diversidad: Abarca 50 conjuntos de datos públicos, cubriendo tres dominios: industrial, natural y médico. Incluye 269 tipos originales de defectos mapeados a 28 categorías estandarizadas.
• Pipeline de Construcción Multi-Agente: Para crear los datos, se utilizó un sistema automatizado con tres agentes:
  1. Agente de Inpainting: Basado en Flux.1-Fill-dev, genera la versión "normal" de una imagen defectuosa dada su máscara.
  2. Agente de Captión (Captioner): Utiliza Modelos de Lenguaje Multimodal (MLLM) avanzados para generar descripciones estructuradas y detalladas (de nivel global a local) sobre el defecto.
  3. Agente Verificador: Filtra las cuartetas verificando la normalidad de la imagen recuperada, la consistencia de la descripción y la existencia real del defecto.

B. El Modelo Fundacional UniDG
UniDG es un modelo fundacional diseñado para la generación universal de defectos, capaz de transferir defectos de una imagen de referencia a una región objetivo específica, o editar mediante instrucciones de texto, sin necesidad de ajuste fino por categoría.

• Arquitectura: Se basa en MM-DiT (Multimodal Diffusion Transformer), que utiliza atención multimodal para fusionar condiciones de imagen y texto.
• Estrategia de Edición de Contexto de Defecto (Defect-Context Editing):
  • Recorte Adaptativo (Adaptive Defect Crop): Aísla el defecto de la imagen de referencia, ajustando el recorte según el tamaño del defecto para preservar detalles de alta frecuencia.
  • Entrada Diptipo (Diptych Input): El modelo recibe una entrada estructurada que concatena el defecto recortado (lado izquierdo) con la imagen fuente enmascarada (lado derecho), junto con una máscara de inpainting específica.
  • Fusión Multimodal: Combina características latentes de la imagen, la máscara y características semánticas del defecto (extraídas mediante SigLIP) mediante mecanismos de atención.
• Estrategia de Entrenamiento en Dos Etapas:
  1. Diversity-SFT (Ajuste Fino Supervisado de Diversidad): Utiliza tres distribuciones de muestreo (llenado de defecto en un solo objeto, muestreo cruzado intra-defecto en un solo objeto, y muestreo cruzado inter-objetos) para enseñar al modelo a generar defectos diversos pero consistentes con la categoría.
  2. Consistency-RFT (Ajuste Fino por Refuerzo de Consistencia): Utiliza Flow-GRPO (Optimización de Política Relativa por Grupos) para alinear el modelo con señales de preferencia. Se emplean dos modelos de recompensa:
     • Defect-Und-Reward: Evalúa la adherencia a la referencia, consistencia con el fondo y razonabilidad (usando MLLMs).
     • Defect-Recog-Reward: Evalúa la clasificación y segmentación correcta del defecto generado.

3. Contribuciones Clave

1. UDG Dataset: El primer conjunto de datos a gran escala (300k muestras) de cuartetas normal-anormal-máscara-descripción, diseñado específicamente para la investigación en detección y generación de anomalías multimodales.
2. UniDG Model: Un modelo fundacional universal que soporta tanto la generación basada en referencia como la edición basada en instrucciones de texto, logrando una generalización robusta a escenarios no vistos sin fine-tuning por categoría.
3. Estrategia de Entrenamiento Avanzada: La combinación de Diversity-SFT y Consistency-RFT con modelos de recompensa especializados mejora significativamente tanto la diversidad de la síntesis como el realismo y la consistencia de referencia.
4. Rendimiento Superior: Demostración de que UniDG supera a los métodos few-shot y de inserción de imágenes existentes en calidad de síntesis y en tareas de detección/localización aguas abajo.

4. Resultados Experimentales

Los experimentos se realizaron principalmente en los conjuntos de datos MVTec-AD y VisA.

• Calidad de Síntesis: UniDG (especialmente la versión RFT) supera a los baselines (como SeaS, AnomalyDiffusion, AnyDoor) en métricas evaluadas por MLLM (Adherencia a la referencia, Consistencia, Razonabilidad y Calidad).
• Detección y Localización:
  • En MVTec-AD, UniDG-RFT alcanza un AUROC de imagen del 98.4% y un AP de píxel del 77.3%, superando a todos los métodos comparados.
  • En la tarea de segmentación semántica multiclase, UniDG-RFT mejora el FG-mIoU (Intersección sobre Unión de Fondo de Defecto) en un 20.5% respecto a los métodos anteriores, demostrando una capacidad superior para distinguir y localizar múltiples categorías de defectos simultáneamente.
• Generalización: El modelo funciona eficazmente en escenarios de zero-shot y few-shot (uno o pocos ejemplos) sin necesidad de reentrenamiento para nuevas categorías de objetos.
• Eficiencia: A pesar de ser un modelo grande (12B parámetros), utiliza una estrategia de Rectified Flow que permite una inferencia eficiente con menos iteraciones (28 NFE) en comparación con otros métodos.

5. Significado e Impacto

Este trabajo representa un avance significativo al pasar de enfoques específicos por categoría a un enfoque fundacional universal para la generación de defectos.

• Solución al Cuello de Botella de Datos: Al proporcionar un modelo que no requiere grandes cantidades de datos anormales reales para cada nueva categoría, facilita la implementación de sistemas de inspección en industrias con productos de alta variedad y baja frecuencia de defectos.
• Puente entre Generación y Detección: Al generar datos de alta calidad y realistas, mejora directamente el rendimiento de los detectores de anomalías aguas abajo, cerrando el ciclo entre la síntesis de datos y la aplicación práctica.
• Reproducibilidad y Código Abierto: El modelo y el conjunto de datos están diseñados para ser abiertos, fomentando la investigación futura en la alineación visión-lenguaje y la detección de anomalías.

En resumen, UniDG establece un nuevo estado del arte en la generación de anomalías, resolviendo problemas de generalización y realismo mediante un enfoque basado en datos masivos y aprendizaje por refuerzo multimodal.