Resumen Técnico: Generación de Imágenes de Anomalías bajo la Guía de un Grafo de Conocimiento

Planteamiento del Problema

En el dominio de la detección de anomalías, los conjuntos de datos se caracterizan frecuentemente por un desequilibrio de clases significativo, conteniendo una gran mayoría de imágenes normales (sin defectos) y una escasez de muestras anormales (defectuosas). Los enfoques tradicionales para abordar este desequilibrio dependen de aumentos geométricos de imagen (por ejemplo, rotación, volteo, escalado) o de la creación manual de prompts de texto (TPs) para modelos generativos. Sin embargo, la construcción manual de TPs que describan con precisión las anomalías, sus ubicaciones y tamaños es un proceso tedioso y propenso a errores que limita la diversidad y cantidad de muestras generadas. Además, sin conocimiento experto previo, los prompts generados manualmente pueden no respetar las restricciones físicas y las reglas de coexistencia específicas de ciertas clases de productos y tipos de defectos.

Metodología

Los autores proponen KG4IG, un marco diseñado para construir automáticamente un gran volumen de prompts de texto plausibles aprovechando el conocimiento previo codificado en un Grafo de Conocimiento (KG). El enfoque integra un KG con un flujo de generación de imágenes basado en difusión. La metodología consta de los siguientes componentes principales:

1. Grafo de Conocimiento para Anomalías (KGA)

La base del enfoque es una ontología específica del dominio construida para representar productos, sus anomalías y las relaciones entre ellos. El KGA se basa en tres conjuntos de datos primarios: MVTec-AD, VisA y MPDD. La ontología define:

• Entidades y Clases: Incluyendo Producto (que comprende ProductoNormal y ProductoDefectuoso), Defecto, TipoDeDefecto y CaracterísticasDelDefecto (profundidad, forma, tamaño).
• Relaciones: Definiciones formales tales como tieneDefecto, tieneCajaDelimitadora e isAugmentedBy (es aumentado por).
• Restricciones: Reglas lógicas que imponen la validez, como prevenir aumentos de color que coincidan con el color del producto o restringir tipos de productos específicos a solo ciertas combinaciones de defectos (por ejemplo, el TipoDeProductoA solo puede tener TipoDeDefectoD1 o TipoDeDefectoD2).
• Inferencia: El sistema utiliza definiciones ontológicas para inferir nuevos tipos de relación no declarados explícitamente, mejorando la expresividad del grafo.

La ontología comprende 59 clases, 38 propiedades de objeto y 109 propiedades de datos, lo que permite la validación de los prompts del usuario frente a las restricciones del dominio.

2. Flujo de Generación de Prompts

El sistema automatiza la creación de prompts de texto a través de un proceso de cuatro pasos:

1. Extracción de Subgrafos: A partir del KGA, el sistema extrae un subgrafo ($G_P$) que contiene la clase de producto específica ($P$), los tipos de defectos asociados ($D_P$) y los atributos relevantes ($D_A$) como forma, tamaño, profundidad y ubicación.
2. Filtrado de Restricciones: El sistema aplica restricciones ($C$) derivadas del KG para eliminar combinaciones inválidas, como conflictos de color o coexistencias de defectos no permitidas.
3. Síntesis de Prompts: Para cada configuración válida de defectos y atributos, el sistema construye una descripción en lenguaje natural.
4. Diversificación: Se aplican variaciones lingüísticas o estructurales para generar un conjunto diverso de prompts a partir de las configuraciones válidas.

3. Aprendizaje y Generación del Modelo

Los prompts generados sirven como entradas para un modelo generativo de texto a imagen (específicamente un modelo de difusión). El modelo se entrena para alinear las modalidades textuales y visuales, aprendiendo las relaciones jerárquicas entre productos y anomalías, sus atributos y las restricciones contextuales. El objetivo final es sintetizar imágenes anómalas que respeten la representación semántica espacial de las anomalías definidas en el KG.

Contribuciones Clave

• Construcción Automatizada de Prompts: El artículo introduce un método para reemplazar la ingeniería de prompts manual con un sistema automatizado impulsado por un Grafo de Conocimiento, capaz de generar un "enorme número" de prompts de texto plausibles.
• Ontología Específica del Dominio: El desarrollo de una ontología formal que captura la terminología específica del dominio, las clases de productos y las complejas relaciones y restricciones que gobiernan las anomalías.
• Generación Consciente de Restricciones: La capacidad de imponer restricciones lógicas (por ejemplo, reglas de coocurrencia, conflictos de atributos) durante la fase de generación de prompts, asegurando que los prompts de texto resultantes sean física y lógicamente consistentes con el dominio objetivo.
• Integración con Modelos Fundacionales: Un flujo de trabajo que conecta el conocimiento estructurado (KG) con modelos de difusión modernos, permitiendo la generación de anomalías para objetos de la misma clase o el aumento de objetos existentes.

Resultados y Reivindicaciones

El artículo se centra principalmente en el diseño arquitectónico y la construcción del componente del Grafo de Conocimiento, más que en presentar resultados experimentales cuantitativos extensos sobre métricas de calidad de generación de imágenes. Los autores afirman que su enfoque:

• Reduce la dependencia de los aumentos de imagen tradicionales y la ingeniería de prompts manual.
• Produce "prompts precisos y contextualmente relevantes" que reflejan las características únicas de cada tipo de defecto.
• Permite la generación de imágenes significativas respetando las restricciones de anomalía (por ejemplo, coocurrencias de defectos válidas).
• Proporciona un flujo de trabajo extensible que puede integrarse con modelos generativos de texto a imagen existentes para mejorar la calidad del contenido generado para tareas de detección de anomalías.

Significancia

La significancia de este trabajo radica en su cambio del aumento basado en datos hacia la generación basada en el conocimiento. Al codificar el conocimiento experto del dominio en un Grafo de Conocimiento, el enfoque aborda las limitaciones de la creación manual de prompts y la falta de comprensión semántica en las técnicas de aumento estándar. Los autores postulan que este método conduce a conjuntos de datos más equilibrados y a un entrenamiento más efectivo para los modelos de detección de anomalías, asegurando que las anomalías generadas no solo sean visualmente plausibles, sino también semántica y lógicamente consistentes con el dominio industrial o de producto específico.