Unification of Closed-Open Industrial Detection Scenarios: New Large-Scale Benchmarks,Challenges and Baselines

Resumen Técnico: Unificación de Escenarios de Detección Industrial de Conjunto Cerrado-Abierto

Planteamiento del Problema
A pesar del notable éxito de los Modelos Visual-Lingüísticos de Gran Escala (LVLM) en tareas visuales naturales, su aplicación a la detección de defectos industriales enfrenta dos limitaciones fundamentales. Primero, existe una escasez de conjuntos de datos industriales a gran escala que cubran diversas categorías de defectos a través de múltiples dominios; los conjuntos de datos existentes suelen estar limitados a campos únicos (p. ej., PCBs o textiles) y operan en escenarios de conjunto cerrado, lo que limita la generalización a entornos abiertos. Segundo, los LVLM actuales dependen en gran medida de prompts manuales (puntos, cajas, máscaras) para segmentar objetos. En escenas industriales complejas caracterizadas por ruido y defectos sutiles, estos inputs manuales introducen ruido subjetivo y carecen de la interacción texto-visual necesaria para una comprensión de grano fino. Además, la simple transferencia de conocimiento de escenas naturales a dominios industriales no logra abordar los cambios significativos en la distribución de características.

Metodología
Para abordar estos desafíos, los autores proponen un marco unificado que comprende un nuevo benchmark y una novedosa arquitectura de red.

1. Benchmark MMIOC-1M:
   Los autores presentan el Large-Scale Multi-Modal Industrial Open-Closed benchmark (MMIOC-1M). Este conjunto de datos contiene más de un millón de muestras derivadas de 31 campos diferentes de defectos industriales. Está estructurado jerárquicamente con 14 supercategorías, 29 escenas industriales y 351 subcategorías de defectos. A diferencia de los conjuntos de datos anteriores, MMIOC-1M soporta tanto tareas de detección de vocabulario abierto como de conjunto cerrado. La construcción implicó un proceso de tres etapas: definición de atributos de defectos mediante el cribado de expertos y recuperación semántica de GPT-4V, cribado y calibración de imágenes mediante métodos de anotación adversarial (GroundingDino y YOLOv8) combinados con verificación de expertos, y la división de subconjuntos abiertos-cerrados basada en la similitud semántica en espacios de embedding.

2. RTVPNet (Refined Text-Visual Prompt Network):
   Los autores proponen RTVPNet, una red diseñada para mejorar las capacidades de los LVLM en escenarios industriales a través de tres innovaciones clave:

   • Proyección de Dominio Asistida por Expertos: Para cerrar la brecha entre los modelos de visión generales y los dominios industriales, la red emplea una arquitectura de dos vías. Un modelo experto pre-entrenado (p. ej., C2F) proporciona supervisión a un backbone Mobile-SAM a través de un módulo de proyección consciente del dominio. Esto implica el enmascaramiento y la reconstrucción de características para inyectar conocimiento industrial, con el modelo experto actualizándose dinámicamente durante el entrenamiento para asegurar una adaptación continua.
   • Muestreo Disperso Basado en Energía (Prompts Visuales Refinados): Para eliminar la necesidad de prompts manuales y reducir el ruido de fondo, la red genera prompts visuales automáticamente. Calcula una puntuación de incertidumbre para cada píxel basándose en una función de energía derivada de características de segmentación de grano grueso. Una estrategia de muestreo disperso selecciona entonces píxeles de alta frecuencia (aquellos con valores superiores a la media en parches locales) para formar prompts visuales refinados, centrándose en los contornos de los objetos mientras se suprimen los fondos irrelevantes.
   • Interacción Bidireccional Texto-Visual: La red implementa un mecanismo de interacción mutua. En la dirección Texto-a-Visual, los embeddings de texto guían las características visuales multiescala mediante un mecanismo de atención Sigmoid para enfocarse en las ubicaciones de los defectos. En la dirección Visual-a-Texto, las puntuaciones de similitud a nivel de píxel entre las características de la imagen y el texto se utilizan para mejorar los embeddings de texto con detalles espaciales, compensando la falta de información visual en las descripciones de texto simples.

Contribuciones Clave

• Benchmark MMIOC-1M: El primer benchmark a gran escala y unificado para la detección industrial de conjunto abierto-cerrado, ofreciendo una cobertura multi-dominio integral (más de 1M de muestras, 351 subcategorías) y protocolos de evaluación estandarizados para visual grounding, detección de objetos y preguntas visuales (VQA).
• Línea Base RTVPNet: Una arquitectura novedosa adaptada para la detección industrial que integra proyección de dominio asistida por expertos, generación automática de prompts visuales refinados e interacción cruzada bidireccional texto-visual.
• Evaluación Exhaustiva: El establecimiento de protocolos estandarizados y experimentos extensos que demuestran la dificultad del benchmark y la eficacia del método propuesto a través de los datasets MMIOC-1M, LVIS y COCO.

Resultados Experimentales
Experimentos extensos demuestran que RTVPNet logra un rendimiento de vanguardia manteniendo la eficiencia computacional:

• Rendimiento en Escenas Abiertas: En MMIOC-1M, RTVPNet-S alcanza un AP50 de 26.7%, superando a YOLO-World-S por un 2.7% y a DOSOD-S por un 3.4%, con significativamente menos parámetros (76M) y GFLOPs (17). También supera a LVLMs más grandes (p. ej., Qwen2.5-VL 3B) a pesar de tener aproximadamente 1/40 parte de su conteo de parámetros.
• Rendimiento en Escenas Cerradas: En las escenas cerradas de MMIOC-1M, RTVPNet-L alcanza un AP de 41.3%, superando a los modelos expertos tradicionales (como YOLOv12L) en aproximadamente un 15% y igualando o superando a los grandes LVLMs como Qwen3-VL 4B.
• Generalización: En el dataset LVIS, RTVPNet mejora el AP en un 3.2% respecto a YOLO-World, validando su capacidad para generalizar a escenarios de vocabulario abierto. En COCO, mejora el AP multiescala en aproximadamente un 1% respecto a la línea base YOLOv11.
• Análisis Cualitativo: Las visualizaciones t-SNE muestran que RTVPNet produce clusters de características más compactos y consistentes para categorías invisibles en comparación con otros métodos. Las visualizaciones de los resultados de detección confirman una robustez superior contra el ruido de fondo y las variaciones de escala tanto en escenarios abiertos como cerrados.

Significancia
El artículo afirma que MMIOC-1M llena un vacío crítico en la investigación de LVLM industrial al proporcionar el primer benchmark unificado para escenarios abiertos-cerrados, catalizando el desarrollo de modelos industriales a gran escala. El RTVPNet propuesto ofrece una solución práctica a los problemas de desplazamiento de dominio y subjetividad de los prompts, permitiendo que los LVLM se adapten rápidamente a los entornos industriales con alta precisión y bajo costo computacional. El trabajo sugiere que la combinación de transferencia de dominio guiada por expertos e interacción texto-visual refinada es esencial para superar los desafíos de similitud inter-clase, diferencias intra-clase y distribuciones de cola larga inherentes a la detección de defectos industriales.