💻 computer science

RobustDefect-LLM: Explainable and Robustness-Aware Industrial Surface Defect Classification with Decision Support and AI-Assisted Reporting

Este artículo presenta RobustDefect-LLM, un marco integrado de inspección de defectos superficiales industriales que combina la clasificación de alta precisión de MobileNetV3-Large con el enrutamiento de revisión humana basado en la confianza y la elaboración de informes asistida por IA para ofrecer un flujo de trabajo de control de calidad robusto, explicable y trazable, al tiempo que reconoce explícitamente su sensibilidad de rendimiento ante la degradación severa de la imagen.

Autores originales: Nazlıcan Düşünmez, Halûk Gümüşkaya

Publicado 2026-08-11

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Nazlıcan Düşünmez, Halûk Gümüşkaya

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde las fábricas son como cocinas gigantes y bulliciosas, y los chefs (robots) intentan cocinar platos perfectos. Pero a veces, la comida se quema un poco o aparece una mancha en el plato. En el mundo real de la fabricación, estos "manchones" se llaman defectos superficiales, y pueden arruinar la fiabilidad de un producto. Durante mucho tiempo, los humanos tuvieron que mirar fijamente cada uno de los artículos, entrecerrando los ojos para encontrar estas diminutas fallas. Era agotador, y los humanos se cansan, lo que significa que ocurren errores. Entra la Inteligencia Artificial (IA), específicamente una rama llamada "Aprendizaje Profundo" (Deep Learning). Piensa en el Aprendizaje Profundo como un estudiante con superpoderes que no solo memoriza imágenes de defectos, sino que realmente aprende cómo se ve un rasguño o una abolladura estudiando miles de ejemplos. Sin embargo, hay un inconveniente: estos estudiantes de IA suelen ser "cajas negras". Te dan una respuesta ("¡Esto es un rasguño!"), pero no pueden explicar por qué creen eso, o qué tan seguros están. En una fábrica, no puedes simplemente confiar en una caja negra; necesitas saber si la IA está segura o si solo está adivinando. Ahí es donde entra la nueva idea de la "IA Explicable": es como pedirle al estudiante que señale exactamente dónde vio el rasguño y diga: "Estoy 90% seguro porque veo esta línea aquí".

Este artículo presenta un nuevo sistema llamado RobustDefect-LLM, que es como un equipo de control de calidad completo y de alta tecnología para las fábricas. En lugar de un solo robot mirando un producto, este sistema combina un clasificador de IA de vista aguda, una "lupa" que muestra a los humanos exactamente hacia dónde está mirando la IA, un árbitro inteligente que decide cuándo confiar en la IA y cuándo llamar a un experto humano, e incluso un robot escritor que redacta el informe final. Los investigadores probaron este sistema en un conjunto de datos de 1,799 imágenes de superficies de acero con seis tipos diferentes de defectos (como rasguños, parches y hoyos). No solo construyeron un modelo; probaron cuatro tipos diferentes de "cerebros" de IA (ResNet50, EfficientNet-B0, DenseNet121 y MobileNetV3-Large) para ver cuál era el mejor para detectar estas fallas.

Los resultados fueron bastante impresionantes para el "mejor" candidato, un modelo llamado MobileNetV3-Large. En un conjunto de imágenes de prueba limpias y perfectas, este modelo acertó el 99.26% de las veces. ¡Eso es increíblemente preciso! Fue tan bueno que quedó estadísticamente empatado con otro fuerte contendiente, DenseNet121, lo que significa que no hubo una gran diferencia entre ellos, pero se eligió a MobileNetV3-Large porque era más rápido y ligero, lo que facilita su ejecución en computadoras de fábrica. El sistema también demostró que podía "ver" lo que estaba mirando. Utilizando una técnica llamada Grad-CAM, el sistema generó mapas de calor (como una vista de cámara térmica) que resaltaban los puntos exactos en el acero donde estaba el defecto, proporcionando a los operadores humanos una prueba visual de la decisión de la IA.

Pero esta es la parte más importante de la historia: el sistema sabe cuándo no sabe. Los investigadores programaron una regla de "árbitro inteligente". Si la IA no tiene mucha confianza (específicamente, si su puntuación de confianza es inferior a 0.90 o si está confundida entre dos defectos similares), el sistema se detiene automáticamente y dice: "REVISIÓN HUMANA". En sus pruebas, esta regla fue muy estricta. Envió el 87.78% de las imágenes a un humano para su revisión, permitiendo que solo el 12.22% de las decisiones ocurrieran automáticamente. ¿Por qué tan estricto? Porque el sistema está diseñado para ser seguro. Cuando examinaron los dos errores que cometió la IA, ¡ambos fueron detectados por esta regla de "Revisión Humana"! Esto significa que el sistema evitó con éxito cualquier decisión automática errónea durante la prueba.

Sin embargo, el artículo es muy honesto sobre sus límites. Cuando los investigadores simularon condiciones malas —como hacer que las imágenes fueran borrosas, oscuras o con ruido— el rendimiento de la IA cayó significamente. Con niveles leves de "maldad", la precisión bajó al 87.78%, y con niveles severos, cayó por debajo del 40%. Esto nos dice que, si bien el sistema es excelente en un laboratorio controlado, aún no está listo para manejar la realidad desordenada e impredecible de un piso de fábrica real sin más entrenamiento. El sistema tampoco sabe qué es una pieza de acero "perfecta"; solo sabe qué son los seis defectos específicos, por lo que no puede decirte si una pieza es perfecta, solo si tiene una falla específica.

Para cerrar todo, el equipo construyó una aplicación móvil completa que permite a los trabajadores de la fábrica tomar una foto de una lámina de acero, ver la suposición de la IA, mirar el "mapa de calor" para ver hacia dónde mira la IA y recibir un informe escrito generado por un Modelo de Lenguaje Extenso (LLM). Este informe es "controlado", lo que significa que la IA no puede inventar cosas; tiene que ceñirse a los hechos que encontró la computadora. Todo el proceso, desde tomar la foto hasta obtener un informe, está diseñado para ser una asociación entre la máquina y el humano, asegurando que la decisión final sea siempre segura, trazable y explicada. Los autores sugieren que, si bien esto es un gran paso adelante para hacer que la IA sea confiable en las fábricas, aún necesita más pruebas en condiciones del mundo real antes de que pueda operar una línea de producción por sí sola.

Resumen Técnico de RobustDefect-LLM

Planteamiento del Problema
La inspección de superficies industriales es crítica para la fiabilidad de la fabricación, pero sigue siendo vulnerable a la fatiga humana, la subjetividad y las variaciones ambientales. Aunque el aprendizaje profundo ha mejorado la precisión de la clasificación de defectos, muchas Redes Neuronales Convolucionales (CNN) de alto rendimiento operan como "cajas negras", careciendo de la explicabilidad, la conciencia de la incertidumbre y la trazabilidad requeridas para un despliegue práctico. Además, las soluciones existentes suelen centrarse únicamente en la precisión de los benchmarks sin integrar la predicción, la explicación visual, el soporte de decisiones consciente de la confianza y la generación de informes estructurados en un flujo de trabajo unificado y desplegable. El artículo aborda la brecha en la creación de un sistema de inspección industrial confiable de extremo a extremo que equilibre un alto rendimiento predictivo con la transparencia orientada al operador y la toma de decisiones asistida por IA controlada.

Metodología
El marco propuesto, RobustDefect-LLM, integra cuatro funciones principales: percepción, explicabilidad, soporte de decisiones e informes.

Percepción y Evaluación del Modelo: El sistema evalúa cuatro arquitecturas de CNN basadas en aprendizaje por transferencia (ResNet50, EfficientNet-B0, DenseNet121 y MobileNetV3-Large) en el conjunto de datos NEU-DET, que contiene 1,799 imágenes en escala de grises a través de seis clases de defectos de acero (grietas, inclusiones, parches, superficie picada, escama enrollada y rayaduras). Todos los modelos fueron ajustados utilizando divisiones idénticas de entrenamiento/validación/prueba (70%/15%/15%) y normalización de ImageNet.
Explicabilidad: Se emplea Grad-CAM para generar mapas de calor que resaltan las regiones de la imagen que influyen en las predicciones, proporcionando evidencia visual a los operadores sin pretender una prueba causal.
Soporte de Decisiones Consciente de la Confianza: Un motor basado en reglas procesa la clase predicha, la puntuación de confianza máxima ( $c$ ) y el margen de confianza de los dos mejores resultados ( $\Delta$ ). Una política conservadora redirige las predicciones a REVISIÓN HUMANA si $c < 0.90$ o $\Delta < 0.10$ . Solo las predicciones que cumplen con ambos umbrales proceden a las acciones automatizadas basadas en la severidad (ACEPTAR, REPROCESAR o RECHAZAR). La severidad del defecto no es predicha por el modelo, sino asignada mediante un mapeo configurable basado en la clase del defecto.
Informes Asistidos por IA Controlados: Un Modelo de Lenguaje Grande (Llama-3.1-8B-Instant vía API de Groq) genera informes en lenguaje natural a partir de datos de inspección estructurados. Para garantizar la auditabilidad, el sistema valida los informes generados contra la entrada estructurada; si se detectan inconsistencias, se utiliza un informe de respaldo determinista basado en reglas.
Arquitectura del Sistema: El marco está implementado como un prototipo de pila completa con un backend de FastAPI, MongoDB para almacenamiento persistente y una aplicación móvil React Native para la interacción del operador.

Resultados Clave

Rendimiento de Clasificación: MobileNetV3-Large logró la mayor precisión de prueba (99.26%) y la mayor puntuación F1 macro (0.9926) en el conjunto de prueba reservado, con un intervalo de confianza de bootstrap del 95% de [0.9815, 1.0000]. Una prueba exacta de McNemar no encontró una diferencia estadísticamente significativa entre MobileNetV3-Large y DenseNet121 (p = 1.000).
Eficiencia: MobileNetV3-Large demostró una eficiencia computacional superior, requiriendo solo 0.467 GFLOPs y logrando un rendimiento de inferencia de CPU de 16.66 FPS (0.060 s/imagen).
Robustez: Bajo degradación sintética de la imagen (desenfoque gaussiano, variación de brillo, ruido), la precisión cayó al 87.78% con intensidad leve y por debajo del 40% con intensidades severas, lo que indica sensibilidad a la degradación significativa de la calidad de la imagen.
Soporte de Decisiones: Los umbrales de confianza conservadores resultaron en una cobertura automática del 12.22% y una tasa de REVISIÓN HUMANA del 87.78%. Entre los 33 casos automáticamente elegibles, el sistema logró una precisión selectiva observada del 100% (IC del 95%: 89.43%–100.00%), redirigiendo con éxito tanto los errores de clasificación observados a la revisión humana.
Informes: Bajo condiciones nominales, el 100% de los informes generados por el LLM pasaron las comprobaciones de consistencia deterministas con una latencia media de 1.66 s.

Significancia y Reivindicaciones
El artículo afirma que su principal contribución no es la propuesta de un clasificador novedoso, sino la integración de múltiples componentes complementarios en un flujo de trabajo industrial unificado, explicable y desplegable. La significancia radica en:

Integración a Nivel de Sistema: Combinar aprendizaje por transferencia eficiente, visualización Grad-CAM, enrutamiento consciente de la confianza, lógica de decisión determinista e informes controlados por LLM en un único sistema habilitado para dispositivos móviles.
Confiabilidad sobre Precisión Pura: Priorizar un flujo de trabajo donde las predicciones inciertas se redirigen explícitamente a los operadores humanos, asegurando que la alta precisión de los benchmarks no se produzca a expensas de la seguridad operativa o la auditabilidad.
Viabilidad Práctica: Demostrar que tal marco puede construirse utilizando herramientas de código abierto estándar (FastAPI, React Native, PyTorch) y conjuntos de datos públicos, proporcionando un plano para una IA trazable y explicable en el control de calidad.

Limitaciones y Direcciones Futuras
Los autores mantienen una postura modesta respecto a los resultados actuales, señalando que:

El conjunto de datos (NEU-DET) es relativamente pequeño y carece de una clase de "sin defecto", lo que limita la generalización a la producción libre de defectos.
La robustez se evalúa actualmente solo bajo degradación sintética controlada, no en condiciones reales de fábrica.
El prototipo actual es una demostración local que aún no está optimizada para el despliegue concurrente a gran escala o la integración en el borde (edge).
El trabajo futuro debe centrarse en expandir los conjuntos de datos, añadir clases sin defectos, calibrar los umbrales de confianza para perfiles de riesgo industrial específicos y validar el sistema bajo condiciones de producción real.

Resumen Técnico de RobustDefect-LLM

Más como este