💻 computer science

Advancing Metallic Surface Defect Detection via Anomaly-Guided Pretraining on a Large Industrial Dataset

Este artículo presenta AGSSP (Preentrenamiento Auto-supervisido Guiado por Anomalías), un nuevo marco de dos etapas que aprovecha un nuevo conjunto de datos industriales de 120.000 imágenes y priores de anomalías para superar las brechas de dominio y la auto-supervisión ineficaz, mejorando así significativamente el rendimiento en la detección de defectos en superficies metálicas en comparación con el preentrenamiento tradicional basado en ImageNet.

Autores originales: Chuni Liu, Hongjie Li, Jiaqi Du, Yangyang Hou, Qian Sun, Lei Jin, Ke Xu

Publicado 2026-05-27

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Chuni Liu, Hongjie Li, Jiaqi Du, Yangyang Hou, Qian Sun, Lei Jin, Ke Xu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás contratando a un guardia de seguridad para detectar arañazos diminutos en una superficie metálica brillante y compleja. Este es un trabajo difícil porque el metal tiene muchas protuberancias naturales, remolinos y reflejos que se parecen mucho a los arañazos.

El Problema: La formación en la "escuela equivocada"
Por lo general, para entrenar a una computadora para hacer esto, utilizamos un método llamado "preentrenamiento". Piensa en esto como enviar a la computadora a una escuela general antes de que comience su trabajo específico.

La vieja forma: La mayoría de las computadoras se entrenan en una biblioteca masiva de fotos cotidianas (como gatos, coches y paisajes). Esto es como enviar a tu guardia de seguridad a una escuela para guardaparques. Aprenden a detectar árboles y animales, pero cuando llegan a la fábrica de metal, se confunden. La "escuela" (ImageNet) no les enseñó cómo se ve un arañazo en el acero.
La alternativa fallida: Algunos investigadores intentaron entrenar a la computadora solo con fotos de fábrica sin etiquetas. Pero esto es como decirle al guardia: "Solo mira estas láminas de metal y descubre qué está mal". Sin un maestro que señale los arañazos, la computadora se distrae con las texturas brillantes y el ruido, fallando en aprender qué es un defecto real.

La Solución: El "Guía de Anomalías"
Los autores de este artículo crearon un nuevo método de entrenamiento llamado AGSSP (Preentrenamiento Auto-supervisido Guiado por Anomalías). Se dieron cuenta de que la computadora necesita una "chuleta" específica para saber dónde mirar.

Así es como funciona su campo de entrenamiento de dos pasos:

Paso 1: El maestro del "mapa de calor" (Preentrenamiento de la columna vertebral)
Primero, utilizaron una herramienta inteligente (llamada KeAD) para escanear miles de fotos de metal sin etiquetas. Esta herramienta no necesita que un humano etiquete cada arañazo. En su lugar, utiliza un truco de "pocos ejemplos": le muestras algunos ejemplos de cómo se ve un arañazo, y utiliza su conocimiento de lenguaje e imágenes para adivinar dónde podrían estar otros arañazos.

La metáfora: Imagina a un maestro dibujando un mapa de calor tenue y brillante sobre las fotos de metal. Los puntos rojos muestran dónde la computadora podría encontrar un defecto.
El entrenamiento: Luego entrenaron el "cerebro" de la computadora (la columna vertebral) para que centrara su atención en estos puntos rojos brillantes. Incluso si el mapa de calor no es perfecto, enseña a la computadora a dejar de ignorar los puntos extraños y comenzar a prestarles atención.

Paso 2: El entrenador de "cajas" (Preentrenamiento del detector)
Una vez que el cerebro está entrenado para mirar los lugares correctos, necesitan enseñarle a la computadora cómo dibujar una caja alrededor del defecto.

La metáfora: Utilizando los mismos mapas de calor del Paso 1, dibujaron automáticamente cajas delimitadoras alrededor de las áreas sospechosas. Le dijeron a la computadora: "Trata estas cajas como si fueran defectos reales".
El entrenamiento: La computadora practicó dibujando cajas alrededor de estos "pseudo-defectos". Esto asegura que cuando finalmente comience el trabajo real, ya sepa cómo enmarcar un defecto, no solo cómo buscarlo.

Los Resultados: Un guardia sobrealimentado
Los autores probaron esto en un conjunto de datos masivo de 120.000 imágenes industriales (el más grande de su tipo que pudieron encontrar).

El resultado: Cuando probaron a sus nuevos "graduados" en conjuntos de datos reales de defectos metálicos, aplastaron a la competencia.
Los números: En comparación con los antiguos modelos de "guardaparques" (entrenados en ImageNet), sus nuevos modelos mejoraron la precisión hasta en un 10% al 11%. En los escenarios más difíciles (donde hay muy pocos ejemplos para aprender), la mejora fue aún más dramática, duplicando a veces la tasa de éxito.
Versatilidad: Este método funcionó bien en diferentes tipos de metal (tuberías de acero, lingotes de fundición) e incluso en superficies no metálicas como telas, demostrando que la estrategia del "mapa de calor" es una llave universal para encontrar defectos.

En resumen
En lugar de adivinar cómo se ve un defecto o entrenar con el tipo de datos equivocado, este artículo le da a la computadora una guía inteligente y automatizada (el mapa de anomalías) que resalta los puntos problemáticos. Al enseñarle a la computadora a centrarse primero en estos puntos y luego a cómo encajarlos en cajas, crearon un detector de defectos mucho más agudo y fiable. También hicieron públicos todos sus datos y código para que otros puedan usar esta "chuleta" para construir mejores inspectores industriales.

Resumen Técnico: Avances en la Detección de Defectos en Superficies Metálicas Mediante Preentrenamiento Guiado por Anomalías

1. Declaración del Problema

La detección de defectos en superficies metálicas es crítica para el control de calidad industrial, pero enfrenta desafíos severos debido a la escasez de datos y la alta variabilidad. En escenarios del mundo real, como la producción de tuberías de acero, los defectos suelen constituir menos del 0,1 % de las imágenes diarias, lo que genera un desequilibrio de clases extremo y una recolección de datos costosa.

Las soluciones existentes enfrentan un "dilema crítico":

Preentrenamiento con Imágenes Naturales: Los modelos preentrenados en conjuntos de datos naturales a gran escala (por ejemplo, ImageNet, COCO) sufren una brecha de dominio significativa al aplicarse a imágenes industriales.
Aprendizaje Auto-supervisido (SSL) Ingenuo: Los métodos SSL estándar (aprendizaje contrastivo o reconstrucción) aplicados a datos industriales del dominio a menudo fallan. Los objetivos de aprendizaje existentes luchan por distinguir patrones de defectos sutiles y de bajo contraste del ruido de fondo complejo, las texturas y la iluminación variable. En consecuencia, simplemente ampliar los conjuntos de datos del dominio sin una guía específica produce resultados subóptimos, a veces inferiores a las líneas base de ImageNet.
Inicialización del Detector: La mayoría de los enfoques SSL solo preentrenan la columna vertebral del modelo, dejando la cabeza del detector (cuello y cabeza) inicializada aleatoriamente. Esta desalineación degrada el rendimiento, particularmente en escenarios con escasez de datos.

2. Metodología: Preentrenamiento Auto-supervisido Guiado por Anomalías (AGSSP)

Los autores proponen AGSSP, un paradigma de preentrenamiento novedoso de dos etapas que guía explícitamente el aprendizaje de representaciones utilizando priores de anomalías. El marco opera sobre un conjunto de datos industrial no etiquetado a gran escala (120.000 imágenes, 61 categorías) y consta de tres componentes principales:

A. Detección de Anomalías Mejorada con Conocimiento (KeAD)

Para generar las señales de supervisión necesarias (mapas de anomalías) sin etiquetas manuales, los autores desarrollaron KeAD, un método no supervisado basado en el modelo WinCLIP multimodal y de pocos ejemplos.

Ingeniería de Prompts: A diferencia de los prompts genéricos (por ejemplo, "Dañado"), KeAD utiliza descripciones de texto detalladas y específicas del defecto generadas mediante GPT-4o y refinadas por conocimiento experto (por ejemplo, "Una foto de {objeto} con defecto de tipo {tipo de defecto}, aparece como {características del defecto}").
Mejora Visual: Para mejorar la localización espacial, el método integra Cirugía Clip (atención V-V), que reemplaza los componentes de Consulta (Query) y Clave (Key) con componentes de Valor (Value) en el mecanismo de atención. Esto captura información espacial local de manera más eficiente que el enfoque de ventana deslizante de WinCLIP.
Salida: KeAD genera mapas de calor de anomalías a nivel de píxel (modos de cero ejemplos y pocos ejemplos) que indican regiones potenciales de defectos.

B. Etapa 1: Preentrenamiento de la Columna Vertebral Guiado por Mapa de Anomalías (AGBP)

Esta etapa destila el conocimiento de los mapas de anomalías generados en la columna vertebral del modelo.

Pérdida de Destilación: Los mapas de características de alto nivel de la columna vertebral se alinean con los mapas de anomalías utilizando una pérdida L2 (para arquitecturas ViT) o una pérdida de distancia coseno (para arquitecturas heterogéneas como ResNet).
Estrategia: Se retienen las características de bajo nivel de los modelos preentrenados estándar de ImageNet (ya que capturan patrones universales), mientras que las características de alto nivel se guían mediante los mapas de anomalías para centrarse en regiones salientes de defectos.
Integración: Esta pérdida de destilación ( $L_{distill}$ ) se combina con tareas de preentrenamiento existentes (por ejemplo, clasificación, MoCov3, SimMIM) mediante una suma ponderada ( $L_{total} = L_{distill} + \lambda L_{task}$ ).

C. Etapa 2: Preentrenamiento del Detector Guiado por Cajas de Anomalías (AGDP)

Esta etapa aborda la desalineación de la cabeza del detector preentrenándola utilizando pseudo-etiquetas derivadas de los mapas de anomalías.

Generación de Pseudo-Cajas: Se identifican imágenes con puntuaciones de anomalía altas. Una estrategia de umbralización dinámica (adaptada por categoría de objeto) convierte los mapas de anomalías en máscaras binarias. Se extraen los componentes conectados y se retienen las 10 cajas delimitador superiores con las puntuaciones de anomalía más altas como etiquetas de defecto pseudo.
Entrenamiento: El detector (cuello y cabeza) se entrena con estas pseudo-cajas mientras la columna vertebral permanece congelada. Esto permite que el modelo aprenda el concepto de "objetos anómalos" y alinea los componentes de detección con la tarea de nivel inferior.

3. Contribuciones Clave

Marco AGSSP: Un paradigma de preentrenamiento de dos etapas que utiliza mapas de anomalías para alinear holísticamente tanto la representación de la columna vertebral como la alineación de tareas del detector, mejorando significativamente el rendimiento en escenarios con escasez de datos.
Método KeAD: Una técnica de detección de anomalías mejorada con conocimiento que aprovecha descripciones detalladas de defectos y atención V-V para generar mapas de anomalías de alta calidad para preentrenamiento guiado, logrando un fuerte rendimiento en pocos ejemplos.
Conjunto de Datos a Gran Escala: La recopilación y publicación de un conjunto de datos industrial no etiquetado a gran escala que contiene 120.000 imágenes en 61 categorías, junto con dos conjuntos de datos pequeños de defectos de superficie metálica a nivel de píxel etiquetados (Billete de Fundición y Tubería de Acero) para validación.
Validación Exhaustiva: Experimentos extensos que demuestran que AGSSP supera a las líneas base de ImageNet y COCO en múltiples columnas vertebrales (CSPDarknet, ResNet, Swin-Base) y detectores (YOLOv8, Faster R-CNN, DINO).

4. Resultados Experimentales

Los autores evaluaron AGSSP en cuatro conjuntos de datos de defectos de superficies metálicas (Billete de Fundición, Tubería de Acero, GC10-Mini, GC10-DET) y un conjunto de datos no metálico (Defectos de Tela).

Ganancias de Rendimiento: AGSSP mejoró consistentemente las métricas de detección. En comparación con los modelos basados en ImageNet, logró una mejora de hasta un 10 % en mAP@0.5 y un 11,4 % en mAP@0.5:0.95.
Aprendizaje de Pocos Ejemplos: En el escenario extremo de pocos ejemplos (Billete de Fundición-Mini50, 50 muestras de entrenamiento), AGSSP produjo una ganancia masiva de +41,0 % en mAP@0.5 y +24,5 % en mAP@0.5:0.95 sobre la línea base SimMIM.
Generalización Transversal de Dominio: En el conjunto de datos no metálico de Defectos de Tela, AGSSP mejoró el rendimiento en un +3,2 % (mAP@0.5) y un +5,2 % (mAP@0.5:0.95), demostrando una generalización robusta.
Estudios de Ablación:
- KeAD: Las descripciones detalladas de defectos y la atención V-V mejoraron significativamente la precisión de la detección de anomalías (por ejemplo, 93,5 % de AUROC a nivel de imagen en Tubería de Acero).
- Estrategia de Preentrenamiento: Preentrenar tanto la columna vertebral como el detector (AGSSP) superó consistentemente a preentrenar solo la columna vertebral (AGBP) o a los métodos SSL estándar.
- Eficiencia: El método mantiene capacidades de inferencia en tiempo real (por ejemplo, YOLOv8s con AGSSP alcanza 94,5 FPS) mientras iguala o supera la precisión de modelos más grandes como YOLOv12s.

5. Significado y Afirmaciones

El artículo afirma que AGSSP resuelve la brecha de dominio y la desalineación de objetivos inherentes a las estrategias de preentrenamiento actuales para la detección de defectos industriales. Al guiar explícitamente al modelo para que se centre en regiones anómalas mediante un enfoque unificado guiado por anomalías, el método permite el aprendizaje de representaciones robustas y relevantes para el dominio sin necesidad de costosas anotaciones de cajas delimitadoras durante la fase de preentrenamiento.

Los autores enfatizan que, mientras que el SSL estándar del dominio a menudo falla debido a la incapacidad de distinguir defectos sutiles del ruido, su enfoque guiado por anomalías dirige con éxito la atención del modelo hacia características salientes de defectos. El marco se presenta como agnóstico a la arquitectura y capaz de integrarse con arquitecturas especializadas existentes, ofreciendo una solución escalable para el control de calidad industrial donde los datos son escasos y desequilibrados.

Disponibilidad: Todo el código, los modelos preentrenados y los conjuntos de datos están disponibles públicamente en la página del proyecto proporcionada en el artículo.