💻 ciencias de la computación

Revisiting RIAWELC: Radiograph-Level Auditing Reveals Data Leakage and Class-Selective Domain Shift in Weld Defect Classification

Este artículo expone una severa fuga de datos y un desplazamiento de dominio selectivo por clase en el conjunto de datos de defectos de soldadura RIAWELC causado por duplicados byte a byte y artefactos de adquisición, demostrando que la auditoría a nivel de radiografía es esencial para evitar que los modelos de aprendizaje profundo confundan la memorización y los artefactos con una generalización genuina.

Autores originales: beny beny, hendry hendry, ivanna k. timotius, budhi kristianto

Publicado 2026-10-29

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: beny beny, hendry hendry, ivanna k. timotius, budhi kristianto

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En las industrias pesadas que construyen nuestros puentes, barcos y oleoductos, la seguridad de una estructura a menudo depende de una sola soldadura. Si una diminuta grieta o una pequeña bolsa de aire se forma dentro de esa unión, puede provocar un fallo catastrófico. Para encontrar estos defectos ocultos sin tener que cortar el metal, los inspectores utilizan la radiografía, una técnica similar a una radiografía médica que hace pasar radiación a través de la soldadura para crear una imagen de su interior. Durante décadas, los seres humanos han estudiado estas imágenes, pero el proceso es lento y depende de la experiencia del inspector. En años recientes, los científicos han recurrido a la inteligencia artificial para automatizar esta tarea, entrenando programas informáticos para reconocer las firmas visuales de grietas, huecos y burbujas. La esperanza es que las máquinas puedan inspeccionar estas uniones críticas de forma más rápida y constante que las personas, asegurando que la infraestructura en la que confiamos permanezca segura.

Sin embargo, un nuevo estudio sugiere que la forma en que se han probado estos modelos de inteligencia artificial puede haber dado una falsa sensación de seguridad. Los investigadores descubrieron que un conjunto de datos popular utilizado para entrenar estos sistemas contenía un fallo oculto: las mismas imágenes de origen se utilizaron accidentalmente tanto para enseñar a la computadora como para probar sus conocimientos. Es como darle a un estudiante un examen de práctica y luego usar exactamente las mismas preguntas para el examen final; el estudiante obtendría una puntuación perfecta, no porque hubiera aprendido el material, sino porque simplemente memorizó las respuestas. Cuando los investigadores corrigieron este error asegurándose de que ninguna imagen de origen única apareciera tanto en el grupo de entrenamiento como en el de prueba, el rendimiento de la inteligencia artificial disminuyó significativamente. Esto reveló que las altas puntuaciones reportadas en estudios previos estaban midiendo la memorización en lugar de un verdadero entendimiento.

Los investigadores, liderados por un equipo de la Universidad Cristiana Satya Wacana y la Universidad Dinamica Bangsa, fueron más allá de solo corregir los datos. Auditaron el conjunto de datos corregido para ver si había otros problemas ocultos que las pruebas estándar podrían pasar por alto. Encontraron que, incluso después de eliminar las imágenes duplicadas, la inteligencia artificial tenía dificultades con un archivo de imagen específico y inusual que se veía diferente al resto. Este archivo, llamado "bam5", provenía de una fuente distinta o fue capturado bajo condiciones diferentes a las de las miles de otras imágenes del conjunto. Mientras que la computadora podía identificar fácilmente los defectos en las imágenes estándar, fallaba estrepitosamente al intentar detectar grietas en este archivo específico e inusual.

La investigación reveló que el problema no era la capacidad de aprendizaje de la computadora, sino la naturaleza de la imagen misma. El archivo "bam5" era notablemente más borroso que los demás, probablemente debido a una diferencia en cómo se tomó o procesó la radiografía. Este desenfoque no afectó a todos los tipos de defectos por igual. La inteligencia artificial siguió siendo perfecta para encontrar huecos grandes y burbujas redondeadas, incluso en la imagen borrosa. Sin embargo, su capacidad para detectar grietas finas y capilares colapsó, cayendo a una tasa de éxito de solo el 38 por ciento. El estudio mostró que el desenfoque ocultaba específicamente las líneas finas y delicadas que definen una grieta, mientras dejaba visibles los defectos más grandes y gruesos. Esta es una distinción crucial porque las grietas suelen ser el tipo de defecto más peligroso, y no detectarlas podría tener consecuencias graves.

Para demostrar que esto era un problema real y no un simple error fortuito, los investigadores probaron trece tipos diferentes de modelos de inteligencia artificial, que iban desde redes simples hasta sistemas modernos complejos. Todos ellos mostraron el mismo patrón: funcionaban bien en las imágenes estándar, pero fallaban al detectar grietas en la imagen borrosa "bam5". Los investigadores utilizaron una herramienta estadística para confirmar que la imagen borrosa era, de hecho, diferente del resto del grupo, identificando la falta de nitidez como el factor principal que confundió a las computadoras. Encontraron que la diferencia era tan distinta que un programa estadístico simple podía distinguir la imagen borrosa de las imágenes estándar con una precisión casi perfecta, casi siempre.

Este descubrimiento resalta una brecha crítica en la forma en que se evalúan actualmente los sistemas de seguridad industrial. El estudio demuestra que el simple hecho de probar una inteligencia artificial con una mezcla de imágenes no es suficiente para garantizar que funcionará en el mundo real. Si los datos de prueba incluyen imágenes que se ven ligeramente diferentes a las que la computadora fue entrenada —tal vez porque fueron tomadas con una máquina diferente o en un momento distinto—, el sistema podría fallar silenciosamente ante los defectos más peligrosos. Los investigadores argumentan que las pruebas futuras deben diseñarse para verificar estas diferencias sutiles, asegurando que la inteligencia artificial pueda manejar la realidad desordenada de la inspección industrial, no solo las imágenes limpias y uniformes que se encuentran en un conjunto de datos perfecto. Al detectar estas debilidades ocultas antes de su implementación, los ingenieros pueden construir sistemas que realmente mantengan nuestra infraestructura segura.

Resumen Técnico de "Revisiting RIAWELC: Radiograph-Level Auditing Reveals Data Leakage and Class-Selective Domain Shift in Weld Defect Classification"

Planteamiento del Problema

El artículo aborda dos fallos críticos en la evaluación de modelos de aprendizaje profundo para la clasificación de defectos de soldadura mediante radiografía utilizando el conjunto de datos público RIAWELC:

Fuga de Datos (Data Leakage) vía División a Nivel de Parche: El conjunto de datos original divide los datos a nivel de parche en lugar de a nivel de radiografía de origen. Dado que se extraen múltiples parches de la misma radiografía de origen, la división aleatoria suele colocar parches de una misma imagen de origen tanto en el conjunto de entrenamiento como en el de prueba. Esto permite que los modelos "memoricen" características específicas de la fuente (por ejemplo, ruido del sensor, geometría de la soldadura) en lugar de aprender características de defectos generalizables, lo que conduce a métricas de precisión infladas.
Desplazamiento de Dominio Oculto (Hidden Domain Shift): Incluso tras corregir la fuga de datos, la evaluación por parches puede enmascarar desplazamientos de dominio impulsados por la adquisición. Los autores identificaron una radiografía específica, bam5, que exhibía una nomenclatura anómala y características visuales (desenfoque). Bajo las métricas agregadas estándar, el impacto de este desplazamiento de dominio específico quedó oculto, pero causó una degradación severa y selectiva por clase que no fue detectada por estudios previos.

Metodología

Los autores proponen un protocolo de auditoría a nivel de radiografía integral y lo aplican al conjunto de datos RIAWELC mediante el siguiente flujo de trabajo:

Reconstrucción del Conjunto de Datos (RIAWELC-RG):
- Detección de Fugas: Los autores realizaron un hash MD5 en el conjunto de datos original, confirmando que los 2,443 archivos en el conjunto de prueba original eran duplicados idénticos en bytes de los archivos de entrenamiento.
- División a Nivel de Radiografía: Construyeron un nuevo conjunto de datos, RIAWELC-RG, agrupando los parches por su ID de radiografía de origen. Todos los parches de una sola radiografía de origen se asignaron exclusivamente a un conjunto (entrenamiento, validación o prueba), garantizando cero solapamiento entre subconjuntos.
- Deduplicación: El conjunto de datos resultante contiene 21,964 parches únicos de 29 radiografías de origen distintas.
Protocolo de Auditoría:
Para investigar la radiografía anómala bam5, los autores aplicaron un pipeline de diagnóstico de cuatro componentes:
- Desempeño por Radiografía ( $P_{perf}$ ): Analizando la precisión de la clasificación para cada radiografía de origen individualmente.
- Distancia de Embedding ( $P_{dist}$ ): Calculando la distancia de los parches de bam5 respecto al centroide del dominio RRT (las radiografías estándar) en el espacio de características de un modelo ConvNeXtV2-T totalmente ajustado (fine-tuned).
- Perfilado Estadístico ( $P_{stat}$ ): Computando estadísticas de intensidad y textura (por ejemplo, la varianza de la nitidez de Laplace) para identificar artefactos de adquisición.
- Clasificación de Dominio ( $P_{clf}$ ): Entrenando un clasificador de Bosque Aleatorio (Random Forest) para distinguir los parches de bam5 de los parches del dominio RRT utilizando características estadísticas.
Generalización y Validación:
- Evaluación de Arquitecturas Cruzadas: El estudio evaluó 13 arquitecturas diferentes (incluyendo CNNs como ConvNeXtV2, MobileNet y Transformers como ViT, DeiT y XCiT) para asegurar que los hallazgos no fueran específicos de una arquitectura.
- Validación Cruzada de 5 Pliegues (5-Fold): Se realizó una validación cruzada de 5 pliegues a nivel de radiografía para verificar que las brechas de desempeño observadas no fueran artefactos de una única partición de datos.

Resultados Clave

1. Confirmación de la Fuga de Datos
La auditoría MD5 confirmó que el conjunto de prueba original de RIAWELC era un 100% duplicado del conjunto de entrenamiento. En consecuencia, las altas precisiones reportadas anteriormente (por ejemplo, 93.33%) medían memorización en lugar de generalización.

2. Degradación Selectiva por Clase en bam5
Al ser evaluado con la división libre de fugas RIAWELC-RG, la inclusión de bam5 en el conjunto de prueba causó una caída significativa en la precisión general (por ejemplo, de 0.9663 a 0.9277 para ConvNeXtV2-T). Crucialmente, esta degradación fue selectiva por clase:

Grieta (Crack): La precisión cayó a 0.380.
Falta de Penetración (LoP) y Porosidad: La precisión se mantuvo en 1.000.
Sin Defecto: Se mantuvo una alta precisión.

3. Identificación del Mecanismo de Desplazamiento

Evidencia Visual/Estadística: Los parches de bam5 aparecieron uniformemente más borrosos que los parches RRT. El análisis estadístico reveló que bam5 tenía una varianza de nitidez de Laplace significativamente menor en comparación con el dominio RRT.
Separabilidad de Dominio: Un clasificador de dominio de Bosque Aleatorio entrenado con características estadísticas pudo distinguir los parches de bam5 de los RRT con una precisión casi perfecta (ROC-AUC = 0.9995).
Importancia de las Características: La varianza de la nitidez de Laplace fue la característica dominante (contribuyendo con aproximadamente el 50.8% de la importancia) para separar los dominios.
Mecanismo: Los autores concluyen que bam5 representa un desplazamiento de dominio causado por el desenfoque de adquisición (acquisition blur). Este desenfoque afecta desproporcionadamente a las grietas, que dependen de estructuras lineales finas de alta frecuencia, mientras que los defectos más gruesos como la falta de penetración y la porosidad siguen siendo reconocibles.

4. Generalización a través de Arquitecturas
La brecha de desempeño causada por bam5 fue consistente en las 13 arquitecturas evaluadas (CNN, híbridas y Transformers). Una prueba t pareada a través de los 13 modelos confirmó que la brecha era estadísticamente significativa ( $p < 10^{-6}$ ), demostrando que el efecto es una propiedad de los datos y no una limitación específica del modelo.

5. Hallazgos de la Validación Cruzada
En la validación cruzada de 5 pliegues, el patrón de "colapso de la clase grieta" reapareció en otras radiografías (por ejemplo, RRT-107R, RRT-29R), lo que sugiere que, si bien bam5 es un caso de estudio claro, los desplazamientos de dominio selectivos por clase debido a variaciones de adquisición son una vulnerabilidad más amplia en los conjuntos de datos basados en parches.

Significado y Reivindicaciones

El artículo sostiene que la evaluación a nivel de radiografía debe ir acompañada de una auditoría explícita de desplazamiento de dominio para evitar confundir los artefactos de adquisición con un fallo de generalización genuino.

Más allá de la Corrección de Fugas: Eliminar simplemente los parches duplicados (deduplicación) es insuficiente. Los investigadores deben auditar la presencia de radiografías de "dominio difícil" que introduzcan desplazos invisibles para las métricas agregadas.
Selectividad de Clase: Los desplazamientos de dominio en la radiografía industrial pueden no afectar a todas las clases por igual; pueden ser altamente específicos para tipos de defectos que dependen de detalles espaciales finos (como las grietas).
Replicabilidad del Protocolo: El protocolo de auditoría propuesto (que combina desempeño por radiografía, distancia de embedding, perfilado estadístico y clasificación de dominio) no es específico para RIAWELC ni para la inspección de soldaduras. Puede aplicarse a cualquier conjunto de datos de NDT (Ensayos No Destructivos) basado en parches donde se puedan recuperar los identificadores de la radiografía de origen.
Implicación Práctica: Los futuros conjuntos de datos deben proporcionar identificadores de radiografía de origen y metadatos de adquisición. Los informes de referencia (benchmarks) deben incluir el desempeño por radiografía para revelar errores concentrados en dominios específicos, en lugar de depender únicamente de la precisión agregada.

Los autores enfatizan que, sin estos rigurosos pasos de auditoría, los clasificadores entrenados en conjuntos de datos como RIAWELC corren el riesgo de fallar en despliegues industriales de seguridad crítica donde las condiciones de adquisición pueden variar.

Resumen Técnico de "Revisiting RIAWELC: Radiograph-Level Auditing Reveals Data Leakage and Class-Selective Domain Shift in Weld Defect Classification"

Planteamiento del Problema

Metodología

Resultados Clave

Significado y Reivindicaciones

Más como este