⚡ ingeniería eléctrica

Thermal-history and morphology-conditioned multimodal fusion for robotic MAG weld-quality classification

Los autores proponen HMCF-Net, una red de fusión multimodal que mejora la precisión de la clasificación de la calidad de la soldadura MAG robótica al condicionar conjuntamente las características visuales, eléctricas y acústicas sobre el historial térmico calculado y descriptores explícitos de la geometría del baño, logrando una precisión del 94,72 % sin requerir mediciones directas de temperatura ni ventanas de observación prolongadas.

Autores originales: Bin Zhong, Kanghong Zhu, Runquan Xiao, Yiyang Zhao, Yingcai Wan, Huabin Chen

Publicado 2026-10-21

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Bin Zhong, Kanghong Zhu, Runquan Xiao, Yiyang Zhao, Yingcai Wan, Huabin Chen

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la industria pesada, la soldadura robótica es una piedra angular de la fabricación moderna, uniendo placas de acero para construir desde barcos hasta rascacielos. Para que estas máquinas funcionen de manera fiable, deben saber instantáneamente si una soldadura se está formando correctamente o si se está gestando un defecto. Una soldadura perfecta requiere que el metal fundido fluya de la manera adecuada, fusionando las piezas sin quemar un agujero a través de ellas o dejando una unión débil e incompleta. Tradicionalmente, los robots dependen de cámaras y micrófonos para "ver" y "escuchar" el arco de soldadura, pero estos sensores solo capturan una fracción de segundo del proceso. Pierden la historia de lo que sucedió justo antes de ese momento. Una soldadura no es solo una instantánea; es el resultado de la acumulación de calor a lo largo del tiempo, y sin conocer la historia de ese calor, un robot podría malinterpretar un cambio repentino en la apariencia del metal como un defecto cuando en realidad es una parte normal del proceso.

Investigadores de la Universidad Jiao Tong de Shanghái y del Grupo Xiamen CCRE han desarrollado una nueva forma de ayudar a los robots a comprender esta historia completa. Crearon un sistema que combina los datos sensoriales inmediatos del robot con un historial calculado de la entrada de calor y una medición precisa de la forma del metal fundido. Al alimentar esta información combinada en un modelo computacional inteligente, lograron un salto significativo en la precisión al clasificar la calidad de las soldaduras robóticas. El sistema no necesita sensores de temperatura costosos ni tiempos de observación más largos; en su lugar, utiliza los datos de potencia que el robot ya tiene disponibles para reconstruir el historial térmico y lo combina con una descripción geométrica clara del baño de fusión.

El desafío que abordaron los investigadores fue que la cámara de un robot solo ve los últimos cientos de milisegundos de una soldadura. En esa breve ventana, el metal fundido puede verse extraño debido a un cambio en el arco, pero el robot no puede distinguir si ese cambio se debe a un nuevo problema o simplemente al efecto persistente del calor de hace segundos. Para resolver esto, el equipo construyó un modelo digital que calcula cómo se propaga el calor a través de las placas de metal basándose en la potencia eléctrica que el robot ha estado utilizando desde el inicio mismo de la soldadura. Este cálculo actúa como una memoria, diciéndole al sistema cuánto calor se ha acumulado en el metal antes del momento actual. Simultáneamente, el sistema utiliza una herramienta de visión por computadora para dibujar un contorno preciso del baño de fusión en cada fotograma de la cámara, midiendo su tamaño, posición y qué tan extendido está el metal.

Estas dos piezas de información —el historial de calor calculado y la forma explícita del baño— se introducen luego en una red neuronal junto con el video, el sonido y las señales eléctricas originales. La red utiliza este contexto adicional para actualizar su comprensión de la situación actual. Es como darle a un conductor no solo una vista de la carretera que tiene por delante, sino también un mapa del terreno por el que acaba de conducir y una medición clara de la posición actual del vehículo. Esto permite al sistema distinguir entre una fluctuación temporal y un defecto real. Los investigadores probaron este enfoque en miles de ventanas de tiempo cortas de trabajos de soldadura reales, cubriendo cuatro resultados diferentes: una soldadura perfecta, una soldadura que no penetró lo suficiente, una soldadura que quemó un agujero a través del metal y una soldadura que se desvió de su curso.

Los resultados mostraron que añadir este contexto marcó una diferencia mensurable. El nuevo sistema identificó correctamente la calidad de la soldadura en casi el 95 por ciento de los casos de prueba, superando a otros métodos avanzados que dependían únicamente de los datos sensoriales inmediatos. Específicamente, la combinación del historial de calor y la descripción de la forma ayudó al sistema a reconocer la soldadura normal y la penetración incompleta de manera mucho más fiable. Si bien el sistema todavía encontró que algunos defectos de perforación (burn-through) eran más difíciles de identificar que otros, la mejora general fue clara. El estudio demostró que, al decirle explícitamente a la computadora sobre el calor que se acumuló antes de que la cámara comenzara a observar y la geometría exacta del baño que está viendo, el robot puede tomar decisiones mucho mejores sobre la calidad de su trabajo.

Este enfoque ofrece un camino práctico hacia adelante para la automatización industrial. Demuestra que un robot no necesita estar equipado con hardware más complejo o costoso para ver mejor; simplemente necesita que se le enseñe a mirar los datos que ya tiene de una manera más inteligente. Al calcular el pasado térmico y medir el presente geométrico, el sistema cierra la brecha entre una observación fugaz y la realidad completa del proceso de soldadura. Los investigadores descubrieron que usar tanto el historial como la forma juntos era más efectivo que usar cualquiera de los dos por separado, lo que sugiere que estos dos tipos de información se complementan perfectamente. Este método permite un control de calidad de alta velocidad y alta precisión sin ralentizar la línea de producción ni requerir mediciones de temperatura directa que son difíciles de obtener en un entorno industrial hostil.

El estudio concluye que integrar estos historiales calculados y formas explícitas en el proceso de toma de decisiones del robot es una herramienta poderosa para mejorar la calidad de la soldadura. El sistema clasificó con éxito las soldaduras en cuatro categorías con alta confianza, demostrando que el robot ahora puede distinguir entre un proceso de soldadura normal y varios tipos de defectos con mayor fiabilidad. Aunque todavía hay margen para mejorar la detección de defectos específicos como la perforación, el hallazgo central es sólido: un robot que comprende el historial térmico y la forma precisa del baño de fusión es un soldador más competente. Este trabajo proporciona un plano claro de cómo los futuros sistemas robóticos pueden ser hechos más conscientes de sus propias acciones y de las consecuencias físicas de las mismas, asegurando estructuras metálicas más fuertes y seguras.

Resumen Técnico: Fusión multimodal condicionada por la historia térmica y la morfología para la clasificación de la calidad de la soldadura MAG robótica

Planteamiento del problema
En la soldadura MAG (Metal Active Gas) robótica, el reconocimiento fiable de la calidad durante el proceso requiere la interpretación de las observaciones locales de los sensores dentro del contexto de las condiciones bajo las cuales se forma la soldadura. Si bien la detección multimodal (visual, eléctrica, acústica) captura la dinámica local del proceso, las ventanas de observación cortas (por ejemplo, 200 ms) no logran describir explícitamente la respuesta térmica acumulada que precede al momento actual. Además, los modelos de fusión existentes suelen depender únicamente de características aprendidas de las señales observadas, omitiendo descriptores geométricos explícitos del baño de fusión o la historia térmica calculada derivada de la potencia de entrada. Esta limitación dificulta la clasificación precisa de estados de calidad complejos, tales como distinguir entre la penetración incompleta y el desgarro por perforación (burn-through), los cuales dependen de la separación de la junta, la geometría de la ranura y la acumulación térmica.

Metodología
Los autores proponen HMCF-Net, una red de fusión multimodal condicionada por la historia térmica y la morfología, diseñada para la clasificación de la calidad de la soldadura en cuatro clases (normal, penetración incompleta, desgarro por perforación y desviación de la soldadura). La arquitectura integra tres flujos de información distintos:

Codificación de Observación Multimodal:
- Visual: Una columna vertebral (backbone) compartida MobileNetV2 extrae características visuales globales y locales de cada fotograma de la cámara dentro de una ventana de 200 ms. Las características locales se derivan de regiones de interés (ROI) definidas por máscaras del Segment Anything Model 3 (SAM 3).
- Señal: Las señales eléctricas (corriente/voltaje) y el sonido del arco se codifican mediante CNNs 1D y 2D causales, respectivamente.
- Fusión: Un mecanismo de atención cruzada con restricción temporal permite que los tokens visuales interactúen con los tokens de señal disponibles hasta ese fotograma específico. La secuencia se agrega mediante una Unidad Recurrente de Puerta (GRU) para formar un vector de observación de ventana de 96 dimensiones ( $z$ ).
Descriptor de Historia Térmica Nominal ( $H$ ):
- En lugar de depender de la medición directa de la temperatura, el modelo calcula un descriptor de seis dimensiones basado en un modelo analítico de placa finita variante en el tiempo, impulsado por la potencia registrada (corriente y voltaje).
- Utilizando un modelo de fuente de calor de doble elipsoide, el sistema computa el aumento de temperatura nominal desde el inicio del arco hasta el tiempo actual.
- Las seis características capturan la intensidad de la respuesta máxima, la dispersión transversal, la asimetría longitudinal, la relación traseros-superficie, la tasa de cambio y la entrada de energía acumulada.
Descriptor de Morfología del Baño de Fusión Explícito ( $g$ ):
- Un descriptor de ocho dimensiones se extrae directamente de las máscaras de SAM 3 de las mismas imágenes utilizadas para la codificación visual.
- Estas características adimensionales cuantifican el área del baño, la extensión de la caja delimitadora (bounding box), la posición del centroide, la ocupación y la dispersión espacial (varianza) dentro de un contexto de imagen fijo.
Mecanismo de Condicionamiento de la Junta:
- Los descriptores térmicos ( $H$ ) y morfológicos ( $g$ ) se integran (embedding) y se suman para formar un vector de condición conjunta ( $c$ ).
- Este vector de condición actualiza la representación de la observación multimodal ( $z$ ) mediante un mapeo residual condicionado. Se computa un residuo no lineal ( $\Delta z$ ) a partir de la condición conjunta y el estado de la observación, el cual se añade a la observación original a través de una conexión de derivación (bypass).
- La representación actualizada se pasa a un clasificador lineal para la predicción de la calidad.

Contribuciones Clave

Arquitectura de Fusión Novedosa: El artículo introduce un mecanismo para condicionar conjuntamente las observaciones multimodales sobre la historia térmica calculada y los descriptores geométricos explícitos, en lugar de tratar estos últimos como entradas separadas o depender únicamente de la dinámica temporal aprendida.
Características Explícitas vs. Aprendidas: El estudio demuestra el valor de combinar características visuales aprendidas (apariencia y contexto) con descriptores geométricos de definición fija (extensión, posición, dispersión) derivados de las mismas imágenes.
Contexto Térmico Calculado: El enfoque incorpora una historia térmica nominal impulsada por la física (derivada de la potencia de entrada y la geometría de la placa) para proporcionar contexto previo a la ventana de observación, eliminando la necesidad de sensores de temperatura directos o ventanas de cámara extendidas.
Condicionamiento Residual: El uso de una actualización residual con una derivación asegura que la representación multimodal original se preserve mientras es refinada por la historia del proceso y la geometría.

Resultados
El modelo fue evaluado en un conjunto de datos de 3 de registros de soldadura MAG robótica (26 de entrenamiento, 10 de validación), que comprenden 5,078 ventanas de validación.

Rendimiento: HMCF-Net alcanzó un 94.72% de precisión, un 93.04% de precisión equilibrada y un 93.46% de macro-F1.
Comparaciones: Superó a arquitecturas alternativas (CNN-LSTM, CNN-Transformer, Fusión de Atención Cruzada) y a un modelo emparejado que utiliza únicamente el codificador de observación (HMCF-Net solo de observación). Específicamente, el HMCF-Net completo superó al modelo alternativo más fuerte (Fusión de Atención Cruzada) por 2.52 puntos porcentuales en macro-F1.
Estudios de Ablación: Las ablaciones emparejadas confirmaron que ambos descriptores contribuyen de forma independiente y conjunta. La adición de la morfología explícita mejoró el macro-F1 en 1.27 puntos, y la adición de la historia térmica mejoró el macro-F1 en 1.07 puntos respecto a la línea base de solo observación. Su uso conjunto produjo el mayor rendimiento, mejorando el macro-F1 en 1.69 puntos porcentuales sobre el modelo sin ninguno de los dos descriptores.
Rendimiento por Clase: El modelo mostró ganancias significativas en el reconocimiento de soldadura normal y desviación de la soldadura. Sin embargo, el desgarro por perforación (burn-through) siguió siendo la clase más desafiante (82.43% de recall), aunque el condicionamiento conjunto redujo el número total de errores en comparación con las variantes de ablación.

Significado y Reivindicaciones
El artículo sostiene que el condicionamiento conjunto de las observaciones multimodales sobre la historia térmica calculada y la geometría explícita del baño mejora el rendimiento general de la clasificación de la calidad de la soldadura. La importancia radica en lograr esto sin requerir la medición directa de la temperatura ni extender la ventana de observación de la cámara más allá de los 200 ms estándar. Los resultados sugieren que la integración de la historia del proceso acumulada y el contexto geométrico explícito con los datos de los sensores a corto plazo proporciona una representación más robusta para el reconocimiento de la calidad que depender únicamente de la dinámica temporal aprendida. Los autores señalan que, si bien este enfoque es efectivo, la discriminación del desgarro por perforación sigue siendo un objetivo específico para mejoras futuras, y que la transferibilidad del método a placas independientes y condiciones de junta más amplias requiere una evaluación adicional.

Más como este