Resumen Técnico: Segmentación de Juntas Mejorada para Robots de Soldadura Automatizados en la Construcción mediante Aprendizaje por Transferencia

Planteamiento del Problema

La soldadura robótica autónoma en entornos de construcción enfrenta desafíos significativos debido a las características inherentes de las superficies metálicas, específicamente las fuertes reflexiones especulares, los brillos saturados y la iluminación dinámica. Estos factores frecuentemente oscurecen los límites de las finas juntas de soldadura, lo que conduce a predicciones fragmentadas, máscaras discontinuas y una extracción de la línea central inestable. Tales fallos de segmentación pueden propagarse hacia trayectorias robóticas poco fiables, causando fallos en la detección de puntos finales o una ejecución de soldadura insegura.

Aunque los modelos de segmentación existentes basados en aprendizaje profundo (por ejemplo, BiSeNetV2, DeepLabV3+) ofrecen un equilibrio entre precisión y eficiencia, a menudo tienen dificultades con la robustez ante reflejos y la continuidad geométrica en escenarios reales de construcción. Los enfoques previos han intentado resolver esto principalmente aumentando la complejidad arquitectónica (por ejemplo, añadiendo mecanismos de atención o codificadores más profundos) o dependiendo de hardware especializado. Sin embargo, estos métodos a menudo no logran abordar el problema central de la inestabilidad del aprendizaje bajo condiciones altamente reflectantes sin incurrir en una sobrecarga computacional que es prohibitiva para las plataformas robóticas desplegadas en el borde (edge).

Metodología

El estudio propuesto introduce un marco de segmentación de juntas robusto al reflejo que mejora la arquitectura BiSeNetV2 mediante aprendizaje por transferencia (transfer learning) y una pérdida híbrida de Entropía Cruzada–Lovász (CE–Lovász), en lugar de modificar la arquitectura de la red.

Componentes Principales

1. Arquitectura de la Red (Backbone): El marco utiliza la arquitectura estándar BiSeNetV2, una arquitectura ligera y en tiempo real que presenta un diseño de doble rama (Rama de Detalle y Rama Semántica) integrada mediante un módulo de Agregación Guiada Bilateral. No se realizan cambios estructurales en la red, preservando la identidad de los FLOPs, el recuento de parámetros y la velocidad de inferencia.
2. Estrategia de Aprendizaje por Transferencia:
   • Inicialización: El modelo se preentrena primero durante 1,000 épocas utilizando una pérdida de Minería de Ejemplos Difíciles en Línea (OHEM) para establecer una inicialización estable capaz de manejar el desequilibrio de clases y el ruido por reflexión.
   • Ajuste Fino (Fine-Tuning): Una etapa posterior de aprendizaje por transferencia implica el ajuste fino del modelo preentrenado durante una sola época utilizando la pérdida híbrida propuesta. Se evaluaron tres configuraciones de ajuste fino: solo decodificador, parcial y ajuste fino completo. El ajuste fino completo arrojó los mejores resultados.
3. Función de Pérdida Híbrida:
   • El marco emplea una combinación ponderada de la pérdida de Entropía Cruzada (CE) y la pérdida Lovász-Softmax: $L_{Total} = \lambda L_{CE} + (1-\lambda) L_{Lovasz}$.
   • Pérdida CE: Proporciona una supervisión por píxel estable.
   • Pérdida Lovász-Softmax: Optimiza directamente la Intersección sobre la Unión (IoU) a nivel de región, fomentando regiones de junta conectadas y preservando la continuidad estructural global.
   • Optimización: El parámetro de ponderación $\lambda$ se ajustó mediante un análisis de sensibilidad, encontrándose el valor óptimo en 0.04. Esto indica que un régimen dominante de Lovász (peso del 96%) es crucial para mantener la continuidad de la junta bajo una reflexión severa, mientras que un pequeño componente de CE (4%) ayuda en el refinamiento del límite local.
4. Conjunto de Datos: El estudio utiliza el conjunto de datos WJ3600, una expansión del conjunto WJ1000, que contiene 3,600 imágenes con diversos fondos, variaciones de iluminación e intensidades de reflexión especular. Las clases semánticas se simplificaron a tres: Fondo, Placa y Junta.

Contribuciones Clave

• Marco Sensible al Reflejo: Desarrollo de un marco que mejora significativamente la robustez contra las reflexiones metálicas especulares y las estructuras de junta fragmentadas sin expansión arquitectónica.
• Optimización Orientada a la Estabilidad del Aprendizaje: Demostración de que la combinación de aprendizaje por transferencia con una pérdida híbrida CE–Lovász mejora tanto la precisión a nivel de píxel como la continuidad de la junta a nivel de región. Este enfoque redefine la robustez ante reflejos como un problema de estabilidad de aprendizaje en lugar de un problema de capacidad del modelo.
• Representación de Trayectoria Estable: El método produce representaciones de juntas geométricamente estables, adecuadas para tareas robóticas posteriores (seguimiento de juntas, generación de puntos de paso), recuperando casos de fallo severos que típicamente resultan en predicciones de IoU cero.
• Eficacia Dependiente de la Arquitectura: El análisis exhaustivo a través de BiSeNetV2, DeepLabV3+, UNet y SegFormer-B0 revela que la estrategia de optimización propuesta es particularmente efectiva para arquitecturas ligeras y en tiempo real (como BiSeNetV2), que priorizan la continuidad espacial sobre el contexto semántico de gran escala.
• Mejora de Costo Cero: El marco logra ganancias de rendimiento sustanciales manteniendo la misma complejidad computacional (FLOPs, parámetros, latencia) que la línea base.

Resultados Experimentales

Se realizaron experimentos extensos bajo condiciones idénticas de entrenamiento y evaluación.

• Rendimiento Cuantitativo:
  • El marco propuesto (BiSeNetV2 + Ajuste Fino Completo + CE–Lovász) logró un IoU de la Junta de 81.76% y un mIoU de 90.73%.
  • Esto representa una mejora de +22.36 puntos porcentuales en el IoU de la Junta respecto a la línea base basada en OHEM (59.40%).
  • La Sensibilidad (Recall) mejoró del 69.86% al 94.10%.
• Recuperación de Casos de Fallo:
  • Se introdujo una métrica crítica, la Tasa de Recuperación, para medir la capacidad de recuperarse de fallos severos de IoU cero. El método propuesto logró una Tasa de Recuperación del 96.33% para BiSeNetV2, restaurando con éxito la continuidad de la junta en casos donde el modelo base fallaba por completo.
  • En contraste, arquitecturas más pesadas como DeepLabV3+ mostraron tasas de recuperación significativamente menores (4.84%) a pesar de mejoras moderadas en el IoU.
• Eficiencia Computacional:
  • El método propuesto mantuvo los 22.26 GFLOPs, 3.05M de parámetros y 161.91 FPS (en una NVIDIA A100) de la línea base.
  • La latencia se mantuvo en 6.18 ms, y el uso de memoria GPU no cambió en 171.13 MB.
• Análisis Cualitativo:
  • Las comparaciones visuales demostraron que el método propuesto reconstruye estructuras de junta continuas y geométricamente estables incluso bajo un resplandor extremo, mientras que las predicciones de la línea base a menudo resultaban en juntas fragmentadas o ausentes.
  • El análisis del mapa de confianza mostró que, tras el ajuste fino, la confianza de la predicción se concentró a lo largo de las regiones reales de la junta en lugar de dispersarse en artefactos reflectantes.

Significado y Reivindicaciones

El artículo postula que la segmentación robusta de juntas en la soldadura robótica es fundamentalmente un problema de estabilidad de aprendizaje más que una limitación de la capacidad arquitectónica. La principal significancia de este trabajo radica en demostrar que:

1. Estrategia de Optimización > Complejidad Arquitectónica: Se pueden lograr ganancias sustanciales en la robustez ante reflejos y la continuidad de la junta mediante un aprendizaje por transferencia principista y una optimización de pérdida híbrida sin aumentar el tamaño del modelo o el costo computacional.
2. Criticidad de la Recuperación de Fallos: En la soldadura robótica, recuperar los fallos catastróficos aislados (casos de IoU cero) es más crítico que las mejoras marginales en las métricas de solapamiento promedio, ya que un solo fallo puede interrumpir toda la trayectoria robótica.
3. Desplegabilidad Práctica: El marco ofrece una solución ligera y práctica para sistemas robóticos desplegados en el borde que operan bajo estrictas restricciones de tiempo real y entornos de construcción reflectantes.
4. Limitaciones: Los autores reconocen limitaciones que incluyen la diversidad específica de las escenas de soldadura, la posible incertidumbre de la anotación bajo reflexión severa y la falta de experimentos de soldadura robótica de bucle cerrado en el estudio actual. Sin embargo, la mejora en la continuidad geométrica sugiere una fuerte aplicabilidad para la generación de trayectorias robóticas.

El estudio concluye que, al enfocarse en la estabilidad del aprendizaje y la consistencia a nivel de región, el marco propuesto proporciona un camino computacionalmente eficiente para una percepción de soldadura robótica fiable en entornos industriales desafiantes.