Resumen Técnico: Segmentación de Costura Mejorada para Robots de Soldadura Automatizada en la Construcción mediante Aprendizaje por Transferencia

Planteamiento del Problema

La soldadura robótica en entornos de construcción enfrenta desafíos significativos debido a las duras condiciones visuales inherentes a las superficies metálicas. Las fuertes reflexiones especulares, los brillos saturados y la iluminación dinámica a menudo oscurecen los límites de las costuras de soldadura delgadas, lo que provoca predicciones de segmentación fragmentadas, máscaras discontinuas y una extracción de la línea central inestable. Estos fallos se propagan hacia trayectorias robóticas poco fiables, lo que plantea riesgos para la seguridad y la calidad de la soldadura.

Si bien la segmentación semántica basada en aprendizaje profundo (por ejemplo, BiSeNetV2) ofrece un equilibrio entre precisión e inferencia en tiempo real, los enfoques existentes suelen tener dificultades con la robustez ante reflejos y la continuidad de la costura. Los estudios previos han abordado principalmente estos problemas aumentando la complejidad arquitectónica (por ejemplo, añadiendo mecanismos de atención o codificadores más profundos) o dependiendo de hardware especializado. Sin embargo, esto suele introducir una sobrecarga computacional no apta para plataformas robóticas desplegadas en el borde (edge). Además, la optimización estándar de píxel a píxel (por ejemplo, Entropía Cruzada) a menudo falla en preservar la continuidad geométrica requerida para la generación de trayectorias robóticas estables, particularmente cuando se trata de casos graves de fallo de IoU cero donde la costura se pierde por completo.

Metodología

El marco propuesto aborda estas limitaciones no mediante la modificación de la arquitectura de la red, sino a través de una optimización orientada a la estabilidad del aprendizaje utilizando aprendizaje por transferencia y una función de pérdida híbrida.

1. Backbone y Arquitectura

El estudio utiliza BiSeNetV2, una arquitectura de segmentación semántica ligera y en tiempo real que cuenta con un diseño de doble rama (Rama de Detalle para información espacial y Rama Semántica para contexto). La arquitectura permanece sin modificaciones para preservar los mismos FLOPs, recuento de parámetros y velocidad de inferencia que la línea base.

2. Conjunto de Datos

Los experimentos utilizan el conjunto de datos WJ3600, una expansión del conjunto de datos WJ1000 que contiene 3,600 imágenes con diversos fondos, distancias de cámara y condiciones de iluminación. Para este estudio, las seis clases semánticas originales se simplificaron en tres: Fondo (Background), Placa (Plate) y Junta (Joint/costura). Esta simplificación enfoca el modelo en la localización robusta de la costura en lugar de en la clasificación detallada del tipo de junta.

3. Estrategia de Aprendizaje por Transferencia

El proceso de entrenamiento implica un enfoque de dos etapas:

• Inicialización: El modelo BiSeNetV2 se preentrena primero durante 1,000 épocas utilizando la pérdida de Minería de Ejemplos Difíciles en Línea (OHEM) para establecer una inicialización estable capaz de manejar el desequilibrio de clases y el ruido reflectante.
• Ajuste Fino (Fine-Tuning): Se aplica una fase de aprendizaje por transferencia durante una sola época utilizando una pérdida híbrida de Entropía Cruzada (CE) – Lovász–Softmax. Se evaluaron tres configuraciones de ajuste fino:
  • Ajuste fino solo del decodificador.
  • Ajuste fino parcial (descongelando capas semánticas/decodificadoras posteriores).
  • Ajuste fino completo (descongelando todos los parámetros), el cual arrojó los mejores resultados.

4. Función de Pérdida Híbrida

La innovación central es la pérdida híbrida CE–Lovász, formulada como:
$$L_{Total} = \lambda L_{CE} + (1-\lambda) L_{Lovasz}$$

• Entropía Cruzada ($L_{CE}$): Proporciona una supervisión estable a nivel de píxel.
• Lovász–Softmax ($L_{Lovasz}$): Optimiza directamente la Intersección sobre la Unión (IoU), fomentando la consistencia de la región y las estructuras de costura conectadas.
• Ponderación ($\lambda$): Un análisis de sensibilidad determinó que un régimen dominante de Lovász (específicamente $\lambda = 0.04$) proporciona el equilibrio óptimo, preservando la continuidad global de la costura mientras estabiliza los bordes locales.

Contribuciones Clave

1. Marco Sensible a Reflexiones: Desarrollo de un marco que mejora la robustez contra las reflexiones metálicas especulares sin alterar la arquitectura de la red.
2. Optimización de la Estabilidad del Aprendizaje: Introducción de una pérdida híbrida CE–Lovász combinada con aprendizaje por transferencia para mejorar tanto la precisión a nivel de píxel como la continuidad de la costura a nivel de región.
3. Representación de Trayectoria Estable: Demostración de que el método propuesto recupera casos de fallo severos (IoU cero), proporcionando representaciones de costura geométricamente estables para la generación de trayectorias robóticas descendentes.
4. Eficacia Dependiente de la Arquitectura: Análisis exhaustivo que muestra que las estrategias de optimización impactan de manera más efectiva en modelos ligeros en tiempo real (como BiSeNetV2) que en modelos semánticos más pesados (como DeepLabV3+ o SegFormer) en este dominio específico.
5. Eficiencia Computacional: Logro de mejoras sustanciales de rendimiento manteniendo la misma complejidad computacional (FLOPs, parámetros y latencia) que la línea base.

Resultados Experimentales

El marco propuesto fue evaluado frente a las líneas base utilizando Joint IoU, mIoU, Recall y una métrica novedosa de Tasa de Recuperación (que mide el porcentaje de fallos de IoU cero de la línea base recuperados con éxito).

• Ganancias de Rendimiento: El método propuesto (BiSeNetV2 + Ajuste Fino Completo + CE–Lovász) logró un Joint IoU de 81.76% y un mIoU de 90.73%.
• Mejora sobre la Línea Base: Esto representa una mejora de +22.36 puntos porcentuales en el Joint IoU sobre la línea base basada en OHEM (59.40%).
• Recuperación de Fallos: El marco logró una Tasa de Recuperación de 96.33%, reconstruyendo con éxito las geometrías de la costura en casos donde el modelo de la línea base produjo predicciones completamente fragmentadas o ausentes (IoU cero).
• Comparación Arquitectónica: Aunque DeepLabV3+, UNet y SegFormer-B0 mostraron cierta mejora, exhibieron un comportamiento de optimización inestable y tasas de recuperación significativamente más bajas (por ejemplo, DeepLabV3+ recuperó solo el 4.84% de los fallos). BiSeNetV2 demostró ser más adecuado para esta tarea debido a sus capacidades superiores de preservación espacial.
• Eficiencia: Las mejoras se lograron sin aumentar los FLOPs (22.26 G), el recuento de parámetros (3.05 M) o la latencia de inferencia (6.18 ms).

Significado y Reivindicaciones

El artículo postula que la segmentación robusta de costuras en entornos reflectantes es fundamentalmente un problema de estabilidad de aprendizaje más que una limitación de capacidad arquitectónica. Al replantear el desafío de "añadir complejidad" a "estabilizar la optimización", el estudio demuestra que:

1. Estrategia de Optimización > Arquitectura: Un modelo ligero con una estrategia de optimización a medida (pérdida híbrida + aprendizaje por transferencia) supera a arquitecturas más pesadas tanto en precisión como, crucialmente, en la recuperación de fallos catastróficos.
2. Criticidad de la Continuidad: En la soldadura robótica, preservar la continuidad geométrica de las costuras delgadas es más crítico para la planificación de trayectorias que maximizar el solapamiento promedio de píxeles. El componente de Lovász es esencial para esta consistencia global.
3. Despliegue Práctico: El marco ofrece una solución práctica para sistemas robóticos desplegados en el borde, proporcionando ganancias sustanciales de robustez sin la sobrecarga computacional de la expansión arquitectónica o sensores de hardware adicionales.
4. Conciencia de Fallos: El estudio destaca la importancia de evaluar las "Tasas de Recuperación" para casos de fallo raros pero críticos (IoU cero), ya que una sola costura omitida puede conducir a una ejecución robótica insegura, haciendo que la recuperación de estos casos sea más significativa que las mejoras marginales en las métricas promedio.

Los autores concluyen que su enfoque proporciona una solución de percepción computacionalmente eficiente y robusta a las reflexiones que permite una soldadura robótica más fiable en entornos de construcción desafiantes.