Resumo Técnico: Segmentação de Junta Aprimorada para Robô de Soldagem Automatizado na Construção através de Aprendizado por Transferência

Definição do Problema

A soldagem robótica autônoma em ambientes de construção enfrenta desafios significativos devido às características inerentes das superfícies metálicas, especificamente reflexões especulares fortes, realces saturados e iluminação dinâmica. Esses fatores frequentemente obscurecem os limites finos da junta de solda, levando a previsões fragmentadas, máscaras descontínuas e extração de linha central instável. Tais falhas de segmentação podem se propagar para trajetórias robóticas não confiáveis, causando falhas de detecção de extremidade ou execução de soldagem insegura.

Embora os modelos de segmentação existentes baseados em aprendizado profundo (ex: BiSeNetV2, DeepLabV3+) ofereçam um equilíbrio entre precisão e eficiência, eles frequentemente lutam contra a robustez à reflexão e a continuidade geométrica em cenários reais de construção. Abordagens anteriores tentaram resolver isso aumentando a complexidade arquitetural (ex: adicionando mecanismos de atenção ou codificadores mais profundos) ou dependendo de hardware especializado. No entanto, esses métodos frequentemente falham em abordar o problema central da instabilidade de aprendizado sob condições altamente reflexivas sem incorrer em um overhead computacional proibitivo para plataformas robóticas implantadas em borda (edge).

Metodologia

O estudo proposto introduz um framework de segmentação de junta robusto à reflexão que aprimora o backbone BiSeNetV2 através de aprendizado por transferência (transfer learning) e uma perda híbrida Cross-Entropy–Lovász (CE–Lovász), em vez de modificar a arquitetura da rede.

Componentes Principais

1. Arquitetura do Backbone: O framework utiliza o padrão BiSeNetV2, uma arquitetura leve e de tempo real, apresentando um design de dois ramos (Ramo de Detalhes e Ramo Semântico) integrados via um módulo de Agregação Guiada Bilateral. Nenhuma alteração estrutural é feita na rede, preservando FLOPs, contagem de parâmetros e velocidade de inferência idênticos.
2. Estratégia de Aprendizado por Transferência:
   • Inicialização: O modelo é primeiro pré-treinado por 1.000 épocas usando a perda Online Hard Example Mining (OHEM) para estabelecer uma inicialização estável capaz de lidar com o desequilíbrio de classes e ruído reflexivo.
   • Ajuste Fino (Fine-Tuning): Uma etapa subsequente de aprendizado por transferência envolve o ajuste fino do modelo pré-treinado por uma única época usando a perda híbrida proposta. Três configurações de ajuste fino foram avaliadas: apenas decodificador, parcial e ajuste fino total. O ajuste fino total apresentou os melhores resultados.
3. Função de Perda Híbrida:
   • O framework emprega uma combinação ponderada da perda Cross-Entropy (CE) e da perda Lovász-Softmax: $L_{Total} = \lambda L_{CE} + (-\lambda) L_{Lovasz}$.
   • Perda CE: Fornece supervisão pixel a pixel estável.
   • Perda Lovász-Softmax: Otimiza diretamente a Interseção sobre União (IoU) no nível da região, incentivando regiões de junta conectadas e preservando a continuidade estrutural global.
   • Otimização: O parâmetro de ponderação $\lambda$ foi ajustado via análise de sensibilidade, com o valor ideal encontrado em 0,04. Isso indica que um regime dominante de Lovász (peso de 96%) é crucial para manter a continuidade da junta sob reflexão severa, enquanto um pequeno componente de CE (4%) auxilia no refinamento do limite local.
4. Dataset: O estudo utiliza o dataset WJ3600, uma expansão do dataset WJ1000, contendo 3.600 imagens com diversos fundos, variações de iluminação e intensidades de reflexão especular. As classes semânticas foram simplificadas para três: Fundo, Placa e Junta.

Principais Contribuições

• Framework Consciente de Reflexão: Desenvolvimento de um framework que melhora significativamente a robustez contra reflexões metálicas especulares e estruturas de junta fragmentadas sem expansão arquitetural.
• Otimização Orientada à Estabilidade de Aprendizado: Demonstração de que a combinação de aprendizado por transferência com uma perda híbrida CE–Lovász melhora tanto a precisão ao nível do pixel quanto a continuidade da junta ao nível da região. Esta abordagem redefine a robustez à reflexão como um problema de estabilidade de aprendizado, em vez de um problema de capacidade do modelo.
• Representação de Trajetória Estável: O método produz representações de junta geometricamente estáveis, adequadas para tarefas robóticas subsequentes (rastreamento de junta, geração de pontos de passagem/waypoints) ao recuperar casos de falha severa que tipicamente resultam em previsões de IoU zero.
• Eficácia Dependente da Arquitetura: Análise abrangente através de BiSeNetV2, DeepLabV3+, UNet e SegFormer-B0 revela que a estratégia de otimização proposta é particularmente eficaz para arquiteturas leves e de tempo real (como BiSeNetV2), que priorizam a continuidade espacial sobre o contexto semântico de grande escala.
• Melhoria de Custo Zero: O framework alcança ganhos substanciais de desempenho mantendo a complexidade computacional (FLOPs, parâmetros, latência) idêntica à do baseline.

Resultados Experimentais

Experimentos extensivos foram conduzidos sob condições idênticas de treinamento e avaliação.

• Desempenho Quantitativo:
  • O framework proposto (BiSeNetV2 + Ajuste Fino Total + CE–Lovász) alcançou um Joint IoU de 81,76% e um mIoU de 90,73%.
  • Isso representa uma melhoria de +22,36 pontos percentuais no Joint IoU em relação ao baseline baseado em OHEM (59,40%).
  • O Recall melhorou de 69,86% para 94,10%.
• Recuperação de Casos de Falha:
  • Uma métrica crítica, a Taxa de Recuperação, foi introduzida para medir a capacidade de recuperar de falhas severas de IoU zero. O método proposto alcançou uma Taxa de Recuperação de 96,33% para o BiSeNetV2, restaurando com sucesso a continuidade da junta em casos onde o modelo baseline falhou completamente.
  • Em contraste, arquiteturas mais pesadas como DeepLabV3+ mostraram taxas de recuperação significativamente menores (4,84%), apesar de melhorias moderadas no IoU.
• Eficiência Computacional:
  • O método proposto manteve os 22,26 GFLOPs, 3,05M de parâmetros e 161,91 FPS (em uma NVIDIA A100) do baseline.
  • A latência permaneceu em 6,18 ms, e o uso de memória da GPU não mudou, permanecendo em 171,13 MB.
• Análise Qualitativa:
  • Comparações visuais demonstraram que o método proposto reconstrói estruturas de junta geometricamente estáveis e contínuas mesmo sob brilho extremo, enquanto as previsões do baseline frequentemente resultavam em juntas fragmentadas ou ausentes.
  • A análise do mapa de confiança mostrou que, após o ajuste fino, a confiança da previsão concentrou-se ao longo das regiões reais da junta, em vez de se espalhar por artefatos reflexivos.

Significância e Alegações

O artigo postula que a segmentação de junta robusta na soldagem robótica é fundamentalmente um problema de estabilidade de aprendizado, e não uma limitação de capacidade arquitetural. A principal significância deste trabalho reside na demonstração de que:

1. Estratégia de Otimização > Complexidade Arquitetural: Ganhos substanciais em robustez à reflexão e continuidade da junta podem ser alcançados através de aprendizado por transferência principiado e otimização de perda híbrida sem aumentar o tamanho do modelo ou o custo computacional.
2. Criticidade da Recuperação de Falhas: Na soldagem robótica, recuperar falhas catastróficas isoladas (casos de IoU zero) é mais crítico do que melhorias marginais em métricas de sobreposição média, pois uma única falha pode interromper toda a trajetória robótica.
3. Implantabilidade Prática: O framework oferece uma solução leve e prática para sistemas robóticos implantados em borda (edge) que operam sob rigorosas restrições de tempo real e ambientes de construção reflexivos.
4. Limitações: Os autores reconhecem limitações, incluindo a diversidade específica das cenas de soldagem, a potencial incerteza de anotação sob reflexão severa e a falta de experimentos de soldagem robótica de malha fechada no presente estudo. No entanto, a melhoria na continuidade geométrica sugere forte aplicabilidade para a geração de trajetória robótica.

O estudo conclui que, ao focar na estabilidade do aprendizado e na consistência de região, o framework proposto fornece um caminho computacionalmente eficiente para uma percepção de soldagem robótica confiável em ambientes industriais desafiadores.