Resumo Técnico: Segmentação de Junta Aprimorada para Robô de Soldagem Automatizado na Construção Civil via Transfer Learning

Declaração do Problema

A soldagem robótica em ambientes de construção enfrenta desafios significativos devido às condições visuais severas inerentes às superfícies metálicas. Reflexos especulares fortes, brilhos saturados e iluminação dinâmica frequentemente obscurecem os limites das finas juntas de solda, levando a predições de segmentação fragmentadas, máscaras descontínuas e extração de linha central instável. Essas falhas propagam-se para trajetórias robóticas não confiáveis, acarretando riscos à segurança e à qualidade da solda.

Embora a segmentação semântica baseada em deep learning (ex: BiSeNetV2) ofereça um equilíbrio entre precisão e inferência em tempo real, as abordagens existentes frequentemente lutam contra a robustez à reflexão e a continuidade da junta. Estudos anteriores abordaram esses problemas principalmente aumentando a complexidade arquitetônica (ex: adicionando mecanismos de atenção ou codificadores mais profundos) ou dependendo de hardware especializado. No entanto, isso introduz uma sobrecarga computacional inadequada para plataformas robóticas implantadas em borda (edge). Além disso, a otimização padrão por pixel (ex: Entropia Cruzada) frequentemente falha em preservar a continuidade geométrica necessária para a geração de trajetórias robóticas estáveis, particularmente ao lidar com casos graves de falha de IoU zero, onde a junta é completamente perdida.

Metodologia

O framework proposto aborda essas limitações não modificando a arquitetura da rede, mas através de uma otimização orientada à estabilidade de aprendizado usando transfer learning e uma função de perda híbrida.

1. Backbone e Arquitetura

O estudo utiliza o BiSeNetV2, uma arquitetura de segmentação semântica leve e de tempo real que apresenta um design de dois ramos (Ramo de Detalhes para informação espacial e Ramo Semântico para contexto). A arquitetura permanece inalterada para preservar FLOPs, contagem de parâmetros e velocidade de inferência idênticos aos do modelo base (baseline).

2. Conjunto de Dados

Os experimentos utilizam o conjunto de dados WJ3600, uma expansão do WJ1000 que contém 3.600 imagens com diversos fundos, distâncias de câmera e condições de iluminação. Para este estudo, as seis classes semânticas originais foram simplificadas em três: Fundo (Background), Placa (Plate) e Junta (Joint/seam). Esta simplificação foca o modelo na localização robusta da junta em vez de uma classificação detalhada do tipo de junta.

3. Estratégia de Transfer Learning

O processo de treinamento envolve uma abordagem de dois estágios:

• Inicialização: O modelo BiSeNetV2 é pré-treinado primeiro por 1.000 épocas usando perda de Mineração de Exemplos Difíceis Online (OHEM) para estabelecer uma inicialização estável capaz de lidar com o desequilíbrio de classes e o ruído reflexivo.
• Ajuste Fino (Fine-Tuning): Uma fase de transfer learning é aplicada por uma única época usando uma função de perda híbrida Cross-Entropy (CE) – Lovász–Softmax. Três configurações de ajuste fino foram avaliadas:
  • Ajuste fino apenas do decodificador (decoder-only).
  • Ajuste fino parcial (descongelando camadas semânticas/decodificadoras posteriores).
  • Ajuste fino total (descongelando todos os parâmetros), que apresentou os melhores resultados.

4. Função de Perda Híbrida

A inovação central é a perda híbrida CE–Lovász, formulada como:
$$L_{Total} = \lambda L_{CE} + (1-\lambda) L_{Lovasz}$$

• Entropia Cruzada ($L_{CE}$): Fornece supervisão estável por pixel.
• Lovász–Softmax ($L_{Lovasz}$): Otimiza diretamente a Interseção sobre União (IoU), incentivando a consistência de região e estruturas de junta conectadas.
• Ponderação ($\lambda$): Uma análise de sensibilidade determinou que um regime dominante de Lovász (especificamente $\lambda = 0,04$) fornece o equilíbrio ideal, preservando a continuidade global da junta enquanto estabiliza os limites locais.

Principais Contribuições

1. Framework Consciente de Reflexão: Desenvolvimento de um framework que melhora a robustez contra reflexos metálicos especulares sem alterar a arquitetura da rede.
2. Otimização de Estabilidade de Aprendizado: Introdução de uma perda híbrida CE–Lovász combinada com transfer learning para aumentar tanto a precisão ao nível do pixel quanto a continuidade da junta ao nível da região.
3. Representação de Trajetória Estável: Demonstração de que o método proposto recupera casos de falha grave (IoU zero), fornecendo representações de junta geometricamente estáveis adequadas para a geração de trajetória robótica subsequente.
4. Eficácia Dependente de Arquitetura: Análise abrangente mostrando que estratégias de otimização impactam modelos leves de tempo real (como BiSeNetV2) de forma mais eficaz do que modelos semânticos mais pesados (como DeepLabV3+ ou SegFormer) neste domínio específico.
5. Eficiência Computacional: Alcance de ganhos substanciais de desempenho mantendo idêntica complexidade computacional (FLOPs, parâmetros e latência) em relação ao modelo base.

Resultados Experimentais

O framework proposto foi avaliado contra os modelos base utilizando Joint IoU, mIoU, Recall e uma nova métrica de Taxa de Recuperação (medindo a porcentagem de falhas de IoU zero do modelo base que foram recuperadas com sucesso).

• Ganhos de Desempenho: O método proposto (BiSeNetV2 + Ajuste Fino Total + CE–Lovász) alcançou um Joint IoU de 81,76% e um mIoU de 90,73%.
• Melhoria sobre o Baseline: Isso representa um aumento de 22,36 pontos percentuais no Joint IoU em relação ao modelo base baseado em OHEM (59,40%).
• Recuperação de Falhas: O framework alcançou uma Taxa de Recuperação de 96,33%, reconstruindo com sucesso geometrias de junta em casos onde o modelo base produziu predições completamente fragmentadas ou ausentes (IoU zero).
• Comparação Arquitetural: Embora o DeepLabV3+, UNet e SegFormer-B0 tenham mostrado alguma melhoria, eles exibiram comportamento de otimização instável e taxas de recuperação significativamente menores (ex: o DeepLabV3+ recuperou apenas 4,84% das falhas). O BiSeNetV2 provou ser o mais adequado para esta tarefa devido à sua capacidade superior de preservação espacial.
• Eficiência: As melhorias foram alcançadas sem aumentar os FLOPs (22,26 G), a contagem de parâmetros (3,05 M) ou a latência de inferência (6,18 ms).

Significância e Alegações

O artigo postula que a segmentação de junta robusta em ambientes reflexivos é fundamentalmente um problema de estabilidade de aprendizado, e não uma limitação de capacidade arquitetônica. Ao reformular o desafio de "adicionar complexidade" para "estabilizar a otimização", o estudo demonstra que:

1. Estratégia de Otimização > Arquitetura: Um modelo leve com uma estratégia de otimização personalizada (perda híbrida + transfer learning) supera arquiteturas mais pesadas em termos de precisão e, crucialmente, na recuperação de falhas catastróficas.
2. Criticidade da Continuidade: Na soldagem robótica, preservar a continuidade geométrica de juntas finas é mais crítico para o planejamento de trajetória do que maximizar a sobreposição média de pixels. O componente Lovász é essencial para essa consistência global.
3. Implantação Prática: O framework oferece uma solução prática para sistemas robóticos implantados em borda (edge), fornecendo ganhos substanciais de robustez sem a sobrecarga computacional de expansão arquitetônica ou sensores de hardware adicionais.
4. Consciência de Falha: O estudo destaca a importância de avaliar as "Taxas de Recuperação" para casos de falha raros, mas críticos (IoU zero), pois uma única junta perdida pode levar a uma execução robótica insegura, tornando a recuperação desses casos mais significativa do que melhorias marginais em métricas médias.

Os autores concluem que sua abordagem fornece uma solução de percepção computacionalmente eficiente e robusta à reflexão, que permite uma soldagem robótica mais confiável em ambientes de construção desafiadores.