Riepilogo Tecnico: Segmentazione Avanzata della Cucitura per Robot di Saldatura Automatizzata nell'Edilizia tramite Transfer Learning

Definizione del Problema

La saldatura robotica in ambienti di costruzione affronta sfide significative dovute alle dure condizioni visive inerenti alle superfici metalliche. Forti riflessi speculari, punti di saturazione e illuminazione dinamica spesso oscurano i confini sottili della cucitura di saldatura, portando a predizioni di segmentazione frammentate, maschere discontinue e un'estrazione della linea centrale instabile. Questi fallimenti si propagano in traiettorie robotiche inaffidabili, ponendo rischi per la sicurezza e la qualità della saldatura.

Sebbene la segmentazione semantica basata sul deep learning (ad esempio, BiSeNetV2) offra un equilibrio tra accuratezza e inferenza in tempo reale, gli approcci esistenti spesso faticano con la robustezza ai riflessi e la continuità della cucitura. Gli studi precedenti hanno affrontato questi problemi principalmente aumentando la complessità architettonica (ad esempio, aggiungendo meccanismi di attenzione o encoder più profondi) o facendo affidamento su hardware specializzati. Tuttavia, ciò introduce spesso un overhead computazionale non adatto alle piattaforme robotiche implementate sull'edge. Inoltre, l'ottimizzazione standard per pixel (ad esempio, Cross-Entropy) spesso non riesce a preservare la continuità geometrica necessaria per una generazione stabile della traiettoria robotica, in particolare quando si affrontano casi critici di fallimento con IoU pari a zero, in cui la cucitura viene completamente mancata.

Metodologia

Il framework proposto affronta queste limitazioni non modificando l'architettura della rete, ma attraverso un'ottimizzazione orientata alla stabilità dell'apprendimento utilizzando il transfer learning e una funzione di perdita ibrida.

1. Backbone e Architettura

Lo studio utilizza BiSeNetV2, un'architettura di segmentazione semantica leggera e in tempo reale caratterizzata da un design a doppio ramo (Detail Branch per le informazioni spaziali e Semantic Branch per il contesto). L'architettura rimane invariata per preservare FLOPs, conteggio dei parametri e velocità di inferenza identici rispetto al baseline.

2. Dataset

Gli esperimenti utilizzano il dataset WJ3600, un'espansione del dataset WJ1000 che contiene 3.600 immagini con sfondi, distanze della telecamera e condizioni di illuminazione diversificate. Per questo studio, le sei classi semantiche originali sono state semplificate in tre: Sfondo (Background), Piastra (Plate) e Giunto (Joint/cucitura). Questa semplificazione focalizza il modello sulla localizzazione robusta della cucitura piuttosto che sulla classificazione fine del tipo di giunto.

3. Strategia di Transfer Learning

Il processo di addestramento prevede un approccio in due fasi:

• Inizializzazione: Il modello BiSeNetV2 viene prima pre-addestrato per 1.000 epoche utilizzando la perdita Online Hard Example Mining (OHEM) per stabilire un'inizializzazione stabile capace di gestire lo sbilanciamento delle classi e il rumore riflesso.
• Fine-Tuning: Una fase di transfer learning viene applicata per un singolo epoch utilizzando una funzione di perdita ibrida Cross-Entropy (CE) – Lovász–Softmax. Sono state valutate tre configurazioni di fine-tuning:
  • Fine-tuning solo del decoder.
  • Fine-tuning parziale (sblocco degli strati semantici/decoder successivi).
  • Full fine-tuning (sblocco di tutti i parametri), che ha prodotto i risultati migliori.

4. Funzione di Perdita Ibrida

L'innovazione principale è la perdita ibrida CE–Lovász, formulata come:
$$L_{Total} = \lambda L_{CE} + (1-\lambda) L_{Lovasz}$$

• Cross-Entropy ($L_{CE}$): Fornisce una supervisione stabile per pixel.
• Lovász–Softmax ($L_{Lovasz}$): Ottimizza direttamente l'Intersection over Union (IoU), incoraggiando la coerenza a livello di regione e le strutture di cucitura connesse.
• Ponderazione ($\lambda$): Un'analisi di sensibilità ha determinato che un regime dominante Lovász (specificamente $\lambda = 0,04$) fornisce il bilanciamento ottimale, preservando la continuità globale della cucitura pur stabilizzando i confini locali.

Contributi Chiave

1. Framework Sensibile ai Riflessi: Sviluppo di un framework che migliora la robustezza contro i riflessi metallici speculari senza alterare l'architettura della rete.
2. Ottimizzazione della Stabilità dell'Apprendimento: Introduzione di una perdita ibrida CE–Lovász combinata con il transfer learning per migliorare sia l'accuratezza a livello di pixel che la continuità della cucitura a livello di regione.
3. Rappresentazione Stabile della Traiettoria: Dimostrazione che il metodo proposto recupera i casi di fallimento critici (zero-IoU), fornendo rappresentazioni della cucitura geometricamente stabili, adatte alla generazione di traiettorie robotiche a valle.
4. Efficacia Dipendente dall'Architettura: Analisi completa che mostra come le strategie di ottimizzazione influenzino i modelli leggeri in tempo reale (come BiSeNetV2) in modo più efficace rispetto ai modelli semantici più pesanti (come DeepLabV3+ o SegFormer) in questo specifico dominio.
5. Efficienza Computazionale: Raggiungimento di sostanziali guadagni di prestazione mantenendo identica la complessità computazionale (FLoss, parametri e latenza) rispetto al baseline.

Risultati Sperimentali

Il framework proposto è stato valutato rispetto ai baseline utilizzando Joint IoU, mIoU, Recall e una nuova metrica di Tasso di Recupero (Recovery Rate) (che misura la percentuale di fallimenti zero-IoU del baseline recuperati con successo).

• Guadagni di Prestazione: Il metodo proposto (BiSeNetV2 + Full Fine-tuning + CE–Lovász) ha raggiunto un Joint IoU dell'81,76% e un mIoU del 90,73%.
• Miglioramento rispetto al Baseline: Ciò rappresenta un incremento di 22,36 punti percentuali nel Joint IoU rispetto al baseline basato su OHEM (59,40%).
• Recupero dei Fallimenti: Il framework ha raggiunto un Tasso di Recupero del 96,33%, ricostruendo con successo le geometrie della cucitura in casi in cui il modello baseline produceva predizioni completamente frammentate o mancanti (zero-IoU).
• Confronto Architetturale: Sebbene DeepLabV3+, UNet e SegFormer-B0 abbiano mostrato alcuni miglioramenti, hanno esibito un comportamento di ottimizzazione instabile e tassi di recupero significativamente inferiori (ad esempio, DeepLabV3+ ha recuperato solo il 4,84% dei fallimenti). BiSeNetV2 si è dimostrato più adatto a questo compito grazie alle sue superiori capacità di preservazione spaziale.
• Efficienza: I miglioramenti sono stati ottenuti senza aumentare i FLOPs (22,26 G), il numero di parametri (3,05 M) o la latenza di inferenza (6,18 ms).

Significato e Rivendicazioni

Il documento sostiene che la segmentazione robusta della cucitura in ambienti riflettenti è fondamentalmente un problema di stabilità dell'apprendimento piuttosto che un limite di capacità architettonica. Inquadrando la sfida dal "aggiungere complessità" al "stabilizzare l'ottimizzazione", lo studio dimostra che:

1. Strategia di Ottimizzazione > Architettura: Un modello leggero con una strategia di ottimizzazione su misura (perdita ibrida + transfer learning) supera le architetture più pesanti in termini di accuratezza e, soprattutto, di recupero dei fallimenti catastrofici.
2. Criticità della Continuità: Nella saldatura robotica, preservare la continuità geometrica delle cuciture sottili è più critico per la pianificazione della traiettoria rispetto alla massimizzazione della sovrapposizione media dei pixel. La componente Lovász è essenziale per questa coerenza globale.
3. Implementazione Pratica: Il framework offre una soluzione pratica per i sistemi robotici implementati sull'edge, fornendo sostanziali guadagni di robustezza senza l'overhead computazionale dell'espansione architettonica o di sensori hardware aggiuntivi.
4. Consapevolezza del Fallimento: Lo studio evidenzia l'importanza di valutare i "Tassi di Recupero" per i casi di fallimento rari ma critici (zero-IoU), poiché una singola cucitura mancata può portare a un'esecuzione robotica non sicura, rendendo il recupero di questi casi più significativo rispetto ai miglioramenti marginali delle metriche medie.

Gli autori concludono che il loro approccio fornisce una soluzione di percezione computazionalmente efficiente e robusta ai riflessi, che consente una saldatura robotica più affidabile in sfidanti ambienti di costruzione.