💻 computer science

Enhanced Seam Segmentation for Automated Welding Robot in Construction Through Transfer Learning: Addressing Limitations of Bilateral Segmentation Network

Cette étude propose un cadre basé sur l'apprentissage par transfert qui améliore BiSeNetV2 avec une perte hybride Cross-Entropy–Lovász pour obtenir une segmentation de joint robuste et en temps réel pour le soudage robotique autonome dans la construction, améliorant significativement les performances sur les surfaces réfléchissantes sans augmenter la complexité computationnelle.

Auteurs originaux : Keonvin Park, Yong Ann Voeurn, Hyeokjun Kweon, Doyun Lee

Publié 2026-07-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Keonvin Park, Yong Ann Voeurn, Hyeokjun Kweon, Doyun Lee

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un chantier de construction où un robot soudeur essaie de joindre deux poutres métalliques. Pour ce faire, le robot doit « voir » la ligne minuscule et fine où les deux pièces se rejoignent (le joint). Cependant, le métal est brillant et les étincelles de soudage créent des éclats de lumière aveuglants. C'est comme essayer de tracer une ligne au crayon sur un miroir pendant que quelqu'un vous éclaire directement dans les yeux avec une lampe de poche. Le robot est confus, voit de fausses lignes là où se trouve l'éblouissement, ou rate complètement la vraie ligne.

Cet article présente une nouvelle façon d'enseigner au « cerveau » du robot (son logiciel de vision par ordinateur) à ignorer l'éblouissement et à trouver le vrai joint, sans pour autant rendre le cerveau du robot plus gros ou plus lent.

Voici la décomposition de leur solution en utilisant des analogies simples :

Le Problème : La confusion due à l'éblouissement

Les chercheurs ont constaté que les systèmes de vision robotique standards fonctionnent bien dans une pièce calme, mais sur un véritable chantier de construction, le métal brillant provoque des « réflexions spéculaires » (éblouissement aveuglant).

L'analogie : Imaginez que vous essayiez de lire un panneau de signalisation tout en conduisant dans un tunnel avec des lumières se reflétant sur la chaussée mouillée. Vous pourriez voir un reflet fantôme du panneau qui n'existe pas, ou le vrai panneau pourrait sembler brisé en morceaux.
Le résultat : Le logiciel du robot prédisait souvent que le joint était brisé, manquant ou mal placé. Cela est dangereux car si le robot pense que le joint est brisé, il peut arrêter de souder ou souder au mauvais endroit.

La Solution : Un nouveau « Professeur » et un nouveau « Test »

Au lieu de construire un tout nouveau cerveau de robot super complexe (ce qui serait trop lent et coûteux), l'équipe a conservé le même cerveau de robot qu'elle possédait déjà (appelé BiSeNetV2) mais a changé la façon de l'enseigner. Ils ont utilisé deux astuces principales :

1. L'apprentissage par transfert (L'« stagiaire expérimenté »)

L'analogie : Au lieu d'apprendre à un nouvel employé tout depuis le début, vous embauchez quelqu'un qui sait déjà conduire une voiture (entraîné sur un ensemble massif d'images générales) puis vous lui donnez une courte formation spécialisée sur la « conduite dans la neige éblouissante ».
Ce qu'ils ont fait : Ils ont pris un modèle pré-entraîné et l'ont « affiné » spécifiquement pour ces environnements de soudage brillants et désordonnés. Cela a aidé le robot à reconnaître la différence entre un vrai joint et un faux reflet.

2. La fonction de perte hybride (Le « coach strict »)

L L'analogie : Imaginez un coach enseignant à un élève comment tracer une ligne longue et fine.
- L'ancien coach (Entropie croisée / Cross-Entropy) : Le coach vérifie chaque point de la ligne. Si un seul point est légèrement décalé, l'élève reçoit une mauvaise note. Cela rend l'élève nerveux et agité, ce qui fait que la ligne semble tremblante ou brisée.
- Le nouveau coach (Perte de Lovász / Lovász Loss) : Le coach regarde la ligne dans son ensemble. « Est-ce que la ligne est connectée ? Est-ce qu'elle ressemble à un chemin continu ? » Cela encourage l'élève à garder sa ligne lisse et ininterrompue.
- L'approche hybride : L'équipe a créé un coach « hybride ». Ils ont dit au robot : « Fais attention aux points individuels (précision), mais principalement, assure-toi que toute la ligne reste connectée et lisse (continuité). » Ils ont découvert qu'en mettant l'accent sur le maintien de la connexion de la ligne, ils pouvaient ignorer l'éblouissement.

Les Résultats : Plus rapides, plus intelligents, même taille

Les chercheurs ont testé cette nouvelle méthode d'enseignement par rapport à l'ancienne méthode.

Le score : La nouvelle méthode a amélioré la capacité du robot à trouver le joint de 22 points de pourcentage. C'est un bond massif.
La « récupération zéro échec » : Plus important encore, dans les cas où l'ancien robot ne parvenait pas du tout à voir le joint (un « score zéro »), la nouvelle méthode a corrigé 96 % de ces échecs.
Aucun poids supplémentaire : Crucialement, ils ont fait cela sans rendre le logiciel du robot plus gros ou plus lent. C'est comme améliorer le réglage du moteur d'une voiture pour obtenir plus de chevaux de puissance sans ajouter de poids supplémentaire à la voiture. Le robot fonctionne aussi vite qu'avant, mais il voit bien mieux.

Pourquoi cela est important

L'article conclut que le problème n'était pas que le robot avait besoin d'un « cerveau plus gros » (une architecture plus complexe). Le problème était que le robot était « enseigné » d'une manière qui le rendait trop sensible aux reflets brillants. En changeant la stratégie d'enseignement (la fonction de perte) et en utilisant un « stagiaire » pré-entraîné (apprentissage par transfert), ils ont rendu le robot assez robuste pour gérer l'ébloulement aveuglant d'un véritable chantier de construction, garantissant que le chemin de soudage soit fluide et sûr.

Résumé Technique : Segmentation de Jointure Améliorée pour un Robot de Soudage Automatisé dans la Construction via l'Apprentissage par Transfert

Énoncé du Problème

Le soudage robotisé dans les environnements de construction fait face à des défis importants dus aux conditions visuelles difficiles inhérentes aux surfaces métalliques. Les réflexions spéculaires intenses, les hautes lumières saturées et l'illumination dynamique masquent souvent les limites fines des joints de soudure, entraînant des prédictions de segmentation fragmentées, des masques discontinus et une extraction de ligne médiane instable. Ces défaillances se propagent en trajectoires robotiques peu fiables, posant des risques pour la sécurité et la qualité du soudage.

Bien que la segmentation sémantique basée sur l'apprentissage profond (par exemple, BiSeNetV2) offre un équilibre entre précision et inférence en temps réel, les approches existantes peinent souvent face à la robustesse aux réflexions et à la continuité des joints. Les études précédentes ont principalement abordé ces problèmes en augmentant la complexité architecturale (par exemple, en ajoutant des mécanismes d'attention ou des encodeurs plus profonds) ou en s'appuyant sur du matériel spécialisé. Cependant, cela introduit souvent une surcharge de calcul incompatible avec les plateformes robotiques déployées en périphérie (edge). De plus, l'optimisation classique par pixel (par exemple, l'entropie croisée) échoue souvent à préserver la continuité géométrique requise pour une génération de trajectoire robotique stable, particulièrement lors de cas critiques de défaillance de type IoU nul où le joint est complètement manqué.

Méthodologie

Le cadre proposé aborde ces limitations non pas en modifiant l'architecture du réseau, mais par une optimisation orientée vers la stabilité de l'apprentissage utilisant l'apprentissage par transfert et une fonction de perte hybride.

1. Backbone et Architecture

L'étude utilise BiSeNetV2, une architecture de segmentation sémantique légère et en temps réel présentant une conception à double branche (Branche de Détail pour l'information spatiale et Branche Sémantique pour le contexte). L'architecture reste inchangée afin de préserver des FLOPs, un nombre de paramètres et une vitesse d'inférence identiques à ceux de la base de référence.

2. Jeu de Données

Les expériences utilisent le jeu de données WJ3600, une extension du WJ1000 contenant 3 600 images avec des arrière-plans, des distances de caméra et des conditions d'illumination diversifiés. Pour cette étude, les six classes sémantiques originales ont été simplifiées en trois : Arrière-plan, Plaque et Joint (soudure). Cette simplification concentre le modèle sur une localisation robuste du joint plutôt que sur une classification fine du type de joint.

3. Stratégie d'Apprentissage par Transfert

Le processus d'entraînement implique une approche en deux étapes :

Initialisation : Le modèle BiSeNetV2 est d'abord pré-entraîné pendant 1 000 époques en utilisant une perte de minage d'exemples difficiles en ligne (OHEM - Online Hard Example Mining) pour établir une initialisation stable capable de gérer le déséquilibre des classes et le bruit de réflexion.
Ajustement Fin (Fine-Tuning) : Une phase d'apprentissage par transfert est appliquée pendant une seule époque en utilisant une perte hybride Entropie Croisée (CE) – Lovász–Softmax. Trois configurations d'ajustement fin ont été évaluées :
- Ajustement fin du décodeur uniquement.
  � * Ajustement fin partiel (dégel des couches sémantiques/décodeurs ultérieures).
- Ajustement fin complet (dégel de tous les paramètres), qui a donné les meilleurs résultats.

4. Fonction de Perte Hybride

L'innovation centrale est la perte hybride CE–Lovász, formulée comme suit :
$L_{Total} = \lambda L_{CE} + (1-\lambda) L_{Lovasz}$

Entropie Croisée ( $L_{CE}$ ) : Fournit une supervision par pixel stable.
Lovász–Softmax ( $L_{Lovasz}$ ) : Optimise directement l'Intersection sur Union (IoU), encourageant la cohérence au niveau de la région et les structures de joint connectées.
Pondération ( $\lambda$ ) : Une analyse de sensibilité a déterminé qu'un régime dominant la Lovász (spécifiquement $\lambda = 0,04$ ) offre l'équilibre optimal, préservant la continuité globale du joint tout en stabilisant les limites locales.

Contributions Clés

Cadre Sensible aux Réflexions : Développement d'un cadre qui améliore la robustesse face aux réflexions métalliques spéculaires sans modifier l'architecture du réseau.
Optimisation de la Stabilité de l'Apprentissage : Introduction d'une perte hybride CE–Lovász combinée à l'apprentissage par transfert pour améliorer à la fois la précision au niveau du pixel et la continuité de la région du joint.
Représentation Stable pour la Trajectoire : Démonstration que la méthode proposée récupère les cas de défaillance sévère (IoU nul), fournissant des représentations de joints géométriquement stables adaptées à la génération de trajectoire robotique en aval.
Efficacité Dépendante de l'Architecture : Analyse complète montrant que les stratégies d'optimisation impactent plus efficacement les modèles légers en temps réel (comme BiSeNetV2) que les modèles sémantiques plus lourds (comme DeepLabV3+ ou SegFormer) dans ce domaine spécifique.
Efficacité Computationnelle : Obtention de gains de performance substantiels tout en maintenant une complexité de calcul identique (FLOPs, paramètres et latence) à celle de la base de référence.

Résultats Expérimentaux

Le cadre proposé a été évalué par rapport aux bases de référence en utilisant le Joint IoU, le mIoU, le Rappel et une nouvelle métrique de Taux de Récupération (mesurant le pourcentage de défaillances de type IoU nul de la base de référence qui sont récupérées avec succès).

Gains de Performance : La méthode proposée (BiSeletV2 + Ajustement fin complet + CE–Lovász) a atteint un Joint IoU de 81,76 % et un mIoU de 90,73 %.
Amélioration par rapport à la Base : Cela représente une amélioration de +22,36 points de pourcentage du Joint IoU par rapport à la base de référence basée sur l'OHEM (59,40 %).
Récupération des Défaillances : Le cadre a atteint un Taux de Récupération de 96,33 %, reconstruisant avec succès les géométries de joints dans les cas où le modèle de référence produisait des prédictions complètement fragmentées ou manquantes (IoU nul).
Comparaison Architecturale : Bien que DeepLabV3+, UNet et SegFormer-B0 aient montré une certaine amélioration, ils ont présenté un comportement d'optimisation instable et des taux de récupération nettement inférieurs (par exemple, DeepLabV3+ n'a récupéré que 4,84 % des défaillances). BiSeNetV2 s'est avéré le plus adapté à cette tâche grâce à ses capacités supérieures de préservation spatiale.
Efficacité : Les améliorations ont été obtenues sans augmenter les FLOPs (22,26 G), le nombre de paramètres (3,05 M) ou la latence d'inférence (6,18 ms).

Signification et Revendications

L'article soutient que la segmentation robuste des joints dans les environnements réfléchissants est fondamentalement un problème de stabilité d'apprentissage plutôt qu'une limitation de la capacité architecturale. En recadrant le défi de "l'ajout de complexité" vers la "stabilisation de l'optimisation", l'étude démontre que :

Stratégie d'Optimisation > Architecture : Un modèle léger avec une stratégie d'optimisation adaptée (perte hybride + apprentissage par transfert) surpasse les architectures plus lourdes en termes de précision et, surtout, de récupération des défaillances catastrophiques.
Criticité de la Continuité : Dans le soudage robotique, préserver la continuité géométrique des joints fins est plus critique pour la planification de trajectoire que de maximiser le chevauchement moyen des pixels. La composante Lovász est essentielle pour cette cohérence globale.
Déploiement Pratique : Le cadre offre une solution pratique pour les systèmes robotiques déployés en périphérie, fournissant des gains de robustesse substantiels sans la surcharge de calcul d'une expansion architecturale ou de capteurs matériels supplémentaires.
Conscience des Défaillances : L'étude souligne l'importance d'évaluer les "Taux de Récupération" pour les cas de défaillance rares mais critiques (IoU nul), car un seul joint manqué peut conduire à une exécution robotique dangereuse, rendant la récupération de ces cas plus significative que les améliorations marginales des métriques moyennes.

Les auteurs concluent que leur approche fournit une solution de perception efficace sur le plan computationnel et robuste aux réflexions, permettant un soudage robotique plus fiable dans les environnements de construction exigeants.