💻 computer science

Enhanced Seam Segmentation for Automated Welding Robot in Construction Through Transfer Learning: Addressing Limitations of Bilateral Segmentation Network

Diese Studie schlägt ein auf Transfer Learning basierendes Framework vor, das BiSeNetV2 durch einen hybriden Cross-Entropy–Lovász-Loss erweitert, um eine robuste Echtzeit-Nahtsegmentierung für das autonome Roboter-Schweißen im Bauwesen zu erreichen, wodurch die Leistung auf reflektierenden Oberflächen signifikant verbessert wird, ohne die Rechenkomplexität zu erhöhen.

Ursprüngliche Autoren: Keonvin Park, Yong Ann Voeurn, Hyeokjun Kweon, Doyun Lee

Veröffentlicht 2026-07-09

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Keonvin Park, Yong Ann Voeurn, Hyeokjun Kweon, Doyun Lee

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Baustelle vor, auf der ein Roboter-Schweißarm versucht, zwei Metallbalken miteinander zu verbinden. Um dies zu tun, muss der Roboter die winzige, dünne Linie „sehen“, an der die beiden Teile aufeinandertreffen (die Naht). Das Problem ist jedoch, dass das Metall glänzend ist und die Schweißfunken helle Lichtblitze erzeugen. Es ist, als würde man versuchen, eine Bleistiftlinie auf einem Spiegel nachzuzeichnen, während jemand direkt mit einer Taschenlampe in die Augen leuchtet. Der Roboter wird verwirrt, sieht falsche Linien durch die Blendung oder übersieht die echte Linie komplett.

Dieses Papier präsentiert einen neuen Weg, um das „Gehirn“ des Roboters (seine Computer-Vision-Software) so zu trainieren, dass es die Blendung ignoriert und die echte Naht findet, ohne dabei das Gehirn des Roboters größer oder langsamer zu machen.

Hier ist die Aufschlüsselung ihrer Lösung unter Verwendung einfacher Analogien:

Das Problem: Die „Blendungs“-Verwirrung

Die Forscher fanden heraus, dass Standard-Roboter-Visionssysteme in einem ruhigen Raum gut funktionieren, aber auf einer echten Baustelle verursacht das glänzende Metall „spekulare Reflexionen“ (blendendes Licht).

Die Analogie: Stellen Sie sich vor, Sie versuchen, ein Straßenschild zu lesen, während Sie durch einen Tunnel fahren, in dem helles Licht vom nassen Asphalt reflektiert wird. Sie sehen vielleicht eine geisterhafte Reflexion des Schildes, die gar nicht da ist, oder das echte Schild sieht wie in Stücke gebrochen aus.
Das Ergebnis: Die Software des Roboters sagte oft voraus, dass die Naht unterbrochen, fehlend oder an der falschen Stelle sei. Das ist gefährlich, denn wenn der Robot denkt, die Naht sei unterbrochen, könnte er den Schweißvorgang stoppen oder an der falschen Stelle schweißen.

Die Lösung: Ein neuer „Lehrer“ und ein neuer „Test“

Anstatt ein völlig neues, superkomplexes Robotergehirn zu bauen (was zu langsam und teuer wäre), behielt das Team das bereits vorhandene Robotergehirn (genannt BiSeNetV2) bei, änderte jedoch die Art und Weise, wie es trainiert wurde. Sie nutzten zwei Haupttricks:

1. Transfer Learning (Der „erfahrene Praktikant“)

Die Analogie: Anstatt einem neuen Mitarbeiter alles von Grund auf neu beizubringen, stellt man jemanden ein, der bereits weiß, wie man ein Auto fährt (trainiert auf einem riesigen Datensatz allgemeiner Bilder), und gibt ihm dann eine kurze, spezialisierte Schulung für „Fahren bei blendendem Schneefall“.
Was sie taten: Sie nahmen ein vortrainiertes Modell und „feinabstimmten“ (fine-tuned) es speziell für diese glänzenden, unordentlichen Schweißumgebungen. Dies half dem Roboter, den Unterschied zwischen einer echten Naht und einer falschen Reflexion zu erkennen.

2. Die hybride Loss-Funktion (Der „strenge Trainer/Coach“)

Die Analogie: Stellen Sie sich einen Trainer vor, der einem Schüler beibringt, eine lange, dünne Linie zu zeichnen.
- Alter Coach (Cross-Entropy): Der Coach überprüft jeden einzelnen Punkt auf der Linie. Wenn ein Punkt auch nur leicht daneben liegt, bekommt der Schüler eine schlechte Note. Das macht den Schüler nervös und zittrig, was dazu führt, dass die Linie wackelig oder unterbrochen aussieht.
- Neuer Coach (Lovász Loss): Der Coach betrachtet die gesamte Linie. „Ist die Linie verbunden? Sieht sie wie ein kontinuierlicher Pfad aus?“ Dies ermutigt den Schüler, die Linie glatt und ununterbrochen zu halten.
- Der hybride Ansatz: Das Team erschuf einen „hybriden“ Coach. Sie sagten dem Roboter: „Achte auf die einzelnen Punkte (Genauigkeit), aber hauptsächlich darauf, dass die gesamte Linie verbunden und glatt bleibt (Kontinuität).“ Sie fanden heraus, dass der Fokus darauf, die Linie verbunden zu halten, der Schlüssel war, um die Blendung zu ignorieren.

Die Ergebnisse: Schneller, schlauer, gleiche Größe

Die Forscher testeten diese neue Trainingsmethode gegen die alte Methode.

Die Punktzahl: Die neue Methode verbesserte die Fähigkeit des Roboters, die Naht zu finden, um 22 Prozentpunkte. Das ist ein massiver Sprung.
Die „Null-Fehler“-Wiederherstellung: Am wichtigsten war: In Fällen, in denen der alte Roboter die Naht überhaupt nicht sehen konnte (ein „Score von Null“), korrigierte die neue Methode 96 % dieser Ausfälle.
Kein zusätzliches Gewicht: Entscheidend war, dass sie dies taten, ohne die Software des Roboters größer oder langsamer zu machen. Es ist, als würde man die Motoreinstellung eines Autos optimieren, um mehr PS zu erhalten, ohne das Auto schwerer zu machen. Der Roboter läuft genauso schnell wie zuvor, sieht aber viel besser.

Warum das wichtig ist

Das Paper kommt zu dem Schluss, dass das Problem nicht darin bestand, dass der Roboter ein „größeres Gehirn“ (eine komplexere Architektur) brauchte. Das Problem war, dass der Roboter auf eine Weise „gelehrt“ wurde, die ihn zu empfindlich gegenüber den glänzenden Reflexionen machte. Durch die Änderung der Trainingsstrategie (die Loss-Funktion) und die Nutzung eines vortrainierten „Praktikanten“ (Transfer Learning) machten sie den Roboter robust genug, um die blendende Helligkeit einer echten Baustelle zu bewältigen und sicherzustellen, dass der Schweißpfad glatt und sicher ist.

Technisches Resümee: Verbesserte Nahtsegmentierung für automatisierte Schweißroboter im Bauwesen durch Transfer Learning

Problemstellung

Die robotergestützte Schweißtechnik in Konstruktionsumgebungen steht vor erheblichen Herausforderungen aufgrund der schwierigen visuellen Bedingungen, die mit metallischen Oberflächen einhergehen. Starke spiegelnde Reflexionen, gesättigte Highlights und dynamische Beleuchtung verdecken oft die Grenzen dünner Schweißnähte, was zu fragmentierten Segmentierungsvorhersagen, diskontinuierlichen Masken und instabilen Mittellinien-Extraktionen führt. Diese Fehler pflanzen sich in unzuverlässige Roboter-Trajektorien fort, was Risiken für die Sicherheit und die Schweißqualität birgt.

Obwohl auf Deep Learning basierende semantische Segmentierung (z. B. BiSeNetV2) ein Gleichgewicht zwischen Genauigkeit und Echtzeit-Inferenz bietet, haben bestehende Ansätze oft Schwierigkeiten mit der Reflexionsrobustheit und der Nahtkontinuität. Vorangegangene Studien haben diese Probleme primär durch eine Erhöhung der architektonischen Komplexität (z. B. durch Hinzufügen von Attention-Mechanismen oder tieferen Encodern) oder durch den Einsatz spezialisierter Hardware adressiert. Dies führt jedoch häufig zu einem Rechenaufwand, der für am Edge eingesetzte Roboterplattformen ungeeignet ist. Darüber hinaus scheitert die Standard-Pixel-weise Optimierung (z. B. Cross-Entropy) oft daran, die erforderliche geometrische Kontinuität für eine stabile Generierung von Roboter-Trajektorien zu bewahren, insbesondere bei schwerwiegenden Zero-IoU-Fehlersituationen, in denen die Naht vollständig übersehen wird.

Methodik

Das vorgeschlagene Framework adressiert diese Einschränkungen nicht durch Modifikation der Netzwerkarchitektur, sondern durch eine lernstabilitätsorientierte Optimierung unter Verwendung von Transfer Learning und einer hybriden Verlustfunktion.

1. Backbone und Architektur

Die Studie verwendet BiSeNetV2, eine leichtgewichtige Echtzeit-Semantik-Segmentierungsarchitektur mit einem Dual-Branch-Design (Detail-Branch für räumliche Informationen und Semantic-Branch für den Kontext). Die Architektur bleibt unverändert, um identische FLOPs, Parameteranzahl und Inferenzgeschwindigkeit wie das Baseline-Modell zu gewährleisten.

2. Datensatz

Die Experimente nutzen den WJ3600-Datensatz, eine Erweiterung des WJ1000-Datensatzes, der 3.600 Bilder mit diversen Hintergründen, Kameraabständen und Beleuchtungsbedingungen enthält. Für diese Studie wurden die ursprünglichen sechs semantischen Klassen auf drei vereinfacht: Hintergrund (Background), Platte (Plate) und Fuge (Joint/Seam). Diese Vereinfachung fokussiert das Modell auf eine robuste Lokalisierung der Naht statt auf eine feingliedrige Klassifizierung des Fuchtentyps.

3. Transfer-Learning-Strategie

Der Trainingsprozess umfasst einen zweistufigen Ansatz:

Initialisierung: Das BiSeNetV2-Modell wird zunächst für 1.000 Epochen unter Verwendung eines Online Hard Example Mining (OHEM) Loss vortrainiert, um eine stabile Initialisierung zu etablieren, die mit Klassenungleichgewichten und reflektivem Rauschen umgehen kann.
Feinabstimmung (Fine-Tuning): Eine Transfer-Learning-Phase wird für eine einzige Epoche unter Verwendung eines hybriden Cross-Entropy (CE) – Lovász–Softmax Loss angewendet. Drei Konfigurationen der Feinabstimmung wurden evaluiert:
- Nur Decoder-Feinabstimmung.
- Partielle Feinabstimmung (Freischalten späterer semantischer/Decoder-Schichten).
- Vollständige Feinabstimmung (Full Fine-tuning) (Freischalten aller Parameter), welche die besten Ergebnisse lieferte.

4. Hybride Verlustfunktion

Die zentrale Innovation ist der CE–Lovász-Hybrid-Loss, formuliert als:
$L_{Total} = \lambda L_{CE} + (1-\lambda) L_{Lovasz}$

Cross-Entropy ( $L_{CE}$ ): Bietet eine stabile pixelweise Überwachung.
Lovász–Softmax ( $L_{Lovasz}$ ): Optimiert direkt die Intersection over Union (IoU), was eine regionsbezogene Konsistenz und verbundene Nahtstrukturen fördert.
Gewichtung ( $\lambda$ ): Eine Sensitivitätsanalyse ergab, dass ein Lovász-dominantes Regime (speziell $\lambda = 0,04$ ) das optimale Gleichgewicht bietet, indem es die globale Nahtkontinuität bewahrt und gleichzeitig lokale Grenzen stabilisiert.

Zentrale Beiträge

Reflexionsbewusstes Framework: Entwicklung eines Frameworks, das die Robustheit gegenüber spiegelnden metallischen Reflexionen verbessert, ohne die Netzwerkarchitektur zu verändern.
Optimierung der Lernstabilität: Einführung eines hybriden CE–Lovász-Loss kombiniert mit Transfer Learning, um sowohl die pixelweise Genauigkeit als auch die regionsbezogene Nahtkontinuität zu verbessern.
Trajektorienstabile Repräsentation: Demonstration, dass die vorgeschlagene Methode schwere Fehlerfälle (Zero-IoU) kompensiert und geometrisch stabile Nahtrepräsentationen bereitstellt, die für die nachgelagerte Roboter-Trajektoriengenerierung geeignet sind.
Architekturabhängige Wirksamkeit: Umfassende Analyse, die zeigt, dass Optimierungsstrategien leichte Echtzeitmodelle (wie BiSeNetV2) effektiver beeinflussen als schwerere semantische Modelle (wie DeepLabV3+ oder SegFormer).
Recheneffizienz: Erzielung erheblicher Leistungssteigerungen bei Beibehaltung der identischen Komplexität (FLOPs, Parameter und Latenz) im Vergleich zur Baseline.

Experimentelle Ergebnisse

Das vorgeschlagene Framework wurde gegen Baselines unter Verwendung von Joint IoU, mIoU, Recall und einer neuartigen Recovery Rate (Messung des Prozentsatzes der erfolgreich wiederhergestellten Baseline-Zero-IoU-Fehler) evaluiert.

Leistungssteigerungen: Die vorgeschlagene Methode (BiSeNetV2 + Full Fine-tuning + CE–Lovász) erreichte einen Joint IoU von 81,76 % und einen mIoU von 90,73 %.
Verbesserung gegenüber der Baseline: Dies entspricht einer Steigerung des Joint IoU um 22,36 Prozentpunkte gegenüber der OHEM-basierten Baseline (59,40 %).
Fehlerwiederherstellung: Das Framework erreichte eine Recovery Rate von 96,33 % und rekonstruierte erfolgreich Nahtgeometrien in Fällen, in denen das Baseline-Modell völlig fragmentierte oder fehlende Vorhersagen lieferte (Zero-IoU).
Architektonischer Vergleich: Während DeepLabV3+, UNet und SegFormer-B0 gewisse Verbesserungen zeigten, wiesen sie ein instabiles Optimierungsverhalten und deutlich geringere Wiederherstellungsraten auf (z. B. stellte DeepLabV3+ nur 4,84 % der Fehler wieder her). BiSeNetV2 erwies sich aufgrund seiner überlegenen Fähigkeiten zur räumlichen Erhaltung als am besten geeignet.
Effizienz: Die Verbesserungen wurden erzielt, ohne die FLOPs (22,26 G), die Parameteranzahl (3,05 M) oder die Inferenzlatenz (6,18 ms) zu erhöhen.

Bedeutung und Behauptungen

Die Arbeit postuliert, dass die robuste Nahtsegmentierung in reflektierenden Umgebungen grundlegend ein Problem der Lernstabilität ist und kein Problem der architektonischen Kapazität. Durch die Neuausrichtung der Herausforderung von „Hinzufügen von Komplexität“ hin zu „Stabilisierung der Optimierung“ zeigt die Studie, dass:

Optimierungsstrategie > Architektur: Ein leichtgewichtiges Modell mit einer maßgeschneiderten Optimierungsstrategie (hybrider Loss + Transfer Learning) übertrifft schwerere Architekturen sowohl in Bezug auf die Genauigkeit als auch in Bezug auf die Wiederherstellung katastrophaler Fehler.
Kritikalität der Kontinuität: In der robotergestützten Schweißtechnik ist die Bewahrung der geometrischen Kontinuität dünner Nähte für die Trajektorienplanung kritischer als die Maximierung der durchschnittlichen pixelweisen Überlappung. Die Lovász-Komponente ist essenziell für diese globale Konsistenz.
Praktische Implementierung: Das Framework bietet eine praktische Lösung für am Edge eingesetzte Robotersysteme und liefert erhebliche Robustheitsgewinne ohne den Rechenaufwand einer architektonischen Erweiterung oder zusätzlicher Hardware-Sensoren.
Fehlerbewusstsein: Die Studie unterstreicht die Wichtigkeit der Evaluierung von „Recovery Rates“ für seltene, aber kritische Fehlerfälle (Zero-IoU), da eine einzige verfehlte Naht zu einer unsicheren Roboterführung führen kann, wodurch die Wiederherstellung dieser Fälle signifikanter ist als marginale Verbesserungen bei Durchschnittswerten.

Die Autoren kommen zu dem Schluss, dass ihr Ansatz eine recheneffiziente, reflexionsrobuste Wahrnehmungslösung bietet, die ein zuverlässigeres Roboterschweißen in anspruchsvollen Konstruktionsumgebungen ermöglicht.