🤖 machine learning

Enhanced Seam Segmentation for Automated Welding Robot in Construction Through Transfer Learning: Addressing Limitations of Bilateral Segmentation Network

본 논문은 전이 학습과 하이브리드 Cross-Entropy–Lovász 손실을 통해 BiSeNetV2 백본을 강화함으로써, 계산 복잡도를 증가시키지 않으면서도 까다로운 반사 환경에서 상당한 성능 향상을 달나오는 자동화된 건설 용접용 반사 강건 심(seam) 분할 프레임워크를 제안한다.

원저자: Keonvin Park, Yong Ann Voeurn, Hyeokjun Kweon, Doyun Lee

게시일 2026-07-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Keonvin Park, Yong Ann Voeurn, Hyeokjun Kweon, Doyun Lee

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇 용접사에게 두 금속판이 만나는 가늘고 보이지 않는 선을 찾는 법을 가르치려 한다고 상상해 보십시오. 그래야 로봇이 완벽한 용접을 할 수 있습니다. 문제는 금속이 거울처럼 반짝거린다는 점이며, 용접 불꽃은 눈을 멀게 할 정도의 강한 빛을 만들어낸다는 것입니다. 로봇의 카메라에게 실제 용접선은 끊어져 보이거나, 사라지거나, 혹은 눈부신 빛에 완전히 가려져 보일 수 있습니다.

이 논문은 더 비싸거나 복잡한 카메라 시스템을 구매하지 않고도, 로봇의 '눈'(시각 소프트웨어)이 이 눈부심을 뚫고 볼 수 있도록 가르치는 새로운 방법을 제시합니다.

다음은 이들의 해결책을 쉬운 비유를 사용하여 정리한 내용입니다.

문제점: "눈부심"으로 인한 혼란

로봇의 시각 소프트웨어를 시험을 치르는 학생이라고 생각해 보십시오. 일반적인 교실(통제된 실험실)에서는 학생이 아주 잘 해냅니다. 하지만 실제 현장이라는 "교실"은 눈을 멀게 하는 스포트라이트(반사광)가 가득하고, "시험 문제"(용접선)는 매우 가늘고 희미합니다.

이 눈부심 때문에 학생은 혼란에 빠집니다. 금속 위의 반짝이는 부분을 용접선의 일부라고 생각하거나, 밝은 반사광 뒤에 숨겨진 용접선을 아예 놓쳐버릴 수도 있습니다. 이는 로봇이 엉뚱한 곳에 용접을 시도하거나, 선을 찾지 못해 작업을 중단하게 만듭니다.

기존 방식: 더 큰 뇌 만들기

보통 학생이 어려움을 겪으면, 더 큰 뇌(더 복잡한 컴퓨터 모델)를 주거나 더 많은 교과서(더 많은 데이터)를 주는 방법을 씁니다. 연구진들도 이전에 이 방법을 시도했지만, 단순히 소프트웨어를 더 "똑똑하게" 만들거나 "무겁게" 만드는 것만으로는 눈부심 문제를 해결할 수 없다는 것을 발견했습니다. 그것은 마치 학생에게 당장 눈앞의 질문에 집중하는 데 도움이 필요한 상황에서 거대한 백과사전을 주는 것과 같았습니다.

새로운 방식: "채점 방식" 바꾸기

연구진은 더 큰 뇌를 만드는 대신, 학생의 숙제를 채점하는 방식을 바꾸기로 했습니다.

그들은 BiSeNetV2(학생의 기존 뇌라고 생각하십시오)라는 특정 유형의 소프트웨어를 사용했습니다. 뇌의 구조를 바꾼 것이 아니라, 학생이 더 잘 배울 수 있도록 게임의 규칙을 바꾼 것입니다.

"전이 학습" (빠른 출발):
학생이 이미 유사한 과목을 공부했다고 상상해 보십시오. 연구진은 이미 일반적인 작업에 능숙한 모델을 가져와서, 이 특정 용접 작업에 빠르게 적응할 수 있도록 "빠른 출발"을 도와주었습니다. 이것을 **전이 학습(Transfer Learning)**이라고 합니다. 이는 학생에게 "너는 이미 글을 읽을 줄 아니, 이제 그 기술을 이 특정 금속 선에 적용해 봐"라고 말하는 것과 같습니다.
"하이브리드 채점 시스템" (CE–Lovász Loss):
이것이 핵심 비법입니다. 연구진은 두 가지 서로 다른 채점 방식을 결합한 특별한 점수 산정법을 사용했습니다.
- 픽셀 단위 채점 (Cross-Entropy): 이것은 학생이 아주 작은 점 하나하나까지 맞혔는지 확인합니다. 세부 사항에는 강하지만, 눈부심에 의해 혼동될 수 있습니다.
- 형태 및 흐름 채점 (Lovász Loss): 이것은 학생이 연속적이고 끊어지지 않는 선을 그렸는지 확인합니다. 개별 점 하나하나보다는 전체적인 용접선이 매끄럽고 연결된 경로로 보이는지에 더 집중합니다.
비유: 안개가 자욱한 종이 위에 선을 긋는다고 상상해 보십시오.
- 기존 방식(픽셀 채점)은 "안개 때문에 이 점 하나를 놓쳤으니, 너는 탈락이야"라고 말합니다.
- 새로운 방식(하이브리드 채점)은 "안개 때문에 몇 개의 점이 가려졌더라도, 너는 시작부터 끝까지 매끄럽고 연속적인 선을 그렸으니, 합격이야"라고 말합니다.
이 둘을 결합함으로써, 로봇은 혼란스러운 반짝임(눈부심)을 무시하고 용접선을 계속 연결된 상태로 유지하는 데 집중하는 법을 배웁니다.

결과: "끊어진" 선 문제 해결

연구진은 이 새로운 방법을 기존 방식과 비교 테스트했습니다. 결과는 다음과 같습니다.

"제로" 실패 사례 해결: 기존 시스템에서는 눈부심이 너무 강해 로봇이 아무것도 보지 못하는(0% 점수) 경우가 있었습니다. 새로운 방법은 이러한 완전한 실패 사례를 96% 해결했습니다. 이는 마치 불빛이 번쩍이는 상황에서도 문제를 성공적으로 풀어내는 학생과 같습니다.
추가 비용 없음: 가장 좋은 점은 더 빠른 컴퓨터나 더 많은 메모리가 필요하지 않았다는 것입니다. "뇌"의 크기는 정확히 동일하게 유지되었습니다. 단지 기존의 뇌가 다르게 생각하도록 가르쳤을 뿐입니다.
속도: 로봇은 여전히 실시간(초당 약 160회)으로 결정을 내릴 수 있으며, 이는 움직이는 로봇 팔에 충분히 빠른 속도입니다.

이것이 건설업에 중요한 이유

건설 현장에서는 조명이나 날씨를 항상 통제할 수 없습니다. 금속 빔은 반짝거리고 불꽃은 사방에서 튑니다. 만약 로봇 용접사가 반사광 때문에 혼란에 빠지면, 작업을 중단하거나 잘못된 위치에 용접을 할 수 있으며, 이는 위험하고 비용이 많이 드는 일입니다.

이 논문은 이러한 조건을 처리하기 위해 반드시 초고가, 고성능 로봇을 만들 필요는 없다는 것을 보여줍니다. 대신, 로봇의 기존 시각 시스템이 모든 픽셀을 완벽하게 맞추는 것보다 선을 계속 연결된 상태로 유지하는 것을 우선시하도록 가르치기만 하면 됩니다. 이것은 더 많은 계산을 하는 것이 아니라, 더 똑똑하게 배우는 방법입니다.

기술 요약: 전이 학습을 통한 건설 자동 용접 로봇용 향상된 심(Seam) 세그멘테이션

문제 정의

건설 환경에서의 자율 로봇 용접은 금속 표면의 고유한 특성, 특히 강한 정반사(specular reflections), 포화된 하이라이트, 그리고 동적인 조명 변화로 인해 상당한 어려움에 직면해 있습니다. 이러한 요인들은 얇은 용접 심(weld seam) 경계선을 자주 가려 예측의 파편화, 불연속적인 마스크, 그리고 불안정한 중심선 추출을 초래합니다. 이러한 세그멘테이션 실패는 신뢰할 수 없는 로봇 궤적으로 전파되어, 종단점 검출 실패나 안전하지 않은 용접 실행을 야기할 수 있습니다.

BiSeNetV2, DeepLabV3+와 같은 기존의 딥러닝 기반 세그멘테이션 모델들은 정확도와 효율성 사이의 균형을 제공하지만, 실제 건설 현장의 반사 내구성 및 기하학적 연속성 문제를 해결하는 데 어려움을 겪는 경우가 많습니다. 이전의 접근 방식들은 주로 아키텍처의 복잡성을 높이거나(예: 어텐션 메커니즘 또는 더 깊은 인코더 추가) 특수 하드웨어에 의존하여 이를 해결하려 했습니다. 그러나 이러한 방법들은 계산 오버헤드가 높은 에지 배치(edge-deployed) 로봇 플랫폼을 위한 환경에서, 계산 비용을 늘리지 않고도 고반사 조건 하에서의 학습 불안정성이라는 핵심 문제를 해결하는 데 실패하는 경우가 많습니다.

방법론

본 연구는 네트워크 아키텍처를 수정하는 대신, **전이 학습(transfer learning)**과 하이브리드 Cross-Entropy–Lovász(CE–Lovász) 손실 함수를 통해 BiSeNetV2 백본을 강화하는 반사 내성(reflection-robust) 심 세그멘테이션 프레임워크를 제안합니다.

핵심 구성 요소

백본 아키텍처: 본 프레임워크는 이중 브랜치 설계(Detail Branch 및 Semantic Branch)가 Bilateral Guided Aggregation 모듈을 통해 통합된 경량 실시간 아키텍처인 표준 BiSeNetV2를 활용합니다. 네트워크 구조의 변경은 없으므로 동일한 FLOPs, 파라미터 수 및 추론 속도를 유지합니다.
전이 학습 전략:
- 초기화(Initialization): 모델은 먼저 클래스 불균형과 반사 노이즈를 처리할 수 있는 안정적인 초기화를 구축하기 위해 OHEM(Online Hard Example Mining) 손실 함수를 사용하여 1,000 에포크 동안 사전 학습됩니다.
- 미세 조정(Fine-Tuning): 후속 전이 학습 단계에서는 제안된 하이브리드 손실 함수를 사용하여 단일 에포크 동안 사전 학습된 모델을 미세 조정합니다. 세 가지 미세 조정 구성(decoder-only, partial, full fine-tuning)을 평가하였으며, Full fine-tuning이 가장 우수한 결과를 나타냈습니다.
하이브리드 손실 함수:
- 본 프레임워크는 Cross-Entropy (CE) 손실과 Lovász-Softmax 손실의 가중 결합을 사용합니다: $L_{Total} = \lambda L_{CE} + (1-\lambda) L_{Lovasz}$ .
- CE 손실: 안정적인 픽셀 단위 감독(supervision)을 제공합니다.
- Lovász-Softmax 손실: 영역 수준에서 IoU(Intersection over Union)를 직접 최적화하여 연결된 심 영역을 장려하고 전역적인 구조적 연속성을 보존합니다.
- 최적화: 가중치 매개변수 $\lambda$ 는 민감도 분석을 통해 튜닝되었으며, 최적값은 0.04로 나타났습니다. 이는 심의 연속성을 유지하기 위해 Lovász가 지배적인 영역(96% 가중치)이 필수적이며, 적은 양의 CE 성분(4% 가중치)이 국부적인 경계 정밀도를 돕는다는 것을 의미합니다.
데이터셋: 본 연구는 WJ1000 데이터셋을 확장한 WJ3600 데이터셋을 사용하며, 이 데이터셋은 다양한 배경, 조명 변화 및 정반사 강도를 포함하는 3,600개의 이미지로 구성되어 있습니다. 시맨틱 클래스는 Background, Plate, Joint의 세 가지로 단순화되었습니다.

주요 기여

반사 인지 프레임워크: 아키텍처 확장 없이도 정반사 금속 표면과 파편화된 심 구조에 대한 내성을 크게 향상시키는 프레임워크를 개발하였습니다.
학습 안정성 중심의 최적화: 전이 학습과 하이브리드 CE–Lovász 손실을 결합하는 것이 픽셀 수준의 정확도와 영역 수준의 심 연속성을 모두 개선함을 입증하였습니다. 이 접근 방식은 반사 내성 문제를 모델 용량의 문제가 아닌 학습 안정성의 문제로 재정의합니다.
궤적 안정적 표현: 본 방법은 심 추적(seam tracking) 및 웨이포인트 생성과 같은 다운스트림 로봇 작업에 적합하도록 기하학적으로 안정적인 심 표현을 생성하며, 일반적으로 zero-IoU 예측을 초래하는 심각한 실패 사례들을 복구합니다.
아키텍처 의존적 효능: BiSeNetV2, DeepLabV3+, UNet, SegFormer-B0에 대한 종합적인 분석을 통해, 제안된 최적화 전략이 대규모 시맨틱 컨텍스트보다 공간적 연속성을 우선시하는 경량 실시간 아키텍처(BiSeNetV2 등)에 특히 효과적임을 밝혔습니다.
제로 오버헤드 개선: 제안된 프레임워크는 베이스라인과 동일한 계산 복잡성(FLOPs, 파라미터, 지연 시간)을 유지하면서 상당한 성능 향상을 달로했습니다.

실험 결과

동일한 학습 및 평가 조건 하에서 광범ical한 실험이 수행되었습니다.

정량적 성능:
- 제안된 프레임워크(BiSeNetV2 + Full Fine-tuning + CE–Lovász)는 Joint IoU 81.76% 및 **mIoU 90.73%**를 달성했습니다.
- 이는 OHEM 기반 베이스라인(59.40%) 대비 Joint IoU에서 22.36 퍼센트 포인트의 향상을 나타냅니다.
- **재현율(Recall)**은 69.86%에서 **94.10%**로 향상되었습니다.
실패 사례 복구:
- 심각한 zero-IoU 실패로부터의 복구 능력을 측정하기 위해 **복구율(Recovery Rate)**이라는 핵심 지표를 도입했습니다. 제안된 방법은 BiSeNetV2에 대해 96.33%의 복구율을 달성하여, 베이스라인 모델이 완전히 실패했던 경우에서도 심의 연속성을 성공적으로 복구했습니다.
- 반면, DeepLabV3+와 같은 더 무거운 아키텍처는 중간 정도의 IoU 향상에도 불구하고 현저히 낮은 복구율(4.84%)을 보였습니다.
계산 효율성:
- 제안된 방법은 베이스라인의 22.26 GFLOPs, 3.05M 파라미터, 161.91 FPS(NVIDIA A100 기준)를 유지했습니다.
- 지연 시간은 6.18 ms로 동일했으며, GPU 메모리 사용량 또한 171.13 MB로 변함이 없었습니다.
정성적 분석:
- 시각적 비교 결과, 제안된 방법은 극심한 눈부심 조건에서도 기하학적으로 안정적이고 연속적인 심 구조를 재구성하는 반면, 베이스라인 예측은 파편화되거나 누락된 심을 생성하는 경우가 많았습니다.
- 신뢰도 맵(Confidence map) 분석을 통해, 미세 조정 후 예측 신뢰도가 반사 아티팩트로 퍼지지 않고 실제 심 영역을 따라 집중됨을 확인했습니다.

의의 및 주장

본 논문은 로봇 용접에서 견고한 심 세그멘테이션이 아키텍처의 용량 제한이 아닌 근본적인 학습 안정성 문제라고 주장합니다. 본 연구의 주요 의의는 다음과 같습니다:

최적화 전략 > 아키텍처 복잡성: 모델 크기나 계산 비용을 늘리지 않고도 원칙적인 전이 학습과 하이브리드 손실 최적화를 통해 반사 내성과 심 연속성에서 상당한 이득을 얻을 수 있음을 입증했습니다.
실패 복구의 중요성: 로봇 용접에서는 평균적인 중첩 지표의 미미한 향상보다, 단 하나의 실패가 전체 로봇 궤적을 방해할 수 있으므로 고립된 치명적 실패(zero-IoU 케이스)를 복구하는 것이 더 중요합니다.
실제 배치 가능성: 본 프레임워크는 엄격한 실시간 제약 조건과 반사가 심한 건설 환경에서 작동하는 에지 배치 로봇 시스템을 위한 실용적이고 경량화된 솔루션을 제공합니다.
한계점: 저자들은 특정 용접 장면의 다양성, 심한 반사 하에서의 주석(annotation) 불확실성, 그리고 현재 연구에서 폐루프(closed-loop) 로봇 용접 실험의 부재를 한계점으로 인정합니다. 그러나 향상된 기하학적 연속성은 로봇 궤적 생성을 위한 강력한 적용 가능성을 시사합니다.

본 연구는 학습 안정성과 영역 수준의 일관성에 집중함으로써, 제안된 프레임워크가 도전적인 산업 환경에서 신뢰할 수 있는 로봇 용접 인지를 위한 계산 효율적인 경로를 제공한다고 결론짓습니다.