기술 요약: 전이 학습을 통한 건설 자동 용접 로봇용 향상된 심(Seam) 세그멘테이션

문제 정의

건설 환경에서의 로봇 용접은 금속 표면 특유의 가혹한 시각적 조건으로 인해 상당한 어려움에 직면해 있습니다. 강한 정반사(specular reflections), 포화된 하이라이트, 그리고 동적인 조명 변화는 얇은 용접 심(weld seam) 경계선을 가려, 파편화된 세그멘테이션 예측, 불연속적인 마스크, 그리고 불안정한 중심선 추출을 초래합니다. 이러한 실패는 신뢰할 수 없는 로봇 궤적으로 이어져, 안전과 용접 품질에 위험을 초래합니다.

BiSeNetV2와 같은 딥러닝 기반 시맨틱 세그멘테이션은 정확도와 실시간 추론 사이의 균형을 제공하지만, 기존 방식들은 **반사 강건성(reflection robustness)**과 심의 연속성(seam continuity) 확보에 어려움을 겪는 경우가 많습니다. 이전 연구들은 주로 어텐션 메커즘을 추가하거나 인코더를 깊게 만드는 등 아키텍처의 복잡성을 높이는 방식으로 이 문제를 해결하려 했습니다. 그러나 이는 에지(edge)에 배치되는 로봇 플랫폼에 부적합한 계산 오버헤드를 발생시킵니다. 또한, 표준적인 픽셀 단위 최적화(예: Cross-Entropy)는 심이 완전히 누락되는 극단적인 zero-IoU 실패 사례를 처리할 때, 안정적인 로봇 궤적 생성에 필요한 기하학적 연속성을 보존하는 데 실패하는 경우가 많습니다.

방법론

본 제안 프레임워크는 네트워크 아키텍처를 수정하는 대신, 전이 학습과 하이브리드 손실 함수를 이용한 **학습 안정성 지향적 최적화(learning-stability-oriented optimization)**를 통해 이러한 한계를 해결합니다.

1. 백본 및 아키텍처

본 연구는 공간 정보(Detail Branch)와 문맥 정보(Semantic Branch)를 갖춘 듀얼 브랜치 설계의 경량 실시간 시맨틱 세그멘테이션 아키텍처인 BiSeNetV2를 활용합니다. 아키텍처는 베이스라인과 동일한 FLOPs, 파라미터 수, 추론 속도를 유지하기 위해 수정 없이 그대로 사용되었습니다.

2. 데이터셋

실험에는 WJ1000 데이터셋을 확장한 WJ3600 데이터셋을 사용하며, 여기에는 다양한 배경, 카메라 거리, 조명 조건을 가진 3,600장의 이미지가 포함되어 있습니다. 본 연구에서는 원래의 6개 시맨틱 클래스를 배경(Background), 플레이트(Plate), **조인트(Joint, 심)**의 3개 클래스로 단순화하였습니다. 이러한 단순화는 모델이 미세한 조인트 유형 분류보다는 견고한 심 위치 파악에 집중하도록 합니다.

3. 전이 학습 전략

학습 과정은 두 단계로 진행됩니다:

• 초기화(Initialization): BiSeNetV2 모델은 먼저 클래스 불균형과 반사 노이즈를 처리할 수 있는 안정적인 초기화를 구축하기 위해 OHEM(Online Hard Example Mining) 손실 함수를 사용하여 1,000 에포크 동안 사전 학습됩니다.
• 미세 조정(Fine-Tuning): 단일 에포크 동안 하이브리드 Cross-Entropy (CE) – Lovász–Softmax 손실을 적용하여 전이 학습 단계를 수행합니다. 세 가지 미세 조정 구성이 평가되었습니다:
  • 디코더 전용 미세 조정(Decoder-only fine-tuning).
  • 부분 미세 조정(후반부 시맨틱/디코더 레이어 해제).
  • 전체 미세 조정(Full fine-tuning) (모든 파라미터 해제), 이것이 가장 우수한 결과를 나타냈습니다.

4. 하이브리드 손실 함수

핵-혁신 요소는 다음과 같이 공식화된 CE–Lovász 하이브리드 손실입니다:
$$L_{Total} = \lambda L_{CE} + (1-\lambda) L_{Lovasz}$$

• Cross-Entropy ($L_{CE}$): 안정적인 픽셀 단위 감독을 제공합니다.
• Lovász–Softmax ($L_{Lovasz}$): IoU(Intersection over Union)를 직접 최적화하여 영역 수준의 일관성과 연결된 심 구조를 장려합니다.
• 가중치 ($\lambda$): 민감도 분석 결과, Lovász가 지배적인 영역(구체적으로 $\lambda = 0.04$)이 국부적인 경계를 안정화하면서도 전역적인 심 연속성을 보존하는 데 최적의 균형을 제공함을 확인했습니다.

주요 기여

1. 반사 인식 프레임워크: 네트워크 아키텍처를 변경하지 않고도 금속 반사에 대한 강건성을 개선하는 프레임워크를 개발했습니다.
2. 학습 안정성 최적화: 픽셀 수준의 정확도와 영역 수준의 심 연속성을 모두 향상시키기 위해 하이브리드 CE–Lovász 손실과 전이 학습을 결합한 방식을 도입했습니다.
3. 궤적 안정적 표현: 제안된 방법이 심각한 실패 사례(zero-IoU)를 복구하여, 하류(downstream)의 로봇 궤적 생성이 가능한 기하학적으로 안정적인 심 표현을 제공함을 입증했습니다.
4. 아키텍처 의존적 효능: 최적화 전략이 특정 도메인에서 무거운 시맨틱 모델(DeepLabV3+ 또는 SegFormer)보다 경량 실시간 모델(BiSeNetV2)에 더 효과적으로 영향을 미친다는 것을 보여주는 종합적인 분석을 수행했습니다.
5. 계산 효율성: 베이스라인과 동일한 계산 복잡성(FLOPs, 파라미터, 지연 시간)을 유지하면서 상당한 성능 향상을 달alu했습니다.

실험 결과

제안된 프레임워크는 Joint IoU, mIoU, Recall, 그리고 새로운 복구율(Recovery Rate) 지표(베이스라인의 zero-IoU 실패 사례 중 성공적으로 복구된 비율을 측정)를 사용하여 베이스라인과 비교 평가되었습니다.

• 성능 향상: 제안된 방법(BiSeNetV2 + Full Fine-tuning + CE–Lovász)은 Joint IoU 81.76% 및 **mIoU 90.73%**를 달성했습니다.
• 베이스라인 대비 개선: 이는 OHEM 기반 베이스라인(59.40%) 대비 22.36 퍼센트 포인트 향상된 Joint IoU를 나타냅니다.
• 실패 복구: 본 프레임워크는 96.33%의 복구율을 달성하여, 베이스라인 모델이 완전히 파편화되거나 누락된 예측을 생성했던 경우에도 심의 기하학적 구조를 성공적으로 재구성했습니다.
• 아키텍처 비교: DeepLabV3+, UNet, SegFormer-B0도 일부 개선을 보였으나, 불안정한 최적화 동작과 현저히 낮은 복구율(예: DeepLabV3+는 4.84%만 복구)을 보였습니다. BiSeNetV2는 우수한 공간 보존 능력 덕분에 이 작업에 가장 적합한 것으로 증명되었습니다.
• 효율성: 이러한 개선은 FLOPs(22.26 G), 파라미터 수(3.05 M), 또는 추론 지연 시간(6.18 ms)을 증가시키지 않고 달성되었습니다.

의의 및 주장

본 논문은 반사 환경에서의 견고한 심 세그멘테이션이 아키텍처의 용량 문제가 아니라 근본적으로 학습 안정성 문제라고 주장합니다. "복잡성을 더하는 것"에서 "최적화를 안정화하는 것"으로 과제를 재정의함으로써, 본 연구는 다음을 입증합니다:

1. 최적화 전략 > 아키텍처: 맞춤형 최적화 전략(하이브리드 손실 + 전이 학습)을 갖춘 경량 모델이 정확도와 결정적으로 실패 복구 측면에서 더 무거운 아키텍처보다 뛰어난 성능을 보입니다.
2. 연속성의 중요성: 로봇 용접에서는 평균 픽셀 중첩을 최대화하는 것보다 얇은 심의 기하학적 연속성을 보존하는 것이 궤적 계획에 더 중요합니다. Lovász 성분은 이러한 전역적 일관성을 위해 필수적입니다.
3. 실제 배포 가능성: 본 프레임워크는 아키텍처 확장이나 추가 하드웨어 센서에 대한 계산 오버헤드 없이 상당한 강건성 이득을 제공함으로써, 에지 배치 로봇 시스템을 위한 실질적인 솔루션을 제공합니다.
4. 실패 인지: 본 연구는 드물지만 치명적인 실패 사례(zero-IoU)에 대한 "복구율" 평가의 중요성을 강조합니다. 단 한 번의 심 누락은 안전하지 않은 로봇 실행으로 이어질 수 있으므로, 이러한 사례의 복구가 평균 지표의 미미한 개선보다 훨씬 더 중요합니다.

저자들은 자신들의 접근 방식이 도전적인 건설 환경에서 더 신뢰할 수 있는 로봇 용접을 가능하게 하는, 계산 효율적이고 반사에 강한 인지 솔루션을 제공한다고 결론짓습니다.