Instance-Guided Unsupervised Domain Adaptation for Robotic Semantic Segmentation

1. 문제 정의 (Problem)

• 도메인 편차 (Domain Shift): 로봇의 시맨틱 분할 (Semantic Segmentation) 네트워크는 훈련된 소스 데이터셋 (제어된 환경) 과 배포된 타겟 환경 (실제 로봇이 작동하는 환경) 간의 시각적 분포 차이로 인해 성능이 급격히 저하되는 문제가 발생합니다.
• 지도 학습의 한계: 타겟 환경에서 성능을 보정하기 위해 수동으로 데이터를 라벨링하고 미세 조정 (Fine-tuning) 하는 것은 비용이 많이 들고 시간이 오래 걸려 실제 로봇 배포에는 비현실적입니다.
• 기존 UDA 의 한계:
  • 비지도 도메인 적응 (UDA): 외부 라벨 없이 타겟 도메인에 적응하는 방법입니다.
  • 멀티뷰 일관성 (Multi-view Consistency) 의 결함: 로봇은 3D 맵을 생성하여 여러 뷰에서 일관된 예측을 수행하는 기존 방법들이 존재합니다. 그러나 이 방법은 인스턴스 수준의 불일치 (Instance-level Inconsistency) 에 취약합니다. 예를 들어, 같은 물체 (예: 캐비닛) 에 대해 여러 뷰에서 다른 클래스 (벽 등) 가 할당되거나, 3D 렌더링 과정에서 발생하는 아티팩트 (경계 불명확, 깊이 누락 등) 로 인해 잘못된 라벨이 3D 맵에 고착화될 수 있습니다.

2. 제안된 방법론 (Methodology)

저자들은 인스턴스 가이드 (Instance-Guided) 접근법을 통해 기존 멀티뷰 일관성 기반 UDA 의 한계를 해결하는 새로운 프레임워크를 제안합니다. 전체 프로세스는 Fig. 2 에 따라 다음과 같이 구성됩니다.

A. 멀티뷰 일관성 의사 라벨 생성 (Multi-view Consistent Pseudo-labels)

1. 로봇이 수집한 타겟 환경의 RGB-D 이미지 시퀀스를 기반으로 소스 모델의 예측을 수행합니다.
2. Kimera Semantics를 사용하여 2D 예측을 3D 볼륨 맵 (TSDF) 으로 통합합니다.
3. 3D 맵에서 레이 트레이싱 (Ray-tracing) 을 수행하여 각 카메라 뷰에 대해 멀티뷰 일관성 의사 라벨 ($Y_{MC}$) 을 생성합니다. 이는 프레임별 노이즈를 줄여주지만, 여전히 인스턴스 단위의 오류를 포함할 수 있습니다.

B. 인스턴스 인식 정제 단계 (Instance-aware Refinement)

이 단계가 본 논문의 핵심으로, 생성된 $Y_{MC}$를 기초 모델 (Foundation Model) 인 Segment Anything Model (SAM) 을 활용하여 정제합니다.

1. Zero-shot 인스턴스 분할: SAM 을 사용하여 RGB 이미지에서 객체 인스턴스 (Object Instances) 를 추출합니다.
2. 자동 프롬핑 전략 (Automated Prompting Strategies): SAM 에 입력할 프롬프트를 생성하는 두 가지 전략을 제안합니다.
   • Grid 전략: 이미지 평면에 고정된 그리드 형태의 점 (Points) 을 프롬프트로 사용하여 모든 객체를 세밀하게 분할합니다. 복잡한 형태나 가려진 객체에 유리합니다.
   • Informed 전략: $Y_{MC}$에서 연결된 성분 (Connected Components) 을 기반으로 바운딩 박스나 중심점을 프롬프트로 추출합니다. 과분할 (Over-segmentation) 을 방지하고 일관된 라벨을 유지하는 데 유리합니다.
3. 라벨 정제 및 일관성 부여:
   • SAM 으로 추출된 각 인스턴스 마스크 ($b_{n,j}$) 내부에서 $Y_{MC}$의 가장 빈번한 클래스를 선택합니다.
   • 해당 인스턴스 영역의 모든 픽셀을 선택된 단일 클래스로 통일하여 정제된 의사 라벨 ($Y_{IR}$) 을 생성합니다.
   • 이를 통해 3D 렌더링 아티팩트를 제거하고, 부분적으로 관측된 객체라도 전체 객체에 올바른 시맨틱 클래스를 전파합니다.

C. 자기지도 미세 조정 (Self-supervised Fine-tuning)

• 정제된 라벨 ($Y_{IR}$) 을 감독 신호 (Supervision) 로 사용하여 소스 모델을 타겟 도메인에 맞게 미세 조정하여 최종 적응 모델 ($f^{seg}_{\theta_t}$) 을 얻습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 UDA 프레임워크: 로봇 시맨틱 분할을 위해 멀티뷰 일관성과 인스턴스 인식 정제를 결합한 새로운 비지도 도메인 적응 프레임워크를 제안했습니다.
2. SAM 기반 정제: SAM 기초 모델을 통합하여 두 가지 자동 프롬팅 전략 (Grid, Informed) 을 설계하고, 이를 통해 인스턴스 수준의 일관성을 강제하고 렌더링 아티팩트를 제거했습니다.
3. 실제 데이터 기반 광범위한 평가: ScanNet 데이터셋의 실제 환경 (실내) 에서 실험을 수행하여, 기존 멀티뷰 일관성 기반 방법론보다 일관되게 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: ScanNet (1513 시퀀스, 707 개 실내 환경). 소스 도메인 (환경 11707) 으로 사전 훈련, 타겟 도메인 (환경 110) 에서 적응 및 평가.
• 의사 라벨 품질 향상 (Table I):
  • 제안된 인스턴스 정제 단계는 기존 멀티뷰 일관성 라벨 ($Y_{MC}$) 의 평균 mIoU 를 **Grid 전략 3.8%, Informed 전략 4.1%**만큼 향상시켰습니다.
  • 특히 기존 방법이 성능이 저하되던 환경 (예: Env 2, 5) 에서도 정제된 라벨이 성능을 회복하거나 개선시켰습니다.
• 적응된 모델 성능 (Table II & III):
  • 동일 시퀀스 내 학습/테스트 (Table II): 5cm 볼륨 크기 기준, 기존 멀티뷰 일관성 (MC) 대비 Grid 4.3%, Informed 5.7% 향상. 두 전략을 결합 (IRGI) 한 경우 6.7% 향상.
  • 서로 다른 시퀀스 간 학습/테스트 (Table III): 더 현실적인 배포 시나리오 (학습용 시퀀스와 테스트용 시퀀스 분리) 에서도 MC 대비 평균 약 7% (5cm 기준) 의 성능 향상을 보였습니다.
  • 볼륨 크기 무관성: 3cm(고해상도) 와 5cm(저해상도) 볼륨 크기 모두에서 제안 방법이 일관된 성능 향상을 보였으며, 계산 부하가 큰 고해상도 설정 없이도 우수한 결과를 얻을 수 있음을 입증했습니다.

5. 의의 및 결론 (Significance)

• 실용적 가치: 이 방법은 타겟 도메인의 Ground Truth 라벨 없이도 로봇이 장기간 운영되는 동안 수집한 데이터를 활용하여 스스로 지각 시스템을 개선할 수 있게 합니다.
• 오류 수정 능력: 단순히 노이즈를 줄이는 것을 넘어, 3D 맵 렌더링 과정에서 발생하는 구조적 오류 (예: 반사면의 깊이 누락, 인스턴스 경계 불일치) 를 기초 모델의 지식을 통해 수정하여 더 정확하고 안정적인 분할 마스크를 생성합니다.
• 미래 방향: 향후 3D 맵 내부에 인스턴스 분할을 직접 통합하고, 기초 모델을 활용하여 객체 인스턴스의 시맨틱 클래스를 더욱 정교하게 수정하는 방향으로 연구가 확장될 예정입니다.

요약하자면, 이 논문은 로봇의 3D 맵 기반 멀티뷰 일관성과 SAM 의 Zero-shot 인스턴스 분할 능력을 결합하여, 라벨 없는 환경에서도 로봇이 스스로 도메인 편차를 극복하고 정확한 시맨틱 분할을 수행할 수 있도록 하는 강력한 UDA 솔루션을 제시합니다.