Granularity-Aware Transfer for Tree Instance Segmentation in Synthetic and Real Forests

1. 문제 정의 (Problem Statement)

이 연구는 임업 로봇 및 환경 모니터링 분야에서 중요한 나무 인스턴스 분할 (Tree Instance Segmentation) 의 Synthetic-to-Real (시뮬레이션에서 현실로) 전이 학습 문제를 다룹니다. 기존 연구에서 해결되지 않은 두 가지 핵심 장벽이 존재합니다.

• 도메인 격차 (Domain Gap): 합성 데이터 (Unreal Engine 5 등) 와 실제 현장 데이터 간의 조명, 질감, 배경 노이즈 차이로 인해 합성 데이터로 학습된 모델은 실제 환경에서 성능이 급격히 저하됩니다.
• 레이블 세분도 불일치 (Label Granularity Mismatch):
  • 합성 데이터: 정밀한 레이블 (Fine-grained) 을 제공함. (예: '나무 줄기 (Trunk)', '전체 나무 (Whole Tree)'로 분리된 주석)
  • 실제 데이터: 비용과 복잡성 문제로 인해 coarse(거친) 레이블만 존재함. (예: '나무 (Tree)'라는 단일 클래스만 주석됨)
  • 문제: 기존 전이 학습 방법들은 보통 클래스 정의가 동일하다는 가정을 전제로 하는데, 실제 임업 환경에서는 합성 데이터의 정밀한 구조적 정보가 실제 데이터의 거친 레이블과 매칭되지 않아 성능 저하를 유발합니다.

2. 제안 방법 (Methodology)

저자들은 이 문제를 해결하기 위해 MGTD(Mixed-Granularity Tree Dataset) 와 세분도 인식 증류 (Granularity-Aware Distillation) 프로토콜을 제안했습니다.

2.1 MGTD 데이터셋

• 구성: 53,000 장의 합성 이미지 (Unreal Engine 5 생성, 4 가지 조명 조건 포함) 와 3,600 장의 실제 이미지로 구성.
• 주석: 합성 데이터는 '줄기'와 '전체 나무'로 세분화되어 있고, 실제 데이터는 '나무' 단일 클래스로 주석됨.
• 목적: 도메인 이동과 레이블 세분도 불일치를 체계적으로 연구할 수 있는 테스트베드 제공.

2.2 4 단계 평가 프로토콜

연구는 다음 4 단계로 나누어 문제의 원인과 해결책을 분리하여 분석합니다.

1. Phase 1 (Synthetic Teachers): 합성 데이터의 정밀한 레이블 (줄기/전체 나무) 로 두 개의 교사 모델 (Teacher) 을 학습.
2. Phase 2 (Zero-shot Transfer): 학습된 교사 모델을 실제 데이터에 직접 적용하여 순수한 도메인 격차와 레이블 불일치의 영향을 측정.
3. Phase 3 (Real-only Student): 실제 데이터의 거친 레이블만으로 학생 모델 (Student) 을 학습하여 베이스라인 설정.
4. Phase 4 (Granularity-Aware Distillation): 핵심 제안. 합성 교사 모델의 구조적 지식을 실제 학생 모델로 전이하는 증류 기법.

2.3 세분도 인식 증류 (Granularity-Aware Distillation) 핵심 기술

실제 데이터에는 '줄기'와 '전체 나무' 레이블이 없으므로, 합성 교사 모델의 정밀한 출력을 학생 모델의 거친 레이블 공간으로 매핑하는 것이 핵심입니다.

• 이중 교사 모델 (Dual Teachers): T_trunk(줄기 전용) 와 T_whole(전체 나무 전용) 두 모델을 고정 (Frozen) 하여 사용합니다.
• Logit Space Merge (로짓 병합):
  • 두 교사의 분류 로짓 (Logits) 을 z_tree = log(e^z_trunk + e^z_whole) 공식을 통해 병합합니다.
  • 이는 Softmax 기반의 확률 합집합 (OR 규칙) 이 아닌, 계층적 관계를 고려한 부드러운 병합으로, 줄기가 전체 나무의 일부라는 물리적 관계를 보존합니다.
• 마스크 통일 (Mask Unification): 두 교사의 예측 마스크를 합집합 (Set Union) 으로 병합하여 학생 모델의 단일 '나무' 마스크 타겟으로 만듭니다.
• 손실 함수: 실제 데이터의 감독 학습 손실 ($L_S$) 과 증류 손실 ($L_{KD}$, 분류/박스/마스크 예측) 을 결합하여 학생 모델을 최적화합니다.

3. 주요 기여 (Key Contributions)

1. MGTD 데이터셋: 도메인 이동과 레이블 세분도 불일치를 동시에 연구할 수 있는 최초의 대규모 합성 - 실제 쌍 (Paired) 데이터셋.
2. 체계적 평가 프로토콜: 도메인 격차와 세분도 효과를 분리하여 분석하는 4 단계 프로토콜 제시.
3. 세분도 인식 증류 프레임워크: 레이블을 다시 주석할 필요 없이, 합성 데이터의 정밀한 구조적 정보 (줄기/전체 나무) 를 실제 거친 레이블 모델에 전이하는 새로운 증류 방법론 제안.
4. 모델 용량 이상의 효과: 경량 모델 (ResNet-50) 이 증류를 통해 거대 모델 (Swin-T, ResNeXt-101) 보다 우수한 성능을 달성함을 입증.

4. 실험 결과 (Results)

• Phase 2 (Zero-shot): 합성 모델의 실제 데이터 직접 적용 시 성능이 70~90% 이상 급감 (예: 전체 나무 분할 mAP 0.688 → 0.039). 이는 도메인 격차와 레이블 불일치가 치명적임을 보여줌.
• Phase 3 (Real-only): 실제 데이터만 학습한 모델은 Zero-shot 보다 성능이 향상되지만, 작거나 멀리 떨어진 나무, 가려진 줄기 등의 인식률이 낮음.
• Phase 4 (Distillation - 핵심 성과):
  • 성능 향상: 증류를 적용한 ResNet-50 학생 모델은 실제 데이터만 학습한 Swin-T(더 무거운 백본) 모델보다 mAP@0.5:0.95(세그먼테이션) 에서 0.429를 기록하여, ResNet-50 베이스라인 (0.396) 대비 8.3% 향상 및 Swin-T 베이스라인 (0.420) 을 상회함.
  • 소형/원거리 객체 인식: 증류 모델은 실제 데이터만 학습한 모델이 놓치는 가늘고 먼 나무 줄기, 부분적으로 가려진 나무를 효과적으로 복구함.
  • 구조적 일관성: 증류된 모델은 나무의 수직적 구조와 전체적인 실루엣을 더 잘 이해하여, 단순한 수직 물체 (기둥 등) 와 나무를 구분하는 능력이 향상됨.

5. 의의 및 결론 (Significance & Conclusion)

• 구조적 지식의 가치: 합성 데이터의 가장 큰 가치는 단순히 데이터 양을 늘리는 것이 아니라, 실제 데이터에는 없는 정밀한 구조적 정보 (줄기/전체 분리) 를 제공하는 데 있음을 입증.
• 모델 용량 vs. 지도 학습의 질: 모델의 크기 (Backbone) 를 키우는 것보다, 어떻게 지도 신호 (Supervision) 를 구조화하느냐 (정밀한 정보를 거친 레이블로 전이) 가 성능에 더 결정적임을 보여줌.
• 실용적 적용: 대규모 정밀 주석이 불가능한 분야 (임업, 의료 영상, 농업 등) 에서 합성 데이터의 정밀한 레이블을 활용하여 현실 세계의 로봇 및 인식 시스템을 강화할 수 있는 실용적인 패러다임을 제시함.

이 연구는 Synthetic-to-Real 전이를 단순한 '도메인 적응' 문제가 아닌 '세분도 정렬 (Granularity Alignment)' 문제로 재정의하여, 제한된 레이블 환경에서도 고성능 인식 시스템을 구축할 수 있는 새로운 길을 열었습니다.