UE5-Forest: UAV 산림 깊이 추정을 위한 사실적 합성 스테레오 데이터셋

1. 문제 정의 (Problem)

• 데이터 부족의 병목 현상: 산림 환경에서 밀도 있는 정답 (Ground Truth) 불일치 (Disparity) 맵을 얻는 것은 실질적으로 불가능합니다. 얇고 겹쳐진 가지, 복잡한 수관 (Canopy) 기하학적 구조로 인해 LiDAR 나 구조광 센서와 같은 기존 깊이 센서들이 신뢰할 수 있는 데이터를 수집하지 못합니다.
• 자율 UAV 가지치기의 제약: 방사소나무 (Radiata pine) 등 산림 수종 주변의 안전한 도구 위치 설정을 위해서는 1~2m 작업 거리에서 센티미터 단위의 정밀한 깊이 정보가 필수적입니다. 그러나 신뢰할 수 있는 정답 데이터가 부족하여 지도 학습 (Supervised Learning) 기반의 스테레오 매칭 네트워크 훈련이 어렵습니다.
• 기존 대안의 한계: 강력한 기초 모델 (Foundation Model) 의 출력을 의사 정답 (Pseudo-ground truth) 으로 사용하는 방법은 모델 오류가 전파되어 정확도 상한선을 설정하며, 현장에서의 검증이 불가능하다는 문제가 있습니다.

2. 방법론 (Methodology)

이 논문은 Unreal Engine 5 (UE5) 를 기반으로 한 합성 데이터 생성 파이프라인을 제시합니다.

• 데이터 생성 파이프라인:

  1. 자산 (Assets): Quixel Megascans 라이브러리에서 가져온 115 개의 사진측량 (Photogrammetry) 스캔된 나무 모델을 UE5 에 가져옵니다. 이 모델들은 실제 나무의 표피 질감, 잎 기하학, 가지 토폴로지를 보존합니다.
  2. 카메라 시뮬레이션: 실제 UAV 에 탑재된 ZED Mini 스테레오 카메라의 광학 파라미터를 정밀하게 모사합니다.
     • 베이스라인 (Baseline): 63 mm
     • 초점 거리 (Focal Length): 2.8 mm
     • 센서 너비: 3.84 mm
     • 해상도: 1920 × 1080
  3. 촬영 궤적: 각 나무를 중심으로 최대 2m 거리에서 3 개의 고도 밴드 (수평, +45°, -45°) 를 따라 회전하며 촬영합니다. 각 고도에서 16 개의 시점 (22.5° 간격) 을 확보하여 나무당 48 개의 스테레오 쌍을 생성합니다.
  4. 렌더링 및 라벨링: UE5 의 Lumen (전역 조명) 과 Nanite (미세 폴리곤 기하학) 기술을 사용하여 사실적인 조명, 그림자, 재질 상호작용을 렌더링합니다. 렌더링된 깊이 버퍼 (Depth Buffer) 를 기반으로 픽셀 단위의 정확한 불일치 (Disparity) 맵을 수학적으로 계산하여 정답으로 사용합니다.

• 데이터셋 구성:

  • 총 5,520 개의 정렬된 (Rectified) 스테레오 쌍 (115 나무 × 48 시점).
  • 분할: 학습 (95 나무, 4,560 쌍), 검증 (10 나무, 480 쌍), 테스트 (10 나무, 480 쌍).
  • 포맷: 좌/우 RGB 이미지, 32-bit 불일치 맵 (.pfm), 유효성 마스크 (하늘/배경 제외).

3. 주요 기여 (Key Contributions)

1. 최초의 산림 전용 합성 스테레오 데이터셋: 픽셀 단위 정밀도의 불일치 라벨을 갖춘 사실적인 산림 스테레오 데이터셋을 공개했습니다. 이는 기존 도시 주행용 데이터셋 (Scene Flow, SYNTHIA 등) 과 달리 미세한 식생 기하학에 특화되어 있습니다.
2. 실제 하드웨어와의 정밀한 광학 정렬: ZED Mini 카메라의 파라미터를 UE5 시뮬레이션에 완벽하게 매칭하여 'Sim-to-Real' (시뮬레이션에서 현실로) 전이 시 발생하는 광학적 도메인 간극을 최소화했습니다.
3. 통계적 분석 및 검증:
   • 불일치 분포, 장면 다양성, 시각적 충실도 (Visual Fidelity) 에 대한 상세한 통계 분석을 제공합니다.
   • 뉴질랜드 캔터베리 지역의 실제 UAV 촬영 이미지 (Canterbury Tree Branches) 와의 정성적 비교를 통해 합성 데이터의 사실성과 기하학적 타당성을 입증했습니다.

4. 결과 및 분석 (Results & Analysis)

• 불일치 분포: 시뮬레이션된 0.12m 작업 거리에 맞춰 불일치 값이 약 44700 픽셀 범위에 분포하며, 일반적인 작업 거리 (60~200 픽셀) 와 근접한 가지/나뭇잎의 세부 구조를 잘 포착합니다.
• 시각적 충실도: Lumen 조명 시스템은 가지 주변의 자연스러운 그림자 패턴과 환경 차폐 (Ambient Occlusion) 를 생성하며, 사진측량 스캔된 질감은 실제 나무와 매우 유사합니다.
• 다양성: 낙엽수와 침엽수, 다양한 가지 밀도와 수관 구조를 포함하여 모델이 다양한 가려짐 (Occlusion) 패턴과 잎 모양을 학습할 수 있도록 합니다.

5. 의의 및 의의 (Significance)

• 데이터 공백 해소: 산림 분야 지도 학습 스테레오 매칭 연구에 필요한 밀도 있고 오류가 없는 정답 데이터의 공백을 메우는 최초의 공개 리소스입니다.
• 연구 방향성 제시:
  • 지도 학습 전학습 (Pre-training): 픽셀 단위 정답을 활용한 스테레오 네트워크의 초기 학습 신호로 활용 가능.
  • 도메인 적응 (Domain Adaptation): 합성 데이터와 실제 라벨 없는 데이터 (Canterbury 이미지) 를 결합한 비지도 도메인 적응 연구의 테스트베드 제공.
  • 벤치마킹: 정밀한 정답을 기반으로 한 식생 장면에서의 스테레오 알고리즘 정량적 비교 가능.
• 미래 전망: 단일 나무 구성의 한계를 극복하기 위해 향후 다수 나무 구성, 다양한 조명 조건, 센서 노이즈 시뮬레이션 등을 추가하여 실제 산림 환경과의 간극을 더욱 좁힐 계획입니다.

이 데이터셋은 UAV 기반 산림 관리 (가지치기 등) 의 자동화를 위한 핵심 기술인 깊이 추정 네트워크의 성능 향상에 중요한 기여를 할 것으로 기대됩니다.