Viking Hill Dataset: A Lidar-Radar-Camera Dataset for Detection and Segmentation in Forest Scenes

기술 요약: Viking Hill 데이터셋

문제 정의
숲 환경에서 작동하는 자율 주행 로봇은 불규칙한 지형, 밀집된 식생, 센서 오염(흙, 톱밥, 잔해물)을 포함한 가혹한 조건으로 인해 상당한 인지적 어려움에 직면합니다. 무인 지상 차량(UGV)이 임업 작업에 점점 더 많이 사용되고 있지만, 카메라와 LiDAR에 의존하는 기존 인지 시스템은 시각적 저하와 폐쇄(occlusion)에 취약합니다. 4D 이미징 레이더는 이러한 조건에 대한 회복력을 제공하지만, 임업 분야에서의 활용은 아직 미개척 상태입니다. 자연림 환경에서 모달리티 간의 직접적이고 공정한 세그멘테이션 성능 비교를 가능하게 하는 공동 등록된 다중 모달(LiDAR, Radar, Camera) 데이터셋의 부재는 중요한 격차로 존재합니다.

방법론
저자들은 스웨덴 외레브로 대학교 근처의 숲에서 Clearpath Husky 모바일 로봇을 사용하여 수집한 다중 센서 데이터셋인 Viking Hill 데이터셋을 제시합니다. 데이터 수집은 대조적인 식생 상태("짧은 풀" - 낮은 하층 식생, "긴 풀" - 정점의 하층 식생)를 포착하기 위해 두 세션(2024년 5월 및 6월)에 걸쳐 수행되었습니다.

• 센서 구성: 로봇에는 고해 resolución 4D FMCW 이미징 레이더(Sensrad Hugin A3), 32채널 LiDAR(Ouster OS0-32), RGB 카메라(IDS uEye), IMU(Xsens MTi-30), 그리고 듀얼 RTK-GNSS 수신기가 장착되었습니다.
• 데이터 처리: 고정밀 GNSS 포즈(사용 가능한 경우)의 도움을 받은 SLAM(HDL Graph SLAM)을 사용하여 참조 포인트 클라우드 맵을 생성했습니다. 캐노피 폐쇄로 인한 GNSS 정확도 제한으로 인해, 맵은 일부 전역 드리프트(global drift)가 발생할 수 있으나 국부적으로는 정확합니다.
• 주석(Annotation): 이 데이터셋은 9개 클래스(예: 지면, 나무 줄기, 나무 캐노피, 바위, 덤불)에 대한 3D 큐보이드(cuboid) 주석을 특징으로 합니다. 이 라벨들은 Segments.ai 도구를 사용하여 참조 LiDAR 맵 위에 수동으로 생성되었으며, 이후 레이더 및 카메라 데이터로 투영되었습니다. 이러한 방식은 희소한 레이더 포인트 클 클라우드를 수동으로 주석 처리하는 것이 비현실적이기 때문에 선택되었습니다.
• 나무별 메트릭: 데이터셋에는 149개(낮은 식생) 및 169개(높은 식생)의 나무 줄기에 대해 원형 피팅(circle fitting)을 통해 도출된 근사 흉고 직경(DBH) 주석이 포함되어 있습니다.
• 베이스라인 평가: 저자들은 LiDAR와 레이더 포인트 클라우드에 대한 시맨틱 세그멘테이션을 위해 MinkowskiUNet 아키텍처(DigiForests 데이터셋에서 변형됨)를 학습시켰습니다. 또한, 사전 학습된 RGB 줄기 탐지 모델(PercepTreeV1)과 비교하여 레이더와 LiDAR의 교차 모달 분석을 수행하였으며, 나무 직경에 따른 층화 평가를 실시했습니다.

핵심 기여

1. 최초의 다중 모달 임업 데이터셋: 자연림 환경에서 공동 등록된 4D 이미징 레이더, LiDAR, RGB 카메라 데이터를 공유된 3D 주석과 함께 결합한 최초의 공개 데이터셋입니다.
2. ROS 기반 툴링: 포인트 클라우드에 라벨을 지정하고 3D 큐보이드를 RGB 이미지에 투영하며, COCO와 같은 형식을 지원하는 ROS 도구 개발을 포함합니다.
3. 나무별 직경 주석: 세그멘테이션 성능을 나무 크기에 따라 층화 분석할 수 있도록 DBH 추정치를 포함합니다.
4. 베이스라인 결과: MinkowskiUNet을 사용한 LiDAR 및 레이더에 대한 시맨틱 세그멘테이션 베이스라인과 교차 모달 성능 분석을 제공합니다.

결과

• 시맨틱 세그멘테이션: 베이스라인 MinkowskiUNet은 주요 클래스에 대해 경쟁력 있는 IoU 점수를 달enc성했습니다. "지면(Ground)" 클래스의 경우, 레이더는 90.5% IoU(5-스캔 누적)를 기록하여 LiDAR의 98.4%와 비교되었습니다. "나무 캐노피(Tree Canopy)"의 경우, 레이더는 85.5%, LiDAR는 91.0%에 도달했습니다. 그러나 레이더 성능은 기하학적으로 미세한 구조물에서 크게 뒤처졌습니다. "나무 줄기(Tree Trunk)"의 경우, 레이더는 55.8% IoU를 기록하여 LiDAR의 74.3%와 대조를 보였습니다.
• 교차 모달 분석: RGB 탐지 성공 여부에 따른 나무 줄기 세그멘테이션을 분석했을 때:
  • 낮은 식생 환경에서, LiDAR는 RGB 모델의 성공 여부와 관계없이 일관된 재현율(recall)을 유지했습니다.
  • 레이더 성능은 RGB 모델이 실패(False Negatives)할 때 크게 저하되었습니다. 이는 많은 미탐지 건들이 레이더의 방위각 범위 가장자리나 카메라 프레임 외부에 위치하여 포인트 반사가 희소했기 때문입니다.
  • 레이더는 낮은 식생에서 최대 50m까지 줄기를 탐지할 수 있는 능력을 보여주었으나, LiDAR에 비해 재현율의 변동성이 컸습니다.
• 직경 층화 평가: 세그멘테이션 품질은 나무 크기에 따라 달랐습니다. 낮은 식생 세션에서 LiDAR의 경우, 가는 나무에서는 IoU가 가장 높았으나(65.1%) 굵은 나무에서는 가장 낮았습니다(55.0%). 이는 집계된 클래스 메트릭이 다양한 객체 크기에 따른 성능 변화를 가릴 수 있음을 시사합니다.

의의 및 주장
본 논문은 Viking Hill 데이터셋이 임업 인지 분야에서 이미징 레이더의 유용성을 조사하기 위한 독특한 자원이라고 주장합니다. 저자들은 레이더가 현재 나무 줄기와 같은 미세한 기하학적 세부 사항을 세그멘테이션하는 데 있어 LiDAR보다 뒤처지지만, 지면 및 캐노피와 같은 주요 클래스에 대해서는 경쟁력 있는 성능을 제공하며 시각 센서가 실패하는 조건에서도 강건성을 제공한다고 단언합니다.

이 데이터셋은 다음과 같은 연구를 촉진하기 위해 의도되었습니다:

• 센서 퓨전: 자율 임업을 위한 레이더, LiDAR, 카메라 데이터의 결합.
• 강건성: 식생 폐쇄 및 잠재적인 표면 오염 하에서의 센서 성능 조사.
• 매핑 및 위치 추정: 캐노피 아래에서의 SLAM 및 지형 분석을 위한 RTK-GNSS 보조 참조 맵 활용.

저자들은 3D 큐보이드 사용(복잡한 형태의 가지나 분기점에 대해 라벨 노이즈를 유발할 수 있음)과 현재 베이스라인에 도플러 통합이 결여되어 있다는 점 등 한계를 인정하며 신중한 입장을 유지합니다. 그들은 이 데이터셋을 주석 방법을 개선하고 도전적인 자연 환경에서 레이더의 잠재력을 완전히 탐구하기 위한 기초 작업으로 포지셔닝합니다.