ForestPersons: A Large-Scale Dataset for Under-Canopy Missing Person Detection

이 논문은 UAV 의 공중 촬영으로는 탐지가 어려운 숲속 실종자 발견을 위해, 지상 및 저고도 관점에서 수집된 대규모 데이터셋 'ForestPersons'를 제안하고 기존 검출 모델의 한계를 규명하여 실제 수색 구조 (SAR) 임무에 기여하는 새로운 벤치마크를 제공합니다.

핵심

숲속 실종자 찾기: "숲속 사람들 (ForestPersons)" 프로젝트 설명

이 논문은 숲속에서 실종된 사람을 찾는 것이 얼마나 어려운지, 그리고 그 문제를 해결하기 위해 새로운 데이터셋을 만들었다는 이야기입니다. 마치 어두운 숲속에서 숨어 있는 친구를 찾는 게임을 상상해 보세요.

1. 왜 기존 방법은 실패했을까요? (우주에서 보는 숲 vs 숲속에서 보는 숲)

기존에 실종자 수색에 쓰이던 드론 (UAV) 은 하늘 높은 곳에서 찍는 사진을 주로 사용했습니다.

• 비유: 마치 비행기 창문 밖으로 숲을 내려다보는 것과 같습니다.
• 문제점: 나무 잎사귀가 빽빽해서 아래가 잘 안 보입니다. 실종자가 나뭇잎 뒤에 숨어 있으면, 하늘에서 찍은 사진으로는 "아, 저기 사람 있네!"라고 알기 어렵습니다. 마치 두꺼운 커튼 뒤에 숨은 사람을 천장에서 내려다보며 찾는 것과 비슷합니다.

2. 새로운 해결책: "숲속 사람들 (ForestPersons)" 데이터셋

연구팀은 이 문제를 해결하기 위해 새로운 데이터셋을 만들었습니다. 이름은 **'ForestPersons(숲속 사람들)'**입니다.

• 핵심 아이디어: 하늘에서 보는 게 아니라, 나무 사이사이를 기어 다니는 작은 드론 (MAV) 의 눈으로 보는 것입니다.
• 비유: 이제 숲속을 헤매는 탐정이 되어, 나뭇가지 사이로 고개를 내밀어 아래를 보거나 옆을 보며 사람을 찾는 방식입니다.
• 데이터 규모: 약 9 만 6 천 장의 사진과 20 만 개 이상의 사람에 대한 정보가 담겨 있습니다.
  • 다양한 상황: 여름의 무성한 나뭇잎, 겨울의 눈 덮인 땅, 비 오는 날, 해 질 녘 등 다양한 날씨와 계절을 포함했습니다.
  • 다양한 자세: 사람이 서 있는 경우뿐만 아니라, 앉아 있거나, 쓰러져 있거나, 나뭇잎에 가려져 있는 경우까지 모두 포함했습니다.

3. 왜 이 데이터가 중요한가요? (기존 데이터의 한계)

연구팀은 기존에 있던 다른 데이터셋 (하늘에서 찍은 사진이나 도시에서 찍은 사진) 으로 AI 를 훈련시켜 보았습니다. 결과는 참담했습니다.

• 하늘에서 찍은 데이터로 훈련한 AI: 숲속 나뭇잎 뒤에 숨은 사람을 전혀 못 찾았습니다. (하늘에서 본 것과 숲속의 시야가 너무 다르기 때문입니다.)
• 도시에서 찍은 데이터로 훈련한 AI: 도시에서는 사람들이 주로 서 있거나 걷지만, 숲속 실종자는 쓰러져 있거나 나뭇가지에 가려져 있는 경우가 많습니다. 도시 데이터로 훈련한 AI 는 이런 상황을 전혀 이해하지 못했습니다.

결론: 숲속 실종자를 찾기 위해서는 숲속의 특수한 상황 (나뭇잎 가림, 다양한 자세) 을 직접 경험하게 해야 합니다.

4. 실험 결과: AI 가 어떻게 변했나요?

이 새로운 데이터셋으로 AI 를 훈련시킨 후 테스트해 보니, 성능이 크게 향상되었습니다.

• 성공 사례: 나뭇잎 사이로 얼굴이 살짝 보이는 사람, 쓰러져 있는 사람까지 찾아냈습니다.
• 실패 사례: 나뭇잎이 너무 빽빽해서 사람이 거의 보이지 않거나, 겨울 눈밭에서 사람이 잘 드러나지 않는 경우 등 여전히 어려운 상황도 있었습니다. 하지만 이는 AI 가 더 발전해야 할 부분이지, 데이터의 부족 때문은 아닙니다.

5. 미래 전망: 실제 구조 활동에 어떻게 쓰일까요?

이 데이터셋은 실제 구조대 (SAR) 의 드론에 탑재될 AI 의 두뇌를 키우는 데 쓰입니다.

• 실시간 탐지: 드론이 숲속을 날아다니며 카메라로 찍은 영상을 바로 분석해 "여기 사람 있어요!"라고 알려줍니다.
• 안전한 수색: 사람이 직접 위험한 숲속을 들어가지 않아도, 드론이 먼저 정찰하고 실종자의 위치를 찾아낼 수 있습니다.

요약: 한 줄로 정리하면?

"하늘에서 내려다보는 것만으로는 숲속의 실종자를 찾을 수 없습니다. 이제 우리는 드론이 나뭇가지 사이를 비집고 들어가는 '숲속의 눈'으로 훈련된 AI 를 만들어, 숨겨진 실종자를 찾아내는 데 성공했습니다."

이 연구는 **기술 (AI/드론)**과 **인간애 (실종자 구조)**가 만나, 더 안전하고 효과적인 구조 활동을 가능하게 하는 중요한 발걸음입니다.

기술 요약

이 논문은 ICLR 2026에 발표된 **"FORESTPERSONS: A LARGE-SCALE DATASET FOR UNDER-CANOPY MISSING PERSON DETECTION"**으로, 울창한 숲 canopy(수관) 아래에서 실종자를 탐지하기 위한 대규모 데이터셋과 벤치마크를 제안합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 현황: 무인 항공기 (UAV) 는 넓은 지역을 빠르게 탐색할 수 있어 수색 구조 (SAR) 임무에 널리 사용됩니다.
• 한계: 기존 UAV 기반 데이터셋과 탐지 모델은 주로 고도에서 촬영된 상향 (Top-down) 또는 사선 (Oblique) 시점의 이미지를 사용합니다.
• 핵심 과제: 울창한 숲에서는 나뭇잎과 가지가 사람을 가려 (Occlusion), 고도에서 촬영한 이미지에서는 실종자를 식별하기가 매우 어렵습니다. 또한, 실종자는 서 있는 상태뿐만 아니라 앉거나 누워있는 경우가 많으며, 식생에 의해 부분적으로 가려진 상태가 흔합니다.
• 데이터 부재: 이러한 수관 하부 (Under-canopy) 환경, 즉 저고도 MAV(Micro Aerial Vehicle) 가 마주치는 시점과 유사한 조건을 반영한 전용 데이터셋이 부족하여, 기존 모델들의 일반화 성능이 떨어지는 문제가 있었습니다.

2. 방법론 및 데이터셋 구성 (Methodology & Dataset)

저자들은 ForestPersons라는 새로운 대규모 데이터셋을 구축했습니다.

• 데이터 규모: 총 96,482 장의 이미지와 204,078 개의 주석 (Annotation) 으로 구성되었습니다.
• 수집 방식:
  • 실제 실종 상황을 시뮬레이션하기 위해 다양한 계절 (여름, 겨울 등), 날씨 (맑음, 비, 눈), 시간대 (오후, 황혼) 에 촬영되었습니다.
  • 시점: MAV 의 비행 고도 (1.5~2m) 를 모방하기 위해 손으로 들고 있거나 삼각대에 장착한 카메라로 촬영하여, **지상 수준 (Ground-level)**의 저고도 시점을 구현했습니다.
  • 포즈: 서 있음 (Standing), 앉음 (Sitting), 누움 (Lying) 등 다양한 자세를 포함하며, 식생에 의해 가려진 상태도 자연스럽게 포함되었습니다.
• 주석 (Annotation):
  • Bounding Box: 가시 부분만 정확히 표시.
  • Pose (자세): 서 있음, 앉음, 누움 3 가지 클래스.
  • Visibility (가시성): 식생에 의한 가림 정도를 20(심한 가림), 40(부분적 가림), 70(약간의 가림), 100(완전 가시) 의 4 단계로 레이블링.
  • 난이도 기반 분할: 단순 무작위 분할이 아닌, 사전 학습된 모델 (Faster R-CNN) 의 탐지 성능 (AP50) 을 기반으로 각 비디오 시퀀스의 난이도를 산출하여 Train/Val/Test 세트를 균일하게 분배했습니다.
• 추가 데이터: RGB 이미지 외에도 열화상 (Thermal IR) 데이터셋인 ForestPersonsIR도 공개되었습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 수관 하부 탐지 벤치마크: 기존 UAV 데이터셋이 고도에서 촬영된 것과 달리, 실제 SAR 임무 환경에 가까운 저고도 수관 하부 시점을 제공하는 최초의 대규모 데이터셋입니다.
2. 다양한 속성 레이블링: 단순 탐지뿐만 아니라 자세 (Pose) 와 가시성 (Visibility) 정보를 포함하여, SAR 임무에 필수적인 '실종자의 상태 파악' 및 '탐지 난이도 분석'을 가능하게 합니다.
3. 기존 데이터셋의 한계 규명: 기존 SAR 데이터셋이나 지상 기반 데이터셋 (COCO, CrowdHuman 등) 으로 학습된 모델이 ForestPersons 에서 심각한 성능 저하를 보임을 실험을 통해 증명했습니다. 이는 기존 벤치마크가 수관 하부 탐지 과제의 복잡성 (식생 가림, 비서성 자세 등) 을 반영하지 못함을 시사합니다.

4. 실험 결과 (Results)

• 벤치마크 성능: YOLOv11, Deformable R-CNN, DINO 등 다양한 최신 객체 탐지 모델을 ForestPersons 에서 평가했습니다.
  • 최고 성능 모델인 CZ Det은 AP50 96.1%, AP75 77.9% 를 기록했습니다.
  • DINO는 재현율 (AR) 측면에서 가장 높은 성능 (77.7) 을 보였습니다.
• 기존 데이터셋 전이 학습 실패:
  • 기존 UAV SAR 데이터셋 (SARD, HERIDAL 등) 으로 학습한 모델은 ForestPersons 테스트셋에서 AP 가 0.2~11.3% 로 극도로 낮았습니다.
  • 지상 기반 데이터셋 (COCO, CrowdHuman) 으로 학습한 모델도 성능이 크게 떨어졌으며, 특히 앉거나 누운 자세나 심하게 가려진 사람을 탐지하지 못했습니다.
• 속성별 영향 분석:
  • 자세: 서 있는 자세만 학습한 모델은 앉거나 누운 자세를 탐지하는 데 실패했습니다.
  • 계절: 여름 데이터만 학습한 모델은 겨울 데이터에서, 겨울 데이터만 학습한 모델은 여름 데이터에서 성능이 저하되었습니다. 모든 계절 데이터를 학습해야 일반화 성능이 향상됨을 확인했습니다.
  • 가시성: 가시성 (Visibility) 이 낮을수록 (가림이 심할수록) 탐지 정확도가 급격히 하락하여, 이 데이터셋이 탐지 난이도를 체계적으로 평가할 수 있음을 보여줍니다.
• 실제 MAV 데이터 검증: ForestPersons 는 손으로 들고 촬영되었으나, 실제 MAV 로 촬영한 테스트 데이터셋에서도 기존 SAR 데이터셋 기반 모델보다 높은 성능을 보여, 실제 임무 적용 가능성을 입증했습니다.

5. 의의 및 결론 (Significance)

• 실제 SAR 임무 지원: 이 데이터셋은 자율 수색 구조 (Autonomous SAR) 시스템 개발에 필수적인 기초 자료로, 실제 숲속에서 실종자를 찾는 데 더 적합한 AI 모델 개발을 가능하게 합니다.
• 연구 방향 제시: 단순한 탐지뿐만 아니라, 자세 추정, 가시성 분석, 계절적 변화 대응 등 SAR 임무의 복잡성을 고려한 모델 설계의 중요성을 강조합니다.
• 오픈 소스: 데이터셋은 Hugging Face 를 통해 공개되어 (https://huggingface.co/datasets/etri/ForestPersons), 전 세계 연구자들이 수관 하부 탐지 기술 발전에 기여할 수 있는 기반을 마련했습니다.

요약하자면, ForestPersons 는 울창한 숲속이라는 극한의 환경에서 실종자를 찾기 위해 필요한 고도화된 데이터와 평가 기준을 제시함으로써, 기존 UAV 기반 탐지 기술의 한계를 극복하고 실제 SAR 임무의 성공률을 높이는 데 기여하는 중요한 연구입니다.