FlyPose: Towards Robust Human Pose Estimation From Aerial Views

이 논문은 드론의 저해상도 및 급격한 시야각과 같은 어려운 조건에서도 실시간으로 인간 포즈를 정확하게 추정할 수 있도록 다중 데이터셋 학습을 통해 성능을 대폭 향상시킨 경량화 탑다운 포즈 추정 파이프라인 'FlyPose'와 새로운 데이터셋 'FlyPose-104'를 제안합니다.

핵심

이 논문은 **"하늘에서 사람을 보고, 그 사람의 손짓이나 몸짓을 정확히 알아맞히는 드론용 기술 (FlyPose)"**에 대한 이야기입니다.

기존의 드론 기술은 주로 물건을 나르거나 감시하는 데 집중했지만, 이 연구는 드론이 사람과 더 자연스럽게 소통하고 안전하게 비행할 수 있도록 돕는 '눈'을 만들어냈습니다.

이 복잡한 기술 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🚁 1. 왜 이런 기술이 필요할까요? (문제 상황)

상상해 보세요. 드론이 하늘 40m 위에서 사람을 내려다보고 있습니다.

• 시각적 문제: 사람이 너무 작게 보이고, 머리만 보이거나 다리가 가려져서 (자기 가림) 몸의 전체 모양을 파악하기 어렵습니다. 마치 구름 위에서 개미가 뭐 하고 있는지 보려는 것과 비슷합니다.
• 기술적 문제: 드론은 배터리와 무게 제한이 있어 무거운 컴퓨터를 실을 수 없습니다. 하지만 사람이 작고 멀리 있을수록 더 정교한 분석이 필요해서, 기존 기술로는 드론이 처리하기엔 너무 무겁고 느렸습니다.

🛠️ 2. FlyPose 의 해결책: "가볍고 똑똑한 드론의 눈"

연구팀은 드론에 탑재할 수 있는 가볍지만 강력한 두 가지 도구를 개발했습니다.

① 첫 번째 도구: "사람 찾기 탐정" (Person Detector)

• 비유: 드론 카메라가 찍은 넓은 하늘 사진 속에서 **"어디에 사람이 있는지"**를 빠르게 찾아내는 역할입니다.
• 특징: 기존에는 드론용 데이터가 부족해서 성능이 떨어졌는데, 연구팀은 **여러 나라의 다양한 드론 영상 (도시, 바다, 산, 열화상 등)**을 섞어서 학습시켰습니다. 마치 여러 나라의 사투리를 모두 배운 통역사처럼, 어떤 환경에서도 사람을 잘 찾아냅니다.
• 결과: 사람이 작아도, 밤에 열화상 카메라로 찍어도 사람을 놓치지 않습니다.

② 두 번째 도구: "몸짓 해석 전문가" (Pose Estimator)

• 비유: 사람이 발견되면, 그 사람의 팔, 다리, 어깨, 무릎 등 관절 위치를 정확히 그리는 역할입니다.
• 특징: 하늘에서 내려다보면 다리가 짧아 보이거나 얼굴이 가려져서 기존 기술은 헷갈려 했습니다. 연구팀은 ViTPose라는 최신 기술을 드론 환경에 맞춰 다듬었습니다.
• 결과: 사람이 손을 흔들거나, 물건을 들거나, 특정 방향을 가리키는 동작을 드론이 실시간으로 알아챕니다.

⚡ 3. 얼마나 빠르고 실용적인가요?

이 기술의 가장 큰 장점은 속도입니다.

• 속도: 드론이 카메라로 영상을 받아서 분석하고 결과를 내기까지 걸리는 시간이 **약 20 밀리초 (0.02 초)**입니다.
• 비유: 사람이 눈을 깜빡이는 시간 (약 100150ms) 보다도 57 배 더 빠릅니다.
• 실제 비행: 연구팀은 이 기술을 실제 드론에 탑재해서 비행 실험을 했습니다. 드론이 하늘을 날면서 아래에 있는 사람의 손짓을 보고, **"아, 저 사람이 물건을 들어달라고 신호를 보내는구나!"**라고 판단하고 반응할 수 있었습니다.

📦 4. 새로운 데이터셋 (FlyPose-104)

이 기술 개발을 위해 연구팀은 104 장의 드론 영상을 직접 수집하고 손으로 관절 위치를 표시했습니다.

• 비유: 기존에 드론용 교재 (데이터) 가 거의 없었는데, 연구팀이 스스로 만든 '하늘에서 사람을 보는 법'이라는 새로운 교재를 세상에 공개한 셈입니다. 이 교재는 눈이 가려지거나 배경이 복잡한 아주 어려운 상황들을 포함하고 있어, 다른 연구자들이 더 좋은 드론 AI 를 만들 수 있도록 도와줍니다.

🌟 5. 결론: 드론의 미래는 '눈치'가 좋습니다

이 연구 (FlyPose) 는 드론이 단순히 하늘을 나는 기계가 아니라, 사람의 상황을 이해하고 반응하는 똑똑한 파트너가 될 수 있음을 보여줍니다.

• 응용 분야: 재난 현장에서 구조자가 손짓으로 도움을 요청하면 드론이 바로 알아차려 구명정을 보내거나, 물류 센터에서 작업자가 물건을 들어달라고 하면 드론이 바로 그 물건을 들어 올리는 등 안전하고 효율적인 드론 활용이 가능해집니다.

한 줄 요약:

"드론이 하늘에서 사람을 내려다보며, 그 사람의 손짓과 몸짓을 0.02 초 만에 알아차려서 사람과 함께 일할 수 있게 만든 똑똑하고 가벼운 기술입니다."

기술 요약

FlyPose: 항공 관점에서의 견고한 인간 자세 추정 (Human Pose Estimation)

1. 문제 정의 (Problem)

무인 항공기 (UAV, 드론) 가 택배 배송, 교통 감시, 재난 대응 등 인간이 거주하는 환경에 근접하여 운용되는 경우가 늘어나고 있습니다. 이러한 상황에서 UAV 는 인간과의 안전한 상호작용을 위해 **항공 관점 (Aerial View)**에서 인간의 자세와 행동을 정확하게 인식해야 합니다. 그러나 기존 지상 기반의 자세 추정 (HPE) 방법들은 항공 관점에서는 다음과 같은 심각한 한계를 겪습니다.

• 시점의 차이: 드론의 센서 각도는 최대 90 도에 달하는 수직 하향 시점 (Top-down view) 을 가지며, 이는 얼굴이나 다리 등 주요 관절의 **자가 가림 (Self-occlusion)**을 유발하고 신체 비율을 왜곡시킵니다.
• 저해상도 및 스케일 변화: 장애물을 피하기 위해 고도에서 비행할 경우, 지상 샘플링 거리 (GSD) 가 증가하여 이미지 내 사람 크기가 매우 작아지고 해상도가 낮아집니다.
• 실시간 제약: UAV 는 탑재 중량, 크기, 전력 제약이 엄격하여 고해상도 이미지를 처리할 수 있는 고사양 컴퓨팅 자원을 onboard 에 탑재하기 어렵습니다.

기존의 지상용 모델은 이러한 항공 환경에서 성능이 급격히 저하되며, 실시간으로 작동 가능한 경량화된 솔루션의 부재가 주요 문제였습니다.

2. 방법론 (Methodology)

저자들은 FlyPose라는 경량화된 Top-down 인간 자세 추정 파이프라인을 제안했습니다. 이 시스템은 드론의 onboard 엣지 디바이스에서 실시간으로 실행되도록 설계되었습니다.

• 파이프라인 구조:

  1. 사람 탐지 (Person Detection): 입력된 Full-HD 비디오 프레임에서 사람을 탐지하는 경량 객체 탐지기를 사용합니다.
  2. 자세 추정 (Pose Estimation): 탐지된 사람 영역 (Crop) 에서 2D 관절점 (Keypoints) 을 추출하는 전용 자세 추정 모듈을 적용합니다.

• 모델 아키텍처 및 학습 전략:

  • 탐지기: RT-DETRv2-S를 기반으로 합니다. ResNet-18 을 백본으로 사용하여 계산 효율성을 높였으며, 작은 객체 탐지를 위해 일반화된 IoU 손실 대신 **Normalized Wasserstein Distance Loss (NWDL)**를 도입하여 학습 안정성을 높였습니다.
  • 자세 추정기: ViTPose-S (Vision Transformer 기반) 를 선택했습니다. COCO 데이터셋으로 사전 학습된 모델을 UAV-Human 데이터셋에 미세 조정 (Fine-tuning) 하였습니다.
  • 멀티-데이터셋 학습: 다양한 항공 데이터셋 (VisDrone, Manipal-UAV, HIT-UAV 등) 과 지상 데이터셋 (COCO-Person) 을 혼합하여 학습함으로써, 다양한 고도, 배경, 시점 (수직/사선), 그리고 RGB/열화상 (Thermal) 모드에 대한 일반화 능력을 향상시켰습니다.
  • 데이터 증강: 저해상도 및 작은 크기를 시뮬레이션하기 위해 패치 크기를 5~20% 축소하는 다운스케일링 증강 기법을 적용했습니다.

• 하드웨어 배포: 학습된 모델은 Jetson Orin AGX Developer Kit (32GB RAM) 에서 TensorRT FP32 엔진으로 최적화되어 실제 비행 중 onboard 에서 실행되었습니다.

3. 주요 기여 (Key Contributions)

1. FlyPose 파이프라인 개발: 항공 이미지에서 더 정확한 자세를 예측하기 위해 여러 항공 데이터셋을 cross-학습한 Top-down HPE 파이프라인을 개발하고 엣지 디바이스에 배포 가능하게 만들었습니다.
2. FlyPose-104 데이터셋 공개: 수직 시점, 심각한 가림, 다양한 배경 (눈, 흙, 콘크리트 등) 을 포함하는 104 장의 이미지로 구성된 새로운 항공 자세 추정 테스트셋을 직접 주석 (Annotation) 하여 공개했습니다. 이는 현재 항공 자세 추정의 난이도를 평가하는 중요한 벤치마크가 됩니다.
3. 실제 비행 배포 및 검증: 훈련된 모델을 실제 UAV 에 탑재하여 비행 실험을 수행하고, 엣지 디바이스에서의 지연 시간 (Latency) 과 실시간 성능을 검증했습니다.

4. 실험 결과 (Results)

• 사람 탐지 성능:
  • 멀티-데이터셋 학습을 통해 Manipal-UAV, VisDrone, HIT-UAV, FlyPose-104 등 다양한 테스트셋에서 평균 6.8 mAP의 탐지 성능 향상을 달성했습니다.
  • 특히 HIT-UAV(열화상) 데이터셋에서 큰 개선을 보였습니다.
• 자세 추정 성능:
  • 도전적인 UAV-Human 데이터셋에서 16.3 mAP의 향상 (기존 AlphaPose 대비 56.9 mAP → 73.18 mAP) 을 기록했습니다.
  • ViTPose-S 모델이 Jetson Orin 에서 6.54ms의 추론 속도를 보여, 탐지 (13ms) 와 합쳐 총 **약 19.54ms (약 51 FPS)**의 초저지연 성능을 달성했습니다.
• 실제 비행 실험:
  • 35kg 최대 이륙 중량의 쿼드콥터 UAV 에 탑재하여 시뮬레이션된 화물 픽업 작업에서 사람의 손가락 방향을 추적하는 데 성공했습니다.
  • 프레임 획득부터 자세 예측까지 총 20ms 가 소요되어 25fps 실시간 처리 요구사항을 충족하며, 하류 작업 (트래킹, 제스처 인식 등) 을 위한 여유 시간을 확보했습니다.

5. 의의 및 결론 (Significance)

이 논문은 UAV 가 인간이 거주하는 환경에 통합됨에 따라 필수적인 실시간 항공 기반 인간 자세 추정 문제를 해결하기 위한 중요한 진전을 이루었습니다.

• 실용성: 고사양 서버가 아닌 제한된 자원을 가진 UAV onboard 에서 실시간으로 작동 가능한 경량 모델을 제시했습니다.
• 데이터 부족 해결: 항공 관점의 자세 데이터 부족 문제를 해결하기 위해 FlyPose-104 데이터셋을 공개하여 향후 연구의 기반을 마련했습니다.
• 응용 가능성: 제스처 기반 드론 제어, 행동 인식, 재난 현장의 생존자 탐지, 물류 자동화 등 다양한 드론 응용 분야에서 인간과의 안전한 상호작용을 가능하게 합니다.

결론적으로, FlyPose 는 항공 관점의 특수한 어려움 (가림, 저해상도, 시점 왜곡) 을 극복하면서도 엣지 컴퓨팅의 제약을 준수하는 견고한 솔루션을 제시함으로써, 지능형 드론 시스템의 발전에 기여했습니다.