EKF-Based Depth Camera and Deep Learning Fusion for UAV-Person Distance Estimation and Following in SAR Operations

1. 문제 정의 (Problem)

• 구조 활동 (SAR) 의 요구사항: 인명 구조 및 재산 보호를 위한 구조 활동 (SAR) 은 신속한 대응이 필수적이며, 무인 항공기 (UAV) 는 이러한 임무에서 지형 조사 및 실시간 지원 역할을 수행합니다.
• 핵심 과제: UAV 가 특정 개인을 탐지, 인식, 추적하고 안전한 거리를 유지하며 추종 (Following) 하는 과정에서 카메라와 대상 (신체) 간의 거리 (C-B Distance) 를 정확하게 추정하는 것이 가장 중요한 안전 요구사항입니다.
• 기존 기술의 한계:
  • 단안 카메라 (Monocular): 딥러닝을 이용한 거리 추정 시 신체 크기에 대한 가정이 필요하여 정밀도가 떨어질 수 있음.
  • 깊이 카메라 (Depth Camera): Intel RealSense D435i 와 같은 저비용 깊이 카메라는 최적 작동 범위 (0.4m~4m) 내에서는 정밀하지만, 그 이상 거리에서는 오차가 기하급수적으로 증가하고, 반사, 저조도, 급격한 카메라 움직임으로 인한 이상치 (Outliers) 발생 문제가 있음.
  • 신체 방향성: 신체 방향에 따라 거리 추정이 불안정해지거나, 카메라 시야 (FOV) 가장자리에서 데이터가 왜곡되는 문제가 존재함.

2. 방법론 (Methodology)

이 논문은 딥러닝 기반의 단안 카메라 거리 추정과 깊이 카메라 측정값을 **확장 칼만 필터 (EKF)**로 융합하여 강건한 거리 추정 시스템을 제안합니다.

A. 시스템 구성

• 하드웨어: Hexsoon EDU450 UAV, NVIDIA Jetson Xavier NX (온보드 컴퓨터), Intel RealSense D435i (깊이 카메라 + 단안 RGB 카메라).
• 소프트웨어: ROS2, PyTorch, YOLOv11, Dlib.

B. 핵심 알고리즘 흐름

1. 탐지 및 인식 (Detection & Recognition):
   • YOLOv11: 사람 탐지 및 바운딩 박스 생성.
   • Dlib: 얼굴 인식을 통해 특정 대상 식별 (또는 초기 프레임 캡처).
2. 추적 및 키 포인트 추출 (Tracking & Keypoint Extraction):
   • YOLOv11-pose: 추적된 대상의 17 개 신체 키 포인트 (Keypoints) 추출.
   • S-H 거리 (Shoulder-Hip): 어깨 중점과 엉덩이 중점 사이의 거리를 계산. 이는 신체 방향에 무관하고 가장 안정적인 인체 치수로 간주됨.
3. 단안 거리 추정 (Monocular Approximation):
   • 픽셀 단위 S-H 거리와 미리 정의된 인체 평균 키 (1.80m) 를 기반으로 비선형 함수 (Eq. 1) 를 사용하여 카메라 - 신체 (C-B) 거리를 추정.
   • 장점: 신체 방향, 반사, FOV 위치와 무관하게 안정적.
   • 단점: 절대적 정확도는 낮음 (특히 근거리).
4. 깊이 카메라 측정 및 이상치 필터링 (Depth Measurement & Outlier Filtering):
   • 깊이 카메라에서 S-H 선을 따라 픽셀들의 평균 깊이를 추출.
   • 이상치 감지: 연속된 샘플 간의 거리 변화율 (미분) 이 임계값을 초과하면 이상치로 간주하여 깊이 측정값을 폐기하고 단안 추정값만 사용.
5. EKF 융합 (Sensor Fusion):
   • 예측 단계 (Prediction): 단안 카메라 기반의 키 포인트 거리 추정값을 상태 예측에 사용.
   • 보정 단계 (Correction): 깊이 카메라의 측정값을 사용하여 오차를 보정.
   • 전략: 깊이 카메라의 정밀도를 활용하되, 이상치나 노이즈가 발생하면 EKF 가 예측 단계에 의존하여 추정을 안정화.

3. 주요 기여 (Key Contributions)

1. EKF 기반 다중 모달 융합 프레임워크: 단안 카메라의 딥러닝 기반 거리 추정과 깊이 카메라의 직접 측정을 EKF 로 융합하여, 각 센서의 단점을 보완하고 장점을 극대화하는 새로운 접근법 제시.
2. 신체 방향 불변성 (Orientation Invariance): 얼굴 중심이 아닌 어깨 - 엉덩이 (S-H) 키 포인트를 기반으로 하여, 대상이 카메라를 향해 기울거나 회전하더라도 안정적인 거리 추정이 가능하도록 설계.
3. 강건한 이상치 제거 알고리즘: 깊이 카메라의 반사, 저조도, 급격한 움직임으로 인한 노이즈를 실시간으로 감지하고 필터링하여 UAV 추종 제어의 안전성을 확보.
4. 작동 범위 확장: 깊이 카메라의 최적 작동 범위 (4m) 를 넘어, 융합 알고리즘을 통해 최대 7m까지 신뢰할 수 있는 거리 추정 범위 확장.

4. 실험 결과 (Results)

실험은 실내 (OptiTrack 모션 캡처 시스템을 이용한 정밀 지상 진실 데이터 비교) 와 실외 (UAV 비행 테스트) 에서 수행되었습니다.

• 실내 실험 (3 가지 시나리오):

  1. 이산적 전후 이동: 융합 방법의 평균 오차 (0.83cm) 는 단안 (10.45cm) 및 깊이 카메라 (13.01cm) 보다 현저히 낮음. RMSE 와 표준 편차도 모두 개선됨.
  2. 연속적 전후 이동: 융합 방법의 평균 오차 6.02cm 로, 개별 센서보다 정확도 향상.
  3. 좌우 이동 (측면 이동): 깊이 카메라가 시야 가장자리에서 오차가 커지지만, 융합 방법은 0.61cm의 매우 낮은 오차를 기록하며 가장 우수한 성능을 보임.
  • 종합: 세 시나리오 모두에서 평균 오차, RMSE, 표준 편차가 최대 15.3% 감소했습니다.

• 실외 실험 (UAV 비행):

  • Hexsoon EDU450 UAV 에서 Jetson Xavier NX 를 통해 실시간 (15 FPS) 으로 작동 확인.
  • 다양한 조명 조건, 바람, GPS 오차, 그리고 걷기/달리기/앉기/눕기 등 복잡한 인간 동작에서도 안전 거리 (약 5m) 를 유지하며 안정적으로 추종 성공.
  • 반사 및 저가시성 조건에서도 강건함을 입증.

5. 의의 및 결론 (Significance & Conclusion)

• SAR 임무의 안전성 향상: UAV 가 구조 대상자를 추종할 때 충돌 위험을 줄이고 안전한 거리를 유지할 수 있게 하여, SAR 전문가의 위험을 감소시킴.
• 실시간성 및 확장성: 저비용 하드웨어 (Jetson, RealSense) 에서 실시간으로 작동하며, 기존 깊이 카메라의 한계를 딥러닝과 필터링으로 극복하여 탐지 범위를 확장함.
• 미래 전망: 레이저 센서 등 장거리 센서와 본 키 포인트 기반 접근법을 결합하여 더 넓은 범위와 복잡한 환경에서의 SAR 임무 수행 능력을 높일 수 있는 기반을 마련함.

이 연구는 **컴퓨터 비전, 딥러닝, 센서 융합 (EKF)**을 통합하여 UAV 기반 인간 - 로봇 상호작용 (HRI) 및 구조 활동의 정확도와 신뢰성을 획기적으로 개선한 사례로 평가됩니다.