Fusion of Visual-Inertial Odometry with LiDAR Relative Localization for Cooperative Guidance of a Micro-Scale Aerial Vehicle

이 논문은 LiDAR 가 탑재된 주 UAV 와 카메라만 장착된 소형 보조 UAV 간의 협력적 항법을 통해 비주얼 - 관성 오도메트리 (VIO) 의 드리프트를 보정하고 정밀한 상대 위치 추정 및 안내를 가능하게 하는 새로운 방법을 제안하고 실험적으로 검증합니다.

핵심

이 논문은 작은 드론이 혼자서는 길을 잃기 쉽지만, 큰 드론의 도움을 받으면 정밀하게 임무를 수행할 수 있는 새로운 방법을 소개합니다.

마치 **"어린아이가 길을 잃지 않도록 경험 많은 안내자가 옆에서 손잡고 이끌어주는 상황"**과 비슷합니다.

이 내용을 일상적인 언어와 비유로 쉽게 설명해 드릴게요.

---

1. 문제 상황: "작은 드론의 시련"

작은 드론 (마이크로 드론) 은 가볍고 저렴해서 좁은 구멍이나 복잡한 공간으로 들어가기 좋습니다. 하지만 이 작은 드론은 **카메라와 관성 센서 (VIO)**만 가지고 있습니다.

• 비유: 작은 드론은 안대 (가리개) 를 쓰고 나침반만 들고 있는 탐험가와 같습니다.
• 문제점: 빛이 약하거나 벽에 무늬가 없으면 길을 잃고, 시간이 지날수록 "내가 지금 어디에 있었지?"라는 기억이 점점 흐려져서 (이것을 '드리프트'라고 합니다) 결국 엉뚱한 곳에 도착해 버립니다.

2. 해결책: "무거운 드론의 도움"

반면, 큰 드론은 **3D 라이다 (LiDAR)**라는 정밀한 레이저 장치를 달고 있습니다.

• 비유: 큰 드론은 고성능 레이저 거리측정기와 지도를 들고 있는 전문 가이드입니다.
• 장점: 빛이 어둡거나 환경이 복잡해도 레이저로 주변을 정밀하게 스캔해서 절대적인 위치를 정확히 알 수 있습니다.
• 단점: 장치가 무거워서 좁은 구멍으로 들어가기 어렵습니다.

3. 제안된 방법: "함께하는 협력 (Cooperative Guidance)"

이 논문은 이 두 드론이 팀을 이루어 서로의 단점을 보완하는 방법을 제안합니다.

• 상황: 큰 드론 (가이드) 은 넓은 통로에서 레이저로 주변을 스캔하며 자신의 위치를 정확히 파악합니다. 그리고 작은 드론 (탐험가) 을 레이저로 쏘아 위치를 추적합니다.
• 핵심 기술:
  1. 레이저 추적: 큰 드론은 레이저로 작은 드론의 3 차원 위치를 실시간으로 잡습니다.
  2. 보정 (Fusion): 작은 드론이 "나는 여기야!"라고 카메라로 말하면, 큰 드론은 "아니야, 네 카메라는 망가져서 잘못 보고 있어. 실제로는 저기야!"라고 레이저 데이터로 바로잡아 줍니다.
  3. 안내: 큰 드론은 "이 길로 가"라고 명령을 내리면, 작은 드론은 그 명령을 받아 자신의 카메라 데이터와 큰 드론의 정밀한 위치 정보를 합쳐서 정확한 길을 따라갑니다.

4. 실험 결과: "완벽한 팀워크"

연구진은 실제 실험을 통해 이 방법이 얼마나 효과적인지 증명했습니다.

• 결과: 작은 드론 혼자 날았을 때는 길을 잃고 큰 오류가 발생했지만, 큰 드론의 도움을 받으면 오류가 10 분의 1 수준으로 줄어듭니다.
• 의미: 이제 작은 드론은 큰 드론이 갈 수 없는 좁은 통로나 지하 공간으로 들어가서 정밀한 지도를 만들거나 구조 작업을 할 수 있게 되었습니다. 마치 큰 배가 작은 보트를 안전하게 항해하게 돕는 것과 같습니다.

5. 요약

이 연구는 **"무겁지만 정확한 레이저 드론"**과 **"가볍지만 길을 잃기 쉬운 카메라 드론"**이 서로 협력하여, 어떤 환경에서도 정밀하게 임무를 수행할 수 있는 시스템을 만들었습니다.

• 핵심 메시지: 혼자서는 한계가 있지만, 서로 다른 능력을 가진 로봇들이 손잡고 협력하면 훨씬 더 강력하고 정확한 작업을 할 수 있습니다.

이 기술은 재난 현장 (지하 터널, 폐쇄된 건물) 에서 구조대나 탐사 로봇이 서로 협력하여 생명을 구하거나 위험한 지역을 탐사하는 데 큰 역할을 할 것으로 기대됩니다.

기술 요약

논문 요약: LiDAR 상대 위치 추정과 VIO 융합을 통한 마이크로 UAV 의 협력 유도

1. 연구 배경 및 문제 정의 (Problem Statement)

• 배경: GNSS 가 차단된 환경 (실내, 지하 등) 에서의 구조 및 탐색 (SAR) 임무에 무인 항공기 (UAV) 가 필수적입니다.
• 문제점:
  • 마이크로 UAV (경량): 카메라와 IMU 만 탑재하여 VIO(Visual-Inertial Odometry) 를 사용합니다. 이는 가볍고 좁은 공간 통과에 유리하지만, 조명 조건, 텍스처 부족, 가속도 등에 민감하여 장기적인 드리프트 (Drift) 가 발생하고 스케일 불관측성 문제가 있습니다.
  • 메인 UAV (중량): 3D LiDAR 를 탑재하여 SLAM 을 수행합니다. LiDAR 는 환경의 기하학적 구조를 기반으로 하므로 드리프트가 적고 정밀도가 높지만, 센서 무게와 전력 소모로 인해 대형 플랫폼이 필요하여 좁은 공간 접근이 어렵습니다.
• 목표: LiDAR 를 탑재한 주 UAV(Primary UAV) 가 카메라만 탑재한 보조 UAV(Secondary UAV) 의 위치를 정밀하게 추정하고, 이를 통해 보조 UAV 를 정해진 궤적으로 유도하여 VIO 드리프트를 보정하는 이종 (Heterogeneous) UAV 팀 협력 시스템을 구축하는 것입니다.

2. 제안된 방법론 (Methodology)

제안된 시스템은 주 UAV 와 보조 UAV 간의 밀접한 협력 (Tight Cooperation) 을 기반으로 하며, 다음과 같은 핵심 모듈로 구성됩니다.

• 시스템 아키텍처:

  • 주 UAV (Primary): 3D LiDAR 를 사용하여 자체 위치 추정 (SLAM) 을 수행하고, 주변 환경의 3D 포인트 클라우드를 생성합니다.
  • 보조 UAV (Secondary): 모노큘러 카메라와 IMU 를 사용하여 VIO 로 자체 위치를 추정합니다.
  • 통신: 무선 네트워크를 통해 두 UAV 간 데이터 (LiDAR 검출 정보, VIO 상태, 궤적 명령) 를 실시간으로 교환합니다.

• 핵심 알고리즘 (UAV Guider Module):

  1. LiDAR 기반 탐지 (LiDAR-based Detector): 주 UAV 의 LiDAR 데이터에서 보조 UAV 를 3D 포인트 클러스터로 탐지하고 추적합니다. 필요시 반사 마커 (Reflective Markers) 를 사용하여 복잡한 환경에서의 탐지 신뢰도를 높입니다.
  2. 상대 위치 추정 (Relative Localization Estimation):
     • NLS 기반 추정기 (Non-Linear Least Squares): 슬라이딩 윈도우 내에서 LiDAR 탐지 데이터와 보조 UAV 의 VIO 포즈를 정렬하여 두 좌표계 간의 4 자유도 (3 차원 병진 + 상대 헤딩) 변환 행렬 ($^L_V T$) 을 추정합니다.
     • LKF 기반 추적기 (Linear Kalman Filter): NLS 결과와 최신 LiDAR/VIO 데이터를 융합하여 드리프트가 보정된 보조 UAV 의 절대 위치 ($^L S_x$) 와 변환 행렬 ($^L S T$) 을 실시간으로 추정합니다. 이는 측정 지연과 오검출을 처리합니다.
  3. 궤적 변환 및 유도 (Reference Transformation): 주 UAV 좌표계에서 정의된 목표 궤적을 보조 UAV 의 로컬 좌표계로 변환하여 전송합니다. 보조 UAV 는 이를 받아 자체 제어기 (MRS UAV System) 를 통해 추종합니다.

• 특징:

  • Loosely-coupled 접근: VIO 알고리즘 내부 구조를 변경하지 않고 외부에서 보정하므로 다양한 VIO 알고리즘에 적용 가능합니다.
  • 초기화 불필요: UAV 의 초기 위치나 크기에 대한 사전 지식이 필요하지 않습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 이종 UAV 상대 위치 추정법: LiDAR 의 정밀한 3D 위치 정보와 VIO 의 경량 특성을 융합하여, 사전 정보 없이도 UAV 간 상대 위치와 방향을 정확하게 추정하는 방법을 제안했습니다.
2. VIO 드리프트 보정 협력 유도 전략: 주 UAV 가 보조 UAV 의 드리프트를 실시간으로 보정하며, 보조 UAV 가 주 UAV 기준의 정밀한 궤적을 추종할 수 있게 합니다.
3. 실증 데이터 공개: 실제 환경에서 수집된 LiDAR 및 VIO 데이터를 공개하여, 향후 유사한 상대 위치 추정 연구의 벤치마크로 활용되도록 했습니다.

4. 실험 결과 (Experimental Results)

• 시뮬레이션 (Gazebo):
  • 다양한 드리프트 속도 (0~1 m/s) 에서 보조 UAV 를 원형 궤적으로 유도하는 실험을 수행했습니다.
  • 드리프트가 0.7 m/s 이하일 때 100% 성공했으며, 0.8 m/s 에서도 대부분 성공했습니다.
  • 비선형 시야 (NLOS) 상황에서도 LiDAR 가 가려진 구간을 VIO 로 추정하다가 시야가 확보되면 위치를 즉시 보정하는 것을 확인했습니다.
• 실제 비행 실험 (Real-world Flights):
  • 환경: 공장 창고 및 실내 공간.
  • 성능: 제안된 LiDAR+VIO 융합 방법은 순수 VINS-Mono 나 OpenVINS 보다 월등히 낮은 절대 궤적 오차 (ATE) 를 보였습니다.
    • 평균 3D ATE: 제안 방법 0.28 m vs VINS-Mono 2.38 m vs OpenVINS 0.58 m.
  • 협력 매핑: 주 UAV 는 넓은 통로를, 보조 UAV 는 좁은 측통로를 매핑하며, 두 UAV 가 생성한 로컬 맵을 주 UAV 에서 통합하여 정밀한 전역 맵을 구축하는 데 성공했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 기술적 의의: LiDAR 의 정밀함과 카메라 기반 시스템의 경량성/저비용을 결합하여, 대형 UAV 가 접근하기 어려운 좁은 공간까지 정밀하게 탐색할 수 있는 새로운 협력 패러다임을 제시했습니다.
• 실용성: GNSS 가 차단된 재난 현장이나 복잡한 실내 환경에서, 대형 정밀 센서를 탑재한 UAV 가 소형 탐사 UAV 를 정밀하게 유도하여 임무 수행 능력을 극대화할 수 있음을 입증했습니다.
• 확장성: 통신 대역폭 요구 사항이 낮아 다수 UAV 스웜 (Swarm) 으로 확장 가능하며, 반사 마커를 통해 복잡한 환경에서의 안정성도 확보했습니다.

이 연구는 이종 센서를 가진 다중 로봇 시스템의 협력 항법 분야에서 중요한 진전을 이루었으며, 특히 정밀도와 이동성 간의 트레이드오프를 해결하는 효과적인 솔루션을 제공합니다.