Cross-Session 3D LiDAR and Camera Fusion for Robust Localization of Unmanned Aerial Vehicles in GPS-Denied Environments

기술 요약: 강건한 UAV 위치 추정을 위한 교차 세션(Cross-Session) 3D LiDAR 및 카메라 퓨전

문제 정의
교량 하부, 터널, 도심 협곡 모니터링과 같은 인프라 점검을 수행하는 무인 항공기(UAV)에게 정확한 위치 추정은 매우 중요합니다. 이러한 GPS 음영 지역에서는 표준 위성 항법을 사용할 수 없거나 신뢰할 수 없습니다. 기존의 솔루션들이 존재하지만, 다음과 같은 상당한 한계가 있습니다:

• 시각 전용 시스템(Visual-only systems): 저조도 또는 특징점이 부족한 환경에서 성능이 저하되며, 루프 클로저(loop closure) 없이는 드리프트(drift) 현상이 발생합니다.
• LiDAR 전용 시스템(LiDAR-only systems): 기하학적 퇴화가 발생하는 장면(예: 평평한 표면이나 긴 터널)에서 어려움을 겪으며, 전역 제약 조건(global constraints)의 부재로 인해 시간이 지남에 따라 드리프트가 누적됩니다.
• 강하게 결합된 시각-관성-LiDAR(Vigilant Visual-Inertial-LiDAR, VIL) 시스템 (예: FAST-LIVO, LVI-SAM): 높은 정확도를 제공하지만, 복잡한 센서 구성(스테레오 카메라, IMU 등)을 요구하는 경우가 많으며 프레임 레이트가 떨어지거나 시각적 중첩이 제한될 때 어려움을 겪습니다.
• 학습 기반 방법(Learning-based methods): 광범위한 학습 데이터가 필요하며, 도메인 변화(조명, 시점 변화) 상황에서 실패할 수 있습니다.

또한, 조명이 변하거나 특징이 불균일하게 분포된 복잡한 구조물에서 일관된 위치 추정을 수행하기에는 단일 세션 데이터만으로는 불충분합니다.

방법론: 교차 퓨전(Cross-Fusion)
저자들은 3D LiDAR와 단안 카메라를 통합하는 하이브리드 위치 추정 프레임워크인 Cross-Fusion을 제안합니다. 이 시스템은 두 가지 별도의 단계로 작동합니다:

1. 오프라인 단계 (데이터베이스 구축):

   • 이전 점검 세션(예: 지상 로봇 또는 수동 드론 비행)에서 얻은 데이터를 사용하여 베이스라인 시각-기하학적 데이터베이스를 구축합니다.
   • 특징 추출(Feature Extraction): CNN 기반 방식(SuperPoint 또는 DISK)을 사용하여 국소 키포인트와 디스크립터를 추출합니다.
   • 전역 검색(Global Retrieval): 대규모 데이터베이스에서 후보 이미지를 빠르게 검색할 수 있도록 각 이미지에 대한 전역 디스크립터(EigenPlaces)를 계산합니다.
   • 지도 생성(Map Generation): 중첩되는 이미지 쌍을 매칭(SuperGlue)하고 SfM(Structure-from-Motion) 파이프라인(COLMAP)을 통해 알려진 카메라 포즈를 가진 희소 3D 포인트 클라우드 지도($X_i$)를 생성합니다.

2. 온라인 단계 (실시간 위치 추정):

   • LiDAR 오도메트리(LiDAR Odometry): UAV는 연속적인 LiDAR 스캔을 정렬(ICP 또는 유사 방식)하여 자신의 거친 포즈($P_t$)를 추정합니다. 이는 연속적인 움직임 추적을 제공하지만 드리프트에 취в히기 쉽습니다.
   • 시각적 보정(Visual Correction):
     • 거친 검색(Coarse Retrieval): 현재 카메라 이미지를 전역 디스크립터를 사용하여 오프라인 데이터베이스와 비교함으로써 가장 유사한 상위-$k$개의 이미지를 식별합니다.
     • 정밀 매칭(Fine Matching): 현재 이미지와 후보 데이터베이스 이미지 간의 국소 특징점을 SuperGlue를 사용하여 매칭합니다.
     • 교차 세션 2D-3D 전이(Cross-Session 2D-3D Transfer): 이것이 핵심 혁신 사항입니다. 매칭된 2D 키포인트를 온라인 LiDAR 포인트 클라우드($L_i$)와 오프라인 3D 지도($X_i$)로 투영합니다. 이를 통해 현재 LiDAR 스캔과 사전 구축된 지도 사이의 3D-3D 대응 관계를 생성합니다.
     • 포즈 정밀화(Pose Refinement): LiDAR 포인트와 지도 포인트 사이의 거리 오차를 최소화하도록 절단된 포인트 클라우드 등록(truncated point-cloud registration) 문제를 해결하여, 전역 지도에 대한 수정된 6-DoF 포즈를 산출합니다.

주요 기여
본 논문은 네 가지 주요 기여를 식별합니다:

1. 교차 세션 퓨전 전략: 온라인 UAV 관측치를 사전 구축된 시각-기하학적 데이터베이스와 연관시키는 새로운 파이프라인을 제공합니다. 이는 GPS 없이도 특징이 적은 환경에서 드리프트를 보정하기 위한 전역 포즈 제약을 제공합니다.
2. LiDAR 유도형 2D-3D 대응 전이: 매칭된 2D 키포인트를 온라인 LiDAR 스트림을 통해 투영함으로써 2D-2D 이미지 매칭을 3D-3D 포인트 클라우드 대응 관계로 격상시키는 메커니즘입니다. 이를 통해 IMU나 스테레오 카메라 없이도 6-DoF 포즈 보정이 가능합니다.
3. 강건하고 경량화된 센서 구성: 본 시스템은 3D LiDAR와 단안 카메라만을 사용하여 경쟁력 있는 정확도를 달달성하며, 강하게 결합된 시각-관성 시스템의 복잡성을 피합니다. 이는 낮은 프레임 레이트나 저하된 시각적 조건에서도 더 뛰어난 강건성을 입증합니다.
4. 오픈 소스 구현: 재현성을 지원하기 위해 저자들은 코드를 제공합니다.

실험 결과
실험은 Quanergy M8 LiDAR와 Intel RealSense D435 카메라를 장착한 쿼드콥터를 사용하여 150m x 150m 규모의 건물 구역에서 수행되었습니다. GPS 데이터는 오직 지면 진실(ground truth) 참조용으로만 사용되었습니다.

• 드리프트 감소: 제안된 방법은 LiDAR 전용 오도메트리에 비해 위치 추정 오차를 크게 줄였습니다. LiDAR 전용 궤적은 시간이 지남에 따라 드리프트가 누적된 반면, Cross-Fusion 방식은 오프라인 데이터베이스로부터의 시각적 보정을 활용하여 GPS 참조와의 정렬을 유지했습니다.
• 최신 기술과의 강건성 비교: 일반적인 조건에서 FAST-LIVO(강하게 결합된 LIVO SLAM 방식)와 비교했을 때, Cross-Fusion은 약간 낮은 정확도를 보였습니다. 그러나 극단적인 시나리오에서는 우수한 강건성을 입증했습니다. 구체적으로, 카메라 프레임 레이트가 1 fps 미만으로 감소했을 때, FAST-LIVO는 강한 결합 및 지속적인 중첩에 의존하기 때문에 궤적 추정에 실패했으나, Cross-Fusion은 안정적인 위치 추정을 유지했습니다.

의의 및 주장
본 논문은 Cross-Fusion이 "저고도 경제(low-altitude economy)"를 위한 실질적인 솔루션을 제공한다고 주장하며, 특히 GPS가 제한된 환경에서의 정기적인 인프라 점검에 적합합니다. 기존의 베이스라인 조사(구조물 건강 모니터링에서 흔히 사용됨)를 활용함으로써, 이 시스템은 단일 센서 오도메트리의 단순함과 강하게 결합된 다중 센서 시스템의 복잡성 사이의 간극을 메웁니다.

저자들은 시스템이 현재 사전 수집된 이미지 데이터베이스에 의존하고 있어, 사전 매핑이 불가능한 동적인 시나리오에서의 사용이 제한적이라는 점을 겸허히 인정합니다. 향에 대한 작업으로는, 단순히 정적인 사전 데이터에만 의존하지 않고 여러 온라인 세션(예: 지상 및 UAV 에이전트 간의 협업)의 데이터를 통합하여 실시간 지도 구축을 가능하게 하는 것이 제안되었습니다. 본 연구는 기존의 모든 SLAM 방법을 대체하려는 것이 아니라, 특정 점검 사례를 위한 정확도, 강건성 및 하드웨어 단순성 사이의 균형 잡힌 트레이드오프를 제공하는 것을 목표로 합니다.