LiDAR, GNSS and IMU Sensor Fine Alignment through Dynamic Time Warping to Construct 3D City Maps

기술 요약: 3D 도시 지도 구축을 위한 동적 시간 워핑(Dynamic Time Warping) 기반 LiDAR, GNSS 및 IMU 센서의 정밀 정렬

문제 정의
도시 환경에서의 LiDAR 기반 3D 매핑은 프레임별 정렬 과정에서 발생하는 누적 드리프트(cumulative drift)로 인해 전역적 불일치(global misalignment)가 발생하는 심각한 문제에 직면해 있습니다. GNSS가 이러한 드리프트를 완화할 수 있지만, 고층 빌딩, 교량, 터널 등에 의한 차폐로 인해 신호 저하나 손실이 발생하는 밀집된 도시 구역에서는 그 효용성이 크게 저하됩니다. 또한, 기존의 다중 모달 통합 방법들은 이종 센서(LiDAR, GNSS, IMU) 간의 비정상적 시간 지연(non-stationary time delays) 문제를 해결하는 데 어려움을 겪으며, 대규모 도시 배포를 위한 확장성이 부족합니다. 현재의 데이터셋들은 신뢰할 수 있는 GNSS 그라운드 트루스(ground truth)나 전역적으로 일관된 3D 지도 정렬이 결여된 경우가 많아, GNSS 제약 환경에서의 매핑 성능을 평가하기 어렵습니다.

방법론: LIGMA 프레임워크
저자들은 고해 resolution의 전역적으로 일관된 3D 도시 지도를 구축하기 위해 설계된 통합 다중 모달 융합 프레임워크인 LIGMA(LiDAR-IMU-GNSS Mapping Architecture)를 제안합니다. 이 파이프라인은 네 가지 주요 단계로 구성됩니다:

1. 다중 모달 전처리 (Multimodal Preprocessing):

   • LiDAR: 128채널 Ouster OS1에서 획득한 로우 스캔 데이터는 통계적 이상치 제거(Statistical Outlier Removal, SOR)를 통해 노이즈를 제거하고 복셀 그리드 필터링을 통해 다운샘플링됩니다. 누락된 프레임은 선형 보간법을 통해 재구성됩니다.
   • GNSS/IMU: GNSS 궤적(5 Hz)과 IMU 데이터(73 Hz)는 멀티패스(multipath) 조건에서도 궤적을 부드럽게 만들고, GNSS 단절 시 편향을 고려한 관성 데드 레코닝(inertial dead-reckoning)을 제공하도록 확장 칼만 필터(EKF)를 사용하여 처리됩니다. 이상치는 마할라노비스 거리 임계값(Mahalanobis distance thresholding)을 사용하여 제거됩니다.

2. 동적 시간 워핑(DTW)을 통한 시간적 동기화:

   • OS 스케줄링 지터 및 레이턴시로 인한 센서 스트림 타임스탬프 간의 잔차(residual)를 해결하기 위해, 프레임워크는 속도 기반의 시간 정렬을 수행합니다.
   • 도시 협곡(urban canyons) 내에서 신뢰할 수 없는 RTK-GNSS 속도에 의존하는 대신, 본 방법은 LiDAR(ICP 기반 프레임 등록을 통해)와 IMU(편향이 보정된 가속도 적분을 통해)로부터 독립적으로 속도를 추정합니다.
   • 속도 시그니처를 일치시키기 위해 **동적 시간 워핑(DTW)**이 적용됩니다. 비용 함수(cost function)는 제곱 속도 차이와 헤딩(heading) 차이를 결합하며, 과도한 워핑을 방지하기 위해 사코-치바 밴드(Sakoe–Chiba band)에 의해 제한됩니다. 정지 구간(속도 < 0.1 m/s)은 정렬을 시작하기 위한 앵커(anchor)로 사용됩니다. 이 접근 방식은 단순한 상수 이동(constant-shift) 방식으로는 처리할 수 없는 비선형 시간 오프셋을 교정합니다.

3. 계층적 3D 지도 구축:

   • 로컬 등록 (Local Registration): 순차적인 LiDAR 스캔은 NDT(Normal Distributions Transform)를 사용하여 정렬됩니다.
   • 포즈 그래프 최적화 (Pose Graph Optimization): NDT로부터 얻은 상대적 변환과 Scan Context 디스크립터를 통해 탐지된 루프 클로저(loop closures)를 엣지(edge)로 갖는 포즈 그래프를 구축합니다.
   • GNSS 제약 앵커링 (GNSS-Constrained Anchoring): 최적화된 로컬 궤적은 가중 최소 제곱법(weighted least squares)을 사용하여 GNSS 경로에 정렬됩니다. 가중치는 GNSS 신호 품질(예: PDOP, RTK fix 상태)에 따라 할당되어, 시스템이 신뢰할 수 없는 GNSS 세그먼트는 약화시키면서 로컬 루프의 무결성은 유지할 수 있도록 합니다.
   • 글로벌 병합 (Global Merging): 중첩된 루프 세그먼트는 강건한 트리밍(거리 게이팅, 법선 일관성, 이상치 제거)을 포함한 ICP(Iterative Closest Point)를 사용하여 병합됩니다. ICP가 실패할 경우, 재초기화를 위해 글로벌 등록 솔버인 Go-ICP가 사용됩니다.

4. 평가 지표:

   • 기하학적 일관성은 이중 지표 접근 방식을 통해 평가됩니다:
     • 중심선 정렬 (Centerline Alignment): 3D 지도에서 도로 중심선을 추출하고 이를 지리 참조된 2D 베이스 맵(Google Maps)과 비교하여 평균 제곱근 오차(RMSE)를 계산합니다.
     • 교차로 분석 (Intersection Analysis): 교차로에서의 중심점 오프셋(centroid offset)과 평균 방향 편차를 측정하여 로컬 기하학적 충실도와 위상적 정확성을 평가합니다.

주요 기여

1. 새로운 동기화 전략: 본 논문은 도시 LiDAR-GNSS 매핑에서 시간적 정렬을 위한 최초의 DTW 기반 속도 매칭 기법을 도입하여, 서로 다른 샘플링 레이트와 동기화되지 않은 클록을 가진 센서 간의 견고한 동기화를 가능하게 하며, GNSS 속도에 의존하지 않습니다.
2. 통합 융합 파이프라인 (LIGMA): 누적 드리프트를 완화하기 위해 NDT, 포즈 그래프 최적화, GNSS 제약 글로벌 정밀화를 통합하는 계층적 등록 프레임워크를 제공합니다.
3. 고해상도 데이터셋: 저자들은 서호주 퍼스(Perth) 중심 업무 지구(CBD)에서 캡처한 새로운 대규모 다중 모달 데이터셋을 제시합니다. 이 데이터셋은 다음을 포함합니다:
   • 128채널 Ouster 센서로부터 획득한 144,000개의 LiDAR 프레임.
   • 동기화된 RTK-GNSS 궤적 및 MEMS-IMU 측정값.
   • 18.6 km 및 약 4.2 km²에 걸친 21개의 도시 루프 커버리지.
   • 이 데이터셋은 루프 클로저에 대한 그라운드 트루스를 포함하며, IEEE Dataport를 통해 공개적으로 이용 가능합니다.

결과
프레임워크는 21개 시퀀스에 대해 LiDAR 전용 베이스라인(GNSS가 없는 NDT-ICP)과 비교 평가되었습니다:

• 전역 정렬: 평균 전역 중심선 RMSE가 3.32 m에서 1.24 m로 감소하여 **61.4%**의 개선을 보였습니다.
• 로컬 기하학적 충실도: 평균 교차로 중심점 오프셋이 13.22 m에서 2.01 m로 감소하여 84.8% 향상되었습니다.
• 방향 정확도: 교차로에서의 평균 방향 편차가 2.56°에서 1.18°로 감소했습니다.
• 동기화 정확도: DTW 방식은 95 백분위수 타이밍 드리프트를 42.3 ms(PPS 전용)에서 7.8 ms로 줄여, 상수 이동 베이스라인보다 월등한 성능을 보였습니다.
• 처리 시간: 21개 루프 데이터셋에 대한 엔드 투 엔드 프로세싱(데이터 획득 제외)은 고성능 워크스테이션에서 약 12시간 44분이 소요되었으며, 이는 본 방법이 실시간 배포보다는 오프라인 고충실도 지도 구축을 위해 설계되었음을 확인시켜 줍니다.

의의
본 논문은 LIGMA가 GNSS 제약 환경에서의 3D 도시 매핑을 평가하기 위한 새로운 벤치마크를 설정한다고 주장합니다. 누적 드리프트와 센서 간의 교차 시간적 불일치라는 핵심 문제를 해결함으로써, 이 프레임워크는 자율 주행, HD 맵 생성 및 도시 계획에 적합한 고충실도 지도를 구축할 수 있게 합니다. 퍼스 CBD 데이터셋의 공개는 신뢰할 수 있는 GNSS 그라운드 트루스와 전역적으로 일관된 3D 지도 정렬을 제공함으로써 기존 벤치마크의 공백을 메우며, 향후 도시 SLAM 및 센서 융합 연구를 촉진합니다. 저자들은 자신들의 작업이 까다로운 중첩 조건에 대한 실질적인 복구 메커니즘을 제공하고 다양한 센서 구성을 지원하며, 복잡한 도시 토폴로지에서의 견고한 대규모 매핑을 위한 토대를 제공함을 강조합니다.