CaLiV: LiDAR-to-Vehicle Calibration of Arbitrary Sensor Setups

기술 요약: CaLiV - 임의의 센서 설정을 위한 LiDAR-to-Vehicle 캘리브레이션

문제 정의

자율 주행 시스템에서 정확한 센서 캘리브레이션은 신뢰할 수 있는 인지, 계획 및 제어를 위한 전제 조건입니다. 센서 간(S2S) 캘리브레이션은 잘 연구되어 있는 반면, 센서-대-차량(S2V) 캘리브레이션은 여전히 중요한 공백으로 남아 있습니다. 부정확한 S2V 캘리브레이션은 시스템 전체로 오류를 전파하여 장애물 회피와 같은 안전에 직결되는 다운스트림 작업에 영향을 미칩니다.

기존 솔루션들은 다음과 같은 상당한 한계에 직면해 있습니다:

• 타겟리스(Targetless) 방식(예: SLAM 기반 또는 hand-eye 캘리브레이션)은 특징점이 풍부한 환경을 요구하거나, 긴 움직임 시퀀스가 필요하며, S2V 캘리브레이션에서 높은 정확도를 달액하는 데 실패하는 경우가 많습니다.
• 타겟 기반(Target-based) 방식은 일반적으로 중첩된 시야각(FoV)을 필요로 하거나, 센서와 차량 프레임 사이의 대응 관계를 설정하기 위해 외부 센싱 장치(예: 모션 캡처 시스템 또는 지상 레이저 스캐너)에 의존합니다.
• 비중첩 설정(센서가 서로 반대 방향을 향하는 버스나 열차와 같은 대형 차량에서 흔함)은 센서가 동일한 특징을 동시에 관측할 수 없기 때문에 특히 까다롭습니다.

현재, 외부 센싱 장치 없이 비중첩 FoV를 가진 멀티 LiDAR 시스템에 대해 S2S 및 S2V 캘리브레이션을 모두 수행할 수 있는 타겟 기반의 환경 독립적 프레임워크는 존재하지 않습니다.

방법론

제안된 프레임워크인 CaLiV는 차량의 움직임을 활용하여 필요한 중첩을 생성하고 가우시안 혼합 모델(GMM) 기반의 등록(registration)을 사용하는 새로운 타겟 기반 접근 방식을 통해 이러한 과제를 해결합니다. 프로세스는 네 가지 주요 단계로 구성됩니다:

1. 모션 및 포즈 추정:
   차량이 곡선 궤적을 주행하게 하여 비중첩 LiDAR 간의 시야각 중첩을 유도합니다. 차량 포즈($R_{V_i}T$)는 IMU, GPS, 속도 및 방향 데이터를 융합하는 무향 칼만 필터(UKF)를 사용하여 추정됩니다.

2. 거친 포인트 클라우드 정렬(Rough Point Cloud Alignment):
   서로 다른 시간대의 포인트 클라우드는 추정된 차량 포즈와 초기(오류가 있는) LiDAR 변환을 사용하여 사전 정렬됩니다. 이는 데이터를 공통 캘리브레이션 프레임으로 등록하기 위한 준비 과정입니다.

3. GMMCalib를 통한 공동 등록(Joint Registration):
   프레임워크는 GMMCalib를 사용하여 서로 다른 센서 및 시간대의 포인트 클라우드를 공통의 잠재 캘리브레이션 프레임($C$)으로 등록합니다. 소스를 타겟에 맞추는 전통적인 방식과 달리, GMMCalib는 모든 클라우드를 공유된 잠재 프레임에 등록합니다. RANSAC(Random Sample Consensus) 알고리즘이 먼저 사용되어 지면 평면을 제거함으로써 캘리브레이션 타겟(예: 플라스틱 의자)을 분리합니다.

4. 비선형 최적화:
   CaLiV의 핵심은 캘리브레이션 작업을 최소화 문제로 축소하는 것입니다.

• S2S 캘리브레이션: 알고리즘은 먼저 두 LiDAR 사이의 S2S 변환($L_2^{L_1}T$)을 최적화합니다.
• S2V 캘리브레이션: 최적화된 S2S 파라미터를 사용하여, 알고리즘은 차량 프레임에 대한 S2V 변환($V^{L_1}T$ 및 $V^{L_2}T$)을 최적화합니다.
• 오차 함수: 비용 함수는 참조 프레임에 대한 추정된 변환과 캘리브레이션 프레임 사이의 쌍별 오차를 최소화합니다.
• 강건성(Robustness): 등록 과정의 이상치(outlier)나 운동학적 노이즈를 처리하기 위해, $k$번째 및 $(100-k)$번째 백분위수(10으로 설정)를 벗어나는 오차를 제거하는 이상치 필터를 사용합니다. 최소화는 비미분적인 특성을 가진 이상치 필터를 처리하기 위해 Powell의 공액 방향법(conjugate direction method)을 사용하여 해결됩니다.

주요 기여

• 최초의 타겟 기반 S2V 프레임워크: 저자들이 아는 바에 따르면, 이는 외부 센싱 장치 없이 작동하는 멀티 LiDAR 설정을 위한 최초의 타겟 기반 S2V 캘리브레이션 프레임워크입니다.
• 비중첩 능력: 이 방법은 차량의 움직임을 활용하여 가상 중첩을 생성함으로써 비중첩 센서 간(S2S) 캘리브레이션을 성공적으로 처리합니다.
• 일반화된 GMMCalib: 저자들은 GMMCalib 공식을 일반화하여, S2V 파라미터의 동시 최적화를 가능하게 하는 공통 캘리브레이션 프레임을 도입했습니다.
• 포괄적인 검증: 이 방법은 시뮬레이션(CARLA)과 실제 실험 모두에서 서로 반대 방향을 향하는 두 개의 LiDAR가 포함된 "최악의 시나리오"를 통해 평가되었습니다.

결과

CaLiV의 성능은 노이즈가 추가된 100회의 시뮬레이션 실행을 통해 최신 기술들(S2S의 경우 mlcc, S2V의 경우 Multi-LiCa 및 SensorX2Car)과 비교 평가되었습니다.

• S2S 캘리브레이션: CaLiV는 타겟리스 mlcc 알고리즘보다 성능이 크게 뛰어났습니다. mlcc는 잘못된 초기 포즈 하에서 수 미터의 평균 이동 오차와 최대 $19^\circ$의 회전 오차를 생성한 반면, CaLiV는 0.02 m 미만의 평균 이동 오차와 0.01 rad 미만의 회전 오차를 달성했습니다.
• S2V 캘리브레이션:
  • 회전 정확도: 이 방법은 회전각을 추정하는 데 높은 정확도를 보였습니다. 평균 롤(roll) 및 피치(pitch) 오차는 $0.1^\circ$ 미만이었고, 평균 요(yaw) 오차는 $0.5^\circ$ 미만이었습니다.
  • 비교: CaLiV는 롤 및 피치 추정에서 Multi-LiCa 및 SensorX2Car보다 우수한 성능을 보이며 더 낮은 평균 오차(롤의 경우 $0.0013$ rad, 피치의 경우 $0.0007$ rad)를 달성했습니다.
  • 병진(Translational) 한계: 곡선 궤적으로 인한 관측 가능성(observability) 문제로 인해, 알고리즘은 회전 파라미터만을 추정하도록 설계되었습니다. 평면 궤적에서는 z-병진이 관측 불가능하며, x-병진은 yaw 오차와 결합되어 있습니다. 저자들은 병진 오차를 0으로 고정하면 신뢰할 수 있는 yaw 추정이 가능하다는 점을 언급했습니다.
• 실제 환경 검증: 실제 실험에서 CaLiV는 전방 및 후방 LiDAR로부터 검증 타겟(정육면체 물체)의 포인트 클라우드를 성공적으로 정렬하였으며, 이를 통해 시간과 거리에 따라 전파되는 S2V 오차를 수정할 수 있음을 입증했습니다.

의의 및 주장

본 논문은 CaLiV가 이전의 방법들이 실패하거나 비현실적인 외부 하드웨어를 요구하는 시나리오에서 외적 캘리브레이션을 위한 강건하고 고정밀한 솔루션을 제공한다고 주장합니다. 외부 센싱 장치(예: 모션 캡처 시스템)의 필요성과 특징점이 풍부한 환경에 대한 의존성을 제거함으로써, 이 프레임워크는 비중첩 FoV를 포함한 임의의 센서 설정에 대해 유연하고 배포 가능한 솔루션을 제공합니다.

저자들은 현재 구현이 (오차가 거리에 따라 커지는 특성상 안전에 매우 중요한) 회전 정확도를 우선시하고 있지만, 이것이 타겟 기반 캘리브레이션 분야에서 중요한 진전임을 강조합니다. 코드는 오픈 소스로 공개되어 자율 주행 커뮤니티의 추가 연구와 채택을 용이하게 합니다. 본 연구는 S2S 캘리브레이션을 위해 차량 대신 타겟을 움직이거나, 정확도를 유지하면서 병진 S2V 오차를 해결하기 위해 더 복잡한 궤적을 활용하는 등의 향후 연구 가능성을 인정하고 있습니다.