Joint Multi-Camera LiDAR Extrinsic Calibration via Learned Pairwise Initialization and Geometric Refinement

기술 요약: 학습된 쌍별 초기화 및 기하학적 정밀화를 통한 공동 다중 카메라 LiDAR 외적 파라미터 교정

문제 정의
현대적인 인지 시스템은 시야각(FOV)과 견고성을 높이기 위해 단일 LiDAR 센서와 결합된 다중 카메라 플랫폼을 점점 더 많이 활용하고 있습니다. 단일 카메라-LiDAR 교정을 위한 학습 기반 방법들이 발전해 왔으나, 일반적으로 각 카메라-LiDAR 쌍을 독립적으로 처리하는 경향이 있습니다. 이러한 방식은 모든 카메라가 공통된 LiDAR 좌표계를 통해 고정된 관계를 공유하는 강체 기하학적 결합(rigid geometric coupling)을 무시합니다. 결과적으로, 개별 카메라의 추정치가 정확하더라도 시스템 수준의 불일치가 발생하여 뷰(view) 간의 정렬 오류가 나타날 수 있습니다. 본 연구가 다루는 핵심 질문은 학습된 쌍별 교정이 공유 플랫폼의 강체 기하학적 제약 조건 하에서 모든 카메라를 공동으로 최적화함으로써 개선될 수 있는지 여부입니다.

방법론
저자들은 다음과 같은 2단계 프레임워크를 통한 공동 다중 카메라 LiDAR 외적 파라미터 교정을 제안합니다.

1. 1단계: 학습된 단일 카메라 초기화
   파이프라인은 각 카메라에 독립적으로 적용되는 최첨단 학습 기반 방법인 CMRNext를 활용합니다. CMRNext는 렌더링된 LiDAR 깊이 지도(depth map)와 카메라 이미지 사이의 조밀한 광학 흐름(optical flow)을 예측하여 조밀한 2D-3D 대응 관계를 구축합니다. 이를 통해 각 카메라에 대한 초기 외적 변환($\hat{T}_{L \to C_i}$)을 추정합니다. 견고성을 보장하기 위해, 시퀀스 전반에 걸친 프레임별 예측을 (중앙값 방식으로) 집계하여 카메라당 하나의 초기화 추정치를 생성합니다.

2. 2단계: 공동 다중 프레임 번들 조정 (Bundle Adjustment, BA)
   초기 추정치는 카메라 간 일관성을 강제하는 다중 프레임 번들 조정을 통해 공동으로 정밀화됩니다. 최적화는 누적된 모든 프레임에 대해 다음 세 가지 항의 목적 함수를 최소화합니다.

• 재투영 항 (Reprojection Term): 모든 카메라에 걸쳐 투영된 3D LiDAR 포인트와 관측된 2D 대응 관계 사이의 오차를 최소화합니다.
• 카메라별 사전 정보 (Per-Camera Prior): 최적화된 외적 파라미터가 1단계 추정치($\hat{T}_i$) 근처에 머물도록 하는 규제 항으로, 대응 관계가 희소하거나 노이즈가 심할 때 솔루션을 안정화합니다.
• 상대 포즈 사전 정보 (Relative-Pose Prior): 카메라 간의 기하학적 일관성을 강제하는 새로운 항으로, 1단계 추정치($\hat{T}_{12} = \hat{T}_2 \hat{T}_1^{-1}$)에 의해 암시된 상대 포즈로부터의 편차를 처벌합니다. 이를 통해 정보가 카메라 간에 전파될 수 있게 하여, 최종 솔루션이 강체 리그 구조를 준수하도록 보장합니다.

최적화에는 이상치(outlier)의 가중치를 낮추기 위한 Cauchy robust loss와, 최종 정밀화 전 거친 이상치를 반복적으로 제거하기 위한 2패스 솔버 전략(fit-gate-refit)이 사용됩니다.

주요 기여

• 공동 공식화 (Joint Formulation): 학습된 단일 카메라 예측을 초기화로 사용하되, 다중 카메라 리그의 강체 구조를 활용하여 모든 카메라의 외적 파라미터를 동시에 정밀화하는 방법론을 제시합니다.
• 명시적 상대 포즈 사전 정보 (Explicit Relative-Pose Prior): 카메라 간 기하학적 일관성을 강제하는 최적화 제약 조건을 도입하여, 시스템이 다른 카메라로부터 얻은 정보를 사용하여 개별 카메라의 오류를 수정할 수 있게 합니다.
• 실증적 분석 (Empirical Analysis): 공동 정밀화가 표준 재투영 전용 정밀화에 비해 언제 유의미한 이득을 제공하는지 확인하기 위해 인도메인(KITTI) 및 아웃도메인(Walkley) 데이터셋을 비교하는 종합적인 연구를 수행했습니다.

실험 결과
본 방법은 KITTI 데이터셋(CMRNext의 인도메인)과 Walkley 데이터셋(다른 센서 구성을 가진 아웃도메인)에서 평가되었습니다.

• KITTI (In-Domain): 1단계 초기화가 이미 강력하기 때문에, 공동 정밀화는 완만하지만 일관된 개선을 제공합니다. $N=100$ 프레임에서 전체 방법은 기본 카메라에 대해 0.89 cm의 이동 오차와 0.038°의 회전 오차를 달성하여, 기존 방법들(예: LCCNet, RGGNet, CMRNet) 및 1단계 베이스라인을 능가했습니다. 공동 접근 방식은 특히 카메라 간 일관성을 눈에 띄게 향상시켰습니다.
• Walkley (Out-of-Domain): 여기서는 1단계 예측이 현저히 신뢰도가 낮았습니다 (예: 보조 카메라에서 108.6 cm의 이동 오차 발생). 공동 정밀화는 상당한 복구 성능을 보여주었습니다.
  • 다중 프레임 재투영만 사용했을 때 보조 카메라 오차는 3.57 cm로 감소했습니다.
  • 사전 정보를 포함한 전체 방법은 이를 다시 3.1 cm로 정밀화했으며, 기본 카메라의 정확도 또한 (87.2 cm에서 22.6 cm로) 크게 향상시켰습니다.
  • 결정적으로, "사전 정보 전용"(재투영 없이) 구성은 큰 오차로부터 복구하는 데 실패했으며, 이는 이득이 학습된 대응 관계를 맞추는 과정에서 발생하며 사전 정보는 안정화 및 일관성 강제 역할을 한다는 점을 확인시켜 줍니다.

의의 및 주장
본 논문은 명시적인 다중 카메라 결합이 특히 단일 카메라 예측이 덜 신뢰할 수 있는 상황(아웃도메인 시나리오)에서 유익하다고 주장합니다. 제안된 프레임워크는 공동 최적화가 개별 카메라의 정확도를 희생하면서 시스템 일관성을 얻는 것이 아니라, 두 가지 모두를 향상시킨다는 것을 입증합니다. 상대 포즈 사전 정보는 잘 제약된 뷰(view)로부터 얻은 정보를 사용하여 약한 뷰를 수정하면서도 임의의 드리프트(drift)를 허용하지 않도록 하는 핵심 메커니즘으로 식별되었습니다. 저자들은 초기화가 이미 최적에 가깝고 데이터가 부족한 경우(예: $N=10$인 KITTI)에는 개선 효과가 제한적이지만, 도전적이거나 아웃도메인 조건에서는 상당한 견고성과 정확도 이득을 제공한다고 언급했습니다. 향후 과제로 2개 이상의 카메라를 가진 리그로의 확장 및 엔드투엔드(end-to-end) 학습 탐색을 제안했습니다.