LiREC-Net: A Target-Free and Learning-Based Network for LiDAR, RGB, and Event Calibration

이 논문은 LiDAR, RGB, 이벤트 센서의 3 가지 모달리티를 단일 프레임워크 내에서 타겟 없이 정밀하게 보정하는 새로운 학습 기반 네트워크인 LiREC-Net 을 제안하며, 공유된 LiDAR 표현을 통해 효율성을 높이고 KITTI 및 DSEC 데이터셋에서 우수한 성능을 입증합니다.

핵심

LiREC-Net: 자율주행차의 '눈'과 '귀'를 완벽하게 맞춰주는 마법사

자율주행 자동차가 안전하게 달리기 위해서는 여러 개의 센서 (카메라, 라이다, 이벤트 카메라 등) 가 서로의 정보를 정확히 공유해야 합니다. 하지만 차가 진동을 받거나, 온도가 변하거나, 작은 충격을 입으면 이 센서들의 위치가 미세하게 어긋나기 마련입니다. 마치 안경을 쓴 사람이 코를 비비고 나서 안경이 살짝 기울어지는 것과 비슷하죠.

이 논문은 이런 센서들의 어긋남을 특수한 표적 (체크무늬 판 등) 없이, 그냥 차가 달리는 자연스러운 도로 장면만 보고 자동으로 고쳐주는 새로운 인공지능 모델인 LiREC-Net을 소개합니다.

이해하기 쉽게 비유를 들어 설명해 드릴게요.

---

1. 문제 상황: "세 친구가 서로 다른 시점을 보고 있어요"

자율주행차에는 보통 세 가지 주요 센서가 있습니다.

1. RGB 카메라 (눈): 사람의 눈처럼 선명한 색과 질감을 봅니다.
2. 라이다 (3D 스캐너): 레이저로 사물의 3D 모양과 거리를 정확히 측정합니다.
3. 이벤트 카메라 (빠른 눈): 빛의 변화만 포착하여 매우 빠른 움직임을 감지합니다.

이 세 센서가 완벽하게 맞춰져야 "저기 저 차는 10 미터 앞에 있고, 빨간색이며, 빠르게 다가오고 있다"는 정보를 하나로 통합할 수 있습니다. 하지만 센서들이 조금만 틀어지면, 카메라는 차가 오른쪽에 있다고 말하고 라이다는 왼쪽에 있다고 말해 혼란이 생깁니다.

기존 방법들은 이걸 고치기 위해 **체크무늬 판 (타겟)**을 차 앞에 세워놓고 수동으로 맞추거나, 카메라와 라이다를 한 쌍씩 따로따로 고치는 인공지능을 썼습니다. 하지만 세 센서를 한 번에 맞추려면 세 번을 따로따로 고쳐야 해서 비효율적이고, 결과가 서로 안 맞을 수도 있었습니다.

2. LiREC-Net 의 해결책: "한 번에 세 명을 조율하는 지휘자"

LiREC-Net 은 이 문제를 **하나의 네트워크 (지휘자)**로 해결합니다.

• 한 번에 모두 고치기 (Tri-modal): 라이다와 카메라, 라이다와 이벤트 카메라를 따로따로 고치는 게 아니라, 세 센서를 한 번에 동시에 맞춰줍니다. 마치 오케스트라 지휘자가 바이올린, 첼로, 트럼펫을 따로 연습시키는 게 아니라 한 번에 합주를 시켜 완벽한 조화를 이루게 하는 것과 같습니다.
• 표적 불필요 (Target-Free): 체크무늬 판 같은 특수한 도구가 필요 없습니다. 그냥 차가 달리는 일반적인 도로 장면 (자연스러운 풍경) 을 보고 "아, 여기가 어긋났구나"라고 스스로 학습합니다.

3. 핵심 기술: "라이다의 두 가지 얼굴을 활용하다"

이 모델의 가장 멋진 점은 라이다 데이터를 어떻게 처리하느냐입니다.

• 공통된 라이다 표현 (Shared LiDAR Representation):
  라이다는 3D 점 (구름) 으로 되어 있고, 이를 카메라 화면에 투영하면 2D 깊이 지도 (Depth Map) 가 됩니다. LiREC-Net 은 이 3D 점 정보와 2D 깊이 지도 정보를 모두 동시에 사용합니다.
  • 비유: 라이다를 볼 때, 단순히 "점들이 모여있는 모양"만 보는 게 아니라, "그 점들이 만들어내는 그림자 (깊이)"도 함께 봅니다. 마치 조각상을 볼 때 입체적인 형태뿐만 아니라 빛과 그림자의 흐름까지 함께 관찰하면 훨씬 더 정확하게 이해하는 것과 같습니다.
  • 이렇게 두 가지 정보를 합치면 (Fusion), 라이다와 카메라, 라이다와 이벤트 카메라 모두에게 더 정확한 정보를 제공하여 계산 효율을 높이고 정확도를 극대화합니다.

4. 어떻게 작동하나요? (단계별 과정)

1. 입력: 어긋난 라이다 점, 카메라 사진, 이벤트 데이터를 받습니다.
2. 분석: 라이다는 3D 점과 2D 지도 두 가지 방식으로 분석하고, 카메라와 이벤트 카메라는 각각의 특징을 뽑아냅니다.
3. 매칭 (Cost Volume): 라이다의 특징과 카메라/이벤트의 특징을 서로 비교합니다. "이 라이다 점과 이 카메라 픽셀이 실제로 같은 사물을 가리키고 있을까?"를 수만 번 계산하며 가장 잘 맞는 위치를 찾습니다.
4. 보정: 찾은 오차만큼 라이다의 위치를 이동시키고 회전시켜 완벽하게 맞춥니다.
5. 반복: 한 번에 완벽하게 맞추기 어렵다면, 큰 오차부터 작은 오차까지 여러 단계 (Stage) 를 거쳐 점진적으로 정밀하게 맞춥니다.

5. 왜 이것이 중요한가요?

• 효율성: 세 센서를 따로따로 고치는 모델 두 개를 돌리는 대신, 하나의 모델로 모든 것을 처리합니다. 컴퓨터 자원 (메모리, 시간) 을 훨씬 아낄 수 있습니다.
• 정확도: 실험 결과, 기존에 카메라와 라이다만 맞추던 최고의 기술들과 비교해도 뒤지지 않는 정확도를 보여주며, **라이다와 이벤트 카메라를 맞추는 새로운 기준 (Baseline)**을 세웠습니다.
• 실용성: 특수한 장비 없이 실제 도로에서 언제든지 센서 정렬을 다시 할 수 있어, 자율주행차의 유지보수 비용을 크게 줄여줍니다.

요약

LiREC-Net은 자율주행차의 여러 센서들이 서로 어긋났을 때, 특수한 표적 없이 자연스러운 도로 장면만 보고 세 센서 (라이다, 카메라, 이벤트) 를 한 번에 완벽하게 맞춰주는 똑똑한 인공지능입니다. 라이다의 3D 정보와 2D 이미지를 동시에 활용하여 "눈"과 "귀"를 하나로 통합함으로써, 더 안전하고 정확한 자율주행을 가능하게 합니다.

기술 요약

1. 문제 정의 (Problem Definition)

자율 주행 시스템은 LiDAR, RGB 카메라, 이벤트 카메라 (Event Camera) 와 같은 다양한 센서의 데이터를 융합하여 환경을 인식합니다. 효과적인 융합을 위해서는 모든 센서가 공통 좌표계에서 정밀하게 정렬되어 있어야 하며, 이를 위해 보정 (Calibration) 이 필수적입니다.

• 기존 방법의 한계:

  • 타겟 기반 (Target-based): 체커보드나 마커를 사용하지만, 통제된 환경이 필요하고 인력이 개입해야 하며, 주행 중 진동이나 온도 변화로 인한 센서 오차를 실시간으로 보정하기 어렵습니다.
  • 학습 기반 (Learning-based): 자연 주행 장면에서 보정을 수행하는 기존 방법들은 대부분 이중 모드 (Bi-modal, 예: LiDAR-RGB 또는 LiDAR-Event) 에만 국한되어 있습니다. 세 가지 센서 (Tri-modal) 를 모두 다루기 위해 별도의 모델을 여러 개 구축하면 계산 비용이 증가하고, 센서 간 정렬의 일관성이 떨어질 수 있습니다.

• 목표: 자연 주행 장면 (Target-free) 에서 LiDAR, RGB, 이벤트 카메라를 단일 프레임워크 내에서 동시에 보정할 수 있는 효율적이고 정확한 학습 기반 네트워크 개발.

---

2. 제안 방법: LiREC-Net (Methodology)

LiREC-Net 은 자연 주행 장면에서 LiDAR, RGB, 이벤트 데이터를 입력받아 각 센서 쌍 (LiDAR-RGB, LiDAR-Event) 의 외부 파라미터 (Extrinsics) 를 예측하는 엔드 - 투 - 엔드 학습 기반 네트워크입니다.

2.1. 아키텍처 (Architecture)

• 공유 LiDAR 브랜치 (Shared LiDAR Branch):
  • LiDAR 데이터를 처리하기 위해 점 기반 (Point-based) 및 깊이 기반 (Depth-based) 두 가지 인코더를 병렬로 사용합니다.
  • Point-Transformer-V3 (PTV3): 3D 점云的 구조를 직접 처리하여 미세한 기하학적 구조를 포착합니다.
  • Mobile-Vision-Transformer-V2 (MViTV2): LiDAR 점을 카메라 평면에 투영한 깊이 맵 (Depth Map) 을 처리하여 공간적 문맥을 포착합니다.
  • 특징 융합: 점 특징과 깊이 특징을 채널 단위로 연결 (Concatenation) 하여 통합된 LiDAR 임베딩을 생성합니다. 이는 두 가지 카메라 모드 (RGB, Event) 에 모두 공유되어 계산 효율성을 높이고 일관성을 보장합니다.
• 카메라 인코더:
  • RGB 이미지와 이벤트 프레임을 각각 독립적인 MViTV2 인코더로 처리하여 모달리티별 특징을 추출합니다.
• 쌍별 비용 볼륨 (Pair-wise Cost Volumes):
  • 공유된 LiDAR 특징과 각 카메라 (RGB 또는 Event) 의 특징을 결합하여 상관관계 비용 볼륨 (Correlation Cost Volume) 을 생성합니다. 이는 PWC-Net 및 LCCNet 의 방식을 따르며, 국소적인 교차 모달 유사성을 측정합니다.
• 컨텍스트 모듈 및 예측 헤드:
  • 생성된 특징을 DenseNet 스타일의 컨텍스트 모듈로 정제한 후, Fully Connected 레이어를 통해 이동 (Translation) 및 회전 (Rotation, 쿼터니언) 값을 예측합니다.

2.2. 핵심 기술적 요소

• 확대 투영 (Scaled Projection):
  • SDP (Scaled Depth Projection): LiDAR 점을 투영할 때 원래 내부 파라미터를 사용한 후 리사이징하는 대신, 모델 입력 해상도에 맞춰 스케일링된 내부 파라미터를 사용하여 투영합니다. 이는 블러링 아티팩트를 줄여 정밀한 특징 정렬을 돕습니다.
  • SFP (Scaled Feature Projection): 점 기반 특징을 이미지 평면에 투영할 때도 동일한 스케일링 방식을 적용하여 깊이 특징과의 정합성을 유지합니다.
• 반복적 정제 (Iterative Refinement):
  • 큰 오차 범위에서 작은 오차 범위로 단계별로 훈련된 여러 모델을 직렬로 연결하여, 각 단계가 이전 단계의 잔여 오차를 보정하도록 설계되었습니다.

2.3. 손실 함수 (Loss Functions)

각 센서 쌍에 대해 다음 세 가지 손실을 최소화합니다:

1. 이동 손실 (Translation Loss): Smooth L1 Loss.
2. 회전 손실 (Rotation Loss): 단위 쿼터니언 간의 각도 거리.
3. 점군 거리 손실 (Point Cloud Distance Loss): 예측된 변환과 정답 변환으로 변환된 LiDAR 점 간의 기하학적 정렬 오차.

---

3. 주요 기여 (Key Contributions)

1. 통합 3-모달 네트워크 (Unified Tri-modal Network): LiDAR-RGB 및 LiDAR-Event 보정을 단일 아키텍처에서 동시에 수행하는 최초의 타겟 프리 학습 기반 모델입니다.
2. 공유 LiDAR 표현 (Shared LiDAR Representation): 점 기반과 깊이 기반 특징을 융합하여 두 가지 카메라 모드 간 일관성을 높이고, 중복 계산을 제거하여 효율성을 극대화했습니다.
3. 강력한 베이스라인 설정: KITTI 및 DSEC 데이터셋에서 기존 이진 모드 (Bi-modal) 모델들과 경쟁력 있는 성능을 달성했으며, 3-모달 사용 사례에 대한 새로운 강력한 베이스라인을 제시했습니다.
4. 새로운 데이터셋 벤치마크: KITTI 에서 합성 이벤트 데이터를 사용한 LiDAR-Event 보정 및 DSEC 에서 LiDAR-RGB 보정에 대한 최초의 벤치마크 결과를 제시했습니다.

---

4. 실험 결과 (Results)

• 데이터셋: KITTI (LiDAR-RGB, 합성 이벤트) 및 DSEC (LiDAR-RGB, 실제 이벤트).
• 성능 비교:
  • KITTI: LiDAR-RGB 보정에서 LiREC-Net 은 1.80cm / 0.11°의 오차를 기록하여 CalibNet, RegNet 등을 능가하거나 경쟁력 있는 성능을 보였습니다. 또한, LiDAR-Event 보정 (1.82cm / 0.12°) 에서도 우수한 성능을 입증했습니다.
  • DSEC: LiDAR-RGB (2.51cm / 0.14°) 및 LiDAR-Event (1.18cm / 0.07°) 보정에서 기존 MULiEv 모델보다 회전 정확도에서 우위를 점하거나 전체적으로 경쟁력 있는 성능을 보였습니다.
• 효율성 (Tri-modal vs. Bi-modal):
  • 세 가지 모달리티를 동시에 학습하는 3-모달 설정이 별도의 2-모달 모델을 두 개 사용하는 것보다 추론 시간, 파라미터 수, GPU 메모리 사용량이 모두 감소했습니다 (예: KITTI 에서 추론 시간 0.51s → 0.33s, 메모리 14.6GB → 11.1GB). 이는 공유 LiDAR 브랜치 덕분입니다.
• Ablation Study:
  • 점 특징과 깊이 특징의 융합이 없으면 성능이 급격히 저하됨을 확인했습니다.
  • 확대 투영 (SDP, SFP) 기법이 정밀도에 중요한 역할을 함을 입증했습니다.
  • MViTV2 백본이 ResNet 보다 교차 모달 정렬에 더 효과적이었습니다.

---

5. 의의 및 결론 (Significance & Conclusion)

• 실용성: LiREC-Net 은 별도의 보정 타겟이나 통제된 환경 없이 자연 주행 중에도 센서 정렬을 자동으로 수행할 수 있어, 자율 주행 차량의 유지보수 비용 절감과 실시간 보정 가능성에 기여합니다.
• 확장성: 단일 프레임워크 내에서 다양한 센서 조합을 처리할 수 있어, 센서 퓨전 시스템의 복잡성을 줄이고 일관성을 높입니다.
• 한계 및 향후 작업: 현재는 RGB 와 이벤트 카메라 간의 상대적 위치 (Pre-calibrated) 가 알려져 있어야 한다는 가정이 있습니다. 향후 연구에서는 이 가정을 제거하고 모든 센서 쌍의 외부 파라미터를 동시에 추정하도록 확장할 계획입니다.

요약하자면, LiREC-Net 은 LiDAR, RGB, 이벤트 카메라를 위한 효율적이고 정확한 타겟 프리 보정 솔루션을 제시하며, 다중 센서 융합 시스템의 실용성을 크게 향상시킨 획기적인 연구입니다.