기술 요약: LIT-GS

문제 정의

기존의 LiDAR-관성-시각(LIV) 가우시안 스플래팅(Gaussian Splatting) 파이프라인은 초기화 및 최적화를 위해 RGB 광학적 단서(photometric cues)에 크게 의존한다. 이러한 의 dependency는 극심한 일조량 변화(예: 강한 햇빛, 야간)나 질감이 부족한 환경에서 광학적 대응 관계의 품질이 저하되어 포즈 추정 오류와 구조적 드리프트(structural drift)를 유발하는 등, 이러한 환경에서 매우 취약하게 만든다. 열화상 이미지는 조명 변화에 불변하는 감독(supervision)을 제공하지만, 기존의 열화상 기반 3D 가우시안 스플래팅 방법들은 주로 새로운 시점 합성(novel-view synthesis)에 집중되어 있으며, 긴밀하게 결합된 포즈/구조 정밀화 루프나 명시적인 기하학적 제약 조건을 결여하고 있어 메트릭 불일치(metric-inconsistent) 지도와 표면 두꺼워짐(surface thickening) 아티팩트를 초래하는 경우가 많다.

방법론

본 논문은 LiDAR 유도 기하 구조를 포즈/구조 정밀화와 가우시안 최적화 전 과정에 걸쳐 명시적이고 지속적인 제약 조건으로 강제하도록 설계된 LIT-GS(LiDAR–Inertial–Thermal Gaussian Splatting) 프레임워크를 제안한다. 이 시스템은 동기화된 LiDAR, IMU, 열 데이터를 사용하여 통합된 기하 인식 최적화 프레임워크를 운용한다.

1. 시스템 아키텍처 및 전처리

• 하드웨어: 시스템은 PPS 트리거를 통해 동기화된 LiDAR(내장 IMU 포함), RGB 카메라, 장파장 열 카메라를 통합한다.
• 열화상 전처리: 장파장 열 이미지는 그래디언트를 향상시키기 위해 CLAHE(Contrast Limited Adaptive Histogram Equalization)를 거친다. 센서 비균일성 보정(NUC)으로 인해 발생하는 중복 프레임은 건너뛴다.
• 특징점 매칭: 키포인트 검출 및 문맥 인식 매칭을 위해 SuperPoint와 SuperGlue가 채택된다. 이 모델들은 RGB 기반으로 학습되었으나, 색상이 아닌 구조적 그래디언트에 집중함으로써 열화상 이미지에 적응하도록 조정되었다.

2. 신뢰도 기반 교차 모달 앵커링 (Confidence-Aware Cross-Modal Anchoring)

LIT-GS는 두 가지 유형의 시각적 점을 구분한다:

• 앵커 (Anchors): 상위 단계인 FAST-LIVO2 LiDAR-관성-시각 추정기에서 유도된, 불확실성 태그가 지정된 시각적 맵 포인트이다. 이들은 LiDAR 기하 구조와 밀접하게 결합되어 있어 높은 신뢰도의 기하학적 앵커 역할을 한다.
• 비앵커 (Non-Anchors): 공간적 커버리지를 개선하기 위해 SuperPoint+SuperGlue 매칭을 통해 생성된 추가적인 점들이다.
  시스템은 앵커에 더 높은 가중치를 부여하며, 플랫폼의 선속도 및 각속도에 따라 앵커와 비앵커의 기여도를 균형 있게 조절하는 운동 적응형 가중치 방식(motion-adaptive weighting scheme)을 사용한다.

3. LiDAR-평면 제약 기반 정밀화 (LiDAR-Plane-Constrained Refinement)

가우시안 최적화 이전에, 카메라 포즈와 삼각 측량된 3D 점들을 공동으로 정밀화하기 위한 **LiDAR-평면 제약 번들 조정(Bundle Adjustment, BA)**이 수행된다.

• 목적: BA는 열 영상 재투영 오차와 가중치가 적용된 LiDAR 점-대-평면 잔차(point-to-plane residuals)를 결합한 통합 비용 함수를 최소화한다.
• 메커니즘: 기하학적 항은 3D 점과 국부적인 LiDAR 유도 평면 사이의 거리에 패널티를 부여하며, 이를 통해 약한 열적 감독 하에서도 스케일 드리프트와 구조적 불일치를 효과적으로 줄인다.

4. 기하학적 정규화 가우시안 최적화 (Geometry-Regularized Gaussian Optimization)

핵심 렌더링 최적화는 열 광학적 충실도(photometric fidelity)와 기하학적 일관성을 결합하는 새로운 목적 함수를 도입한다.

• 표현: 3D 가우시안은 정밀화된 구조로부터 초기화되며, 앵커 포인트의 공분산 추정치를 활용하여 비등방성 프리미티브(anisotropic primitives)를 정의한다.
• 복사 모델링 (Radiance Modeling): 시점 의존적 열 복사(thermal radiance)는 3차 구면 조화 함수(third-order spherical harmonics, SH)를 사용하여 모델링된다.
• 손실 함수: 전체 손실 $L$은 광학적 손실($Loss_{pho}$)과 기하학적 손실($Loss_{geo}$)의 가중 합이다:
  $$L = (1 - \lambda)Loss_{pho} + \lambda Loss_{geo}$$
  기하학적 손실은 렌더링된 3D 점(렌더링된 깊이로부터 역투영됨)과 연관된 LiDAR 표면 법선(normals) 사이의 점-대-평면 거리에 대해 패널티를 부여한다.
• 적응형 제어: 국부적인 LiDAR 평면에서 크게 벗어나는 가우시안(기하학적 이상치)을 제거하거나, 잔차가 높은 영역에서 프리미티브를 분할하는 가지치기(pruning) 및 밀집화(densification) 전략을 사용한다.

주요 기여

1. LIT-GS 프레임워크: LiDAR 평면 제약을 포즈/구조 정밀화 단계와 가우시안 최적화 단계 모두에 주입하여, 까다로운 조명 및 질감 조건에서도 메트릭 일관성을 개선하는 새로운 LiDAR-관성-열 가우시안 스플래팅 시스템을 제안한다.
2. 교차 모달 앵커링 및 정밀화: 불확실성이 주석 처리된 LIV 맵 포인트를 기하학적 앵커로 활용하는 신뢰도 인식 체계를 제공한다. 이 방식은 학습된 열 대응 관계를 운동 적응형 가중치 및 LiDAR 점-대-평면 잔차와 결$합하여 번들 조정 프레임워크 내에서 열-LiDAR 정렬을 안정화한다.
3. LiDAR-평면 정규화 스플래팅: 훈련 중에 국부적인 LiDAR 평면 일관성을 강제하는 미분 가능한 스플래팅 목적 함수를 구현한다. 이는 저대비 열 영상에서 흔히 발생하는 표면 두꺼워짐과 구조적 드리프트를 억제하는 동시에 높은 렌더링 충실도를 유지한다.

실험 결과

저자들은 다섯 개의 독자적인 시퀀스와 M2DGR 벤치마크의 다섯 개 공개 시퀀스를 사용하여 LIT-GS를 LIV-GaussMap(RGB-LiDAR) 및 Thermal3D-GS(열 전용)와 비교 평가하였다.

• 정성적 성능:

  • LIV-GaussMap: 불안정한 RGB 광학적 단서로 인해 저조도 또는 강한 눈부심 조건에서 구조적 손실과 흐릿함(blurring)이 발생했다.
  • Thermal3D-GS: 조명 변화 하에서도 구조를 유지했으나, 명시적인 기하학적 정규화의 부재로 인해 열적으로 균질한 영역에서 가장자리 흐림, 표면 왜곡, "표면 두꺼워짐" 현상을 보였다.
  • LIT-GS: 모든 조명 조건(낮, 밤, 강한 햇빛)에서 일관되게 더 날카로운 경계, 더 명확한 구조적 세부 사항 및 기하학적으로 일관된 평면 영역을 생성했다.

• 정량적 성능:

  • 기하학적 정확도: LIT-GS는 대부분의 데이터셋에서 가장 낮은 Earth Mover's Distance(EMD)를 달성하여, 베이스라인 대비 우수한 기하학적 일관성을 입증했다.
  • 렌더링 품질: LIT-GS는 더 높은 SSIM과 더 낮은 LPIPS 점수를 기록하여, 더 나은 지각적 품질과 구조적 충실도를 반영했다.
  • 절제 연구 (Ablation Studies):
    • 데이터 정밀화 모듈을 제거했을 때 PSNR, SSIM, EMD가 크게 저하되었으며, 이는 LiDAR-평면 제약 BA의 필요성을 확인시켜 준다.
    • CLAHE 전처리가 적용된 학습된 특징(SuperPoint+SuperGlue)을 사용하는 것이 수작업 특징(ORB, SIFT)보다 인라이어 비율(inlier ratio)과 포즈 정확도(ATE) 측면에서 더 우수한 성능을 보였다.

의의 및 주장

본 논문은 LIT-GS가 견고한 열 감독과 메트릭 기하학적 일관성 사이의 간극을 메운다고 주장한다. LiDAR 기하 구조를 단순한 초기화 도구가 아니라 가우시안 학습 과정 중의 지속적인 제약 조건으로 다룸으로써, 극한 조명에서의 RGB 기반 매핑의 취약성과 순수 열 매핑의 구조적 모호성을 극복한다. 저자들은 LIT-GS를 역동적이고 시각적으로 도전적인 환경에서 신뢰할 수 있는 3D 재구성을 요구하는 로보틱스 애플리케이션에 특화된 경량의 기하 인식 솔루션으로 포지셔닝한다. 이 연구는 RGB-LiDAR 매핑이 양호한 조명 조건에서는 탁월하지만, 전체 조명 스펙트럼에 걸쳐 강건성을 확보하기 위해서는 열적 단서를 통합한 LiDAR 정규화 가우시안 프레임워크가 필수적임을 시사한다.