Zero-shot Generalizable LiDAR Semantic Segmentation via Scene-Sensor Disentanglement

기술 요약: 장면-센서 디스엔탱글먼트를 통한 제로샷 일반화 가능 LiDAR 시맨틱 세그멘테이션

문제 정의
자율 주행 분야의 현재 LiDAR 인지 시스템은 심각한 병목 현상에 직면해 있다: 특정 LiDAR 센서 구성에 맞춰 학습된 모델은 보지 못한(unseen) 센서에 대해 일반화 성능이 떨어진다는 점이다. 이러한 한계는 기존의 "단일 데이터셋 학습(Single-Dataset Training, SDT)" 패러다임에서 기인하며, 모델이 근본적인 장면 기하 구조를 학습하기보다 센서 특유의 샘플링 패턴(예: 빔 레이아웃, 해상도, 설치 높이)에 과적합되는 문제를 일으킨다. 결과적으로 새로운 LiDAR를 도입할 때마다 비용이 많이 드는 데이터 재수집, 재주석(re-annotation), 모델 재학습이 필수적이 된다. 도메인 적응(domain adaptation)이나 시뮬레이션 기반 증강과 같은 기존 솔루션들은 타겟 도메인의 데이터를 필요로 하거나, 실제 스캔의 확률적 특성을 포착하는 데 어려움을 겪으며, 정해진 센서 변화 범위 내로 제한된다는 문제가 있다. 핵심 과제는 추가적인 타겟 도메인 데이터나 파인튜닝 없이도 보지 못한 LiDAR에 일반화될 수 있는 통합된 모델을 개발하는 것이다.

방법론: LiSeer
저자들은 모든 LiDAR가 공유된 근본적인 3D 세계를 희소하게 샘플링하는 장치라는 통찰을 바탕으로 LiSeer라는 통합 파이프라인을 제안한다. 이 방법은 LiDAR 스캔을 두 가지 구성 요소로 분해한다:

1. 장면 고유 기하 구조 (Scene-Intrinsic Geometry, SIG): 센서와 무관한 물리적 장면 구조.
2. 샘플링 기하 구조 (Sampling Geometry, SG): 구성 파라미터에 의해 유도되는 센서 특유의 샘플링 효과.

LiSeer는 "무작위성으로부터의 학습(learning from randomness)" 패러다임을 통해 SG의 간섭을 억제하면서 SIG를 학습하는 것을 목표로 한다. 이 파이프라인은 네 가지 핵심 요소로 구성된다:

1. 고충실도 포인트 클라우드 밀집화 (High-Fidelity Point Cloud Densification):
   재샘플링을 가능하게 하기 위해, 시스템은 먼저 희소한 LiDAR 관측으로부터 기하학적으로 충실한 조밀한 장면을 재구성한다. 이를 위해 단일 프레임 스캔을 밀집화하는 최첨단 확산 기반(diffusion-based) 모델을 사용하여, 다중 프레임 누적 시 발생하는 모션 아티팩트 및 동적 객체 처리 문제를 회피한다. 이후 라벨 전파 모듈을 통해 희소한 입력값으로부터 밀집화된 포인트로 시맨틱 주석을 전달한다.

2. 물리 기반 제어 가능 샘플링 (Physics-Based Controllable Sampling):
   "데이터 팩토리" 역할을 하는 이 모듈은 단일 밀집 장면으로부터 다양한 LiDAR 스캔을 합성한다. 이는 빔 개수, 설치 높이, 각도 해상도에 의해 파라미터화된 희소 샘서로서 LiDAR를 모델링한다. 학습 과정에서 시스템은 다양한 센서 구성 하에서 무작위 3D 샘플링을 수행한다. 물리적 실재성과 효율성을 보장하기 위해, 저자들은 포인트 중심의 각도 할당 알고리즘(복잡도를 $O(NR)$에서$O(N+R)$로 감소)과 이산화 아티팩트로 인한 "리키 고스트(leaky ghost)" 포인트를 제거하기 위한 비대칭 컨텍스트 인식 차폐 전략을 채택하였다.

3. 센서 특징별 선형 변조 (Sensor Feature-wise Linear Modulation, S-Film):
   디코더가 센서 특유의 노이즈를 암묵적으로 흡수하는 것을 방지하기 위해, LiSeer는 "빔 분리기(beam splitter)" 모듈인 S-Film을 도입한다. 이는 센서 의존적 요인을 전용 경로를 통해 명시적으로 라우팅한다. 센서 헤드는 중간 특징으로부터 센서 파라미터를 예측하며, 이는 아핀 조건화(affine conditioning)를 통해 디코더 특징을 선형적으로 변조하는 데 사용된다. 이를 통해 SG의 모델링을 SIG로부터 디커플링하여, 공유 디코더가 장면 불변 구조에 집중할 수 있도록 한다.

4. 클래스 경계 인식 일관성 학습 (Class-Boundary-Aware Consistency Learning, CBA-CL):
   "편광기(polarizer)" 역할을 하는 이 모듈은 동일한 장면에 대한 서로 다른 샘플링 구현 간의 시맨틱 일관성을 강제한다. 이는 서로 다른 센서 구성으로부터의 예측 간 젠슨-샤논 발산(Jensen-Shannon divergence)을 최소화한다. 확증 편향(confirmation bias)과 소수 클래스에 대한 민감도 문제를 해결하기 위해, 손실 함수는 다음을 포함한다:

   • 불확실성 가중치(Uncertainty weighting): 엔트로피가 높은 예측의 가중치를 낮춤.
   • 경계 영역 구조적 정규화(Boundary-region structural regularization): 시맨틱 경계에서의 일관성을 강화함.
   • 소수 클래스 강화(Minority-class enhancement): 과소 표현된 클래스에 대한 일관성을 우선시함.

주요 기여

• 새로운 관점: 본 논문은 교차 LiDAR 일반화를 장면 고유 기하 구조와 센서 의존적 샘플링 기하 구조를 분리하는 디스엔탱글먼트 문제로 재정의한다.
• LiSeer 파이프라인: 확산 기반 밀집화와 물리 기반 무작위 샘플링을 사용하여, 단일 소스 데이터셋으로부터 사실상 무제한의 다양한 교차 센서 데이터를 생성하는 통합된 접근 방식을 제공한다.
• 아키텍처 혁신: 센서 변화를 명시적으로 모델링하기 위한 S-Film과 장면 일관된 시맨틱을 강제하기 위한 CBA-CL을 도입하여, 모델이 SG보다 SIG를 우선하도록 효과적으로 유도한다.
• 실제 환경 검증: 세 가지 주요 벤치마크(SemanticKITTI, Waymo, nuScenes)에 대한 광범한 평가와 이전에 보지 못한 32, 80, 128 빔 LiDAR가 장착된 세 대의 실제 차량에 대한 배포를 수행하였다.

결과

• 제로샷 성능: LiSeer는 모든 벤치마크에서 상당한 제로샷 이득을 달ium한다. 단일 소스 데이터셋으로 학습하고 보지 못한 LiDAR로 테스트했을 때, LiSeer는 베이스라인의 교차 센서 mIoU를 25.1~43.6 퍼센트 포인트 개선한다. 예를 들어, SemanticKITTI(64-beam)로 학습하고 nuScenes(32-beam)로 테스트할 경우, LiSeer-P는 mIoU를 베이스라인 19.4%에서 56.8%로 향상시켰다.
• 데이터 스케일링: 실험 결과, 생성된 학습 데이터의 양을 늘릴수록(예: 기본 예산의 3배) 정확도가 더욱 향상되어, 모델이 소스 도메인에서도 데이터셋 특화 베이스라인을 능가할 수 있음을 보여준다.
• 파인튜닝 효율성: LiSeer는 일반화 격차를 크게 줄이지만, 장면 수준의 분포 변화(예: 지형, 도로 토폴로지)로 인한 잔여 격차는 존재한다. 그러나 단 **10%~20%**의 라벨링된 타겟 도메인 데이터만으로 파인튜닝하면, LiSeer는 전체 타겟 데이터셋으로 학습된 모델의 성능에 근접할 수 있으며, 이는 데이터 수집 및 주석 비용을 약 80% 절감한다.
• 비교: LiSeer는 타겟 도메인 접근 권한이나 정해진 센서 변화에 의존하는 기존의 도메인 적응 및 증강 방법들보다 우수한 성능을 보였으며, 복셀 기반 및 투영 기반 백본 모두에서 더 낮은 교차 도메인 성능 저하를 달성했다.

의의 및 주장
본 논문은 LiSeer가 센서 불가지론적(sensor-agnostic) LiDAR 인지를 향한 실질적인 경로를 제공한다고 주장한다. LiDAR를 공유된 3D 세계의 희소 샘플러로 취급하고, 장면 구조와 샘플링 효과를 명시적으로 분리함으로써, 현재 시스템의 낮은 일반화 성능의 근본 원인을 해결한다. 저자들은 이 접근 방식이 매번 새로운 센서에 대한 전용 데이터셋과 재학습의 필요성을 제거하여, R&D 비용을 낮추고 다양한 또는 새롭게 등장하는 LiDAR 구성을 가진 자율 주행 시스템의 배포를 가속화한다고 주장한다. 이 연구는 견고한 제로샷 전이를 위해서는 다양한 샘플링 기하 구조에 대한 노출(데이터 팩토리를 통해)과 장면 불변 구조를 학습하기 위한 명시적인 가이드(디스엔탱글먼트 및 일관성 학습을 통해)가 모두 필요함을 시사한다.