기술 요약: HilDA – LiDAR 사전 학습을 위한 계층적 확산 기반 증류 (Hierarchical Distillation with Diffusion for LiDAR Pre-training)

1. 문제 정의

자율주행(AD) 시스템은 역동적인 환경에서 견고한 공간 인지 능력을 필요로 합니다. LiDAR는 고정밀 기하학적 데이터를 제공하지만, 3D 모델을 학습시키기 위해서는 일반적으로 방대한 양의 라벨링된 데이터셋이 필요합니다. 수동 주석(Manual annotation) 작업은 비용이 많이 들 뿐만 아니라, 실제 세계의 기하학적 구조와 움직임의 조합적 다양성을 모두 포괄하지 못한다는 한계가 있습니다. 이를 해결하기 위해 학계에서는 LiDAR 백본을 위한 자기 지도 학습(Self-supervised pre-training) 전략으로서 비전 파운데이션 모델(VFM)로부터의 지식 증류(Knowledge Distillation, KD)에 주목해 왔습니다.

그러나 기존의 교차 모달 증류 방식은 두 가지 주요한 한계를 가집니다:

1. 최종 레이어 제한 (Final-Layer Restriction): 기존 방식들은 VFM을 블랙박스로 취급하여 최종 레이어의 특징(feature)만을 증류합니다. 이는 VFM의 여러 레이어에 분산되어 있는 점진적인 의미론적 정교화(semantic refinement)와 중간 표현(intermediate representations)을 무시하며, 이러한 요소들은 특징이 "어떻게" 구축되는지를 포착하는 데 매우 중요합니다. 또한, 이러한 방식들은 VFM의 CLS 토큰에 인코딩된 전역적 문맥(global context)을 흔히 누락시킵니다.
2. 시공간적 감독 부재 (Lack of Spatiotemporal Supervision): 이미지로 학습된 VFM은 의미론적 인식에는 뛰어나지만, 명시적인 3D 기하학 및 시간적 단서가 부족합니다. 순수하게 의미론적 증류만을 수행할 경우 3D 구조가 제약 조건이 부족한 상태로 남게 됩니다. 일부 선행 연구들이 점유 예측(occupancy prediction)을 도입하기도 하지만, 이들은 대개 결합된 장면 분포(joint scene distributions)보다는 국소적 주변값(local marginals)을 모델링하는 판별적 목적 함수에 의존하므로, 전역적인 시공간적 일관성을 강제하는 데 실패합니다.

2. 방법론: HilDA 프레임워크

저자들은 계층적 증류와 시간적 점유 확산 목적 함수를 결합한 자기 지도 학습 프레임워크인 HilDA(Hierarchical Distillation with Diffusion)를 제안합니다. 이 프레임워크는 세 개의 프레임($t_{-1}, t_0, t_1$)의 시간적 시퀀스를 처리하며, 과거와 현재 프레임을 특징 추출에 사용하고 미래 프레임을 점유 예측을 위한 타겟으로 사용합니다.

2.1 계층적 증류 (Hierarchical Distillation)

HilDA는 단일 레이어 증류를 넘어 다음 두 가지 메커니즘을 통해 VFM의 의미론적 진화를 포착합니다:

• 다중 레이어 증류 (Multi-Layer Distillation): 단일 출력만을 정렬하는 대신, HilDA는 고정된 VFM 텔러(Teacher)의 대응하는 레이어들과 학생(Student) LiDAR 네트워크의 중간 레이어들을 정렬합니다. 이는 캘리브레이션 파라미터를 사용하여 3D 점들을 2D 카메라 이미지에 투영하는 밀도-희소(dense-to-sparse) 전략을 통해 수행됩니다. 경량화된 레이어별 MLP가 특징 차원을 정렬하며, 유효한 점-픽셀 대응 관계 전반에 걸쳐 코사인 거리를 최소화합니다. 이를 통해 학생 모델은 시각적 개념이 점진적으로 구축되는 과정을 학습할 수 있습니다.
• 전역 문맥 증류 (Global Context Distillation): 장면 수준의 의미론을 포착하기 위해, 프레임워크는 VFM의 CLS 토큰(전역 장면 정보를 인코딩함)을 학생 네트워크의 학습 가능한 3D 전역 문맥 토큰과 정렬합니다. 학생의 전역 토큰은 최종 레이어 특징에 전용 MLP를 적용한 후 전역 최대 풀링(global max-pooling)을 거쳐 생성됩니다. 이 정렬은 MSE(Mean Squared Error)를 통해 강제되며, 장면 수준의 정규화 도구 역할을 합니다.

2.2 시간적 점유 확산 (Temporal Occupancy Diffusion)

3D 기하학 및 시간적 역학의 부재를 해결하기 위해, HilDA는 보조적인 자기 지도 학습 과제인 시간적 점유 확산을 도입합니다.

• 정식화 (Formulation): 이 과제는 조건부 디노이징 확산 확률 모델(DDPM) 생성 문제로 구성됩니다. $t_{-1}$과 $t_0$에서의 LiDAR 스윕을 입력받아, 학생 네트워크는 이를 공유된 밀집 BEV(Bird's Eye View) 이력 특징 맵으로 인코딩합니다.
• 목적 함수 (Objective): 모델은 히스토리에 조건화된 오염된 미래 점유 타겟($t_1$에서의 $x_{occ}$)을 디노이징하는 법을 학습합니다. 학습 목적 함수는 노이즈 예측 손실(표준 확산)과 점유 맵에 대한 재구성 손실을 결합합니다.
• 이점 (Benefit): 이러한 생성적 접근 방식은 모델이 반복적인 정교화 과정을 통해 공간 매니폴드와 표면 계층 구조를 내재화하도록 유도하며, 이를 통해 라벨 없이도 시공간적 일관성과 객체 영속성(object permanence)을 촉진합니다.

2.3 전체 목적 함수

프레임워크는 다음 세 가지 손실의 가중 합을 사용하여 엔드투엔드로 학습됩니다:
$$\mathcal{L}_{total} = \omega_{ds}\mathcal{L}_{distill} + \omega_{gl}\mathcal{L}_{cls} + \omega_{df}\mathcal{L}_{diffusion}$$
여기서 $\mathcal{L}_{distill}$은 다중 레이어 점-픽셀 손실, $\mathcal{L}_{cls}$는 전역 문맥 손실, $\mathcal{L}_{diffusion}$은 시간적 점유 확산 손실입니다.

3. 주요 기여

1. 계층적 증류 전략: VFM으로부터 다중 레이어 중간 특징과 전역 CLS 토큰을 모두 증류하여, LiDAR 학생 모델이 점진적인 의미론적 정교화와 전체적인 장면 문맥을 학습할 수 있게 하는 새로운 접근 방식을 제시했습니다.
2. 시간적 점유 확산: 미래 점유 예측을 조건부 확산으로 구성하여, 다중 스케일의 기하학적 및 운동 단서를 LiDAR 인코더에 효과적으로 주입하는 보조 생성 목적 함수를 도입했습니다.
3. 최첨단 성능 (State-of-the-Art Performance): 이러한 구성 요소들의 통합을 통해 다양한 벤치마크에서 기존 증류 방식보다 뛰어난 성능을 보이는 표현력을 구현했습니다.

4. 실험 결과

저자들은 nuScenes 데이터셋을 사용하여 HilDA를 사전 학습(pre-training)하고, 학습된 백본을 재학습 없이 다양한 다운스트림 태스크로 전이하여 평가했습니다.

• 3D 시맨틱 세그멘테이션 (3D Semantic Segmentation): HilDA는 nuScenes, SemanticKITTI, Waymo Open Dataset에서 SOTA 결과를 달성했습니다. 특히 데이터가 부족한 시나리오(라벨 1%~10%)에서 CleverDistiller, LiMoE, ScaLR 등의 방식을 능가하며 유의미한 이득을 보여주었습니다. 또한 비정형 오프로드(Rellis-3D) 및 스크리블 라벨(ScribbleKITTI) 데이터셋에서 우수한 도메인 일반화 능력을 입증했습니다.
• 강건성 (Robustness): 변형된 nuScenes-C 벤치마크에서 HilDA는 날씨(눈, 비) 및 센서 결함(빔 에코, 교차 센서 문제)에 대해 탁월한 회복력을 보이며 가장 낮은 평균 변형 오차(mCE)를 기록했습니다.
• 3D 객체 탐지 (3D Object Detection): PointRCNN의 초기화 모델로 사용되었을 때, HilDA는 특히 장거리 및 심한 폐쇄(occlusion)가 포함된 복잡한 시나리오에서 KITTI와 nuScenes의 mAP를 향상시켰습니다.
• 시맨틱 점유 및 장면 흐름 (Semantic Occupancy & Scene Flow): HilDA는 3D 및 4D 시맨틱 점유 예측과 장면 흐름 추정(Argoverse 2)에서 베이스라인을 능가했습니다. 특히 확산 보조 과제는 동적 객체와 움직임 추정 성능을 구체적으로 개선했습니다.

5. 의의 및 주장

본 논문은 HilDA가 LiDAR 사전 학습에서 의미론적 풍부함과 기하학적/시간적 강건성 사이의 간극을 성공적으로 메웠다고 주장합니다. "블랙박스" 형태의 최종 레이어 증류를 넘어 생성적 확산 사전 지식(diffusion prior)을 통합함으로써, 이 프레임워크는 "의미론적 무엇(semantic what)"(VFM으로부터)과 "기하학적 어디(geometric where)"(확산으로부터)를 모두 포착하는 표현을 만들어냅니다.

저자들은 이 접근 방식이 대규모 주석 데이터에 대한 의존도를 낮추는 동시에, 다양한 도메인과 태스크에 전이 가능한 특징을 생성한다고 강조합니다. 또한 한계점으로 점-픽셀 증류가 LiDAR-카메라 정렬 불일치에 민감할 수 있음을 언급했으나, HilDA는 정렬이 필요 없는 전역 문맥 증류와 시간적 확산을 통해 이를 부분적으로 완화했다고 밝혔습니다. 향후 연구로는 레이어 간 매칭 전략 탐색 및 BEV 표현을 넘어선 확산 모델의 확장이 제안되었습니다.