Feasibility of Indoor Frame-Wise Lidar Semantic Segmentation via Distillation from Visual Foundation Model

이 논문은 **실내 환경에서 라이다 (LiDAR) 스캔의 프레임 단위 (frame-wise) 의미 분할 (Semantic Segmentation)**을 수행하기 위해, 시각적 기초 모델 (Visual Foundation Model, VFM) 에서의 지식을 증류 (Distillation) 하는 방법의 타당성을 연구한 것입니다. 수동으로 주석 (Ground Truth) 을 달아주는 라이다 데이터의 부재와 높은 비용 문제를 해결하기 위해, 2D 이미지에서 추출된 의미론적 정보를 3D 포인트 클라우드로 전달하는 크로스-모달 증류 기법을 실내 환경에 적용하는 것을 목표로 합니다.

다음은 논문의 주요 내용을 기술적으로 요약한 것입니다.

1. 문제 정의 (Problem)

• 데이터 부족: 자율주행과 같은 야외 환경과 달리, 실내 라이다 데이터의 프레임 단위 의미 분할을 위한 대규모 주석 데이터셋이 존재하지 않습니다.
• 기존 방법의 한계:
  • 전체 장면 (Scene-level) 분할: 포인트 클라우드의 기하학적 모델링이 필요하여 실시간 처리 (예: SLAM) 에 부적합합니다.
  • 시각 정보 활용: 라이다와 카메라의 정확한 보정이 필요하며, 가시 영역이 겹치는 부분만 정보를 얻을 수 있어 제한적입니다.
  • 야외 모델 전이: 야외 데이터 (NuScenes 등) 로 학습된 모델은 실내 환경의 기하학적/외관적 차이 (Domain Gap) 로 인해 성능이 크게 저하됩니다.
• 목표: 수동 주석 없이도 실시간으로 작동 가능한 프레임 단위 실내 라이다 의미 분할 모델의 구축 가능성 탐구.

2. 방법론 (Methodology)

연구팀은 자율주행용으로 개발된 ScaLR (Puy et al., 2024) 프레임워크를 실내 환경에 적응화하여 적용했습니다. 전체 워크플로우는 다음과 같습니다.

• 크로스-모달 증류 (Cross-Modal Distillation):
  • Teacher: 사전 학습된 2D 시각 기초 모델 (VFM, 예: DINOv2, OneFormer) 이 이미지에서 픽셀 수준의 의미론적 특징을 추출합니다.
  • Student: 3D 포인트 클라우드 네트워크 (WaffleIron) 가 라이다 데이터를 처리합니다.
  • 학습 과정: 정렬된 이미지와 라이다 쌍을 사용하여, 3D 포인트를 이미지 픽셀에 투영합니다. 2D Teacher 의 특징과 3D Student 의 특징 간의 거리를 최소화 (Cosine Similarity Loss) 함으로써, Student 모델이 라이다 포인트에 의미론적 맥락을 내재화하도록 합니다.
• 실내 데이터 적응 (Indoor Data Adaptation):
  • NTU-VIRAL, TIERS, M2DGR 등 다양한 실내 SLAM 데이터셋의 이기종 센서 구성 (다중 라이다, 단일 라이다, 다양한 해상도) 을 처리할 수 있도록 데이터 파이프라인을 재구성했습니다.
  • 각 데이터셋의 고유한 내부/외부 파라미터를 기반으로 정확한 3D-2D 투영 정렬을 수행합니다.
• 의사 레이블 (Pseudo-label) 생성:
  • 수동 주석이 없는 데이터셋의 하류 작업 (Downstream task) 을 위해, VFM 이 생성한 2D 분할 마스크를 라이다 포인트에 투영하여 자동적으로 의사 레이블을 생성합니다.
  • 이 의사 레이블은 선형 프로빙 (Linear Probing) 및 파인튜닝 (Fine-tuning) 단계의 감독 신호로 사용됩니다.

3. 주요 기여 (Key Contributions)

1. 실내 SLAM 데이터셋 기반 파이프라인 개발: ScaLR 프레임워크를 실내 환경에 적용할 수 있도록 다양한 센서 구성을 지원하는 전용 데이터 처리 파이프라인을 구축했습니다.
2. 수동 주석 없는 학습 및 검증: VFM 투영을 통한 의사 레이블 생성으로 임의의 데이터셋에서 모델을 학습 및 미세 조정하는 가능성을 입증했습니다. 또한, 신뢰성 검증을 위해 소규모 수동 주석 데이터셋 (ITC) 을 직접 제작하여 평가했습니다.
3. 실내 프레임 단위 분할 타당성 입증: 기존에 연구되지 않았던 실내 라이다 프레임 단위 분할에 대한 크로스-모달 증류의 효과를 실증했습니다.

4. 실험 결과 (Results)

• 성능 (Pseudo-label 평가):
  • 의사 레이블을 기준으로 평가했을 때, NTU-VIRAL 과 TIERS 데이터셋에서 약 51~52% mIoU를 달성했습니다.
  • ITC 데이터셋에서는 56.5% mIoU를 기록했습니다.
• 실제 주석 (Real-label) 평가:
  • 수동으로 주석된 ITC 데이터셋에서 평가 시 35.8% mIoU를 기록했습니다. 이는 야외 데이터로 학습된 RandLA-Net (10.7% mIoU) 보다 월등히 높은 성능입니다.
  • 성능 격차 원인: 2D 분할의 불완전성, 투영 오정합, 그리고 의사 레이블과 실제 레이블 간의 클래스 매핑 불일치 (특히 '비구조적' 객체 정의) 로 인해 실제 성능이 의사 레이블 평가보다 낮게 나타났습니다.
• VFM 민감도: OneFormer 와 DINOv2 등 서로 다른 VFM 을 Teacher 로 사용했을 때, 학습된 3D 표현의 성능 차이가 미미하여 프레임워크가 다양한 VFM 에 대해 강건함을 보였습니다.
• 효율성: 24 레이어의 WaffleIron 백본이 정확도와 계산 비용 (실시간 15Hz 이상 추론) 간의 최적 균형을 보여주었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 데이터 없는 학습의 가능성: 수동 주석이 전혀 없는 대규모 실내 라이다 데이터셋을 활용하여 의미론적 3D 표현을 학습할 수 있음을 입증했습니다. 이는 데이터 주석 비용이 큰 실내 환경에서 매우 중요한 진전입니다.
• 실시간 SLAM 적용 가능성: 프레임 단위 처리가 가능하므로, 실시간 의미 기반 SLAM 및 3D 매핑 애플리케이션에 직접 적용할 수 있는 잠재력을 가집니다.
• 한계 및 향후 과제:
  • 도메인 격차: 센서 구성 (라이다 라인 수 등) 과 장면 특성에 따라 성능이 크게 달라지는 도메인 의존성이 존재합니다.
  • 의사 레이블 노이즈: 2D 투영 기반의 레이블은 경계부나 희소 영역에서 노이즈가 발생하여 실제 성능을 과대평가할 수 있습니다.
  • 시간적 정보 부재: 현재는 프레임 단위만 처리하며, 연속된 프레임 간의 시간적 일관성 (Temporal consistency) 을 활용하지 않아 추가적인 성능 향상의 여지가 있습니다.

결론적으로, 이 연구는 시각적 기초 모델을 활용한 2D-to-3D 증류가 실내 라이다 의미 분할의 유효한 시작점이 될 수 있음을 보여주었으며, 향후 표준화된 벤치마크와 더 정교한 의사 레이블 정제 기법 개발을 통해 실내 3D 이해 기술의 발전을 이끌 것으로 기대됩니다.