RangeSAM: On the Potential of Visual Foundation Models for Range-View represented LiDAR segmentation

본 논문은 SAM2 기반의 비전 파운데이션 모델을 LiDAR 범위 뷰 표현에 적용하여 3D 분할을 수행하는 RangeSAM 을 제안함으로써, 기존 2D 기반 파이프라인의 효율성을 유지하면서도 경쟁력 있는 성능을 달성할 수 있음을 입증합니다.

핵심

이 논문은 자율주행 자동차가 눈앞의 세상을 어떻게 이해하는지에 대한 흥미로운 연구입니다. 복잡한 기술 용어 대신, 마치 "레고 블록"과 "사진첩"을 활용하는 이야기로 쉽게 설명해 드릴게요.

🚗 핵심 이야기: "3D 공간의 퍼즐을 2D 사진으로 풀다"

자율주행차는 LiDAR(라이다) 라는 장치를 통해 주변을 스캔합니다. 이때 생성되는 데이터는 **공중에 떠 있는 수백만 개의 점 (3D 점구름)**입니다. 이 점들을 하나하나 분석하는 것은 마치 수백만 개의 레고 블록을 손으로 하나씩 세어 나가는 일처럼 매우 느리고 컴퓨터에 무거운 부하를 줍니다.

기존의 방법들은 이 '레고 블록'들을 직접 다루려 했지만, 연구자들은 **"왜 3D 로 직접 다루지? 2D 사진으로 바꾸면 어떨까?"**라고 생각했습니다.

📸 RangeSAM 의 아이디어: "3D 공간을 2D 스크롤 사진으로 변환"

이 논문에서 제안한 RangeSAM은 다음과 같은 마법을 부립니다:

1. 3D 를 2D 로 변환 (Range View):
   라이다로 찍은 3D 점구름을 마치 구형의 360 도 카메라로 찍은 것처럼 펼쳐서 2D 이미지 (평면 그림) 로 만듭니다. 이때 점들이 겹치면 가장 가까운 것만 남기고, 빈 공간은 비워둡니다.

   • 비유: 구형의 지구본을 평평한 지도로 펼치는 것과 같습니다. 이제 컴퓨터는 무거운 3D 레고를 다룰 필요 없이, 익숙한 2D 사진을 보는 것만으로도 됩니다.

2. 최고의 '사진 분석가' (SAM2) 를 고용:
   최근 AI 세상에서 가장 유명한 'Segment Anything Model 2(SAM2)'라는 모델이 있습니다. 이 모델은 어떤 사진이든 찍어주면 무엇이든 정확히 구분해내는 천재 사진 분석가입니다.

   • 기존에는 이 분석가가 '일반적인 사진 (RGB)'만 봤는데, 연구자들은 이 분석가를 라이다로 만든 '2D 지도 사진'을 보게 훈련시켰습니다.

3. 맞춤형 수정 (아키텍처 개선):
   하지만 라이다로 만든 2D 지도는 일반 사진과 다릅니다. 가로로 길고, 특정 패턴이 반복되는 등 특징이 뚜렷합니다.

   • 그래서 연구자들은 이 분석가의 두뇌 (엔코더) 를 라이다 데이터에 맞게 개조했습니다.
   • 가로로 긴 창문 (Window Attention): 일반 사진은 정사각형 창으로 보지만, 라이다 지도는 가로로 길기 때문에 가로로 긴 창문을 만들어 수평적인 관계를 잘 파악하게 했습니다.
   • 특수한 기초 공사 (Stem Module): 라이다 데이터의 특징을 잘 잡을 수 있도록 입력 부분을 다듬었습니다.

🏆 결과: 빠르고 똑똑한 자율주행

이 방법을 통해 얻은 결과는 매우 훌륭합니다.

• 속도: 3D 점구름을 직접 다루는 방식보다 훨씬 빠르고 가볍습니다. (2D 이미지를 처리하는 기존 기술의 장점을 그대로 가져옴)
• 정확도: 복잡한 도시 환경에서도 차, 사람, 도로, 가로등 등을 잘 구분해냅니다.
• 범용성: 이 모델은 수많은 데이터로 미리 훈련된 '기초 모델 (Foundation Model)'을 사용했기 때문에, 새로운 환경에서도 잘 적응합니다.

💡 한 줄 요약

"무거운 3D 점구름 데이터를 가볍고 빠른 2D 사진으로 변환한 뒤, 최신 AI 사진 분석가 (SAM2) 를 라이다 데이터에 맞게 개조해서 자율주행의 눈 (시각 인식) 을 더 빠르고 정확하게 만든 연구입니다."

이 연구는 **"기존에 잘 알려진 2D 기술과 최신 AI 모델을 3D 자율주행에 접목하면, 무거운 계산을 줄이면서도 똑똑한 결과를 얻을 수 있다"**는 것을 증명했습니다. 앞으로 자율주행차가 더 빠르고 안전하게 달릴 수 있는 중요한 디딤돌이 될 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• LiDAR 점군 분할의 중요성: 자율 주행 및 3D 장면 이해를 위해 LiDAR 포인트 클라우드의 시맨틱 분할 (Semantic Segmentation) 은 필수적입니다.
• 기존 방법의 한계:
  • 최근 연구는 볼륨 (Voxel) 기반 또는 포인트 (Point) 기반 방법들이 지배적이지만, 대규모 야외 데이터에서 높은 계산 비용, 불규칙한 메모리 접근, 확장성 문제로 인해 런타임 효율성이 낮습니다.
  • 반면, 범위 뷰 (Range-view) 방법은 3D 점군을 밀집된 2D 이미지로 투영하여 성숙한 2D 시맨틱 분할 기술을 활용할 수 있어 빠르고 정확한 예측이 가능합니다. 하지만 기존에는 가림 (Occlusion) 처리와 해상도 손실 문제로 인해 상대적으로 덜 탐구되었습니다.
• Visual Foundation Models (VFMs) 의 기회: 최근 SAM (Segment Anything Model) 시리즈와 같은 VFMs 은 제로샷 (Zero-shot) 인식, 캡셔닝, 멀티모달 작업에서 뛰어난 성과를 보이고 있습니다. 이러한 VFMs 이 LiDAR 범위 뷰 표현을 위한 강력한 백본 (Backbone) 으로 사용될 수 있는지 여부가 미해결 과제였습니다.

2. 제안 방법론: RangeSAM (Methodology)

저자들은 RangeSAM을 제안했습니다. 이는 현재 가장 최신인 시맨틱 분할 VFM 인 SAM2를 LiDAR 범위 뷰 표현에 적응시켜 3D 분할을 수행하는 최초의 프레임워크입니다.

A. 데이터 전처리: 범위 투영 (Range Projection)

• 비정렬된 LiDAR 포인트 클라우드 $(x, y, z)$를 구면 좌표계 $(\theta, \phi, r)$로 변환합니다.
• 이를 2D 원통형 투영 (Cylindrical Projection) 이미지 (예: $64 \times 2048$ 픽셀) 로 변환합니다.
• 동일한 픽셀에 투영된 여러 포인트는 최소 거리 (Minimum-range) 를 가진 것을 유지하고, 투영되지 않은 픽셀은 0 으로 채웁니다.

B. 모델 아키텍처 (Model Architecture)

RangeSAM 은 SAM2-UNet 패러다임을 따르며, 2D 특성에 맞춰 다음과 같이 수정된 인코더와 디코더를 사용합니다.

1. Stem 모듈 (입력 변환):
   • 입력 텐서를 선형 변환, 레이어 정규화, GELU 활성화 함수를 거쳐 $(B, 6, H, W)$에서 $(B, 96, H, W)$로 변환합니다.
   • 수평 공간 의존성 강조: LiDAR 범위 이미지의 고유한 수평적 구조를 포착하기 위해 기존 SAM2 의 위치 임베딩을 새로운 $(4, 128)$ 크기의 임베딩 행렬로 대체했습니다.
2. 인코더 (Encoder):
   • Hiera 백본: 사전 학습된 Hiera (Hierarchical Vision Transformer) 를 사용합니다.
   • 수정된 Hiera Block: 각 블록은 멀티헤드 어텐션 (MHA) 과 피드포워드 네트워크 (FFN) 로 구성됩니다.
     • 비대칭 윈도우 어텐션 (Asymmetric Window Attention): 범위 뷰 이미지의 해상도 ($64 \times 2048$) 와 불연속성을 고려하여, 기존 정사각형 윈도우 대신 수평으로 길쭉한 비대칭 윈도우 (예: $8 \times 64$, $16 \times 128$) 를 도입했습니다. 이는 LiDAR 데이터의 수평적 구조를 효과적으로 포착합니다.
     • 글로벌 어텐션: 후기 단계에서 장기적인 공간 의존성을 포착하기 위해 특정 블록에서 글로벌 어텐션을 적용합니다.
3. 디코더 (Decoder):
   • 수용野 블록 (Receptive Field Blocks, RFB): 멀티스케일 특징을 통합하고 디코딩합니다. 기존 배치 정규화 (BatchNorm) 대신 레이어 정규화 (LayerNorm) 와 GELU 를 사용하여 트랜스포머 아키텍처와의 호환성을 높였습니다.
   • 보조 헤드 (Auxiliary Heads): 각 특징 레벨에 보조 분류 헤드를 추가하여 학습 중 그래디언트 흐름을 개선합니다.
4. 후처리 (Postprocessing):
   • 처리된 포인트의 라벨을 k-NN (k=7) 과 다수결 투표 (Majority Voting) 를 통해 전체 해상도의 포인트 클라우드에 전파합니다.

C. 손실 함수 (Loss Function)

• 클래스 불균형과 경계 정확도를 동시에 해결하기 위해 가중 교차 엔트로피 (Weighted CE), Dice Loss, Boundary Loss, Jaccard Index (IoU) Loss 를 가중 합산한 복합 손실 함수를 사용합니다.

3. 주요 기여 (Key Contributions)

1. RangeSAM 프레임워크: LiDAR 포인트 클라우드 분할을 위해 SAM2 를 범위 뷰 표현에 적응시킨 최초의 프레임워크를 제안했습니다.
2. 맞춤형 아키텍처 설계:
   • LiDAR 범위 이미지의 수평적 특성을 반영한 Stem 모듈과 임베딩 행렬.
   • 구면 투영의 기하학적 특성에 맞춘 Hiera Block 구성.
   • 범위 뷰의 수평적 패턴과 불연속성을 포착하기 위한 비대칭 윈도우 어텐션 메커니즘.
3. 성능 검증 및 분석: SemanticKITTI 데이터셋에서 경쟁력 있는 성능을 입증하고, 전이 학습 전략 및 데이터 증강에 대한 철저한 실험 (Ablation Study) 을 수행했습니다.

4. 실험 결과 (Results)

• 데이터셋: SemanticKITTI (주요 평가) 및 nuScenes (전이 학습용).
• 성능:
  • mIoU (평균 교차합): SAM2-tiny 백본을 사용하여 SemanticKITTI 검증 세트에서 **60.9%**의 mIoU 를 달성했습니다.
  • 클래스별 성능: 차량, 도로, 건물, 식생과 같은 빈번하고 큰 클래스에서는 SOTA(State-of-the-Art) 방법들과 경쟁력 있는 성능 (80~90% IoU) 을 보였습니다.
  • 한계: 오토바이, 자전거, 보행자 등 드물고 작은 객체 (Long-tail classes) 에서는 성능이 낮았으나 (29~47%), 이는 현대적 방법론에서도 공통적으로 나타나는 문제입니다.
• 비교 분석:
  • 백본 크기: SAM2-tiny 가 SAM2-small 보다 파라미터 수는 적지만 성능은 비슷하거나 더 좋았습니다 (Table 1).
  • 데이터 증강: [33] 번 논문에서 제안된 범위 뷰 특화 증강 기법 (Mixing, Union, Shifting 등) 을 적용했을 때 mIoU 가 약 10% 향상되었습니다 (Table 2).
  • 전이 학습: Cityscapes(2D 이미지) 에서 사전 학습한 후 LiDAR 데이터로 전이 학습하는 방식은 오히려 성능이 저하되었습니다 (Table 3). 이는 SAM2 가 대규모 이미지 데이터로 학습되어 도메인 불일치가 발생했기 때문으로 추측됩니다.
  • SOTA 대비: RangeFormer(73.3%) 등 최신 방법론보다는 전체 mIoU 는 낮지만, VFMs 을 활용한 최초의 접근법으로서 2D 중심 파이프라인의 속도, 확장성, 배포 용이성을 확보했습니다 (Table 4).

5. 의의 및 결론 (Significance)

• VFMs 의 확장성: 이 연구는 VFMs 이 단순한 2D 이미지 분할을 넘어, 3D LiDAR 점군 분할을 위한 범용 백본으로 사용될 수 있음을 입증했습니다.
• 범위 뷰의 재조명: VFMs 의 강력한 표현력을 결합함으로써, 과거에 간과되었던 범위 뷰 (Range-view) 기반 분할 방법의 잠재력을 다시 한번 부각시켰습니다.
• 미래 전망:
  • 현재 RFB(수용野 블록) 로 인한 계산 복잡도가 실시간 배포의 병목 현상이지만, 이는 향후 최적화 과제로 남았습니다.
  • 향후 연구에서는 다양한 3D 벤치마크를 활용한 멀티데이터셋 학습이 2D 사전 학습보다 효과적임을 보여주었으며, 소규모 클래스 성능 향상을 위한 데이터 확장 및 설계 개선이 필요합니다.

결론적으로, RangeSAM 은 2D 기반의 강력한 Foundation Model 을 3D LiDAR 분할에 성공적으로 적용한 선구적인 작업으로, 효율적이고 확장 가능한 LiDAR 분할 솔루션의 새로운 방향성을 제시합니다.