CLAP: Unsupervised 3D Representation Learning for Fusion 3D Perception via Curvature Sampling and Prototype Learning

이 논문은 곡률 샘플링과 학습 가능한 프로토타입을 활용하여 이미지와 점구름의 상호 보완적 특성을 효율적으로 결합한 CLAP 이라는 새로운 비지도 3D 표현 학습 방법을 제안하며, 이를 통해 기존 최첨단 방법 대비 최대 2 배의 성능 향상을 달성함을 보여줍니다.

핵심

1. 문제: 왜 지금까지 어려웠을까요? (별별 훈련 vs 함께 훈련)

자율주행차는 주로 두 가지 센서를 사용합니다.

1. 카메라 (눈): 사물의 색깔, 모양, 표지판 등을 봅니다. (이미지)
2. 라이다 (손): 레이저로 사물까지의 거리와 3D 형태를 잡습니다. (점군 데이터)

기존의 방법들은 이 두 가지를 각자 따로 공부시켰습니다.

• 이유: 두 데이터를 동시에 처리하려면 컴퓨터 (GPU) 메모리가 너무 많이 필요해서, 한 번에 다 처리할 수 없었기 때문입니다.
• 비유: 마치 영어 선생님과 수학 선생님이 따로따로 학생을 가르치는 것과 같습니다. 영어 선생님은 문법만 가르치고, 수학 선생님은 공식만 가르칩니다. 하지만 실제 시험 (실제 도로 주행) 에서는 영어와 수학을 동시에 써야 하죠. 따로 가르치면 서로의 장점을 살리기 어렵습니다.

2. 해결책: CLAP 이란 무엇인가요?

저자들은 **"함께 공부하면 더 똑똑해진다"**는 아이디어로 CLAP이라는 방법을 만들었습니다. 이름의 뜻은 **Curvature (곡률)**와 **Learnable Prototype (학습 가능한 원형)**의 약자입니다.

🎯 핵심 전략 1: '곡률 샘플링' (중요한 부분만 골라보기)

컴퓨터 메모리 부족 문제를 해결하기 위해, 모든 데이터를 다 보는 게 아니라 가장 중요한 부분만 골라 공부시켰습니다.

• 비유: 책 전체를 다 외우려고 하면 시간이 너무 걸리죠? 하지만 **중요한 굵은 글씨 (핵심 내용)**만 골라 읽으면 훨씬 효율적입니다.
• 원리: 평평한 도로 (곡률이 낮음) 는 정보가 적고, 차량의 모서리나 복잡한 구조 (곡률이 높음) 는 정보가 많습니다. CLAP 은 이 **곡률 (구부러진 정도)**을 계산해서, 복잡한 부분 (차량 등) 에 집중하고 평평한 부분 (도로) 은 덜 보게 합니다. 덕분에 메모리 부담 없이 두 센서를 동시에 훈련시킬 수 있게 되었습니다.

🧩 핵심 전략 2: '학습 가능한 원형 (Prototype)' (공통 언어 만들기)

카메라와 라이다가 서로 다른 언어를 쓴다면, 이를 연결해 주는 공통 번역사가 필요합니다. CLAP 은 이를 위해 **'원형 (Prototype)'**이라는 개념을 도입했습니다.

• 비유: 카메라는 "빨간색 차"라고 말하고, 라이다는 "원통형 물체"라고 말합니다. 이 둘을 연결해 주는 **중개자 (원형)**가 있다면, "아, 빨간색 원통형 물체는 차구나!"라고 이해할 수 있습니다.
• 작동 방식: 이 중개자들은 스스로 학습하며, 카메라 이미지와 라이다 점군 데이터가 서로 어떤 관계를 가지는지 찾아냅니다. 이를 통해 두 센서가 서로의 정보를 보완하게 됩니다.

3. CLAP 의 특별한 기술들

1. 스왑 예측 (Swapping Prediction):
   • 카메라가 본 것과 라이다가 본 것을 서로 바꿔서 맞추는 게임을 합니다. "이 카메라 이미지가 라이다 데이터와 잘 맞을까?"를 예측하게 함으로써 두 센서 간의 깊은 관계를 학습시킵니다.
2. 그람 행렬 정규화:
   • 중개자들 (원형) 이 모두 똑같은 말만 하지 않도록 방지하는 장치입니다. 각자가 고유한 역할을 하도록 유도하여 학습이 망가지는 것을 막습니다.

4. 결과: 얼마나 잘할까요?

이 방법을 적용한 실험 결과 (NuScenes, Waymo 데이터셋) 는 놀라웠습니다.

• 기존 최고 기술 (SOTA) 대비 100% 더 큰 향상: 기존에 따로 훈련하던 방법들보다 성능이 훨씬 더 좋아졌습니다.
• 데이터가 적을수록 효과 큼: 학습 데이터가 아주 적을 때 (예: 0.5%) CLAP 을 쓰면 성능이 급격히 좋아졌습니다. 이는 CLAP 이 데이터를 더 효율적으로 활용한다는 뜻입니다.
• 시각화: 실제로 CLAP 이 학습한 결과를 보면, 도로 같은 배경은 한 그룹으로, 차량 같은 사물은 다른 그룹으로 자연스럽게 묶어내는 것을 확인할 수 있었습니다.

5. 요약: 왜 이것이 중요한가요?

기존에는 3D 자율주행 기술을 배우려면 **엄청나게 많은 수동 라벨링 (사람이 일일이 표시)**이 필요했습니다. 하지만 CLAP 은 레이블 없이도 카메라와 라이다가 서로 도와가며 스스로 배우게 합니다.

• 핵심 메시지: "혼자 하면 느리고 비싸다. 하지만 중요한 부분만 골라 (곡률 샘플링) 함께 공부하고, **공통 언어 (원형)**를 만들어주면 훨씬 빠르고 똑똑해진다."

이 기술이 발전하면, 더 적은 비용과 데이터로도 훨씬 안전하고 똑똑한 자율주행차와 로봇을 만들 수 있게 될 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 자율주행 및 3D 인식 분야에서 카메라 (이미지) 와 LiDAR (점군) 의 멀티모달 융합 (Fusion) 은 단일 모달리티보다 우수한 성능을 보입니다. 그러나 3D 공간에서의 데이터 라벨링은 시간과 비용이 매우 많이 들어가는 문제가 있습니다.
• 현황: 이를 해결하기 위해 라벨 없이 사전 학습 (Unsupervised Pre-training) 을 수행하는 연구가 활발합니다. 특히, 미분 가능 렌더링 (Differentiable Rendering) 기반의 방법이 가장 유망한 것으로 알려져 있습니다.
• 한계점:
  • 기존 방법들은 이미지와 점군을 처리하는 데 필요한 계산 비용 (GPU 메모리) 이 너무 커서, 각 모달리티를 별도로 (Separately) 사전 학습하는 방식 (예: UniPAD) 을 취했습니다.
  • 이로 인해 이미지의 고수준 의미 정보 (High-level semantics) 와 점군의 3D 구조 정보 (3D structure) 간의 상호 보완적 이점을 사전 학습 단계에서 충분히 활용하지 못했습니다.
  • 모든 점과 픽셀을 사용하여 사전 학습하려면 최신 GPU 에서는 배치 크기 (Batch size) 를 1 로만 설정할 수 있을 정도로 계산 부하가 큽니다.

2. 제안 방법 (Methodology: CLAP)

저자들은 CLAP (Curvature sampLing and leArnable Prototype) 이라는 새로운Joint Unsupervised Pre-training 방법을 제안합니다. 이는 이미지와 점군을 동시에 학습하여 융합 인식 성능을 높이는 것을 목표로 합니다.

핵심 구성 요소:

1. 곡률 샘플링 (Curvature Sampling):

   • 문제 해결: 계산 비용의 병목 현상을 해결하기 위해, 정보량이 적은 평탄한 영역 (예: 도로) 대신 정보량이 풍부한 영역 (예: 차량 표면) 을 선별적으로 샘플링합니다.
   • 구현: 3D 공간의 각 점에 대해 SDF(Signed Distance Field) 함수의 2 차 미분을 통해 **곡률 (Curvature)**을 추정합니다. 곡률이 높은 점 (표면의 변화가 큰 곳) 에 가중치를 부여하여 정보량이 많은 점과 픽셀만 렌더링 손실 (Reconstruction Loss) 계산을 위해 샘플링합니다.
   • 효과: 이를 통해 GPU 메모리 부담을 줄여 이미지와 점군의 **동시 학습 (Joint Pre-training)**을 가능하게 합니다.

2. 학습 가능한 프로토타입 (Learnable Prototype Learning):

   • 목적: 두 모달리티 간의 상호작용을 포착하고 공통의 특징 공간 (Common Feature Space) 을 구축합니다.
   • 구현: 3D 장면의 일부를 나타내는 학습 가능한 프로토타입 (Prototype) 집합을 정의합니다.
   • EM 알고리즘 (Expectation-Maximization): 각 모달리티 (이미지, LiDAR) 의 임베딩과 프로토타입 간의 유사도를 최대화하도록 프로토타입을 학습합니다.
   • 스왑 예측 손실 (Swapping Prediction Loss): Caron et al. (SwAV) 의 아이디어를 차용하여, 한 모달리티의 임베딩을 다른 모달리티의 프로토타입에 매핑하는 예측을 통해 모달리티 간의 상호작용을 학습합니다.

3. 정규화 (Gram Matrix Regularization):

   • 문제: 프로토타입 학습 시 모든 프로토타입이 동일한 벡터로 수렴하는 '붕괴 (Collapse)' 현상이 발생할 수 있습니다.
   • 해결: 프로토타입 간의 유사도를 나타내는 그람 행렬 (Gram Matrix) 의 비대각선 요소를 최소화하여, 각 프로토타입이 서로 다른 특징을 학습하도록 강제합니다.

4. 전체 파이프라인:

   • LiDAR 와 카메라 데이터를 인코더를 통해 3D 특징으로 변환합니다.
   • Curvature Sampling을 통해 중요한 점/픽셀을 선택합니다.
   • 선택된 점들을 통해 Neural Field Rendering을 수행하여 거리 (Range) 와 색상 (RGB) 을 재구성하고 손실 (Reconstruction Loss) 을 계산합니다.
   • 동시에 Prototype Learning을 통해 모달리티 간 상호작용을 학습합니다.

3. 주요 기여 (Key Contributions)

1. 첫 번째 융합 인식용 Joint Pre-training: 곡률 샘플링 전략을 통해 계산적 한계를 극복하고, 이미지와 점군을 동시에 사전 학습하는 최초의 미분 가능 렌더링 기반 방법을 제안했습니다.
2. 공통 특징 공간 및 프로토타입 학습: 학습 가능한 프로토타입과 EM 알고리즘을 도입하여 3D 장면의 일부를 표현하고, 두 모달리티 간의 상호작용을 효과적으로 학습하는 프레임워크를 구축했습니다.
3. 새로운 손실 함수 설계: 모달리티 간 상호작용을 탐구하는 '스왑 예측 손실'과 프로토타입 붕괴를 방지하는 '그람 행렬 정규화'를 제안했습니다.
4. 성능 입증: NuScenes 와 Waymo 데이터셋에서 기존 SOTA 방법들보다 월등한 성능 향상을 보였습니다.

4. 실험 결과 (Results)

• 데이터셋: NuScenes 와 Waymo 자율주행 데이터셋을 사용했습니다.
• 평가 지표: 3D 객체 탐지 (3D Object Detection) 성능 (mAP, NDS 등) 을 Few-shot 설정 (라벨 데이터 5%, 1% 등) 에서 평가했습니다.
• 주요 성과:
  • NuScenes: 기존 SOTA 인 UniPAD 대비 mAP 에서 약 100% 더 큰 개선 효과 (UniPAD 는 1.12% 향상, CLAP 는 2.48% 향상) 를 보였습니다. NDS 지표에서도 1.76% 향상으로 가장 높은 성능을 기록했습니다.
  • Waymo: 기존 최선 방법 (OCC-MAE) 대비 약 2 배에 달하는 성능 향상 (mAP 기준 +1.28%) 을 달성했습니다.
  • 확장성 (Scaling Property): 미세 조정 (Fine-tuning) 에 사용되는 데이터 양을 줄일수록 (0.5% ~ 5%) CLAP 의 성능 향상 폭이 커지는 경향을 보였습니다. 이는 사전 학습 데이터와 미세 조정 데이터의 비율이 클수록 CLAP 의 효과가 극대화됨을 의미합니다.
• Ablation Study: 곡률 샘플링과 프로토타입 학습을 모두 적용했을 때 가장 높은 성능을 보였으며, 단순한 균일 샘플링 (Uniform Sampling) 만으로는 기존 분리 학습보다 성능이 개선되지 않음을 확인했습니다.

5. 의의 및 결론 (Significance)

• 기술적 의의: 이 연구는 멀티모달 3D 인식 분야에서 라벨링 비용 없이도 이미지와 LiDAR 의 상호 보완적 이점을 최대한 활용할 수 있는 새로운 패러다임을 제시했습니다. 특히 계산 비용 문제를 곡률 기반 샘플링으로 우회하고, 프로토타입 학습을 통해 의미론적 통합을 이루었다는 점이 혁신적입니다.
• 실용적 가치: 자율주행 시스템의 성능을 높이기 위해 필요한 대량의 3D 데이터 라벨링 부담을 크게 줄일 수 있으며, 적은 양의 라벨 데이터로도 높은 성능을 낼 수 있어 실제 산업 적용 가능성이 높습니다.
• 향후 전망: 사전 학습 데이터셋을 확장할 경우 성능이 더욱 향상될 것으로 예상되며, 3D 인식 분야에서 unsupervised learning 의 새로운 기준 (SOTA) 을 제시합니다.