Easy3D-Labels: Supervising Semantic Occupancy Estimation with 3D Pseudo-Labels for Automotive Perception

1. 문제 정의 (Problem)

자율주행 차량의 인식 (Perception) 분야에서 안전은 운전자뿐만 아니라 보행자나 자전거와 같은 취약한 도로 사용자 (VRU) 를 포함한 모든 도로 사용자에게 필수적입니다. 기존 방법론인 Bird's Eye View (BEV) 는 수직 정보를 압축하여 3D 객체 위치 파악의 모호성을 초래하고, 운동 계획 및 장면 예측과 같은 하위 작업에 대한 환경 이해도를 제한합니다.

이러한 한계를 극복하기 위해 Semantic Occupancy (의미론적 점유율) 추정 방법이 주목받고 있으며, 특히 자기지도학습 (Self-supervised) 방식이 데이터 주석의 부담을 줄이기 위해 활발히 연구되고 있습니다. 그러나 기존 자기지도학습 모델들은 다음과 같은 심각한 문제점을 안고 있습니다:

• 2D 의존성: 3D 공간의 Ground Truth 가 부재하여 2D 이미지 공간의 의사레이블 (Pseudo-labels) 에 의존합니다.
• 고비용의 렌더링: 3D 장면을 2D 이미지로 다시 렌더링 (Novel View Synthesis) 하여 2D 레이블과 비교하는 과정에서 NeRF 기반 볼륨 렌더링이나 3D 가우시안 스플래팅을 사용해야 하므로, 연산 비용과 메모리 사용량이 매우 높습니다.
• 오류 발생: 2D 렌더링 의존성은 가까운 객체 편향, 부정확한 검출, 그리고 객체 중복 (Object Duplication) 문제를 야기합니다.

2. 제안 방법론 (Methodology)

저자들은 이러한 문제를 해결하기 위해 Easy3D-Labels라는 새로운 3D 의사-그라운드트루스 (3D Pseudo-Ground-Truth) 생성 기법과 이를 기반으로 한 간소화된 모델 EasyOcc를 제안합니다.

A. Easy3D-Labels 생성 프로세스

이 방법은 2D 이미지에서 3D 공간으로 직접 레이블을 투영하여 손실 (Loss) 계산을 수행합니다.

1. 시맨틱 포인트 클라우드 생성:
   • Grounded-SAM: 2D 시맨틱 분할 맵을 생성합니다.
   • Metric3Dv2: 깊이 (Depth) 맵을 생성합니다.
   • 카메라 내부 파라미터와 외부 변환 행렬을 사용하여 2D 픽셀을 3D 글로벌 좌표계로 투영하고, 해당 픽셀의 시맨틱 라벨을 부여하여 시맨틱 포인트 클라우드를 만듭니다.
2. 밀도 증가 (Densification) 및 정제:
   • 시간적 집계 (Temporal Aggregation): 과거 프레임 (최대 13 프레임) 의 정적 객체 (도로, 보도 등) 만을 선택하여 현재 프레임의 포인트 클라우드에 합칩니다. 이는 동적 객체 (차량, 보행자) 의 중복을 방지하고 공간 밀도를 높입니다.
   • 이상치 제거: Open3D 라이브러리를 사용하여 노이즈 포인트를 제거합니다.
3. 볼리제이션 (Voxelization):
   • 생성된 포인트 클라우드를 3D 볼륨 그리드로 변환합니다.
   • 특정 임계값 (예: 10 개 이상의 포인트) 을 만족하는 볼륨만 점유된 것으로 간주하고, 다수결 원칙에 따라 시맨틱 라벨을 할당합니다.

B. EasyOcc 모델

• 간소화된 아키텍처: 기존 모델 (SelfOcc, OccNeRF, GaussianOcc) 과 달리, Novel View Synthesis, 깊이 추정, 다중 프레임 광도 일관성 (Multi-frame photometric consistency) 등의 복잡한 렌더링 및 추정 모듈을 제거했습니다.
• 학습 방식: 오직 Easy3D-Labels를 기반으로 한 3D 공간 내의 의사 손실 (Pseudo-loss) 만을 사용하여 학습합니다.
• 손실 함수: 교차 엔트로피 (Cross-Entropy) 와 기하학적 손실 (Geometric Scale, Semantic Scale, Lovász Softmax) 을 결합한 L_Pseudo 를 사용합니다.

3. 주요 기여 (Key Contributions)

1. Easy3D-Labels 도입: Grounded-SAM 과 Metric3Dv2 를 활용하여 3D 공간에서 직접 손실 계산을 가능하게 하는 고품질 3D 의사레이블을 생성합니다. 이는 기존 모델에 보조 손실 (Auxiliary Loss) 로 쉽게 통합될 수 있습니다.
2. 성능 향상: 기존 자기지도학습 모델 (OccNeRF 등) 에 Easy3D-Labels 를 적용했을 때, mIoU 가 45%, RayIoU 가 49% 증가하는 획기적인 성능 개선을 달성했습니다.
3. 동적 객체 분할 개선: 특히 보행자 (Pedestrian) 와 같은 취약한 객체 클래스의 분할 성능이 600% 이상 향상되었습니다.
4. EasyOcc 모델 제안: 복잡한 렌더링 전략 없이 3D 의사레이블만으로 학습하여 Occ3D-nuScenes 데이터셋에서 15.7 mIoU를 달성하는 간소화된 모델을 제시했습니다.
5. 개방형 데이터 제공: 생성된 Easy3D-Labels 를 오픈소스로 공개하여 연구 커뮤니티의 접근성을 높였습니다.

4. 실험 결과 (Results)

Occ3D-nuScenes 및 OpenOccv2 데이터셋에서 다양한 SOTA 모델과 비교 평가되었습니다.

• mIoU (Mean Intersection over Union):
  • EasyOcc 모델은 렌더링 기반 손실을 사용하지 않음에도 불구하고, 기존 가우시안 기반 모델 (GaussTR 등) 을 능가하는 15.7 mIoU를 기록했습니다.
  • OccNeRF, SelfOcc, GaussianOcc 에 Easy3D-Labels 를 적용한 경우, 각각 45%, 45%, 39% 정도의 mIoU 향상을 보였습니다.
• RayIoU (Ray Intersection over Union):
  • RayIoU 는 깊이 오차와 과도한 예측 (Overprediction) 을 패널티로 부과하는 지표입니다.
  • Easy3D-Labels 를 적용한 모델들은 RayIoU 에서 49% (OccNeRF 기준) 의 큰 향상을 보였으며, 이는 객체 중복 현상이 줄어들고 깊이 추정 정확도가 개선되었음을 의미합니다.
• 동적 객체 감지: 보행자 클래스의 IoU 가 SelfOcc 기준 624% 증가하는 등, 3D 레이블이 취약한 도로 사용자의 정확한 감지에 결정적인 역할을 함을 입증했습니다.
• 효율성: EasyOcc 는 학습 시간과 추론 시간을 단축시켰으며, 추론 시 Foundation Model 을 배포할 필요가 없어 실용성이 높습니다.

5. 의의 및 결론 (Significance)

이 논문은 자율주행 인식 분야에서 3D 공간에서의 직접적인 학습 (Direct 3D Supervision) 의 중요성을 강조합니다.

• 계산 효율성: 고비용인 2D 렌더링 (Novel View Synthesis) 을 제거함으로써 학습 비용을 크게 절감하면서도 성능은 향상시켰습니다.
• 장면 이해도 향상: 시간적 정보를 활용한 밀도 증가와 3D 레이블의 정밀한 공간 표현은 객체 중복을 줄이고, 가려진 영역 (Occluded regions) 에 대한 이해를 돕습니다.
• 미래 지향성: LiDAR 없이 카메라만으로 고품질의 3D 점유율 맵을 생성할 수 있는 가능성을 보여주었으며, 자기지도학습과 3D 손실 함수의 결합이 완전한 장면 이해 (Comprehensive Scene Understanding) 에 핵심 요소임을 입증했습니다.

결론적으로, Easy3D-Labels 는 기존 자기지도학습 모델의 한계를 극복하고, 복잡한 렌더링 없이도 높은 성능을 내는 새로운 패러다임을 제시합니다.