MonoSAOD: Monocular 3D Object Detection with Sparsely Annotated Label

1. 문제 정의 (Problem Statement)

단안 3D 객체 감지 (Monocular 3D Object Detection, M3OD) 는 LiDAR 와 같은 고가의 센서 없이 단일 카메라만으로 3D 공간 내 객체를 감지하는 기술로, 자율주행 및 로봇 공학 분야에서 중요합니다. 그러나 기존 방법들은 모든 객체에 대한 밀집된 (Dense) 3D 주석을 전제로 합니다.

• 주석 비용 및 현실적 한계: 3D 주석 (깊이, 크기, 방향 등) 은 2D 주석에 비해 3~16 배 더 많은 시간이 소요되며, 현실 세계 데이터셋에서는 가려짐 (occlusion) 이나 주석 오류로 인해 일부 객체만 레이블이 지정된 희소 주석 (Sparsely Annotated) 환경이 일반적입니다.
• 기존 방법의 한계:
  • SAOD (Sparsely Annotated Object Detection) 방법들: 기존 2D SAOD 방법들은 주로 분류 신뢰도 (Confidence Score) 에 기반하여 의사 레이블 (Pseudo-label) 을 선택합니다. 하지만 단안 3D 감지에서는 2D 위치의 정확도가 3D 깊이 및 방향의 정확도를 보장하지 않으므로, 높은 신뢰도를 가진 예측이라도 3D 기하학적 오류가 커서 모델을 오도할 수 있습니다.
  • 점군 (Point Cloud) 기반 방법: LiDAR 기반의 깊이 정보를 활용하는 방법들은 단안 환경에서는 적용 불가능합니다.
• 핵심 과제: 제한된 주석 데이터 하에서 3D 기하학적 일관성을 유지하며, 신뢰할 수 있는 의사 레이블을 생성하여 모델을 학습시키는 것.

2. 제안 방법 (Methodology)

저자들은 희소 주석 환경에서 강건한 단안 3D 객체 감지를 위한 MonoSAOD 프레임워크를 제안합니다. 이 프레임워크는 **Road-Aware Patch Augmentation (RAPA)**과 **Prototype-Based Filtering (PBF)**이라는 두 가지 핵심 모듈로 구성됩니다.

2.1. Road-Aware Patch Augmentation (RAPA)

제한된 주석 데이터를 활용하기 위해, 다른 장면의 객체 패치를 현재 이미지의 도로 영역에 합성하는 데이터 증강 기법입니다.

• 정밀한 패치 추출: Segment Anything Model (SAM) 을 사용하여 배경을 제거하고 객체만 깨끗하게 잘라냅니다.
• 도로 인식 배치: SAM 으로 생성된 도로 마스크를 활용하여, 합성된 객체가 실제 주행 가능한 도로 영역에 위치하도록 합니다.
• 3D 기하학적 일관성 유지:
  • 객체를 이동시킬 때 카메라 외향 행렬 (Extrinsic Matrix) 을 사용하여 3D 좌표를 변환합니다.
  • 관측 각도 (Observation Angle) 보존: 객체의 새로운 위치에서 카메라가 바라보는 각도를 계산하여, 객체의 회전 각도 ($r_y$) 를 업데이트합니다. 이는 원본 이미지에서 정면으로 보이는 객체가 합성 후에도 정면으로 보이도록 하여 시각적 일관성을 유지합니다.
  • 유효성 검증: 합성된 객체가 도로 위에 있는지 (Road Overlap) 그리고 기존 레이블된 객체와 겹치지 않는지 (IoU) 를 검증합니다.

2.2. Prototype-Based Filtering (PBF)

교사 - 학생 (Teacher-Student) 구조에서 생성된 예측값 중 고품질의 의사 레이블을 선별하는 필터링 모듈입니다. 기존 방법들의 신뢰도 점수 의존성을 극복하기 위해 2D 특징 유사성과 3D 깊이 신뢰도를 동시에 평가합니다.

• 프로토타입 초기화 및 유지: 신뢰할 수 있는 주석 데이터로부터 학습된 객체 ROI(Region of Interest) 특징의 프로토타입 (Prototype) 집합을 유지합니다.
• 기하학적 신뢰도 필터링 (Geometric Reliability):
  • Laplacian aleatoric uncertainty loss 를 통해 예측된 깊이의 불확실성 ($\sigma$) 을 추정합니다.
  • 불확실성이 낮을수록 (신뢰도가 높을수록) 높은 점수를 부여하여 깊이 추정이 신뢰할 수 있는 예측만 선별합니다.
• 시맨틱 일관성 필터링 (Semantic Consistency):
  • 후보 예측의 ROI 특징과 학습된 프로토타입 간의 코사인 유사도를 계산합니다.
  • 학습된 객체 패턴과 시각적으로 일관된 예측만 선별합니다.
• 최종 선택: 위 두 가지 조건 (깊이 신뢰도 및 프로토타입 유사도) 을 모두 만족하는 예측만 고품질 의사 레이블로 간주하여 학생 네트워크 학습에 활용합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 문제 설정: 희소 주석 환경에서의 단안 3D 객체 감지 문제를 최초로 공식화하고, 기존 방법들이 이 환경에서 성능이 급격히 저하됨을 규명했습니다.
2. RAPA 모듈 제안: 3D 기하학적 일관성을 유지하면서 도로 영역에 객체 패치를 증강하는 새로운 데이터 증강 전략을 제시했습니다.
3. PBF 모듈 제안: 2D 특징 일관성과 3D 깊이 신뢰도를 결합하여 고품질 의사 레이블을 생성하는 필터링 메커니즘을 도입했습니다.
4. 성능 향상: KITTI 데이터셋에서 30% 희소 주석 조건 하에 기존 SAOD 방법들을 크게 상회하는 성능을 달성했습니다.

4. 실험 결과 (Results)

• 데이터셋: KITTI 3D 객체 감지 데이터셋 (검증 세트 및 테스트 세트) 및 Foggy KITTI 데이터셋.
• 주요 지표: 30%, 50%, 70% 의 희소 주석 비율에서 평가.
• 성능 비교:
  • 30% 주석 조건: 제안된 방법은 KITTI 검증 세트에서 기존 최상위 방법 (Co-mining, SparseDet, Calibrated Teacher 등) 대비 Easy/Moderate/Hard 모든 난이도에서 압도적인 성능 향상 (예: Easy 기준 21.28 vs Baseline 11.17) 을 보였습니다.
  • 테스트 세트: 30% 주석 조건에서 테스트 세트에서도 17.47 (Easy) 의 높은 점수를 기록하여 일반화 능력을 입증했습니다.
  • 극단적 희소 조건 (10%, 20%): 10% 주석 조건에서도 기존 방법 (SparseDet 1.67 AP) 대비 10.12 AP (Moderate) 를 기록하며, 데이터가 극도로 부족한 상황에서도 RAPA 와 PBF 의 효과가 입증되었습니다.
  • 악천후 (Foggy KITTI): 안개 낀 환경에서도 기존 방법들보다 뛰어난 강건성 (Robustness) 을 보였습니다.
• Ablation Study: RAPA 와 PBF 모듈을 각각 적용했을 때 성능이 향상되었으며, 두 모듈을 모두 적용했을 때 가장 높은 성능을 보였습니다. 이는 두 모듈이 상호 보완적임을 의미합니다.

5. 의의 및 결론 (Significance)

MonoSAOD 는 현실 세계의 제약 (높은 주석 비용, 불완전한 데이터) 을 고려한 실용적인 단안 3D 감지 솔루션을 제시합니다.

• 기하학적 일관성의 중요성 강조: 단순한 2D 복사 - 붙여넣기 (Copy-paste) 나 신뢰도 기반 필터링의 한계를 극복하고, 3D 공간에서의 물리적 타당성과 깊이 신뢰도를 고려한 접근법의 필요성을 증명했습니다.
• 효율적인 학습: 제한된 주석 데이터만으로도 RAPA 를 통한 데이터 다양성 확보와 PBF 를 통한 신뢰할 수 있는 자기지도 학습 (Self-supervised learning) 을 결합하여, 완전 주석 (Fully Supervised) 모델에 근접하는 성능을 달성할 수 있음을 보였습니다.
• 확장성: MonoDETR, MonoDGP 등 다양한 단안 3D 감지 아키텍처에 플러그인 방식으로 적용 가능하여 범용성을 입증했습니다.

이 연구는 희소 주석 환경에서의 3D 객체 감지 성능을 획기적으로 개선함으로써, 실제 자율주행 시스템의 개발 비용 절감과 실용성 향상에 기여할 것으로 기대됩니다.