Towards Camera Open-set 3D Object Detection for Autonomous Driving Scenarios

이 논문은 자율주행 환경에서 사전 정의된 객체 범위를 넘어 미지의 물체도 탐지할 수 있도록 LiDAR 기하학적 단서와 카메라 BEV 특징을 결합한 2 단계 학습 프레임워크인 OS-Det3D 를 제안합니다.

핵심

자율주행차의 '눈'을 더 똑똑하게: OS-Det3D 설명

자율주행차가 길을 달릴 때, 카메라는 마치 운전자의 눈과 같습니다. 하지만 기존 기술에는 치명적인 약점이 있었습니다. **"알고 있는 것만 본다"**는 것이죠.

이 논문은 바로 이 문제를 해결하는 새로운 방법, OS-Det3D를 소개합니다. 복잡한 기술 용어 대신, 일상적인 비유로 쉽게 설명해 드리겠습니다.

---

1. 문제: "알고 있는 것"만 보는 안경

기존의 자율주행 카메라는 훈련 시에 차, 사람, 자전거 같은 '알려진 물체'만 배웠습니다. 마치 어린이용 그림책을 보고 자란 아이처럼, 책에 나온 사자나 코끼리는 알아도, 책에 없던 '기린'이나 '이상한 모양의 쓰레기통'이 길에 나타나면 "이건 뭐지? 그냥 배경이야?"라고 오해하고 지나쳐 버립니다.

실제 도로에서는 예측 불가능한 물체 (낯선 차량, 공사 장비, 길가에 떨어진 큰 물건 등) 가 자주 등장합니다. 이를 못 보면 큰 사고로 이어질 수 있죠.

2. 해결책: 두 단계로 이루어진 '탐정' 시스템

저자들은 카메라만으로는 낯선 물체를 찾기 어렵다는 점을 깨달았습니다. 그래서 **LiDAR(레이저 거리 측정기)**의 도움을 받아 **'2 단계 탐정 훈련'**을 고안했습니다.

1 단계: "모든 물체를 잡아라!" (ODN3D)

• 비유: 모래성 쌓기 대회
  • 카메라는 모양만 보고 판단하려다 보니 (질감, 색깔에 속아넘어감), 깊이감이 부족해 낯선 물체를 놓치기 쉽습니다.
  • 대신, LiDAR는 3 차원 점으로 공간을 정확히 스캔합니다. 이 데이터를 이용해 **"이것은 물체인가?"**만 판단하는 ODN3D라는 네트워크를 훈련시킵니다.
  • 이 네트워크는 "차인지, 사람인지"를 따지지 않고, **"무언가 3 차원 물체가 있구나!"**라고만 판단합니다. 마치 모래성 대회에서 "무엇이든 쌓아라"라고 지시받은 아이처럼, 알려진 물체뿐만 아니라 낯선 물체까지도 '물체'로 잡아냅니다.
  • 하지만 여기서 문제는, 잡은 것 중에는 쓰레기나 노이즈도 섞여 있다는 점입니다.

2 단계: "진짜 낯선 친구를 찾아라!" (Joint Selection)

• 비유: 선생님과 학생의 협업
  • 1 단계에서 잡은 수많은 '후보 물체'들 중에서 진짜 중요한 것을 골라야 합니다.
  • **LiDAR(ODN3D)**는 "이것은 확실히 물체야!"라고 3D 위치 점수를 줍니다.
  • 카메라는 "이건 내가 아는 '차'나 '사람'과 비슷해"라고 이미지 특징 점수를 줍니다.
  • 핵심 전략: 만약 LiDAR 는 "물체 맞다"라고 하고, 카메라는 "내가 아는 것들과는 달라 (낯선 것 같다)"라고 한다면? -> 이건 바로 우리가 찾는 '낯선 물체'입니다!
  • 반대로, 카메라가 "아, 이건 내가 아는 '트럭'이네"라고 한다면? -> 이건 이미 알고 있는 것이니 제외합니다.
  • 이렇게 두 눈 (LiDAR 와 카메라) 을 합쳐 가장 유력한 '낯선 물체'들을 **가짜 정답 (Pseudo Ground Truth)**으로 만들어냅니다.

3. 결과: 더 안전하고 똑똑한 자율주행

이렇게 훈련된 카메라는 이제 다음과 같은 능력을 갖게 됩니다.

• 알려진 것 (차, 사람): 여전히 잘 봅니다.
• 낯선 것 (공사차, 쓰레기, 이상한 차량): "이건 내가 배운 게 아니지만, 분명히 물체야! 조심해야 해!"라고 인식하고 경고를 보냅니다.

요약: 왜 이것이 중요한가요?

기존 기술은 **"알고 있는 것만 인식하는 폐쇄된 세계"**에 살았다면, OS-Det3D는 **"세상의 모든 물체를 유연하게 받아들이는 열린 세계"**로 자율주행의 시야를 넓혔습니다.

• LiDAR는 정확한 3D 지도를 그려주고,
• 카메라는 낯선 얼굴을 구별해주고,
• 이 두 가지가 함께 일함으로써, 자율주행차가 길에서 마주치는 예상치 못한 위험을 미리 알아차리게 해줍니다.

이 기술은 자율주행차가 더 안전하고, 현실 세계의 복잡함에 더 잘 적응할 수 있도록 돕는 중요한 한 걸음입니다.

기술 요약

논문 요약: 자율주행 시나리오를 위한 카메라 기반 오픈셋 3D 객체 탐지 (OS-Det3D)

1. 문제 정의 (Problem)

자율주행 분야에서 기존 카메라 기반 3D 객체 탐지기는 훈련 데이터에 정의된 특정 객체 클래스 (Closed-set) 만을 인식하도록 설계되어 있습니다. 그러나 실제 도로 환경은 예측 불가능하며, 훈련 중没见过 (Unseen) 인 새로운 객체 (예: 공사 차량, 낙하물, 비정형 장애물 등) 가 자주 등장합니다.

• 한계: 기존 Closed-set 탐지기는 이러한 미지의 객체를 '배경 (Background)'으로 잘못 분류하거나, 오인식하여 심각한 안전 사고를 초래할 수 있습니다.
• 도전 과제: 2D 오픈셋 탐지 기법을 3D 공간으로 확장하는 것은 어렵습니다. RGB 이미지만으로는 깊이 (Depth) 정보가 부족하고, 텍스처나 패턴에 과적합 (Overfitting) 되기 쉬우며, LiDAR 에 비해 3D 제안 (Proposal) 생성의 정확도가 낮기 때문입니다. 또한, 기존 방법들은 미지의 객체를 학습 데이터에 포함시키지 못해 학습이 어렵습니다.

2. 제안된 방법론 (Methodology: OS-Det3D)

저자들은 카메라와 LiDAR 의 상호 보완적 정보를 활용하여 2 단계 학습 프레임워크인 OS-Det3D를 제안합니다. 이 프레임워크는 LiDAR 데이터를 이용해 3D 객체 후보를 생성하고, 이를 카메라 모델에 적용하여 오픈셋 탐지를 가능하게 합니다.

• 1 단계: 3D 객체 발견 네트워크 (ODN3D) 를 통한 제안 생성

  • 목표: LiDAR 포인트 클라우드의 기하학적 단서 (Geometric cues) 를 활용하여 클래스에 구애받지 않는 (Class-agnostic) 3D 객체 제안 (Proposals) 을 생성합니다.
  • GeoHungarian Matching: 기존 Hungarian 매칭이 분류 비용 (Classification cost) 에 의존하여 레이블이 없는 객체를 배제하는 문제를 해결하기 위해, 기하학적 정보 (위치, 크기) 만을 고려하는 GeoHungarian 매칭을 도입했습니다. 이를 통해 레이블이 없는 미지의 객체에도 모델이 일반화되도록 합니다.
  • 3D Objectness Score: 제안된 객체의 위치 정확도와 크기/방향의 일관성을 평가하기 위한 새로운 점수 체계입니다. 2D 의 Centerness/IoU 개념을 3D 공간에 맞게 재정의하여, 회전 각도 (Yaw) 와 크기 (Scale) 정보를 행렬로 변환하여 정밀하게 측정합니다.
  • GT 필터링: 생성된 제안 중 알려진 클래스 (Known classes) 와 겹치는 것은 제거하고, 나머지 상위 $k_o$개의 후보를 3D 객체 후보로 선정합니다.

• 2 단계: Joint Selection (JS) 모듈을 통한 가상 정답 (Pseudo-GT) 선별 및 학습

  • 문제: 1 단계에서 생성된 후보에는 노이즈가 포함될 수 있으며, 단순히 3D Objectness 점수만으로는 알려진 객체와 미지의 객체를 구분하기 어렵습니다.
  • 해결책: Joint Selection (JS) 모듈을 도입합니다.
    • 3D Objectness Score ($s'_{obj}$): 객체 존재 가능성 및 3D 위치 정확도 반영.
    • BEV Feature Response ($s_{fea}$): 카메라 BEV (Bird's Eye View) 특징 맵에서 해당 영역의 활성화 정도를 측정. 알려진 객체와 유사한 외관을 가진 경우 높은 값을 가짐.
    • Joint Selection Score ($s_{jos}$): $s_{jos} = s'_{obj} \times (1 - s_{fea})$ 공식을 사용하여, 3D 위치가 정확하고 (높은 $s'_{obj}$), 알려진 객체와 유사하지 않은 (낮은 $s_{fea}$) 후보를 선별합니다.
  • 학습: 선별된 상위 $k_u$개 후보를 '미지의 객체 (Unknown)'에 대한 가상 정답 (Pseudo-GT) 으로 간주하여 카메라 3D 탐지기 (예: BEVFormer) 를 재학습시킵니다.

3. 주요 기여 (Key Contributions)

1. ODN3D (3D Object Discovery Network): GeoHungarian 매칭과 3D Objectness 점수를 결합하여, 레이블이 없는 3D 객체를 효과적으로 발견하는 새로운 제안 네트워크를 제안했습니다.
2. Joint Selection Module: LiDAR 기반의 3D 위치 정보와 카메라 BEV 특징 정보를 융합하여, 노이즈가 포함된 제안 중에서 고품질의 미지 객체 가상 정답을 선별하는 모듈을 개발했습니다.
3. OS-Det3D 프레임워크: 카메라만 사용하는 오픈셋 3D 탐지를 가능하게 하는 2 단계 학습 전략을 제시하여, 자율주행 인식 시스템의 안전성과 일반화 능력을 크게 향상시켰습니다.

4. 실험 결과 (Results)

• 데이터셋: nuScenes 및 KITTI 데이터셋에서 광범위한 실험을 수행했습니다.
• 성능 향상:
  • nuScenes: 기존 Closed-set 모델 (BEVFormer) 에 비해 미지 객체 탐지 Recall (ARunk) 을 크게 향상시켰습니다 (Split 1 기준 16.7% → 23.2%, Split 2 기준 25.9% → 31.8%). 동시에 알려진 객체의 탐지 성능 (mAPknown) 도 유지하거나 오히려 향상시켰습니다.
  • KITTI: 기존 오픈셋 3D 탐지 방법 (MLUC, OSIS 등) 과 비교하여 미지 객체 발견 Recall (Recallunk) 과 평균 정밀도 (APunk) 에서 최상위 성능을 기록했습니다. 특히 APunk 는 MLUC 대비 23.5% 향상되었습니다.
• 시각화: 훈련 데이터에 없는 트럭, 버스, 쓰레기통 등의 객체를 정확히 탐지하고 위치를 파악하는 것을 시각적으로 입증했습니다.

5. 의의 및 결론 (Significance)

이 연구는 자율주행 시스템이 실제 도로 환경에서 마주치는 예측 불가능한 미지 객체를 카메라만으로 탐지할 수 있는 중요한 돌파구를 제시합니다.

• 안전성 강화: Closed-set 가정을 벗어남으로써, 시스템이 알 수 없는 장애물을 인식하고 대응할 수 있어 안전 사고 위험을 줄입니다.
• 모달리티 융합의 효율성: 훈련 단계에서는 LiDAR 의 정밀한 3D 기하 정보를 활용하여 모델을 학습시키지만, 추론 (Inference) 단계에서는 카메라 데이터만 사용하여 실제 자율주행 차량에 적용 가능한 비용 효율적인 솔루션을 제공합니다.
• 미래 전망: 현재는 추론 시 LiDAR 를 사용하지 않지만, 향후 LiDAR 와 카메라의 BEV 특징을 융합한 풀 멀티모달 추론으로 확장하여 더욱 견고한 오픈셋 탐지 성능을 달성할 수 있을 것으로 기대됩니다.

이 논문은 오픈셋 3D 객체 탐지 분야에서 카메라 기반 접근법의 한계를 극복하고, LiDAR 와 카메라의 장점을 결합한 새로운 패러다임을 제시했다는 점에서 학술적, 실용적 가치가 매우 높습니다.