Toward Deep Representation Learning for Event-Enhanced Visual Autonomous Perception: the eAP Dataset

1. 문제 정의 (Problem Definition)

자율 주행 시스템의 시각적 인식 (Visual Perception) 은 기존 표준 동적 범위 (SDR) 카메라를 기반으로 한 프레임 기반 (Frame-based) 방식이 주로 사용되지만, 이는 극단적인 조명 조건 (과다 노출, 저조도, 빠른 움직임으로 인한 모션 블러 등) 에서 성능이 급격히 저하되는 한계가 있습니다.

이러한 문제를 해결하기 위해 이벤트 카메라 (Event Camera) 는 픽셀 단위의 비동기적 밝기 변화를 감지하여 높은 시간 해상도와 넓은 동적 범위 (HDR) 를 제공하지만, 이를 활용한 심층 표현 학습 (Deep Representation Learning) 을 위한 대규모 데이터셋의 부재가 주요 병목 현상이었습니다. 기존 데이터셋은 해상도가 낮거나, 3D 바운딩 박스 및 객체 충돌 시간 (TTC, Time-to-Collision) 과 같은 중요한 어노테이션이 부족하여 복잡한 자율 주행 시나리오에서의 딥러닝 모델 개발을 어렵게 했습니다.

따라서 이 논문은 이벤트 카메라를 활용한 3D 차량 탐지와 객체 TTC 추정이라는 두 가지 핵심 과제를 해결하기 위해 대규모 멀티모달 데이터셋과 새로운 딥러닝 프레임워크를 제안합니다.

2. 제안된 방법론 (Methodology)

가. eAP 데이터셋 (The eAP Dataset)

• 규모 및 구성: 자율 주행 시나리오를 위한 최대 규모의 이벤트 카메라 데이터셋입니다. 총 4.8 시간 분량의 데이터로, 고속도로, 도시, 저조도 (터널, 야간) 등 다양한 환경을 포함합니다.
• 센서 구성:
  • RGB 카메라: FLIR Blackfly S (1920x1200 해상도).
  • 이벤트 카메라: Prophesee EVK4 (1280x720 해상도). 두 카메라는 3cm 의 좁은 베이스라인 (Narrow-baseline) 으로 고정되어 있어 멀티모달 융합 시 정합 오차를 최소화합니다.
  • LiDAR: 5 개의 Livox LiDAR 를 사용하여 정밀한 3D 포인트 클라우드 및 바운딩 박스 어노테이션을 생성했습니다.
• 어노테이션: 53 만 개 이상의 3D 바운딩 박스와 객체별 TTC (Time-to-Collision) 지상 진실 (Ground Truth) 을 포함합니다.
• 특징: 기존 데이터셋과 달리 고해상도, 다양한 조명 조건, 그리고 객체 수준의 TTC 레이블을 제공하여 딥러닝 기반 연구에 최적화되어 있습니다.

나. 이벤트 강화 3D 차량 탐지 (Event-Enhanced 3D Vehicle Detection)

• 아키텍처: 기존 BEV (Bird's Eye View) 기반 3D 탐지 모델 (Anchor-based 및 Anchor-free) 을 기반으로 합니다.
• 융합 전략: RGB 이미지와 이벤트 데이터를 조기에 융합 (Early-fusion) 하여 Encoder 에서 특징을 추출한 후, View Transform 모듈을 통해 BEV 공간으로 변환합니다.
• 성능 향상: 기존 RGB-only 모델이 극한 조명에서 실패하는 상황에서, 이벤트 데이터를 추가함으로써 탐지 Recall 과 정확도를 크게 향상시켰습니다.

다. Garl-TTC 프레임워크 (Geometry-Aware Representation Learning for TTC)

객체 TTC 추정을 위해 제안된 새로운 딥러닝 프레임워크입니다.

• 기하학적 접근 (Height-Ratio Network): TTC 는 물체의 시각적 높이 변화와 밀접한 관련이 있다는 기하학적 원리를 활용합니다.
  • $TTC \approx \frac{\Delta t}{1 - \frac{h_{t1}}{h_{t2}}}$ (여기서 $h$는 객체의 시각적 높이)
  • 모델이 TTC 를 직접 회귀하는 대신, **시각적 높이 비율 (Height Ratio)**을 학습하도록 설계하여 비선형 매핑의 학습 난이도를 낮추고 일반화 성능을 높였습니다.
• 지식 증류 (Knowledge Distillation): 객체의 전경 (Foreground) 을 정밀하게 인식하기 위해 SAM (Segment Anything Model) 을 Teacher 모델로 활용하여 Student 모델에 전경 마스크 생성을 지도 (Supervision) 합니다. 이는 TTC 추정을 위한 정밀한 객체 경계 학습을 돕습니다.
• 실시간 성능: 단일 순전파 (Single forward pass) 로 200 FPS 의 초고속 추론이 가능합니다.

3. 주요 기여 (Key Contributions)

1. eAP 데이터셋 공개: 자율 주행 분야를 위한 최초의 대규모 이벤트 카메라 데이터셋을 공개했습니다. 이는 3D 차량 탐지와 TTC 추정을 위한 표준 벤치마크 역할을 합니다.
2. 이벤트 기반 3D 차량 탐지의 선구적 연구: 이벤트 카메라가 기존 BEV 기반 3D 탐지 모델의 성능을 극한 조명 조건에서 어떻게 향상시킬 수 있는지를 최초로 입증했습니다.
3. Garl-TTC 프레임워크 제안: 객체 수준의 TTC 추정을 위해 기하학적 지식을 딥러닝에 통합한 최초의 프레임워크를 제안했습니다. 이는 기존 수동 설계 (Hand-crafted) 기반 방법론을 대체하며, 데이터 기반의 강력한 표현 학습을 가능하게 합니다.
4. 실시간 엣지 디바이스 배포: NVIDIA Orin NX 에서 200 FPS 로 작동하는 최적화된 모델을 구현하여, 실제 자율 주행 시스템 적용 가능성을 입증했습니다.

4. 실험 결과 (Results)

• 3D 차량 탐지:
  • 극한 조명 (HDR) 환경: RGB-only 모델은 차량을 전혀 탐지하지 못했으나, 제안된 이벤트 융합 모델은 우수한 탐지 성능 (AP) 을 보였습니다.
  • 정량적 평가: nuScenes 메트릭 (AP, ATE, ASE 등) 에서 기존 단일 모달리티 모델보다 우월한 성능을 기록했습니다.
• TTC 추정:
  • 정확도: 기존 최적화 기반 (Model-based) 방법론 (CMax, ETTCM 등) 과 비교하여 Motion-in-Depth (MiD) 오류와 상대 TTC 오류 (RTE) 에서 압도적으로 낮은 수치를 기록했습니다.
  • 일반화 능력: eAP 데이터셋으로 학습된 모델은 별도의 파인튜닝 없이도 다른 벤치마크 (EvTTC, FCWD) 에서 SOTA 성능을 달성하며 뛰어난 일반화 능력을 입증했습니다.
  • 속도: 평균 4.55ms (약 220 FPS) 의 추론 속도를 달성하여 실시간 안전 시스템 (AEB 등) 에 적합함을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 이벤트 카메라와 심층 표현 학습의 결합을 통해 자율 주행의 시각적 인식 한계를 극복하는 중요한 이정표를 세웠습니다.

• 데이터의 중요성: 대규모 고품질 데이터셋 (eAP) 이 없으면 이벤트 카메라의 잠재력을 활용한 딥러닝 모델 개발이 불가능함을 보여주었습니다.
• 방법론적 혁신: 단순한 데이터 융합을 넘어, 물리 법칙 (기하학) 과 사전 지식을 딥러닝 아키텍처에 통합 (Garl-TTC) 함으로써 정확도와 효율성을 동시에 달성했습니다.
• 실용성: 엣지 디바이스에서의 초고속 추론은 실제 자율 주행 차량에 적용 가능한 기술임을 증명하며, 향후 충돌 방지 및 안전 시스템의 핵심 기술로 자리 잡을 것으로 기대됩니다.

결론적으로, eAP 데이터셋과 제안된 방법론은 이벤트 기반 자율 주행 인식 연구의 새로운 기준을 제시하며, 복잡한 실제 환경에서의 로봇 인식 기술 발전에 기여할 것입니다.