기술 요약: EventDrive

문제 정의

이벤트 카메라는 마이크로초 단위의 시간적 정밀도, 높은 동적 범위(HDR), 그리고 모션 블러에 대한 강건성을 제공하여, 이론적으로 까다로운 조건(예: 저조도, 급격한 움직임)에서의 자율 주행에 이상적입니다. 그러나 기존의 이벤트 기반 연구는 주로 탐지, 세그멘테이션, 또는 광류(optical flow) 추정과 같은 저수준의 지도 학습 작업에 집중되어 있어 파편화되어 있습니다. 이벤트 센싱을 고수준의 추론, 의사결정, 그리고 전체 주행 루프에 활용하는 데에는 상당한 격차가 존재합니다. RGB 커뮤니티는 인지, 추론, 제어를 결합한 통합 비전-언어 모델(VLM)을 발전시켜 왔으나, 이벤트를 VLM에 통합하려는 초기 시도들은 일반적인 장면과 단순한 캡셔닝에 국한되어, 실제 주행의 복잡한 추론 및 결정 요구사항을 해결하지 못했습니다.

방법론

1. EventDrive: 통합 벤치마크

저자들은 이벤트 스트림, 동기화된 RGB 프레임, 그리고 언어 감독(supervision)을 자율 주행 파이프라인 전반에 걸쳐 통합한 최초의 풀스택 벤치마크인 EventDrive를 소개합니다. 이 벤치마크는 주행을 네 가지 순차적 추론 단계로 분해하며, 각 단계는 언어 기반 태스크로 정식화됩니다:

• 인지 (Perception): 장면 수준의 컨텍스트(장면 유형, 가시성, 교통 흐름, 날씨, 신호등, 도로 상태)를 평가합니다.
• 이해 (Understanding): 객체 중심의 의미론(존재 여부, 외형, 운동 상태, 자차/환경 관계, 그라운딩)을 평가합니다.
• 예측 (Prediction): 주변 에이전트의 단기 모션 의도(속도 및 방향)를 추론합니다.
• 계획 (Planning): 과거 궤적을 바탕으로 자차의 의도와 미래 웨이포인트를 추정합니다.

데이터셋 구축:
EventDrive는 DSEC, M3ED, PKU-DAVIS-SOD의 세 가지 소스 데이터셋으로부터 471,543개의 이벤트-프레임-언어 샘플을 수집합니다. 저자들은 Qwen3-VL을 사용하는 반자동 파이프라인을 사용하여 구조화된 캡션을 생성하고, 이를 다양한 다중 선택형 QA 쌍, 그라운딩 태스크, 그리고 궤적 예측으로 변환합니다. 이벤트 센싱의 이점을 엄격하게 테스트하기 위해 저조도 및 모션 블러가 포함된 시퀀스를 포함하는 "Hard" 분할(split)을 특별히 큐레이션하였습니다.

2. EventDrive-VLM: 통합 모델

이 벤치마크를 활용하기 위해, 저자들은 비동기 이벤트 데이터를 해석하고 추론하도록 설계된 이벤트 기반 VLM인 EventDrive-VLM을 제안합니다. 이 아키텍처는 두 가지 핵심 과제를 해결합니다:

• 동적 호라이즌 이벤트 인코더 (Dynamic Horizon Event Encoder): 이벤트 스트림은 시간적 밀도가 매우 다양합니다. 모델은 다중 호라이즌 복셀화(Multi-Horizon Voxelization) 전략을 사용하여 다양한 시간적 해상도($B = \{20, 50, 100\}$ 빈)에서 이벤트 텐서를 생성합니다. 혼합 전문가(Mixture-of-Experts, MoE) 게이팅 메커니즘은 주어진 장면에 대해 가장 정보가 풍부한 시간적 호라이즌을 동적으로 선택하여, 빠른 움직임 중에는 고주파 역동성을 포착하는 동시에 저속 움직임 환경에서는 안정적인 집계를 보장합니다.
• 이벤트 Q-Former 정렬 (Event Q-Former Alignment): 희소한 이벤트 특징과 LLM의 의미 공간 사이의 간극을 메우기 위해, 모델은 Event Q-Former를 사용합니다. 모델은 토큰을 단순히 연결하는 대신, 학습 가능한 이벤트 쿼리와 집계된 이벤트 특징 간의 교차 주의(cross-attention)를 활용합니다. 이를 통해 프레임 및 텍스트 임베딩과 매끄럽게 통합되는 모션 인식 및 언어 정렬된 토큰을 추출합니다.
• 2단계 학습 커리큘럼:
  1. 이벤트-언어 사전 적응 (Event-Language Pre-adaptation): LLM과 RGB 비주얼 인코더를 동결합니다. 이벤트 인코더, Q-Former, 그리고 프로젝션 레이어를 캡션 데이터로 학습시켜 이벤트 표현을 LLM 공간에 정렬합니다.
  2. 인스트럭션 튜닝 (Instruction Tuning): LLM 트랜스포머 블록의 동결을 해제하고, 모든 캡션 및 QA 데이터에 대해 전체 이벤트 경로를 미세 조정하여 모든 주행 태스크에 걸친 일관된 멀티모달 추론을 가능하게 합니다.

주요 기여

1. EventDrive 벤치마크: 일관된 멀티모달(이벤트-프레임-언어) 프레임워크 내에서 인지, 이해, 예측, 계획을 모두 다루는 최초의 통합 데이터셋 및 벤치마크입니다.
2. EventDrive-VLM: 동적 호라이즌 인코딩과 쿼리 기반 정렬을 사용하여 비동기 이벤트 표현을 해석, 정렬 및 추론할 수 있는 능력을 대규모 VLM에 부여하는 일반적인 학습 프레임워크입니다.
3. 포괄적 평가 프로토콜: 시간적 단서가 어떻게 멀티모달 추론을 개선하는지를 보여주는 엄격한 평가를 통해, 이벤트 기반 지능의 토대를 마련했습니다.

실험 결과

EventDrive에 대한 실험은 각 모달리티의 뚜렷한 강점과 융합의 필요성을 보여줍니다:

• 프레임 전용 모델 (Frame-Only Models): 정상 조건에서는 인지 성능이 우수하지만, 저조도 및 모션 블러 시나리오에서는 성능이 급격히 저하됩니다. 또한 공간적 추론 능력이 제한적이며 모션 추론(예: 속도/방향 예측 정확도)이 약합니다.
• 이벤트 전용 모델 (Event-Only Models): 고주파 시간적 단서 덕분에 속도 및 방향 예측에서 탁월한 성능을 보이지만, 외형 중심의 이해(예: 장면 유형, 객체 외형)에 필요한 의미적 풍부함이 부족합니다.
• EventDrive-VLM (융합): 이벤트-프레임 융합 모델은 모든 태스크 패밀리에서 최첨단(SOTA) 성능을 달합니다. 이 모델은 열악한 조건에서도 인지를 안정화하고, 그라운딩 및 관계 추론을 크게 향상시키며, 단일 모달리티 베이스라인에 비해 우수한 모션 예측 및 자차 의도 추정 능력을 제공합니다.
• Hard Split 성능: 도전적인 서브셋(저조도, 심한 블러)에서 융합 모델은 견고한 성능을 유지하는 반면, 프레임 전용 모델은 그라운딩과 공간 추론에서 큰 성능 저하를 겪고, 이벤트 전용 모델은 의미론적 태스크 수행에 어려움을 겪습니다.

의의

본 논문은 EventDrive와 EventDrive-VLM이 이벤트 센싱이 단순한 보조 센서가 아니라 신뢰할 수 있는 주행 지능을 위한 필수적인 모달리티임을 입증한다고 주장합니다. 이벤트 신호와 RGB 프레임, 그리고 언어를 통합함으로써, 이 프레임워크는 기존 센서가 실패하는 시나리오에서도 견고한 인지 및 의사결정을 가능하게 합니다. 이 연구는 저수준 이벤트 센싱과 고수준 자율 주행 추론 사이의 간극을 메우며, 더 안전하고 해석 가능하며 강건한 자율 시스템을 향한 확장 가능한 경로를 제공합니다. 저자들은 시간적 및 공간적 모달리티의 통합이 단일 모달리티보다, 특히 역동적이고 열악한 환경에서 더 신뢰할 수 있는 추론을 생성한다는 점을 강조합니다.