Static in Frames, Dynamic in Events: Rethinking Features in Event Cameras as Motion Cues

기술 요약: 프레임 내의 정적 특성, 이벤트 내의 동적 특성: 모션 큐로서의 이벤트 카메라 특징 재고

문제 정의
이벤트 카메라는 프레임 기반 카메라와 달리 마이크로초 단위의 시간 해상도로 픽셀당 강도 변화를 비동기적으로 보고한다는 점에서 근본적으로 다릅니다. 기존의 이벤트 기반 비전 시스템은 종종 이벤트 데이터를 정적인 프레임과 유사하게 취급하여, 비동기 이벤트를 복셀 그리드(voxel grids)나 타임 서피스(time surfaces)와 같은 표현 방식으로 집계합니다. 그러나 이러한 접근 방식은 이벤트 데이터의 본질적인 특성을 간과합니다. 정적인 강도 스냅샷과 달리, 이벤트 데이터는 본질적으로 장면의 역동성과 객체의 움직임을 인코딩합니다. 저자들은 코너 검출에 사용되는 것과 같은 이벤트 데이터로부터 유도된 특징들이 프레임 기반 비전에는 직접적인 대응물이 없는 모션 정보를 포함하고 있을 수 있다고 가정합니다. 핵심적인 문제는 이러한 특정 특징들을 "모션 큐(motion cues)"로 명시적으로 인식하고 광학 흐름(optical flow)과 같은 하위 단계의 모션 추정 작업을 향상시키는 데 활용할 수 있는지 여부입니다.

방법론
본 논문은 이벤트 기반 코너 검출에 사용되는 두 가지 특정 특징, 즉 구조 텐서(structure tensor)의 고유값(Harris eigenvalues)과 시공간 밀도 값(spatiotemporal density values)에 대한 이론적 및 경험적 분석을 제안합니다.

1. 특징 추출: 저자들은 과거의 이벤트를 극성(polarity), 공간적 근접성, 시간적 최신성에 따라 가중치를 두어 누적함으로써 밀도 이미지 $I$를 구축합니다. 이 밀도 이미지로부터 공간 기울기(spatial gradients)를 계산하여 구조 텐서 $S_w$를 형성합니다. 그 후 해리스 고유값($\lambda_1, \lambda_2$)을 이 텐서로부터 도출합니다.
2. 이론적 분석: 저자들은 해리스 고유값과 운동 방향 사이의 이론적 연결 고리를 구축합니다. 이동하는 삼각형의 기하학적 모델을 사용하여, 고유값이 로컬 기하 정보(특히 코너에서의 에지 단위 법선 벡터)와 결래 결합될 때 운동 방향을 수학적으로 복구할 수 있음을 입증합니다. 또한, 고유값을 모션 유도 기울기 분포의 섹터 면적과 연결하는 이차 방정식을 유도하여 운동 벡터 방향을 재구성합니다.
3. 실험적 검증:
   • 합성 "토이(Toy)" 데이터셋: 다섯 개의 꼭짓점을 가진 별이 피겨 에이트(figure-eight) 궤적을 따라 동시에 병진 운동(translation)과 회전(rotation)을 수행하는 통제된 데이터셋을 생성했습니다. 모든 이벤트에 대해 그라운드 트루스(ground truth) 광학 흐름을 확보했습니다.
   • 순서 불변 MLP(Order-Invariant MLP): 로컬 이벤트 이웃으로부터 광학 흐름 벡터를 예측하기 위해 경량의 순열 불변 다층 퍼셉트론(MLP)을 설계했습니다. 이 모델은 확장된 특징(고유값 및 밀도)이 상대적 공간 좌표만을 사용하는 베이스라인과 비교하여 모션을 예측하기에 충분한 정보를 포함하고 있는지 테스트했습니다.
   • 최신 기술 통합: 제안된 특징들을 반복적 디블러링(iterative deblurring)을 사용하는 경량 지도 학습 기반 광학 흐름 네트워크인 IDNet에 통합했습니다. 특징들은 복셀화되어 표준 이벤트 복셀 표현과 결합되었습니다.
4. 강건성 테스트: 다양한 조건(Describable Textures Dataset을 사용한 다양한 객체 질감, 샷 노이즈 주입, 다양한 모델 용량(작은 vs 큰 은닉 차원)) 하에서 성능을 평가했습니다.

주요 기여

• 이론적 연결: 본 논문은 이벤트 카메라의 해리스 고유값이 단순한 코너 지표가 아니라 운동 방향과 본질적으로 연결되어 있음을 공식적으로 확립합니다. 고유값이 로컬 기하학과 결합될 때 병진 운동하는 코너의 방향을 복구할 수 있다는 수학적 유도를 제공합니다.
• 모션 큐 검증: 통제된 합성 실험을 통해 해리스 고유값과 밀도 값을 확장한 특징이 보완적인 모션 정보를 제공함을 입의합니다. 저자들은 성능 향상이 단순히 모델 용량이나 차원의 증가 때문이 아니라, 이 특징들의 정보력 덕분임을 증명합니다.
• 강건성 및 일반화: 제안된 특징들은 질감이 있는 전경(foreground)이나 샷 노이즈와 같은 도전적인 조건에서도 강건함을 보여줍니다.
• 실제 성능: DSEC 벤치마크에서 이 특징들을 IDNet에 통합했을 때 광학 흐름 정확도가 일관되게 향상되었습니다. 저자들은 이러한 이득이 데이터가 부족하거나 모델 용량이 제한적인 시나리오에서 가장 두드러진다고 강조하며, 이는 특징들이 모델이 모션 표현을 더 효율적으로 학습하도록 돕는다는 것을 시사합니다.

결과

• 합성 실험: 토이 데이터셋에서 해리스 고유값과 밀도 값을 모두 활용한 모델이 테스트된 모든 구성에서 광학 흐름 예측에 대해 가장 낮은 평균 제곱 오차(MSE)를 달s성했습니다. 이러한 개선은 입력 차원을 통제한 상태에서도 지속되었으며, 로컬 기하학적 맥락(상대적 공간 좌표) 없이는 불충분하다는 점도 확인되었습니다.
• 강건성: 질감이 있는 조건에서 확장된 특징은 MSE 손실을 평균 약 28% 감소시켰습니다. 샷 노이즈 조건(50 Hz까지)에서도 확장된 특징은 베이스라인 대비 MSE를 약 72% 감소시키며 현저히 높은 정확도를 유지했습니다.
• DSEC 벤치마크: 실제 세계의 DSEC 데이터셋에서 확장된 특징은 광학 흐름 오차(n-픽셀 오차, 엔드포인트 오차, 각도 오차)를 일관되게 감소시켰습니다. 특히, 1/4 해상도 모델보다 1/8 해상도 모델에서 상대적 개선 폭이 더 컸으며, 전체 데이터셋보다 데이터가 1/6인 서브 데이터셋에서 훨씬 더 높은 개선을 보였습니다. 이는 자원이 제한된 모델과 데이터가 적은 환경에서 해당 특징의 유용성을 확인시켜 줍니다.

의의
본 논문은 이벤트 기반 특징을 단순한 정적 기술자가 아닌 동적인 모션 큐로 재평가해야 한다고 주장합니다. 그 의의는 이벤트 카메라의 고유한 속성, 즉 표준 코너 검출 특징이 운동 방향을 인코딩할 수 있다는 능력을 식별한 데 있습니다. 이 속성을 활용함으로써, 저자들은 별도의 인코더나 복잡한 교차 모달 융합 전략을 요구하지 않고도 광학 흐름 추정을 향상시키는 경량의 "플러그 앤 플레이(plug-and-play)" 방식을 제안합니다. 이 접근 방식은 계산 자원이 제한적이거나 훈련 데이터가 부족한 시나리오에서 이벤트 기반 비전 시스템을 배포하는 데 특히 가치가 있습니다.