기술 요약: Fast Feature Field (F3): 이벤트를 위한 예측적 표현

문제 정의

이벤트 기반 카메라는 높은 시간 해상도(마이크로초 단위), 높은 동적 범위, 낮은 지연 시간을 포함하여 로보틱스 분야에서 전통적인 RGB 카메라보다 상당한 이점을 제공한다. 그러나 이벤트 데이터를 처리하는 것은 독특한 과제를 안겨준다. 생물학적 망막이 간결하고 처리된 특징을 출력하는 것과 달리, 이벤트 카메라는 희소하고 노이즈가 많으며 중복된 데이터(초당 수백만 개의 이벤트 발생 가능)의 비동기적 스트림을 생성한다. 기존의 접근 방식은 수작업으로 설계된 표현(예: 복셀 그리드, 타임 서피스)이나 조밀한 그리드 기반 입력을 사용하는 경우가 많은데, 이는 이벤트 데이터의 고유한 희소성을 활용하지 못해 높은 계산 비용과 노이즈에 대한 민감도를 초래한다. 또한, 모든 새로운 시나리오에 대해 작업별 감독(task-specific supervision)을 요구하지 않으면서 장면의 구조와 운동 역학을 효과적으로 포착할 수 있는 표현 학습을 위한 일반적인 원칙이 부족한 실정이다.

방법론: Fast Feature Field (F3)

저자들은 과거의 이벤트로부터 미래의 이벤트를 예측함으로써 이벤트 데이터를 인코딩하는 법을 배우는 예측적 표현인 **Fast Feature Field (F3)**를 제안한다. 핵심 가설은 시공간적 윈도우 내에서 미래의 이벤트를 예측할 수 있는 표현은 본질적으로 장면의 구조와 운동에 대한 정보를 보유한다는 것이다.

수학적 기초

이 접근 방식은 신호 처리 이론에 근거한다. 저자들은 다음과 같이 주장한다:

1. 노이즈 제거 및 희소성: 노이즈가 있는 시공간 데이터에 대한 최적의 표현을 학습하는 것은 데이터를 희소하게 만드는 기저(basis)를 식별하는 것과 같다.
2. 예측 역학: 과거 이벤트($e^-$)로부터 미래 이벤트($e^+$)를 예측하는 것은 장면의 정적 구조($\hat{\xi}^-$)와 운동 역학($\hat{A}$)을 모두 회복할 수 있게 한다.
3. 정리 1: 저자들은 예측된 이벤트와 실제 미래 이벤트 사이의 불일치를 최소화하기 위해 역학 연산자($A$)와 노이즈 제거 기저($B$)를 공동으로 학습하는 과정이 이상적인 오라클 리스크(oracle risk)와 상수 배 차이 이내의 리스크를 갖는다는 것을 증명한다. 이는 장면의 정적 구조($\hat{\xi}^-$)를 운동 역학($\hat{A}$)으로부터 분리한다.

아키텍처

이 이론을 효율적으로 구현하기 위해, F3는 희소성과 순열 불변성(permutation invariance)을 위해 설계된 신경망 아키텍처를 활용한다:

• 다중 해상도 해시 인코더 ($\phi$): 빈 복셀을 처리하는 대신, F3는 이벤트를 하나의 집합(set)으로 취급한다. 이는 (시간 $s$, 픽셀 $u$) 좌표를 다중 해상도 해시 인코더(Instant Neural Graphics Primitives에서 영감을 받음)를 사용하여 특징 공간으로 인코딩한다. 이를 통해 희소한 데이터의 빠른 비동기 처리가 가능하다.
• Deep Sets 및 풀링: 국소적 시공간 이웃 내 개별 이벤트의 특징은 합산(summing)되어 순열 불변 표현을 생성한다.
• 공간적 평활화 ($\rho$): 합성곱 네트워크(ConvNeXt V2 블록)는 집계된 특징을 공간 도메인 전체에 걸쳐 평활화하여 이동 불변성 문제를 처리하고 연속적인 다채널 "이미지"($F3(t, u)$)를 생성한다.
• 예측 헤드 ($\psi$): 선형 레이어는 F3 표현을 바탕으로 미래 이벤트의 발생 확률을 예측한다.

학습 목적 함수

F3는 미래 이벤트를 예측하기 위해 **포컬 손실(focal loss)**을 사용하여 학습된다. 이 목적 함수는 두 가지 핵심 문제를 해결한다:

1. 클래스 불균형: 이벤트 데이터는 매우 희소하다(종종 95% 이상이 0). 포컬 손실은 모델이 단순히 "이벤트 없음"을 예측하는 것에 치우치지 않도록 손실의 가중치를 재조정한다.
2. 강건성: 포컬 손실 파라미터($\gamma$)를 통한 엔트로피 정규화 항의 포함은 노이즈가 많은 이벤트 데이터에 대한 과적합을 방지한다.

주요 기여

1. 예측적 표현: 본 논문은 미래 이벤트를 예측함으로써 학습된 표현이 장면의 구조와 운동 정보를 보존함을 보여주며, 이러한 접근 방식에 대한 수학적 정당성을 제공한다.
2. 효율적인 아키텍처: F3는 해시 인코딩과 집합 기반 처리를 통해 이벤트의 희소성을 활용하며, 일반적인 GPU에서 실시간 성능(HD에서 120Hz, VGA에서 440Hz)을 달enc한다. 이는 기존의 최첨단 방법들보다 현저히 빠르다.
3. 플러그 앤 플레이 호환성: F3는 다채널 이미지를 출력하므로, RGB 데이터용으로 설계된 표준 컴퓨터 비전 아키텍처(예: SegFormer, RAFT, Depth Anything)에 주요 아키텍처 변경 없이 직접 통합될 수 있다.
4. 일반화: F3는 다양한 환경(자동차, 사족보행 로봇, 드론)과 센서 해상도, 조명 조건에 대해 재학습 없이도 다양한 작업(시맨틱 세그멘테이션, 광학 흐름, 깊이 추정)에서 최첨단 성능을 달성한다.

결과

저자들은 도시 주행, 오프로드, 실내/실외 시나리오를 포함하는 세 가지 주요 데이터셋(MVSEC, DSEC, M3ED)을 통해 F3를 평가했다.

• 시맨틱 세그멘테이션: F3 기반 모델은 mIOU 및 정확도 측에서 기존 방법(ESS, EV-SegNet)보다 우수한 성능을 보였다. 특히, M3ED에서 학습된 모델은 센서와 해상도의 차이에도 불구하고 DSEC 데이터로 효과적으로 전이되었다.
• 광학 흐름 (Optical Flow):
  • 비지도 학습: F3 기반 비지도 흐름 추정은 전문화된 방법들과 비교하여 경쟁력 있는 정확도(AEE 및 각도 오차)를 달성하면서도 현저히 낮은 지연 시간(예: HD 데이터에서 14ms)을 기록했다.
  • 지도 학습: RAFT 아키텍처와 통합되었을 때(F3-RAFT), 모든 로보틱 플랫폼에서 E-RAFT(이전의 SOTA)를 능가하였으며, 추론 속도는 약 2.3배 더 빨랐다.
• 단안 깊이 추정 (Monocular Depth Estimation): RGB로부터의 의사 라벨링(pseudo-labeling) 후 LiDAR를 이용한 메트릭 미세 조정(metric fine-tuning) 과정을 거치는 2단계 학습을 통해, F3는 EReFormer 및 MDDE와 같은 방법보다 우수한 깊이 추정 정확도를 달성했다. 특히 저조도 및 고속 시나리오에서 뛰어났다.
• 강건성: F3는 놀라운 일반화 능력을 입증했다. 주간 도시 주행 데이터로 학습된 모델은 추가 학습 없이도 야간 시퀀스, 숲 환경, 그리고 다른 로봇 플랫폼(Spot, Falcon)에서 잘 작동했다. 또한 이벤트 스트림의 상당한 하위 샘플링(이벤트 50% 감소)에도 성능 저하를 최소화하며 강건함을 유지했다.

의의 및 주장

본 논문은 F3를 이벤트 데이터를 위한 파운데이션 모델(foundation models) 개발을 향한 단계로 규정한다. 저자들은 이벤트를 예측하는 작업으로 표현 학습을 프레이밍함으로써, F3가 가공되지 않은 이벤트 스트림과 고수준의 의미론적 이해 사이의 간극을 메운다고 주장한다.

• 효율성: 주요 주장은 F3가 이벤트 처리를 RGB 기반 방법과 계산 수준에서 대등하게 만들어, 표준 하드웨어에서 실시간 로봇 인식을 가능하게 한다는 것이다.
• 다재다능함: 특정 작업이나 센서에 특화된 기존 접근 방식과 달리, F3는 다양한 해상도, 이벤트 속도, 환경 조건에서 작동하는 일반적이고 강건한 표현을 제공한다.
• 미래 잠재력: 저자들은 F3가 이벤트 데이터의 고유한 중복성을 다양한 다운스트림 작업에 유용한 저수준 특징으로 축소함으로써, 향후 단일 이벤트 카메라가 값비싸고 도메인 특화된 센서(예: LiDAR)를 대체할 수 있게 할 것이라고 제안한다. 또한, 해시 테이블과 합성곱에 의존하는 아키텍처 특성상 FPGA나 뉴로모픽 하드웨어와 같은 엣지 장치 구현에 적합하다고 언급했다.

저자들은 F3가 현재 고정된 시간 윈도우 내에서 작동하며 특징이 중복될 수 있다는 점을 인정하며 한계점에 대해 겸허한 태도를 유지했다. 그들은 향ate 연구로서 가변적인 이벤트 속도를 처리하기 위한 순환 변형(recurrent variants) 및 더 압축된 표현을 탐구할 수 있다고 제안했다.