기술 요약: 뉴럴 이벤트(Neural Events): 이벤트 기반 비전을 위한 이산 비동기 오토인코더

문제 정의

이벤트 카메라는 각 이벤트가 국소적인 밝기 변화를 알리는 마이크로초 단위의 연속적인 스트림으로 장면을 포착함으로써 탁월한 시간적 충실도를 제공합니다. 그러나 개별 이벤트는 최소한의 의미론적 가치만을 지니고 있어, 다운스트림 알고리즘이 방대한 양의 저정보 데이터를 통합해야 하는 문제를 안고 있습니다. 현재의 아키텍처들은 근본적인 트레이드오프에 직면해 있습니다:

• 동기식 접근 방식(예: CNN, Transformer)은 이벤트를 조밀한 특징 맵(feature maps)으로 집계합니다. 효과적이긴 하지만, 이벤트 중심적인 데이터의 특성을 상실하게 되어 불필요한 처리, 저장 및 지연 시간을 증가시킵니다.
• 비동기식 접근 방식(예: 스파이킹 신경망(SNN), 그래프 신경망(GNN))은 희소성과 타이밍을 보존하지만 확장성 측면에서 어려움을 겪습니다. SNN은 느린 순차적 처리에 의해 제한되며, GNN은 동적 그래프 구축으로 인해 막대한 메모리 오버헤드를 초래하여 종종 밀집 방식에 비해 낮은 작업 성능을 보입니다.

핵심 과제는 이벤트 패턴을 스케일링 가능하면서도 정밀한 타이밍과 희소성을 보존하고, 의미론적 풍부함을 희생하지 않으면서 데이터 처리량을 줄일 수 있는 방식으로 표현하는 것입니다.

방법론

본 논문은 원시 이벤트 스트림을 압축된 "뉴럴 이벤트(neural events)" 세트로 재토큰화하는 프레임워크를 제안합니다. 이는 원시 이벤트 그룹을 이산 코드(discrete codes)로 요약하여 의미론적으로 풍부하고 시공간적으로 희소한 표현을 생성합니다.

1. 뉴럴 이벤트 정의

뉴럴 이벤트 $n_i$는 패치 위치 $p_i$, 타임스탬프 $\tau_i$, 그리고 학습된 코드북 $Q$에서 선택된 이산 특징 $z_i$로 정의됩니다. 매핑 $\phi$는 이벤트의 수($N' \ll N$)와 공간 영역($|\Omega'| \ll |\Omega|$)을 모두 축소합니다.

2. 이산 비동기 인코더(Discrete Asynchronous Encoder)

뉴럴 이벤트의 생성은 패치 단위로 이루어지며 다음 네 단계를 거칩니다:

• 입력 임베딩(Input Embedding): 원시 이벤트는 공간 및 시간 임베딩(사인/코사인 위치 인코딩 포함)을 사용하여 연속 벡터 공간으로 투영됩니다.
• 선형 트랜스포머(Linear Transformer, RWKV-7): 선형 어텐션 순환 모델이 각 패치 내의 이벤트 시퀀스를 처리합니다. 이 모델은 국소 메모리 상태 $S_m$을 업데이트하여 연속 로짓 벡터 $o_i$를 출력합니다. 이 아키텍처는 표준 트랜스포머의 이차 복잡도와 LSTM의 순차적 병목 현상을 피합니다.
• 양자화(Quantization): 연속 로짓은 Gumbel Softmax 연산자(Straight-Through Estimator)를 사용하여 학습된 코드북의 유한한 코드 세트로 매핑됩니다. 이는 아날로그 전위를 이산 토큰으로 변환하며, 이는 SNN에서의 스파이킹과 유사하지만 학습 복잡도는 더 낮습니다.
• 재토큰화(Retokenization, 트리거링): 할당된 코드가 이전 상태에서 변경될 때만($z_{im} \neq z_{im-1}$) 뉴럴 이벤트가 트리거됩니다. 이는 비동기적인 다대일(many-to-one) 의미론적 압축기로서 작동하며, 코드가 일정하게 유지되는 중복 이벤트를 제거합니다.

3. 표현 학습(사전 훈련)

코드 할당을 안정화하고 "채터링(chatter)"(결정 경계에서의 빈번한 플립 현상)을 방지하기 위해, 저자들은 세 가지 목적 함수를 결합한 비지도 사전 훈련 전략을 사용합니다:

• 재구성 손실($L_R$): 이산 코드들을 패치별로 집계하고 디코딩하여 원래 이벤트의 타임 서피스(time-surface) 표현을 재구성합니다.
• 율 정렬 손실($L_{RA}$): 이벤트 율이 유사한 이벤트들의 잠재 표현을 유사하게 유도하여, 로짓을 이벤트 율 역학에 정렬시킵니다.
• 잠재 직선화 손실($L_{LS}$): 후속 로짓의 각속도 차이를 최소화하여 확률 심플렉스(probability simplex) 상의 궤적을 부드럽게 만들고 불필요한 코드 플립을 줄입니다.

주요 기여

1. 비동기 이산 인코더: 원시 스트림으로부터 뉴럴 이벤트를 학습하여, 의미론적으로 풍부하고 시공간적으로 희소하며 압축된 이산 잠재 공간을 점유하는 새로운 아키텍처를 제안합니다.
2. 독특한 토큰화 메커니즘: 코드 플립 발생 시에만 뉴럴 이벤트를 방출하는 트리거 전략을 사용합니다. 이는 레벨 기반 샘플링을 확률 심플렉스로 일반화하여 중복 정보를 효과적으로 필터링합니다.
3. 안정화된 사전 훈련 전략: 재구성, 율 정렬, 잠재 직선화 목적 함수를 결합하여 코드북 할당을 안정화하고, 중복 스파이킹을 방지하며, 높은 이벤트 감소율을 가능하게 합니다.

실험 결과

본 방법론은 객체 탐지(DSEC, Gen1) 및 분류(N-Caltech101) 작업에 대해 평가되었습니다.

• 이벤트 율 감소: 본 프레임워크는 이벤트당 단 하나의 추가 정보(이산 코드 인덱스)만을 추가하면서 이벤트 율을 2.0배 감소시켰습니다.
• 성능:
  • 객체 탐지: Gen1 데이터셋에서 제안된 방법(TokSwinT)은 49.9 mAP를 달성하여, 기존의 동기식(GET, 47.9 mAP) 및 비동기-동기 전환(EVA-L, 47.7 mAP) 방식들을 능가했습니다. DSEC에서는 토크나이저를 비동기 백본(TokDAGr)과 결래했을 때 기본 모델의 성능이 9.0 mAP 향상되었습니다.
  • 객체 분류: N-Caltech101에서 86.5%의 정확도를 달 기록하며, 기존의 동기식, 비동기식 및 A2S 베이스라인들과 대등하거나 더 나은 성능을 보였습니다.
• 효율성:
  • 인코더는 이벤트당 140 KFLOPS만을 필요로 하며, 이는 최신 SOTA인 EVA-L 인코더보다 17배 더 낮습니다.
  • 본 방법은 동기식 및 비동기 베이스라인에 비해 계산 부하와 에너지 소비(µJ/ev)를 크게 줄입니다.

의의 및 주장

본 논문은 뉴럴 이벤트가 현재 이벤트 기반 비전의 대역폭 및 메모리 병목 현상에 대한 확장 가능한 솔루션을 제공한다고 주장합니다. 이벤트를 이산 토큰으로 압축함으로써, 이 방법은 고성능 인지를 위한 핵심적인 시공간 역학을 유지하면서도 다운스트림 네트워크의 계산 부하를 획기적으로 줄입니다.

저자들은 이 접근 방식이 더 작고 효율적인 다운스트림 네트워크 사용을 가능하게 하며, 메모리가 제한된 엣지 하드웨어에 배포를 용이하게 한다고 강조합니다. 복잡한 작업에서 고도로 파라미터화된 동기식 프레임 기반 방식과의 성능 격차를 인정하면서도, 본 연구는 이산 비동기 인코딩이 훨씬 적은 자원으로 SOTA 결과를 달성할 수 있음을 입증합니다. 결론적으로, 이 방향은 엣지 장치에 대한 초저전력 배포를 가능하게 하는 핵심이며, 전통적인 이벤트 카메라를 넘어 더 일반적인 형태의 이벤트 표현 학습으로 가는 길을 열어줍니다.