기술 요약: Event2Vec

문제 정의

뉴로모픽 이벤트 카메라(Neuromorphic event cameras)는 전통적인 프레임 기반 카메라에 비해 우수한 시간 해상도, 전력 효율성 및 동적 범위를 제공합니다. 그러나 이들의 데이터 출력은 본질적으로 비동기적이고, 희소하며(sparse), 불규로적입니다. 일반적으로 주소 이벤트 표현(Address-Event Representation, AER)인 $(x, y, t, p)$ 튜플 형태로 인코딩됩니다. 이러한 형식은 밀집되고(dense), 동기화되어 있으며, 규칙적인 구조를 가진 텐서(tensor)를 위해 설계된 현대 딥러닝 아키텍처와 근본적인 불일치를 보입니다.

기존의 솔루션들은 다음과 같은 트레이드오프(trade-off)에 직면해 있습니다:

1. 밀집 표현(Dense Representations): 이벤트를 밀집된 프레임(예: 이벤트 프레임, 복셀 그리드)으로 변환하는 방식은 표준 CNN 및 Transformer의 사용을 가능하게 하지만, 원시 데이터가 가진 비동기적, 희소적, 고해상도 시간적 특성을 희생합니다.
2. 불규칙 모델(Irregular Models): 스파이킹 신경망(SNN), 희소 컨볼루션(Sparse Convolution), 또는 그래프 신경망(GNN)을 활용하는 방식은 희소성을 보존하지만, GPU의 대규모 병렬 처리 능력을 충분히 활용하지 못해 처리량(throughput)이 낮고 지연 시간(latency)이 길어지는 경우가 많습니다.

핵심 과제는 데이터를 밀집된 중간 표현으로 변환하지 않고도, 고처리량의 GPU 가속 아키텍처(예: Transformer)를 사용하여 희소하고 불규칙한 이벤트 데이터를 직접 처리하는 것입니다.

방법론: Event2Vec

자연어 처리(NLP)에서의 단어와 뉴로모픽 이벤트 사이의 유사성에서 영감을 얻어, 저자들은 이벤트를 벡터 공간에 직접 임베딩하는 방법론인 Event2Vec을 제안합니다.

1. 개념적 유추

본 논문은 NLP의 토큰과 뉴로모픽 이벤트를 다음과 같이 병렬적으로 연결합니다:

• 인덱스(Index): 단어의 어휘 인덱스는 이벤트의 공간 주소 $(x, y, p)$에 대응합니다.
• 위치(Position): 문장에서 단어의 순차적 위치는 이벤트의 타임스탬프 $t$에 대응합니다.
• 컨텍스트(Context): 단어의 의미가 주변 텍스트에 따라 결정되듯이, 이벤트의 중요성은 시공간적 컨텍스트로부터 도출됩니다.

2. 벡터 표현

Event2Vec의 핵심은 가산 융합(additive fusion)을 통해 이벤트 튜플 $(x, y, t, p)$를 $D$-차원 벡터 $v$로 임베딩하는 것입니다:
$$v = v_s + v_t = \text{Embed}_s(x, y, p) + \text{Embed}_t(t)$$

• 공간 임베딩 ($\text{Embed}_s$): 인덱스를 비의미적 식별자로 취급하는 표준 NLP 룩업 테이블과 달리, 저자들은 **파라미터화된 공간 임베딩(parametric spatial embedding)**을 제안합니다. 연속적이고 미분 가능한 신경망 $\phi$가 임베딩 행렬을 생성합니다. 이는 공간적으로 인접한 좌표를 가진 이벤트들이 의미론적으로 유사한 벡터를 생성하도록 보장하여, 시각 데이터에 필수적인 "이웃 세만틱(neighborhood semantics)"을 포착합니다.
• 시간 임베딩 ($\text{Embed}_t$): 균일한 간격을 위해 설계된 절대적 타임스탬프나 사인 함수 인코딩(sinusoidal encodings) 대신, 시간 모듈은 연속적인 이벤트 간의 **1차 시간 차이($\Delta t$)**를 처리합니다. 이는 일련의 컨볼루션 레이어를 통해 구현됩니다. 이 접근 방식은 시간 이동 불변성(time-shift invariance)과 컨텍스트 일관성을 제공하며, 일종의 시간적 프리컨디셔닝(preconditioning) 역할을 하여 네트워크가 국소적 이벤트 밀도와 속도를 학습할 수 있게 합니다.

3. 샘플링 및 집계

가변적인 길이의 이벤트 스트림과 배치 처리 요구 사항을 처리하기 위해 다음을 사용합니다:

• 무작위 샘플링(Random Sampling): 더 단순한 작업에 사용되며, 높은 계산 효율성을 제공합니다.
• K-Means++ 클러스터링: DVS-Lip과 같은 복잡한 작업을 위해, 이벤트들을 $L$개의 대표적인 클러스터로 집계합니다. 저자들은 추론 지연 시간을 최소화하기 위해 GPU 기반 배치 K-Means++ 알고리즘을 도입했습니다. 집계된 원시 이벤트의 수(클러스터 강도)는 로그 가중 계수 $(\log \rho + 1)$를 통해 임베딩 벡터를 조절하는 데 사용됩니다.

4. 네트워크 아키텍처

Event2Vec 표현은 Transformer 기반 백본(구체적으로 Forgetting Transformer 또는 Gated Linear Attention 활용)과 분류 헤드로 전달됩니다. 아키텍처는 다음과 같이 구성됩니다:

• Event2Vec 모듈: 시공간 임베딩을 생성합니다.
• 백본(Backbone): 셀프 어텐션 메커니즘을 갖춘 스택형 Transformer 블록입니다. 저자들은 학습 능력을 향기시키기 위해 Forgetting Transformer를 파라미터 공유 방식의 양방향 구조로 확장했습니다.
• 분류 헤드(Classification Head): 평균 풀링(Average pooling) 후 선형 레이어가 이어집니다.

주요 기여

1. 직접적인 희소 처리(Direct Sparse Processing): Event2Vec은 밀집되고 규칙적인 Transformer 아키텍처를 사용하여 희소하고 비동기적인 이벤트 스트림을 직접 처리할 수 있게 함으로써, 데이터의 희소성과 GPU 효율성 사이의 충돌을 해결합니다.
2. 새로운 임베딩: 이웃 세만틱을 포착하기 위한 파라미터화된 공간 임베딩과 비균일한 타임스탬프를 처리하기 위한 $\Delta t$ 기반의 컨볼루션 시간 임베딩을 도입했습니다.
3. 효율적인 클러스터링: 정보 유지와 낮은 지연 시간 사이의 균형을 맞추기 위해 GPU 가속 배치 K-Means++ 알고리즘을 사용하여 이벤트를 집계합니다.
4. 패러다임 전환: 이벤트 데이터를 순차적 언어로 취급할 수 있음을 입증함으로써, 대규모 언어 모델(LLM) 아키텍처를 뉴로모픽 비전 분야에 적용할 수 있는 길을 열었습니다.

실험 결과

본 방법론은 DVS Gesture, ASL-DVS, DVS-Lip 세 가지 벤치마크에서 평가되었습니다.

• 정확도: Event2Vec은 경쟁력 있거나 최첨단(SOTA) 수준의 정확도를 달랐습니다. 특히 ASL-DVS에서 99.91%, DVS-Lip(클러스터링된 이벤트 사용 시)에서 **75.88%**를 달성하여 여러 밀집 프레임 및 불규칙 모델 베이스라인을 능가했습니다.
• 파라미터 효율성: 모델 크기가 기존 SOTA 방법들보다 현저히 작습니다. 예를 들어, ASL-DVS 데이터셋에서 Event2Vec 모델은 경쟁 관계인 GNN & Transformer 모델보다 815.93배 적은 파라미터를 사용했습니다.
• 처리량 및 지연 시간: Event2Vec은 GPU 병렬성을 완전히 활용합니다. 훈련 처리량은 이전 연구 대비 최대 11.96배 높았으며, 추론 처리량은 최대 62.67배 높았습니다. 총 추론 지연 시간은 기존 SOTA 방법의 11.12% 수준까지 감소했습니다.
• 강건성(Robustness): 모델은 낮은 이벤트 수와 감소된 공간 해상도(최저 1x1까지)에서도 강력한 강건성을 보여주었으며, 무작위 추측보다 훨씬 높은 정확도를 유지했습니다.
• 절제 연구(Ablation Studies): 파라미터화된 공간 임베딩과 컨볼루션 시간 임베딩의 결리 조합이 가장 높은 정확도를 낸다는 것을 확인하여, 이웃 세만틱을 위한 귀납적 편향(inductive bias)의 필요성을 검증했습니다.

의의

본 논문은 Event2Vec이 희소하고 불규칙한 이벤트 데이터를 고처리량 Transformer 아키텍처에 성공적으로 통합한 새로운 패러다임을 도입했다고 주장합니다. 이 돌파구는 데이터의 희소성을 유지하는 것과 GPU 효율성을 극대화하는 것 사이의 오랜 트레이드오프를 해결합니다.

이 연구의 의의는 실시간 처리가 필요한 자원 제한적 엣지 디바이스에 적합한 성능 지표(파라미터 효율성, 낮은 지연 시간, 높은 처리량)뿐만 아니라, 이벤트 스트림을 NLP 패러다임과 개념적으로 정렬했다는 점에 있습니다. 이벤트를 순차적 언어로 취급함으로써, 본 연구는 대규모 언어 모델(LLM)에서 개발된 정교한 아키텍처를 뉴로모픽 비전 작업에 적용할 수 있는 새로운 방향을 제시합니다.