EventFlash: Towards Efficient MLLMs for Event-Based Vision

기술 요약: EventFlash

문제 정의

이벤트 기반 비전은 높은 시간 해상도와 동적 범위를 바탕으로 고속 및 저조도 시나리오에서 프레임 기반 카메라보다 뚜렷한 이점을 제공합니다. 그러나 이벤트 기반 비전을 위해 설계된 기존의 멀티모달 거대 언어 모델(MLLM)은 세 가지 결정적인 한계에 직면해 있습니다:

1. 시간적 비효율성: 이벤트 스트림의 마이크로초 단위 해상도는 긴 지속 시간을 처리할 때 과도하게 많은 토큰 볼륨을 생성하여 높은 계산 비용을 초래합니다.
2. 공간적 비효율성: 이벤트 데이터는 본질적으로 희소합니다. 현재의 모델들은 이러한 스트림을 밀집된 이미지 형태의 표현으로 변환하는 경우가 많으며, 이는 빈 공간이나 정보가 적은 영역에도 균일한 주의(attention)를 할당하게 되어 불필요한 오버헤드를 발생시킵니다.
3. 데이터셋의 한계: 이벤트 기반 MLLM을 위한 기존의 지시어 증강 데이터셋은 규모, 장면 다양성, 그리고 시간적 시퀀스 길이가 제한적인 경우가 많아, 장기적 이해가 가능한 일반화된 모델의 학습을 저해합니다.

결과적으로, 현재의 접근 방식들은 추론 효율성과 장기 이벤트 시퀀스를 효과적으로 처리하는 능력 사이의 균형을 맞추는 데 어려움을 겪고 있습니다.

방법론

저자들은 데이터 중복을 줄이고 추론 속도를 높이기 위해 **시공간 토큰 희소화(spatiotemporal token sparsification)**를 활용하는 효율적인 MLLM인 EventFlash를 제안합니다. 이 프레임워크는 다섯 가지 핵심 구성 요소로 이루어져 있습니다:

1. 적응형 시간 창 집계 (Adaptive Temporal Window Aggregation, ATWA)

시간적 중복성을 해결하기 위해, EventFlash는 2단계 밀도 유도 집계 모듈을 도입합니다:

• 1단계 (메트릭 기반 병합): 연속적인 이벤트 스트림을 미세한 빈(bin) 단위로 나눕니다. 인접한 빈들은 비동기적 시공간 스파이크 메트릭을 기반으로 반복적으로 병합됩니다. 빈 사이의 유사도 거리는 가우시안 커널 강도 함수를 사용하여 계산되며, 거리가 임계값 $\tau$ 미만인 빈들은 메타-이벤트 윈도우를 형성하기 위해 병합됩니다.
• 2단계 (의미론적 인식 병합): 메타 윈도우는 CLS 토큰 표현을 얻기 위해 인코딩됩니다. 코사인 유사도에 기반한 유사도 점수($S_i$)는 정규화된 이벤트 밀도 인자($r_i$)와 결합되어 적응형 병합 점수($A_i = S_i \cdot \exp(-\alpha \cdot r_i)$)를 계산합니다. 이를 통해 모델은 핵심적인 움직임 역학 및 필수적인 시간적 단서를 보존하면서 시간적 토큰을 압축할 수 있습니다.

2. 희소 밀도 유도 주의 (Sparse Density-Guided Attention, SDGA)

공간적 중복성을 해결하기 위해, SDGA 모듈은 정보가 없는 토큰을 적응적으로 제거합니다:

• 밀도 인코딩: 각 집계된 이벤트 빈에 대해 패치 수준의 특징을 추출합니다. 동시에, 각 토큰 영역 내의 이벤트 수를 기반으로 이벤트 밀도($D_j$)를 계산합니다.
• 변조(Modulation): 밀도 값은 선형 변환과 GELU 활성화 함수를 거쳐 부드러운 변조 신호($f(D_j)$)를 생성합니다.
• 주의 조정: 이 신호는 표준 주의 점수에 더해져, 모델이 밀도가 높고 정보가 많은 영역에 집중하고 빈 공간이나 저밀도 영역은 억제할 수 있도록 합니다.
• 토큰 선택: 토큰 선택 연산은 집계된 주의 응답을 순위 매기고 중요도가 낮은 토크를 폐기하여, 압축된 공간 토큰 집합을 생성합니다.

3. 단기-장기 커리큘럼 학습 (Short-to-Long Curriculum Learning)

확장 가능한 학습을 지원하기 위해, 저자들은 단계적인 커리큘럼 전략을 사용합니다:

• 1단계: 기초적인 이벤트-언어 정렬을 위해 200k개의 짧은 시퀀스(0–50 ms)를 학습합니다.
• 2단계: 복잡한 움직임 및 지시어 수행 능력을 위해 110k개의 중간 길이 시퀀스(50–5,000 ms)로 확장합니다.
• 3단계: 총체적인 장면 이해 및 개방형 생성을 위해 190k개의 긴 시퀀스(5,000–20,000 ms)로 미세 조정을 수행합니다.

4. EventMind 데이터셋

이 학습을 용이하게 하기 위해, 저자들은 50만 개 이상의 지시어 세트를 포함하는 대규모, 장면 다양성을 갖춘 EventMind 데이터셋을 구축했습니다. 이는 7가지의 뚜렷한 작업(Motion Caption, Event QA, Human Action QA, MCQA, Simple Caption, FGQA, Scene Caption)을 다루며, 실제 데이터(예: DSEC, N-ImageNet)와 비디오 데이터셋(예: Kinetics-700, UCF-101)으로부터 V2E 시뮬레이터를 통해 생성된 합성 데이터를 모두 포함합니다.

주요 결과

실험적 평가 결과, EventFlash는 경쟁력 있는 성능을 유지하면서 상당한 효율성 이득을 달 demonstrates 합니다:

• 처리량(Throughput): EventFlash는 시공간 희소화를 적용하지 않은 베이스라인인 EventFlash-Zero(2.3 tokens/s)에 비해 12.4배 향상된 처리량(28.5 tokens/s)을 달성했습니다.
• 장기 프로세싱: EventFlash는 단일 입력에서 최대 1,000개의 이벤트 빈을 처리할 수 있습니다. 반면, 경쟁 모델인 EventGPT는 5개의 빈으로 제한되어 있어, 이는 200배 증가한 처리 능력을 나타냅니다.
• 성능: 희소화에도 불구하고, EventFlash는 EventMind 및 EventChat-Sub 데이터셋에 대한 네 가지 평가 지표(Global Detailed Captioning, Fine-Grained QA, Human Action QA, MCQA)에서 대등하거나 우수한 성능을 유지합니다.
• 다운스트림 작업: DailyDVS-200 데이터셋에 대한 행동 인식 미세 조정 시, EventFlash는 Top-1 정확도 **48.36%**를 달성하여 특화된 이벤트 기반 트랜스포머 및 프레임 기반 베이스라인을 능가했습니다.

의의 및 주장

본 논문은 EventFlash를 이벤트 기반 비전을 위한 효율적인 파운데이션 모델로 포지셔닝합니다. 이 연구의 주요 의의는 이전에 MLLM을 장기간, 고속 이벤트 스트림에 적용하는 것을 제한했던 계산적 병목 현상을 해결했다는 점에 있습니다. 이벤트의 시공간적 희소성을 밀집된 이미지 패러다임으로 강제하는 대신 이를 명시적으로 활용함으로써, EventFlash는 다음을 가능하게 합니다:

1. 실시간 및 장기 이해: 최대 20초(1,000개 빈)의 시퀀스를 처리할 수 있는 능력은 감시 및 자율 주행과 같이 지속적인 모니터링이 필요한 응용 분야에 적합합니다.
2. 확장성: 제안된 희소화 전략을 통해 모델은 과도한 계산 비용 없이 더 긴 시간적 지속 시간으로 확장할 수 있습니다.
3. 표준화: EventMind 데이터셋의 공개는 다양한 작업과 시간 길이를 가진 대규모 표준 벤치마크를 제공함으로써 향후 이벤트 기반 MLLM 연구를 가속화하는 것을 목표로 합니다.

저자들은 EventFlash가 이벤트 카메라의 고유한 특성과 거대 언어 모델의 추론 능력 사이의 간극을 메우는 강력하고 효율적인 토대가 된다고 결론짓습니다.