💻 computer science

Spiking Patches: Asynchronous, Sparse, and Efficient Tokens for Event Cameras

이 논문은 이벤트 카메라의 고유한 특성을 보존하면서도 다양한 비전 작업에서 기존의 프레임 및 복셀 기반 방식과 대등하거나 더 우수한 정확도를 달성하는 동시에 더 빠른 추론을 실현하는 비동기적이고 희소한 토큰화 방법인 "Spiking Patches"를 소개한다.

원저자: Christoffer Koo Øhrstrøm, Ronja Güldenring, Lazaros Nalpantidis

게시일 2026-09-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Christoffer Koo Øhrstrøm, Ronja Güldenring, Lazaros Nalpantidis

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇과 자율주행 자동차는 오랫동안 영화 카메라처럼 세상의 완전한 장면을 매 분초마다 포착하는 표준 카메라에 의존해 왔습니다. 이 방식은 많은 일에 효과적이지만, 상당 부분이 빈 공간이거나 변하지 않은 배경인 방대한 양의 데이터를 생성한다는 부담을 줍니다. 이벤트 카메라라고 알려진 새로운 유형의 센서는 이와 다른 원리로 작동합니다. 전체 사진을 찍는 대신, 변화만을 기록합니다. 센서의 픽셀이 밝기 변화를 감지하면, 그 즉시 단일 신호, 즉 '이벤트'를 보냅니다. 이는 카메라가 고정된 리듬에 따라 움직이는 것이 아니라, 무언가 변할 때마다 발생하는 비동기적인 개별 신호의 흐름을 생성함을 의미합니다. 또한 데이터가 희소하여, 움직임이나 변화가 일어난 위치에 대한 정보만을 포함하고 나머지 장면은 정적으로 남겨둡니다. 이러한 접근 방식은 믿을 수 없을 정도로 효율적이고 빠르지만, 로봇이 주변 환경을 이해하는 데 사용하는 인공지능 모델에 이 독특한 데이터 흐름을 입력하는 데 어려움이 있었습니다.

수년간 연구자들은 이러한 비동기적 신호를 익숙한 기존의 이미지 형식으로 강제 변환함으로써 이 문제를 해결하려 노력해 왔습니다. 그들은 이벤트를 고정된 시간 창(time window) 안에 그룹화하여, 마치 일련의 스냅샷을 꿰매어 붙이는 것처럼 프레임을 만들었습니다. 그러나 이 과정은 이벤트 카메라를 특별하게 만드는 바로 그 특성들을 파괴합니다. 고정된 시간이 흐를 때까지 기다려 이미지를 생성함으로써 시스템은 갑작스러운 변화에 즉각 반응하는 능력을 상실하며, 빈 공간을 채움으로써 오직 관련 데이터만을 보유하는 효율성을 잃게 됩니다. 덴마크 기술대학교(Technical University of Denmark)의 연구팀은 이제 다른 방향을 제시했습니다. 그들은 '스파이킹 패치(Spiking Patches)'라는 새로운 방법을 개발했는데, 이는 변화하는 신호들의 집합을 경직된 시간 기반 격자에 강제로 맞추지 않고 하나의 정보 단위로 취급합니다. 이 접근 방식은 데이터가 비동기적이고 희소한 상태를 유지하게 하여, 원래 센서의 속도와 효율성을 보존하면서도 강력한 현대 AI 모델들과 호환되도록 만듭니다.

연구진은 생물학적 뉴런이 어떻게 작동하는지를 관찰하여 시스템을 설계했습니다. 뇌에서 뉴런은 일정 수준의 신호를 받아 임계값(threshold)에 도달할 때까지 기다렸다가 스파이크를 발생시킵니다. 연구팀은 이와 동일한 논리를 이벤트 카메라 데이터에 적용했습니다. 그들은 카메라의 시야를 작은 정사각형, 즉 '패치(patch)'들로 나누었습니다. 이벤트가 도착함에 따라 각 패치 내에 축적되며 가상의 전위를 높입니다. 패치 내의 이벤트 수가 특정 한계치에 도달하면, 패치는 '발화(fire)'하여 해당 이벤트 그룹을 나타내는 '토큰(token)'을 생성합니다. 이 토큰은 처리를 위해 AI 모델로 전송됩니다. 결정적으로, 이 발화는 시계가 작동하기를 기다리는 것이 아니라 각 패치에서 독립적으로, 그리고 임계값에 도한 바로 그 순간에 일어납니다. 이는 시스템이 전체 프레임이 구축되기를 기다리지 않고, 충분한 이벤트가 축적되는 즉시 빠르게 움직이는 물체에 반응할 수 있음을 의미합니다.

이 아이디어가 실제로 작동하는지 테스트하기 위해, 연구팀은 스파이킹 패치를 두 가지 가장 일반적인 이벤트 데이터 처리 방식인 표준 프레임 및 '복셀(voxel)'이라 불리는 3D 데이터 블록과 비교했습니다. 그들은 그래프, 포인트 클云(point clouds), 트랜스포머를 위한 네트워크를 포함한 세 가지 다른 유형의 AI 아키텍처를 사용하여 손동작 인식 및 주행 영상 내 자동차 탐지와 같은 과제를 수행했습니다. 결과는 놀라웠습니다. 속도 측면에서 새로운 방법은 대안들보다 현저히 빨랐습니다. 손동작을 인식할 때, 스파이킹 패치 시스템은 복셀 방식보다 최대 3.4배, 프레임 기반 방식보다 최대 10.4배 더 빨랐습니다. 이러한 속도 향상은 정확도를 희생하지 않으면서 이루어졌으며, 많은 경우에서 새로운 방법은 기존 방식만큼 정확했거나, 어떤 경우에는 손동작 인식을 최대 3.8%포인트, 객체 탐지를 최대 1.4%포인트트 개선하는 등 오히려 더 높은 정확도를 보였습니다.

또한 이 연구는 해당 방식이 데이터의 희소성과 비동기성을 성공적으로 유지함을 확인했습니다. 연구진은 장면의 반응을 위해 정보를 모으는 속도를 가공되지 않은 이벤트 스트림과 비교하여 측정했습니다. 그 결과, 스파이킹 패치 시스템은 단 몇 밀리초의 아주 미세한 지연만을 보이며 가공되지 않은 이벤트 자체만큼이나 빠르게 반응할 수 있는 반면, 프레-기반 방식은 고정된 시간 간격을 기다려야 하므로 훨씬 긴 지연이 발생한다는 것을 발견했습니다. 더욱이, 이 새로운 방법은 컴퓨터가 처리해야 할 데이터 양을 프레임 및 복셀 대비 최소 1.5배, 경우에 따라서는 가공되지 않은 이벤트 스트림 대비 수백 배까지 줄였습니다. 이 데이터 크기의 감소가 바로 컴퓨터가 분석해야 할 항목을 줄여주어 시스템을 훨씬 더 빠르게 실행할 수 있게 만드는 핵심입니다.

이 발견의 가장 실용적인 측면 중 하나는 시스템이 실시간 애플리케이션을 처리할 만큼 빠르다는 점입니다. 연구진은 속도가 빠른 것으로 알려진 프로그래밍 언어로 토큰화 과정을 구현했으며, 시스템이 카메라에 새로운 이벤트가 도착하는 속도보다 더 빠르게 토큰을 생성할 수 있음을 발견했습니다. 이는 고속도로를 달리는 자동차와 같은 실제 상황에서 정보의 흐름을 따라잡지 못하고 뒤처지는 일 없이 시스템이 흐름을 유지할 수 있음을 의미합니다. 연구팀은 또한 다양한 설정이 성능에 미치는 영향을 탐구하여, 토큰 생성 수와 결과의 정밀도 사이의 절충안을 위해 시스템의 민감도를 조절할 수 있음을 찾아냈습니다. 예를 들어, 패치가 발화한 후 짧은 휴지기를 도입함으로써 정확도를 거의 유지하면서도 생성되는 토큰의 수를 4배로 줄일 수 있었습니다.

결과는 유망하지만, 연구진은 이 방법이 토큰을 트리거하는 임계값을 세심하게 조정해야 한다고 언급합니다. 임계값이 너무 낮으면 시스템이 너무 자주 발화하여 너무 많은 데이터를 생성할 수 있습니다. 반대로 임계값이 너무 높으면 중요한 세부 사항을 놓칠 수 있습니다. 연구팀은 향ما 작업이 이 임계값을 장면에 따라 자동으로 적응하도록 만드는 데 집중할 수 있다고 제안했습니다. 또한 움직이는 물체를 추적하거나 장면의 움직임 흐름을 계산하는 것과 같은 다른 유형의 과제에도 이 방법을 테스트할 계획입니다. 하지만 현재로서는, 이 연구가 이벤트 카메라의 독특하고 비동기적인 특성과 현대 로보틱스를 구동하는 강력한 AI 모델 사이의 간극을 메울 수 있음을 입증하고 있습니다. 이벤트 그룹을 하나의 의미 있는 단위로 취급함으로써, 연구진은 가장 진보된 인공지능 도구들을 사용할 수 있는 능력을 잃지 않으면서도 이벤트 카메라의 속도와 효율성을 유지할 수 있음을 보여주었습니다.

기술 요약: 스파이킹 패치 (Spiking Patches)

문제 정의

이벤트 카메라는 비동기적이고 공간적으로 희소한(spatially sparse) 출력을 제공하여 급격한 변화에 빠르게 반응하고 계산 부하를 줄일 수 있다는 점에서 로봇 공학 애플리케이션에 상당한 이점을 제공합니다. 그러나 기존의 딥러닝 인지 접근 방식은 일반적으로 이러한 비동기 이벤트 스트림을 동기화된 밀집 프레임 기반 표현이나 동기화된 복셀(voxel)로 변환합니다. 이러한 변환 과정은 데이터 고유의 비동기성과 공간적 희소성을 소실시킵니다. 일부 방법론은 변환 후 이러한 특성을 복원하려고 시도하지만, 본 논문은 이러한 특성을 기본적으로 보존하는 표현을 사용하는 것이 더 유익하다고 주장하며, 이를 통해 해당 표현을 사용하는 모든 모델이 본질적으로 그 특성을 유지하도록 보장합니다. 현재까지는 정확도를 희생하지 않으면서 이벤트를 토큰화하는 동시에 비동기성과 공간적 희소성을 모두 보존하는 데 성공한 표현 방식은 존재하지 않습니다.

방법론: 스파이킹 패치 (Spiking Patches)

저자들은 이벤트 카메라를 위해 특별히 설계된 시공간 토크나이저인 **스파이킹 패치(Spiking Patches)**를 제안합니다. 이 방법은 두 가지 핵심 관찰에 기반합니다:

개별 이벤트는 정보량이 적지만, 이벤트의 집합(패치)은 표준 컴퓨터 비전의 픽셀 패치와 유사하게 의미 있는 정보를 포함합니다.
이벤트는 시공간 영역에 존재하며, 두 차원 모두에서 그룹화되어야 합니다.

핵심 메커즘:

공간적 그룹화 (Spatial Grouping): 카메라 뷰포트를 $P \times P$ 크기의 겹치지 않는 패치 그리드로 나눕니다. 이벤트는 공간적 근접성을 보장하기 위해 각자의 패치 내로 제한됩니다.
시간적 그룹화 (Spiking): 각 패치는 생물학적 스파이킹 뉴런처럼 취급됩니다. 패치는 전위(potential) $u$ 를 유지하며, 패치 내에 이벤트가 도착할 때마다 전위는 일정한 값( $I=1$ )만큼 증가합니다.
임계값 처리 (Thresholding): 패치 전위가 임계값 $\sigma$ 를 초과하면 "스파이킹(spike)"이 발생합니다. 이때 마지막 스파이크 이후 축적된 모든 이벤트로 구성된 토큰이 생성됩니다. 그 후 전위는 휴지 전위( $u_{rest}=0$ )로 리셋됩니다.
불응기 (Refractory Period): 시간 해상도를 조절하고 토큰 수를 줄이기 위해 불응기 $T$ 를 적용할 수 있습니다. 스파이크 발생 직후의 이 기간 동안 들어오는 이벤트는 무시되며 전위 증가나 토큰 생성에 기여하지 않습니다.

이 메커니즘은 충분한 활동이 발생할 때만 토큰이 생성되도록 보장하여 공간적 희소성을 보존하며, 생성 과정이 이벤트 도착 시간에 직접 연결되도록 하여 비동기성을 보존합니다. 토크나이저는 $n$ 개의 이벤트에 대해 $O(n)$ 의 시간 복잡도로 작동합니다.

주요 기여

스파이킹 패치 토크나이저: 이벤트 카메라의 고유한 비동기 및 희소 특성을 보존하면서 이벤트를 시공간적 그룹으로 토큰화하는 새로운 이벤트 표현 방식을 도입했습니다.
성능 향상: 스파이킹 패치가 프레임 기반 및 복셀 기반 표현과 대등하거나 이를 능가하는 정확도를 보여주는 동시에 추론 속도를 크게 개선함을 입증했습니다.
특성 보존: 이 방법이 원시 이벤트 스트림과 유사한 수준의 비동기성 및 공간적 희소성을 유지함을 검증했습니다.
효율성: 이 토크나이저가 프레임 및 복셀에 비해 입력 크기를 최소 $1.5\times$ 감소시키며, Rust로 구현된 결과 이벤트가 도착하는 속도보다 더 빠르게 토큰을 생성하여 실시간 애플리케이션에 적합함을 입증했습니다.

실험 결과

저자들은 제스처 인식(DvsGesture, SL-Animals-DVS) 및 객체 탐지(GEN1) 작업에 대해 그래프 신경망(GNN), 포인트 클라우드 네트워크(PCN), 트랜스포머(Transformer)를 사용하여 스파이킹 패치를 평가했습니다.

정확도:
- 제스처 인식: 스파이킹 패치는 GNN 및 PCN에 대해 복셀과 대등한 정확도를 보였습니다. 트랜스포머의 경우, 프레임보다 1.1%, 복셀보다 0.4% 높은 정확도를 기록했습니다. SL-Animals-DVS에서는 GNN을 사용하여 복셀 대비 3.8%의 절대적 성능 향상을 달야냈습니다.
- 객체 탐지: 스파이킹 패치는 프레임과 대등한 결과(0.1 mAP 이내)를 얻었으며, 복셀 대비 mAP 향상(GNN 1.4%, PCN 0.4%, Transformer 1.3%)을 보였습니다.
- 이벤트 베이스라인: 원시 이벤트(서브샘플링된 방식)를 직접 사용하는 것과 비교했을 때, 스파이킹 패치는 정확도를 높이는 동시에(PCN의 경우 최대 4.1%) 추론 시간을 크게 단축했습니다.
속도:
- 추론 시간은 복셀 기반 토큰보다 최대 3.4 $\times$ 빠르고, 프레임 기반 토근보다 최대 10.4 $\times$ 빠릅니다.
- Intel I9 CPU에서의 토크나이징 속도는 초당 39.8M 이벤트를 처리하여, 복셀화(23.0M events/second)보다 거의 두 배 빠르며 GEN1 데이터셋의 유입 이벤트 속도를 훨씬 상회합니다.
효율성 및 희소성:
- 입력 크기는 복셀 대비 최소 $1.5\times$ 감소했으며, 프레임 대비로는 훨씬 더 많이 감소했습니다(원시 이벤트 대비 토큰 수 최대 $1120\times$ 감소).
- 공간적 희소성 분석 결과, 적절한 임계값( $\sigma \ge 250$ ) 또는 불응기( $T \ge 100$ ms)를 사용할 경우 스파이킹 패치는 프레임과 달리 원시 이벤트와 유사한 수준의 희소성을 유지합니다.
비동기성:
- 이벤트 축적 분석 결과, 스파이킹 패치는 최소한의 지연( $\sigma$ 에 따라 5~20ms)을 가지고 이벤트 곡선의 기울기를 따라 비동기적으로 반응하여, 동기식 방법보다 빠른 반응 시간을 제공합니다.

의의 및 주장

본 논문은 스파이킹 패치가 이벤트의 원시적인 비동기적 특성과 현대적인 딥러닝 아키텍처(GNN, PCN, Transformer)의 요구 사항 사이의 간극을 성공적으로 메움으로써, 이벤트 카메라 표현의 새로운 방향을 제시한다고 주장합니다.

저자들은 이 방법이 변환 후에 특성을 복구하려고 노력하는 대신, 이벤트 카메라의 고유한 특성(비동기성 및 공간적 희소성)을 기본적으로 보존할 수 있게 해준다고 단언합니다. 결과는 이러한 접근 방식이 정확도를 희생하지 않으며, 오히려 상당한 속도 향상을 제공하면서 정확도를 높이는 경우가 많음을 시사합니다. 저자들은 스파이킹 패치가 효율적이고 기존 아키텍처와 호환되며, 실시간 로봇 애플리케이션에 매우 유용하므로 이벤트 기반 비전을 위한 토크나이징 전략 연구를 장려한다고 결론짓습니다.

저자가 언급한 한계점:

현재의 공식은 스파이크 임계값 $\sigma$ 에 대한 세심한 튜닝을 요구합니다.
적응형 임계값(adaptive thresholding)을 탐색하고, 추가적인 네트워크 유형 및 작업(예: 광학 흐름, 객체 추적)에 대해 방법을 검증하기 위한 후속 연구가 필요합니다.