💻 computer science

EventGait: Towards Robust Gait Recognition with Event Streams

본 논문은 기존 카메라 기반 방법이 실패하는 어려운 저조도 조건에서 최첨단 보행 인식 성능을 달성하기 위해 이벤트 카메라와 새로운 스파이킹 전문가 혼합 아키텍처를 활용하는 강건한 엔드투엔드 듀얼 스트림 프레임워크인 EventGait 를 소개합니다.

원저자: Senyan Xu, Shuai Chen, Chuanfu Shen, Kean Liu, Zhijing Sun, Chengzhi Cao, Xueyang Fu

게시일 2026-05-22

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Senyan Xu, Shuai Chen, Chuanfu Shen, Kean Liu, Zhijing Sun, Chengzhi Cao, Xueyang Fu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거리를 걷는 사람을 식별하려 한다고 상상해 보세요. 보통 보안 카메라 (RGB 카메라) 는 표준 인간의 눈처럼 행동합니다. 매 1/100 초마다 사진을 찍죠. 밝고 햇살이 좋을 때는 이 방식이 아주 잘 작동합니다. 하지만 캄캄하게 어둡거나 안개가 끼거나, 사람이 너무 빠르게 움직일 때는 카메라가 혼란을 겪거나 이미지가 흐려지거나 아예 어둡게 됩니다. 마치 어둠 속에서 책을 읽으려 하는 것과 같습니다. 글자를 볼 수 없죠.

EventGait는 이 문제를 해결하기 위해 **이벤트 카메라 (Event Camera)**라는 다른 종류의 "눈"을 사용하는 새로운 시스템입니다. 이를 간단한 개념으로 나누어 설명해 드리겠습니다.

1. "화재 경보기" 대 "비디오 카메라"

표준 카메라는 어떤 일이 일어나든 상관없이 1 초에 30 회씩 전체 사진을 찍는 비디오 레코더라고 생각하세요. 배경, 옷, 조명까지 전체 장면을 포착합니다.

반면 이벤트 카메라는 방 안에 가득 찬 작고 초고감도 화재 경보기들과 더 비슷합니다. 사진을 찍지 않습니다. 대신 특정 픽셀에서 밝기의 변화를 감지했을 때만 "비명" (신호 전송) 을 지릅니다.

사람이 어둠 속을 지나갈 때, 표준 카메라는 아무것도 보지 못합니다. 반면 이벤트 카메라는 사람의 움직임을 "변화" (이벤트) 의 흐름으로 감지합니다.
벽이나 나무 같은 정적인 사물은 무시합니다. 오직 움직임에만 관심을 가집니다.
완전한 어둠이나 눈부신 햇살 속에서도 완벽하게 작동합니다. 빛을 "보는" 것에 의존하지 않고, 빛의 변화에 의존하기 때문입니다.

2. 이전 시도들의 문제점

이 논문 이전까지 연구자들은 이벤트 카메라를 보행 인식에 활용하려 했지만, 실수를 저질렀습니다. 그들은 수많은 작은 "변화" 신호를 모두 가져와 긴 시간 동안 하나의 흐릿한 이미지로 뭉개버렸습니다.

비유: 10 초마다 무용수의 사진을 찍어 서로 흐리게 겹쳐서 빠른 춤 동작을 이해하려 한다고 상상해 보세요. 구체적인 동작 (고정밀한 세부 사항) 을 잃어버리고 유령 같은 덩어리만 보게 됩니다.
이 접근법은 이벤트 카메라를 특별하게 만드는 초고속 정밀 타이밍 정보를 버려버렸습니다.

3. 해결책: EventGait (두 개의 스트림 팀)

저자들은 EventGait를 구축했는데, 이는 두 명의 형사가 팀을 이루는 것과 같습니다. 모든 것을 뭉개는 대신, 작업을 두 개의 전문화된 스트림으로 나누어 함께 작동하게 했습니다.

스트림 A: "모션 탐정" (동적 스트림)

역할: 이 팀은 오직 움직임에 집중합니다. 이벤트 스트림에서 발생하는 빠르고 미세한 변화들을 살펴봅니다.
비밀 무기 (MoSE): 다양한 조건 (밝은 햇살 속의 빠른 걷기 vs 어둠 속의 느린 비틀거림) 을 처리하기 위해 **스파이크 전문가 혼합 (Mixture of Spiking Experts, MoSE)**을 사용합니다.
- 비유: 전문가 팀을 상상해 보세요. 어떤 이들은 "빠른 주자"로 밝은 빛 속의 빠른 움직임을 포착하는 데 뛰어나고, 다른 이들은 "느리고 꾸준한 관찰자"로 어둠 속의 미묘한 움직임을 포착하는 데 뛰어납니다.
- 시스템은 상황에 따라 어떤 전문가의 말을 들어야 할지 자동으로 결정합니다. 이를 통해 시스템은 나쁜 조명이나 기이한 속도 때문에 혼란을 겪지 않습니다.

스트림 B: "형태 건축가" (정적 스트림)

역할: 이벤트 카메라는 사람의 외형 (몸의 형태) 을 보여주는 데 약합니다. 전체 몸이 아닌 움직임만 보기 때문입니다. 이 팀은 사람의 형태를 파악하려 합니다.
비밀 무기 (CroSA): 이벤트 카메라 데이터는 누락된 선이 있는 스케치처럼 희소 (sparse) 하기 때문에, 시스템은 "교사"의 도움을 받습니다.
- 비유: 몇 개의 흩어진 점만으로 사람을 그리려 하는 학생을 상상해 보세요. "교사" (수백만 장의 일반 사진으로 훈련된 거대 AI) 는 그 점들을 보고 "이 점들은 보통 여기에서 사람의 다리를 형성해"라고 말합니다. 시스템은 이 안내를 통해 누락된 형태 세부 사항을 채우는 법을 배웁니다.

4. 새로운 훈련장 (데이터셋)

큰 문제 중 하나는 AI 를 훈련시킬 이벤트 카메라 앞에서 걷는 사람들의 실제 사례가 부족했다는 점입니다.

해결책: 저자들은 "시뮬레이터"를 구축했습니다. 기존에 있는 사람들의 걷기 영상을 가져와 수학적으로 이벤트 카메라 데이터로 변환했습니다.
AI 가 다양한 조건 하에서 수천 명의 다른 사람을 인식할 수 있도록 두 개의 거대한 새로운 데이터 라이브러리 (SUSTech1K-E 및 CCGR-Mini-E) 를 만들었습니다.

5. 결과: 왜 중요한가

이 논문은 EventGait 를 표준 카메라와 비싼 3D 레이저 스캐너 (LiDAR) 와 비교하여 테스트했습니다.

정상 조명: EventGait 는 최고의 표준 카메라만큼 잘 작동했습니다.
어둠 속에서: 이것이 빛을 발하는 부분입니다. 표준 카메라가 저조도에서 완전히 실패한 반면, EventGait 는 낮에 작동했을 때와 거의 비슷하게 계속 작동했습니다.
비용: 비싼 3D 레이저 스캐너와 유사한 결과를 달성하지만 훨씬 더 저렴한 카메라를 사용합니다.

요약하자면:
EventGait 는 빛의 변화만 감지하는 특수 카메라를 사용하는 지능형 시스템입니다. 작업을 두 부분으로 나눕니다. 하나는 (어둠 속에서도) 빠른 움직임을 추적하는 데 능숙한 부분이고, 다른 하나는 사람의 몸 형태를 추측하는 법을 배우는 부분입니다. 이를 통해 일반 카메라가 맹인이 되는 조건에서도 사람들이 걷는 것을 신뢰할 수 있게 식별할 수 있습니다.

기술 요약: EventGait: 이벤트 스트림을 활용한 강건한 보행 인식

문제 제기
보행 인식은 비침습적이고 프라이버시를 보호하는 인간 식별 방법을 제공하지만, 통제되지 않은 환경에서는 상당한 도전에 직면합니다. 기존의 RGB 기반 접근법은 조명 변화, 모션 블러, 가림 현상으로 인해 성능이 저하됩니다. LiDAR 기반 방법은 더 큰 강건성을 제공하지만, 높은 비용과 에너지 소비로 인해 대규모 배포가 어렵습니다. 기존 이벤트 기반 보행 인식 방법들은 이벤트 카메라의 높은 시간 해상도와 동적 범위를 활용하려 시도하지만, 일반적으로 이벤트 스트림을 긴 시간 윈도우에 걸쳐 그리드 기반 이벤트 이미지로 집계합니다. 이 접근법은 보행 분석에 필수적인 세밀한 시간적 역동성을 폐기하며, 표준 딥 네트워크가 효과적으로 해석하기 어려운 희소 공간 표현을 생성합니다. 또한, 이 분야는 엄격한 평가를 위한 대규모 이벤트 기반 보행 데이터셋이 부족합니다.

방법론
저자들은 이벤트 데이터의 고유한 장점을 유지하면서 운동과 형태를 별도로 모델링하도록 설계된 엔드 투 엔드 듀얼 스트림 프레임워크인 EventGait를 제안합니다.

이벤트 표현: 이 프레임워크는 이중 시간 스케일 설계를 활용합니다. 이벤트 스트림은 다음과 같이 분해됩니다:
- 단기 슬라이스 ( $E_d$ ): 세밀한 운동 역동성을 포착하는 고시간 해상도 슬라이스.
- 장기 슬라이스 ( $E_s$ ): 안정적인 공간적 형태 정보를 포착하기 위해 더 긴 윈도우에 걸쳐 집계된 이벤트.
동적 운동 스트림 (MoSE): 이 스트림은 고주파수 운동을 모델링하기 위해 단기 슬라이스를 처리합니다. 여기서는 스파이크 전문가 혼합 (Mixture of Spiking Experts, MoSE) 을 사용합니다. 단일 스파이크 뉴런 구성이 다양한 운동 및 조명 조건 (예: 밝은 빛에서의 빠른 운동 대 낮은 빛에서의 느린 운동) 에 적응할 수 없다는 점을 인식하여, MoSE 는 서로 다른 막 시간 상수 ( $\tau$ ) 를 가진 여러 스파이크 전문가들을 통합합니다. 경량 게이트 네트워크가 이러한 전문가들을 동적으로 선택하고 가중치를 부여하여 복잡한 시나리오 전반에 걸쳐 강건한 인식을 가능하게 합니다.
정적 형태 스트림 (CroSA): 이 스트림은 밀집된 형태 표현을 학습하기 위해 장기 슬라이스를 처리합니다. 이벤트 데이터가 공간적으로 희소하므로, 저자들은 크로스 모달 구조 정렬 (Cross-modal Structure Alignment, CroSA) 을 도입합니다. 사전 훈련된 비전 파운데이션 모델 (VFM) 인 DINOv2 가 교사로 작용하여 밀집된 구조적 사전 지식을 제공합니다. 이벤트 기반 정적 인코더 (학생) 는 정렬 손실을 통해 VFM 의 출력과 특징 표현을 정렬하도록 훈련되어, 구조적 지식을 희소 이벤트 모달리티로 효과적으로 전이합니다.
퓨전 및 훈련: 동적 ( $F_d$ ) 및 정적 ( $F_s$ ) 특징은 융합되어 통합된 보행 기술자를 생성합니다. 모델은 교차 엔트로피 손실, 트립렛 손실, 그리고 크로스 모달 정렬 손실의 조합을 사용하여 훈련됩니다.

주요 기여

EventGait 프레임워크: 이전의 시간적 집계에 의존하던 이벤트 기반 방법의 한계를 해결하기 위해 동적 운동과 정적 형태 모델링을 분리하는 새로운 듀얼 스트림 아키텍처.
스파이크 전문가 혼합 (MoSE): 다양한 조명 및 속도 조건 하에서 운동 패턴을 적응적으로 포착하기 위해 다양한 시간 상수를 가진 스파이크 뉴런들을 결합한 메커니즘.
크로스 모달 구조 정렬 (CroSA): 이벤트 데이터의 희소성을 극복하기 위해 비전 파운데이션 모델로부터 밀집된 구조적 사전 지식을 이벤트 기반 정적 스트림으로 증류하는 전략.
새로운 벤치마크: 대규모 데이터 부족 문제를 해결하기 위해 저자들은 RGB 보행 비디오를 이벤트 스트림으로 변환하는 합성 파이프라인을 구축했습니다. 그들은 다양한 공변량과 뷰를 평가에 제공하기 위해 SUSTech1K-E(SUSTech1K 에서 유래) 와 CCGR-Mini-E(CCGR-Mini 에서 유래) 라는 두 개의 새로운 데이터셋을 공개했습니다.

실험 결과
합성 (SUSTech1K-E, CCGR-Mini-E) 및 실제 세계 (DVS128-Gait, EV-CASIA-B) 벤치마크에서 광범위한 실험이 수행되었습니다.

성능: EventGait 는 기존 카메라 기반 및 이벤트 기반 방법들을 능가하는 최첨단 성능을 달성했습니다. SUSTech1K-E 데이터셋에서 전체 Rank-1 정확도 92.8% 를 기록하여 이전 최고의 이벤트 기반 방법보다 상당한 차이를 보였습니다.
저조도 강건성: 이 방법은 저조도 조건에서 뛰어난 강건성을 입증했습니다. 야간 시나리오 (NT) 에서 EventGait 는 카메라 기반 방법들을 크게 능가했습니다 (예: SUSTech1K-E 에서 베이스라인 대비 +37.3% 개선). 이는 도전적인 조명 조건에서 이벤트 카메라의 우위를 검증한 것입니다.
LiDAR 와의 비교: EventGait 는 훨씬 더 저렴한 센서 모달리티를 사용함에도 불구하고 LiDAR 기반 방법 (예: LidarGait++) 과 유사한 결과를 달성했으며, 일부 뷰에서는 이를 능가했습니다.
애블레이션 연구: 실험은 정적 및 동적 스트림 모두의 필요성을 확인했습니다. 어느 하나를 제거하면 성능이 저하되었습니다. 3 개의 전문가를 가진 MoSE 모듈이 정확도와 효율성 사이의 최적의 균형을 제공하는 것으로 나타났습니다.

의의 및 주장
이 논문은 EventGait 가 이벤트 기반 보행 인식의 새로운 최첨단 상태를 설정한다고 주장합니다. 이는 이벤트 기반 분석이 단순히 실행 가능한 것을 넘어, 특히 기존 카메라가 실패하는 저조도 환경과 LiDAR 가 대량 배포에 너무 비싼 시나리오에서 매우 강건하다는 점을 강조합니다. 이 작업은 정적 이미지로 집계하는 대신 스파이크 네트워크를 통해 세밀한 시간적 역동성을 보존하는 것이 생체 인식에서 이벤트 카메라의 잠재력을 unlocking 하는 데 중요함을 강조합니다. 대규모 합성 벤치마크의 공개는 이 분야의 추가 연구를 촉진하는 것을 목표로 합니다.