💻 computer science

SpikingMOT: A Spike-Driven Multi-Object Tracker

이 논문은 활성화 희소성 선호도와 스파이킹 신경망을 활용하여 SportsMOT 및 DanceTrack 벤치마크에서 최첨단 성능을 달면서도 파라미터 수와 에너지 소비를 크게 줄인 스파이크 기반 다중 객체 추적기인 SpikingMOT를 소개한다.

원저자: Yiding Sun, Xiangyang Yang, Dongxu Zhang, Qirui Wang, Zijie Xu, Wenxuan Liu, Shuiwang Li, Jihua Zhu, Zhaofei Yu, Tiejun Huang

게시일 2026-07-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yiding Sun, Xiangyang Yang, Dongxu Zhang, Qirui Wang, Zijie Xu, Wenxuan Liu, Shuiwang Li, Jihua Zhu, Zhaofei Yu, Tiejun Huang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 높은 창문에서 번화한 길모퉁이를 지켜보고 있다고 상상해 보세요. 수백 명의 사람들이 걷고, 달리고, 인파 사이를 헤치며 지나갑니다. 당신의 뇌는 모든 사람의 정확한 속도와 방향을 매 밀리초마다 계산하려고 애쓰지 않습니다. 대신, 가장 중요한 움직임에 집중하고 나머지는 무시합니다. 이것이 바로 컴퓨터가 자동차, 선수, 또는 드론 같은 움직이는 물체들을 추적할 수 있게 해주는 초능력, **다중 객체 추적(Multi-Object Tracking, MOT)**의 마법입니다. 오랫동안 컴퓨터는 이 작업을 수행하기 위해 거대하고 "밀집된" 뇌(인공 신경망이라고 불리는)를 사용해 왔습니다. 이는 마치 경기장 안의 수많은 사람들이 동시에 소리를 지르는 것처럼, 모든 것에 대해 한꺼번에 신호를 보내는 방식입니다. 하지만 이 방식은 많은 에너지를 소모하며 노이즈 때문에 혼란을 겪을 수 있습니다. 과학자들이 던져온 핵심적인 질문은 이것입니다: 누가 누구인지 계속 추적하기 위해 정말 그 모든 소음이 필요한가, 아니면 더 조용하고 선택적인 접근 방식이 똑같이 잘 작동할 수 있는가?

여기서 SpikingMOT라는 새로운 논문이 등장합니다. 이디딩 선(Yiding Sun)과 그의 팀이 이끄는 연구진은 아주 기발한 아이디어를 테스트하기로 했습니다: 만약 컴퓨터의 추적 뇌가 인간의 뇌처럼 작동하게 만든다면 어떨까? 인간의 뇌는 "스파이크(spike)"를 사용합니다. 즉, 무언가 중요한 것을 말해야 할 때만 발생하는 아주 작은 전기적 폭발입니다. 연구팀은 움직이는 물체를 추적하는 데 있어 "희소성(sparse)"을 갖는 것(필요할 때만 신호를 보내는 것)이 단순히 차선책이 아니라, 사실은 하나의 초능력이라는 것을 발견했습니다. 그들은 **스파이킹 신경망(Spiking Neural Network, SNN)**이라는 특수한 뇌 모방 네트워크를 사용함으로써, 훨씬 적은 에너지와 컴퓨터 메모리를 사용하면서도 놀라운 정확도로 물체를 추적할 수 있다는 것을 밝혀냈습니다.

문제점: 소리 지르는 경기장

수년 동안 최고의 추적기들은 혼란스러운 경기장처럼 작동했습니다. 비디오 프레임이 바뀔 때마다 컴퓨터의 "밀집된" 신경망은 물체가 다음에 어디로 갈지 예측하기 위해 수천 개의 뉴런을 활성화했습니다. 연구진은 이상한 점을 발견했습니다. 컴퓨터를 강제로 조용하게 만들고 오직 몇 개의 뉴런만 말하게 했을 때(이를 "드롭아웃(dropout)"이라고 부릅니다), 많은 경우 오히려 추적이 더 좋아졌다는 것입니다. 마치 경기장의 관중들이 너무 크게 소리를 지르는 바람에 중요한 메시지가 소음에 묻히고 있었던 것과 같았습니다. 그들은 이 관찰 결과를 **활성화 희소성 선호(Activation Sparsity Preference, ASP)**라고 불렀습니다. 본질적으로, 데이터는 공이나 사람이 다음에 어떻게 움직일지 예측하는 데 있어서 완전한 합창단이 필요한 것이 아니라, 단지 적절한 솔로 연주자들이 필요하다는 것을 시사했습니다.

해결책: 뇌의 비밀 코드

이 문제를 해결하기 위해 연구진은 이 모든 과정이 "스파이크"를 기반으로 작동하는 최초의 추적기인 SpikingMOT를 구축했습니다. 끊임없이 웅성거리는 활동 대신, SpikingMOT는 마치 당신의 뇌 속 뉴런처럼 특정 순간을 기다렸다가 신호를 보냅니다. 하지만 단순히 네트워크를 조용하게 만드는 것만으로는 충분하지 않았습니다. 연구진은 어떤 뉴런이 신호를 보내야 할지 결정하는 스마트한 방법이 필요하다는 것을 깨달았습니다.

그들은 두 단계로 이루어진 "뇌 모방형" 루프를 설계했습니다:

분해 (메뉴): 컴퓨터가 가능한 움직임의 메뉴(예: "왼쪽으로 회전", "속도 높이기", 또는 "정지")를 가지고 있다고 상상해 보세요. SpikingMOT는 정확한 움직임을 추측하는 대신, 움직임을 일련의 "의사 궤적(pseudo-trajectories, 가상의 경로)"으로 분해합니다. 이는 마치 사람이 움직일 수 있는 다양한 방식을 나타내는 카드 덱을 가지고 있는 것과 같습니다.
교정 (수정): 컴퓨터가 물체가 어디에 있을지 예측한 후, 실제 비디오를 확인하여 자신의 예측이 맞았는지 검사합니다. 만약 물체가 실제로 다른 곳에 있었다면, 컴퓨터는 그 "실수"(오차)를 사용하여 다음 초를 위한 메뉴를 조정합니다. 이는 마치 요리사가 수프를 맛보고 소금이 더 필요하다는 것을 깨달은 뒤, 다음 배치를 위한 레시피를 조정하는 것과 같습니다. 이는 추적기가 실시간으로 자신의 실수를 통해 학습하는 폐쇄 루프를 만듭니다.

결과: 더 빠르고, 더 똑똑하며, 더 친환경적인

결과는 인상적이었습니다. 연구진이 SportsMOT(선수들이 빠르게 달리고 갑자기 방향을 바꾸는 환경)와 DanceTrack(댄서들이 서로 매우 비슷해 보이고 경로가 겹치는 경우가 많은 환경) 같은 까다로운 데이터셋에서 테스트했을 때, SpikingMOT는 단순히 따라가는 수준을 넘어 선두를 차지했습니다.

SportsMOT에서, 이 모델은 이전 최고 기록을 경신하며 74.9(HOTA라고 불림)라는 최고 점수를 달성했습니다.
DanceTrack에서는 56.5를 기록하며 역시 새로운 기록을 세웠습니다.
하지만 진짜 마법은 효율성에 있었습니다. 이 스파이크 구동 방식을 사용함으로써, 연구진은 컴퓨터 파라미터(즉, "뇌 크기")를 72% 줄였고, 에너지 사용량을 **86.7%**나 대폭 절감했습니다.

이것이 중요한 이유

이 논문은 움직이는 물체를 추적하기 위해 더 크고, 더 시끄럽고, 더 많은 에너지를 소비하는 컴퓨터를 만들 필요가 없다는 점을 시사합니다. 대신, 우리는 자연이 문제를 해결하는 방식을 모방하여 더 똑똑하고 조용한 컴퓨터를 만들 수 있습니다. 연구진은 컴퓨터가 중요한 것을 말해야 할 때만 "스파이크"를 발생시키게 하고, 보이는 것을 바탕으로 자신의 예측을 끊임없이 수정하게 함으로써, 그 어느 때보다 복잡한 움직임을 더 잘 추적할 수 있음을 보여주었습니다. 연구진은 현재의 에너지 절감 수치가 특수 "뉴로모픽(neuromorphic)" 하드웨어 칩에서 직접 테스트된 것이 아니라 수학적으로 계산된 것임을 언급했지만, 이 결과는 추적의 미래가 무력(brute force)보다는 생물학적 효율성에 달려 있음을 강력하게 시사합니다. 그들은 새로운 사고방식의 문을 열었습니다: 때로는 전체 그림을 보기 위해, 그저 올바른 속삭임에 귀를 기울여야 할 때가 있습니다.

기술 요약: SpikingMOT

문제 정의

다중 객체 추적(Multi-object tracking, MOT)은 시각적 인지의 핵심적인 과업으로, 일반적으로 Tracking-by-Detection(TBD) 패러다임을 따릅니다. 최근의 학습 기반 방법들은 밀집하게 활성화되는 인공 신경망(ANN)을 통해 모션 모델링을 개선해 왔으나, 이러한 밀집한 응답이 정확한 궤적 예측을 위해 반드시 필요한지에 대해서는 간과하는 경우가 많습니다. 고전적인 필터 기반 방식은 복잡한 운동 패턴을 처리하는 데 어려움을 겪으며, 기존의 학습 기반 접근 방식(예: MambaTrack)은 불필요한 운동 단서를 생성하고 에너지 소비를 높일 수 있는 밀집한 연산에 의존합니다.

본 논문은 **활성화 희소성 선호(Activation Sparsity Preference, ASP)**라고 명명된 현상을 식별합니다. 실험적 증거에 따르면, 궤적 예측기에서 활성화율을 적절히 억제하는 것은 성능을 유지할 뿐만 아니라 오히려 향상시킬 수 있습니다. 구체적으로, 밀집한 응답은 중복된 운동 단서를 증폭시켜 부정확한 예측이나 ID 전환(identity switches)을 유발할 수 있는 반면, 희소한 활성화는 정보가 풍부한 운동 응답을 보존할 수 있습니다. 핵심 과제는 ASP를 공식적으로 설명하고, 정확도를 희생하지 않으면서 이러한 희소성을 경쟁력 있는 추적 성능으로 전환할 수 있는 모델 아키텍처를 설계하는 것입니다.

방법론

저자들은 MOT를 위한 최초의 스파이크 기반 트래커인 SpikingMOT를 제안하며, 이는 스파이킹 신경망(SNN)을 활용하여 희소한 궤적 역학을 적응적으로 모델링합니다. 이 프레임워크는 상태 조건부 희소 게이팅(state-conditioned sparse gating)이 동일한 활성화율 하에서 상태 독립적 드롭아웃(state-independent dropout)보다 이론적으로 나쁘지 않다는 통찰을 바탕으로 구축되었습니다.

SpikingMOT는 추적 과정을 두 가지 교차하는 뇌 모사 최적화 단계로 분해합니다.

1. 모션 기저 분해 (Motion-Basis Decomposition)

단일한 밀집 예측 대신, SpikingMOT는 각 궤적 상태를 **의사 궤적 기저(pseudo-trajectory bases)**로 분해합니다.

집단 코딩 (Population Coding): 생물학적 집단 코딩에서 영감을 받아, 인코딩된 운동 상태는 $K$ 개의 기저 조건부 운동 응답으로 분해됩니다.
스파이크 게이트 재구성 (Spike-Gated Reconstruction): 밀집한 기저 사후 확률(dense basis posterior)이 인코딩되어 누설 적분 발화(Leaky Integrate-and-Fire, LIF) 뉴런을 통과합니다. 막 역학(membrane dynamics)은 스파이크가 방출될지 여부를 결정합니다.
희소 선택 (Sparse Selection): 방출된 스파이크는 게이트 역할을 하여, 정보가 풍부한 운동 기저의 하위 집합을 선택하고 나머지는 억제합니다. 이를 통해 현재 프레임에 대해 관련 있는 운동 가설만이 활성화되는 "의사 궤적"이 생성됩니다.

2. 예측 오차 교정 (Prediction-Error Calibration)

선택된 응답을 새로운 관측값에 적응시키기 위해, 시스템은 예측 코딩 루프를 사용합니다.

잔차 계산 (Residual Calculation): 예측된 박스를 검출(detection)과 연관시킨 후(또는 학습 중에는 ground truth와 연관), 시스템은 스케일 정규화된 박스 잔차(예측 오차)를 계산합니다.
교정 헤드 (Calibration Head): 이 잔차는 현재 상태 및 스파이크 게이트와 함께 교정 헤드로 입력됩니다. 이 헤드는 모든 운동 기저에 대한 로짓 보정값(logit correction)을 예측합니다.
사후 확률 업데이트 (Posterior Update): 보정값은 운동 기저의 사후 확률을 업데이트하며, 이 값은 다음 프레임( $f+1$ )의 예측을 교정하기 위해 전달됩니다. 이는 예측 오차가 미래의 운동 역학 선택을 주도하는 폐쇄 루프를 형성합니다.

전체 손실 함수는 박스 예측 손실과 스파이크 희소성 및 기저 다양성을 위한 정규화 항을 결합하여, 모델이 효율적이고 희소한 운동 분포를 학습하도록 보장합니다.

주요 기여

ASP 현상: 본 논문은 MOT에서의 활성화 희소성 선호를 탐구하고 공식화하며, 집단 코딩 및 예측 코딩 이론을 통해 생물학적 타당성을 제공합니다.
SpikingMOT 아키텍처: SNN을 활용하여 운동 예측을 위한 적응형 희소 활성화를 제공하는 최초의 스파이크 기반 MOT 트래커를 도입합니다.
뇌 모사 전략: 저자들은 구조화된 운동 표현을 위한 의사 궤적 분해와 온라인 적응을 위한 예측 오차 교정으로 구성된 새로운 전략을 제안하여 효과적인 희소 선택을 가능하게 합니다.
효율성 및 성능: 광범위한 실험을 통해 SpikingMOT가 계산 비용을 크게 줄이면서도 최첨단(SOTA) 성능을 달성함을 입증했습니다.

실험 결과

저자들은 DanceTrack, SportsMOT, SeaDroneSee, MOT17의 네 가지 벤치마크에서 SpikingMOT를 평가했습니다.

성능:
- SportsMOT에서 SpikingMOT는 HOTA 74.9를 달성하여, MambaTrack(72.6)과 같은 밀집 ANN 베이스라인을 능가했습니다.
- DanceTrack에서 HOTA 56.5를 달성하여 이전 방법들을 넘어섰습니다.
- 이 모델은 특히 복잡하고 비선형적인 운동(SportsMOT)과 혼잡한 상호작용(DanceTrack)이 있는 시나리오에서 강점을 보였으며, 밀집 모델이 ID 전환을 겪는 상황에서도 일관된 ID를 유지했습니다.
효율성:
- 베이스라인인 MambaTrack과 비교했을 때, SpikingMOT는 파라미터를 72% 줄이고 에너지 소비를 86.7% 절감했습니다.
- 모델은 훨씬 적은 수의 활성 유닛(예: 8개의 기저를 가진 15.4%의 스파이크 발화율)을 사용하면서도 이러한 이득을 달성했습니다.
절제 연구 (Ablation Studies):
- 실험을 통해 단순한 희소성 메커니즘(예: 랜덤 드롭아웃, $\ell_1$ 프루닝)은 제안된 스파이크 게이트 분해 및 교정과 동일한 이점을 제공하지 못함을 확인했습니다.
- LIF 뉴런 유형이 시간적 메모리와 최적화 복잡성 사이에서 최적의 균형을 제공한다는 것을 발견했습니다.
- 이 방법은 다양한 검출기(SpikeYOLO 및 YOLOX 변형)에 걸쳐 일반화 능력을 보여주었습니다.

의의 및 주장

본 논문은 SpikingMOT가 SNN을 다중 객체 추적 영역으로 가져와 효율적인 추적의 유망한 방향을 열었다고 주장합니다. 주요 의의는 희소성이 운동 추론을 위한 학습 가능한 원리임을 입증한 데 있습니다.

저자들의 주장은 다음과 같습니다:

밀집한 활성화가 궤적 예측에 반드시 필요한 것은 아니며, 실제로 희소하고 적응적인 게이팅이 중복된 운동 단서에 대한 강건성을 향상시킬 수 있습니다.
제안된 뇌 모사 루프(분해 + 교정)는 복잡한 운동 역학을 처리하기 위해 생물학적 메커니즘을 효과적으로 모사합니다.
현재의 에너지 추정치는 연산 횟수에 기반하고 있으나, 결과는 이러한 모델을 뉴로모픽 하드웨어에 배포할 경우 훨씬 더 큰 효율성 이득을 얻을 수 있음을 시사합니다.

결론적으로, 본 논문은 향후 연구가 이러한 모델을 뉴로모픽 칩에 배포하고 실제 환경의 스파이크 카메라 데이터로 평가하는 데 집중해야 한다고 제언합니다.