SiLIF: Structured State Space Model Dynamics and Parametrization for Spiking Neural Networks

1. 문제 정의 (Problem)

• 스파이크 신경망 (SNN) 의 불안정성: 기존 SNN 은 이진 스파이크 (sparse binary activations) 와 비선형 피드백 (리셋) 을 통해 저전력 및 이벤트 기반 처리가 가능하지만, 시간 역전파 (BPTT) 를 통한 학습 시 기울기 소실 (vanishing) 및 폭발 (exploding) 과 포화 현상으로 인해 학습이 불안정해지고 확장성이 떨어지는 문제가 있습니다.
• 기존 모델의 한계: 적응형 누적 - 방전 (AdLIF) 이나 공명 - 방전 (RF) 같은 2 차 스파이크 뉴런 모델들은 성능이 향상되었으나, 여전히 최적의 성능 (SOTA) 에 미치지 못하거나 학습 안정성이 부족합니다.
• SSM 과 SNN 의 괴리: 최근 장시퀀스 모델링에서 뛰어난 성능을 보이는 구조화된 상태 공간 모델 (SSM, 예: S4, S4D) 은 선형 재귀 동역학과 안정적인 학습 기법을 갖추고 있으나, 이를 SNN 의 비선형 스파이크 동역학과 효율적으로 결합하여 SNN 의 성능을 극대화하는 방법은 부족했습니다.

2. 방법론 (Methodology)

저자들은 SSM 의 안정적인 학습 동역학과 파라미터화 기법을 SNN 의 뉴런 모델에 적용하여 두 가지 새로운 뉴런 모델을 제안했습니다.

A. SiLIF (SSM-Inspired LIF) 모델

• 기반: 적응형 누적 - 방전 (AdLIF) 뉴런을 기반으로 합니다.
• 핵심 기법:
  1. 연속 영역 파라미터화: 이산적인 감쇠 상수 ($\alpha, \beta$) 대신, S4 모델에서 사용하는 연속 영역의 상태 공간 변수 ($\lambda = \tau^{-1}$) 를 학습 가능한 파라미터로 사용합니다.
  2. 학습 가능한 시간 단계 ($\Delta t$): 고정된 시간 단계를 각 뉴런마다 학습 가능한 파라미터로 정의하여 다양한 전이 동역학 regimes 를 커버할 수 있게 합니다.
  3. 로그 재파라미터화 (Logarithmic Reparametrization): $\alpha, \beta, \Delta t$ 를 로그 도메인에서 학습하여 ($\exp(\cdot)$ 변환), 기울기 소실/폭발 문제를 방지하고 수치적 안정성을 확보합니다. 이는 명시적인 클램핑 없이도 $0 \le \alpha, \beta \le 1$ 범위를 자연스럽게 유지하게 합니다.

B. C-SiLIF (Complex-valued SSM-Inspired LIF) 모델

• 기반: 공명 - 방전 (Resonate-and-Fire, RF) 뉴런을 SSM 관점에서 재설계합니다.
• 핵심 기법:
  1. 복소수 상태 공간: S4D 와 유사하게 복소수 상태 ($x = x_{real} + i x_{img}$) 를 도입하여 진동 (oscillatory) 동역학을 자연스럽게 구현합니다. 이는 2x2 실수 행렬 구조로 매핑됩니다.
  2. S4D-Lin 초기화: S4D 모델에서 유도된 직교 다항식 프로젝션 기반 초기화 기법을 적용하여 최적의 상태 동역학을 확보합니다.
  3. 리셋 메커니즘: 스파이크 발생 시 상태 공간에 피드백을 주되, 복소수 상태의 특성 (출력이 실수부의 2 배) 을 고려하여 스파이크 값의 절반을 피드백하는 일관된 메커니즘을 도입합니다.

C. 시냅스 지연 (Synaptic Delays)

• 학습 가능한 시냅스 지연을 도입하여 모델의 시간적 처리 능력을 향상시켰으며, 이는 SNN 의 효율성을 유지하면서 성능을 추가적으로 높이는 데 기여했습니다.

3. 주요 기여 (Key Contributions)

1. 이론적 연결 고리: SSM 과 SNN 간의 이론적 다리를 구축하여, 공유되는 학습 동역학과 SNN 고유의 리셋 메커니즘이 어떻게 결합될 수 있는지를 규명했습니다.
2. 새로운 뉴런 모델 제안: SSM 에서 영감을 받은 동역학과 파라미터화 (로그 재파라미터화, 학습 가능한 $\Delta t$, 복소수 상태 등) 를 통합한 SiLIF와 C-SiLIF 두 가지 모델을 제안했습니다.
3. 성능 및 효율성 극대화: 오디오 분류 태스크에서 기존 SNN 모델들을 능가하는 새로운 SOTA 성능을 달성했습니다. 특히, 시냅스 지연을 활용한 SiLIF+Delays 모델은 SSM 기반 모델들보다 계산 비용 (Synaptic Operations, SOP) 을 절반으로 줄이면서도 더 높은 정확도를 달성했습니다.
4. 동역학 regimes 확장: 제안된 모델들은 고유값 분포를 실수 축뿐만 아니라 복소 평면 전체로 확장하여, 기존 모델이 구현하기 어려웠던 진동 (oscillatory) 및 다양한 동역학 regimes 를 학습할 수 있게 했습니다.

4. 실험 결과 (Results)

• 데이터셋: 이벤트 기반 데이터 (SHD, SSC) 와 원시 오디오 데이터 (GSC) 를 사용하여 평가했습니다.
• 정확도:
  • SSC (이벤트 기반): SiLIF (4ms) 가 82.03% 의 정확도로 기존 SOTA 를 상회했습니다.
  • GSC (원시 오디오): SiLIF + Delays 모델이 95.88% 의 정확도로 SNN 기반 SOTA 를 달성했습니다.
  • SHD: C-SiLIF 가 95.55% 의 정확도를 기록했습니다.
• 효율성 (Accuracy-Efficiency Trade-off):
  • S4D, SpikingSSM, Mamba 등 최신 SSM 모델들과 비교했을 때, 제안된 SiLIF 모델은 **동일한 정확도 수준에서 훨씬 적은 연산량 (SOP)**을 요구했습니다.
  • 특히, SiLIF + Delays 는 S4D 모델의 약 1/2 계산 비용으로 더 높은 정확도를 달성하여 파레토 최적 (Pareto-optimal) 성능을 보였습니다.
  • Event-SSM 과 같은 밀집형 (dense) 모델에 비해 SNN 의 이점인 희소성 (sparsity) 을 유지하며 효율성을 극대화했습니다.

5. 의의 및 결론 (Significance)

• 에지 컴퓨팅 및 뉴로모픽 하드웨어: 제안된 모델은 저전력 뉴로모픽 하드웨어에서 장시퀀스 및 실시간 오디오 처리를 위한 이상적인 솔루션을 제공합니다. SSM 의 강력한 모델링 능력과 SNN 의 에너지 효율성을 동시에 확보했습니다.
• 학습 안정성 혁신: 로그 재파라미터화와 학습 가능한 시간 단계 도입은 SNN 학습의 불안정성을 해결하는 새로운 패러다임을 제시했습니다.
• 미래 전망: 이 연구는 SSM 과 SNN 의 융합을 통해 에지 디바이스에서의 고성능 신경망 시스템 구축을 위한 새로운 길을 열었으며, 향후 다른 신경망 아키텍처나 감각 처리 작업으로 확장될 수 있는 가능성을 보여줍니다.

요약하자면, 이 논문은 SSM 의 구조적 안정성과 SNN 의 에너지 효율성을 결합하여, 기존 SNN 의 학습 한계를 극복하고 오디오 인식 태스크에서 최고의 성능과 효율성을 동시에 달성한 획기적인 뉴런 모델을 제시했습니다.