기술 요약: 동적 감쇠(Dynamic Decay)를 통한 스파이킹 신경망의 병렬 학습

1. 문제 정의

스파이킹 신경망(SNN)은 뉴로모픽 하드웨어에 적합한 에너지 효율적이고 이벤트 기반인 연산을 제공한다. 그러나 대규모 SNN을 학습시키는 것은 여전히 큰 과제이며, 특히 현대적인 GPU에서의 병렬 학습 효율성이 주요 문제다.

핵심 병목 현상은 표준 스파이킹 뉴런(예: Leaky Integrate-and-Fire, LIF)에 내재된 **리셋 메커니즘(reset mechanism)**이다. 뉴런이 발화할 때 막 전위(membrane potential)가 리셋되는데, 이는 복잡한 시간적 의존성을 생성하여 모든 타임스텝을 동시에 계산하는 것을 방해한다. 병렬 학습을 가능하게 하는 기존 방식들은 크게 두 가지 범주로 나뉘며, 각각 한계를 지닌다:

1. 리셋 유지(Retaining Reset): 공간적 의존성과 시간적 의존성을 분리하는 방식(예: 역전파 시 시간적 의존성을 제거하거나 단일 단계 사전 학습을 사용하는 방식)은 종종 학습 품질을 저하시키거나 병렬성을 완전히 활용하지 못한다.
2. 리셋 제거(Removing Reset): 병렬 계산을 허용하기 위해 리셋 메커니즘을 제거하는 Parallel Spiking Neuron(PSN)과 같은 방식들이다. 그러나 이러한 접근 방식은 흔히 다음과 같은 문제를 겪는다:
   • 바닐라 스파이킹 뉴런의 직렬 추론(serial inference) 능력을 희생시킨다. 이는 효율적이고 안정적이며 긴 시퀀스에 대한 외삽(extrapolation)에 필수적이다.
   • 리셋 메커니즘의 기능적 역할(비선형성 도입 및 막 전위 제어)을 충분히 보존하지 못하여 성능 상한선이 낮아지거나 불안정성을 초래한다.

본 논문은 성공적인 병렬 스파이킹 뉴런이라면 병렬 학습(효율성을 위해)과 직렬 추론(효율성 및 외삽을 위해)을 동시에 지원해야 하며, 리셋 메커니즘의 생물학적 기능을 보존하거나 강화해야 한다고 주장한다.

2. 방법론: 동적 감쇠 스파이킹 뉴런 (Dynamic Decay Spiking Neuron, DSN)

저자들은 리셋 메커니즘에 대한 새로운 기능적 분석을 바탕으로 **동적 감쇠 스파이킹 뉴런(DSN)**을 제안한다.

2.1 리셋의 기능적 분석

본 논문은 바닐라 스파이킹 뉴런에서 리셋 메커니즘의 두 가지 주요 기능을 식별한다:

1. 비선형성 도입: 리셋은 막 전위와 입력 이력(input history) 사이의 비선형 관계를 생성한다. 리셋이 없다면 막 전위 업데이트는 입력들의 선형 결합이 된다.
2. 막 전위 제어: 리셋은 막 전위를 적절한 범위 내로 제한함으로써 "막 전위 폭발"과 끊임없는 발화를 방지한다. 이는 다음과 같이 특징지어진다:
   • $\Delta$-단기 제어: 큰 입력의 영향을 짧은 시간 창(time window)으로 제한한다.
   • 장기 제어: 작은 누적 입력 하에서도 막 전위가 유계(bounded)를 유지하도록 보장한다.

저자들은 기존의 병렬 뉴런들이 이러한 기능들을 효과적으로 재현하지 못하거나 직렬 추론 능력을 상실한다고 주장한다.

2.2 병렬 학습 및 직렬 추론을 위한 조건

두 모드를 모두 지원하는 뉴런을 설계하기 위해, 본 논문은 세 가지 구조적 조건을 설정한다:

1. 접두사 요약 가능성(Prefix Summarizability): 시간 $t$에서의 출력은 오직 입력 $X_{1:t}$의 접두사에만 의존해야 한다.
2. 온라인 업데이트 가능성(Online Updatability): 내부 상태는 이전 상태와 현재 입력만을 사용하여 재귀적으로 업데이트될 수 있어야 한다(직렬 추의를 가능하게 함).
3. 오프라인 병렬화 가능성(Offline Parallelizability): 전체 입력 시퀀스가 주어졌을 때 시퀀스 상태들을 병렬로 계산할 수 있어야 한다(병렬 학습을 가능하게 함).

2.3 DSN 아키텍처

DSN은 하드/소프트 리셋 메커니즘을 입력 이력으로부터 유도된 동적 감쇠 인자 $\alpha_t$로 대체한다.

• 리셋 제거: 막 전위 업데이트 방정식에서 리셋 항을 제거한다.
• 동적 감쇠: 표준 LIF의 상수 감쇠 인자 $\beta$를 가변적인 $\alpha_t$로 대체한다.
  $$H_t = \alpha_t \odot H_{t-1} + (1 - \alpha_t) \odot X_t$$
  여기서 $\alpha_t$는 최근 입력 이력($X_{t-k+1:t}$)에 대한 **인과적 1D 컨볼루션(causal 1D convolution)**을 통해 계산되며, $0 \le \alpha_t \le 1$을 보장하기 위해 Sigmoid 함수를 통과한다.
• 스파이크 발화: 훈련을 최적화하고 오버헤드를 줄이기 위해 정수 값 스파이크 발화(막 전위를 클리핑 및 반올림)를 사용한다. 단, 이 방법은 이진 발화(binary firing)도 지원한다.

핵심 통찰: 동적 감쇠 $\alpha_t$는 비선형성을 도입하고, 입력에 따라 유연하게 막 전위를 제어(단기 및 장기 제어 모두)할 수 있음을 입증하였으며, 이를 통해 병렬 학습을 위한 구조적 조건을 깨뜨리지 않으면서도 리셋 메커즘의 기능을 효과적으로 재현하고 강화한다.

계산 모드:

• 학습(Training): 반복되는 방정식을 행렬 형태로 펼쳐서(Parallel Scan 알고리즘 사용) 모든 타임스텝을 동시에 계산한다.
• 추론(Inference): 모델은 재귀적 형태(식 9)로 전환되어 최소한의 상태 저장만을 필요로 하며, 이를 통해 직렬 추론의 효율성을 유지한다.

3. 주요 기여

1. 새로운 기능적 관점: 본 논문은 리셋 메커니즘에 대한 체계적인 분석을 제공하여, 그 핵심 기능(비선형성 및 전위 제어)과 기존 병렬 접근 방식이 이러한 기능을 보존하지 못하거나 직렬 추론 능력을 상실하는 한계를 식별하였다.
2. 통찰력 있는 가이드라인에 기반한 설계: 저자들은 세 가지 조건을 만족하면서도 하드/소프트 리셋보다 더 유연하게 리셋 기능을 구현하는 **동적 감쇠 스파이킹 뉴런(DSN)**을 제안한다.
3. 일반성 및 성능: 이 방법은 다양한 네트워크 아키텍처(CNN, Transformer, State Space Models)와 5가지 작업 카테고리(이미지 분류, 뉴로모픽 이벤트 처리, 시계열 예측, 언어 모델링, 강화 학습)에서 일관된 효과를 입증하였다.

4. 실험 결과

저자들은 DSN을 검증하기 위해 종합적인 실험을 수행하였다:

• 학습 효율성: 16k 길이의 시퀀스에서 DSN은 선구적인 Parallel Spiking Neuron(PSN) 대비 25.6배 빠른 학습 속도를 달了.
• 외삽 능력: 2k 길이의 시퀀스로 학습된 모델이 최대 30k 길이의 시퀀스에서도 안정적인 추론을 수행한 반면, 다른 병렬 방식들(Masked PSN 등)은 학습 길이를 넘어서면 실패하였다.
• 작업 성능:
  • 이미지 분류: Sequential CIFAR-10/100에서 SOTA(최고 수준) 결과를 달성하였으며, ImageNet 및 CIFAR10-DVS에서도 병렬 스파이킹 뉴런 중 경쟁력 있는 결과를 보였다.
  • 시계열 예측: 교통 흐름 및 태양광 발전 데이터셋에서 다양한 예측 길이에 대해 베이스라인 SNN 및 Transformer보다 우수한 성능을 보였다.
  • 강화 학습: IDP-v4, Hopper-v4, Walker2d-v4 벤치마크에서 기존 SNN 기반 RL 방법들보다 낮은 분산을 보이며 SOTA 성능을 달성하였다.
  • 언어 모델링: 스파이킹 언어 모델 중 가장 낮은 퍼플렉시티(28.50)를 기록하였다(WikiText-103).
• 에너지 소비: 동적 감쇠로 인한 추가적인 복잡성에도 불구하고, DSN은 바닐라 LIF 및 기존 병렬 뉴런보다 낮은 스파이크 발화율을 보였다. 결과적으로 추정된 총 에너지 소비량은 LIF보다 약간 낮았으며, PSN보다는 현저히 낮았다.

5. 의의 및 주장

본 논문은 DSN이 리셋 메커니즘에 대한 일반적이고 강력한 대안을 제공하며, 학습 효율성과 추론 능력 사이의 트레이드오프를 해결한다고 주장한다. 리셋의 필요성을 리셋 메커니즘 자체로부터 분리하고, 이를 학습 가능한 입력 의존적 동적 감쇠로 대체함으로써, 저자들은 SNN이 현대적인 GPU에서 효율적으로 확장하면서도 스파이킹 뉴런의 생물학적 타당성과 추론 효율성을 유지할 수 있게 하였다.

이 연구는 DSN을 대규모 모델 시대에 필수적인 대규모 고성능 스파이킹 모델 학습을 위한 기초적인 단계로 자리매김한다. 저자들은 자신들의 접근 방식이 단순히 기존 뉴런을 근사하는 것이 아니라, 병렬 및 직렬 계산에 필요한 구조적 제약을 준수하면서도 스파이킹 뉴런의 기능적 역량을 강화하는 것이라고 강조한다.