Gradient-Free Training of Spiking Neural Networks via Low-Rank Evolution Strategies

기술 요약: 저계수 진화 전략을 통한 스파이킹 신경망의 그래디언트 프리 학습

문제 정의
스파이킹 신경망(SNN)은 희소하고 이벤트 기반인 연산을 활용함으로써 뉴로모픽 하드웨어(예: Intel Loihi, IBM TrueNorth)에서 상당한 에너지 효율성 이점을 제공한다. 그러나 SNN을 학습시키는 것은 여전히 주요한 병목 구간이다. 핵심 문제는 스파이크 생성 함수(Heaviside step function)의 비미분적 특성으로 인해 표준 역전파(backpropagation)를 사용할 수 없다는 점이다. 서로가테이트 그래디언트(surrogate-gradient) 방식은 이 미분값을 근사하여 역전파를 가능하게 하지만, 이는 온칩 학습 제약 조건과 호환되지 않는 autograd 인프라에 의존한다. 진화 전략(Evolution Strategies, ES)은 가중치를 섭동(perturbation)시키고 적합도(fitness)를 평가함으로써 그래디언트가 필요 없는 대안을 제공한다. 그러나 표준 ES는 모델 크기에 따라 $O(Pmn)$의 메모리를 세대당 요구하므로($P$는 인구 크기,$m \times n$은 가중치 행렬 차원), 대규모 네트워크에는 부적합하다.

방법론
저자들은 SNN 학습 루프에 ES를 위한 저계수 분해 기법인 Eggroll을 통합할 것을 제안한다.

• 저계수 섭동(Low-Rank Perturbation): 전체 계수 섭동 행렬 $E \in \mathbb{R}^{m \times n}$을 샘플링하는 대신, 이 방법은 섭동을 저계수 곱 $E_i = \frac{1}{\sqrt{r}} A_i B_i^\top$ (여기서 $A_i \in \mathbb{R}^{m \times r}, B_i \in \mathbb{R}^{n \times r}$)로 근사한다. 이를 통해 세대당 메모리 복잡도를 $O(Pmn)$에서$O(r(m+n))$으로 줄인다.
• 결정론적 재구성(Deterministic Reconstruction): 메모리를 추가로 최적화하기 위해, 노이즈 인자($A, B$)를 저장하지 않고 저장된 시드(seed)로부터 카운터 기반의 결정론적 난수 생성기(RNG)를 사용하여 온디맨드 방식으로 재구성한다.
• 학습 루프: Leaky Integrate-and-Fire (LIF) 네트워크를 사용한다. 각 세대 동안, $P$개의 섭동된 네트워크 복사본이 N-MNIST 데이터셋의 미니 배치 상에서 동시에 평가된다. 적합도 신호는 최적화에 더 매끄러운 랜드스케이프를 제공하기 위해 단순 정확도가 아닌 음의 교차 엔트로피(negative cross-entropy, log-likelihood)로부터 유도된다. 그래디언트 추정치는 $(\text{diag}(f)A)^\top B$ 공식을 통해 재구성되며, Adam 옵티마이저를 통해 가중치를 업데이트하는 데 사용된다.
• 데이터셋: 실험에는 ATIS 센서를 MNIST 이미지 위로 이동시켜 생성한 비동기 이벤트 스트림(ON/OFF 극성)을 사용하는 네이티브 뉴로모픽 데이터셋인 N-MNIST를 활용한다. 이는 레이트 코딩(rate-coding) 근사를 위한 가정이 필요 없다.

주요 기여

1. SNN에서의 Eggroll 특성 규명: 본 논문은 Eggroll이 서로가테이트 그래디언트 없이도 SNN을 효과적으로 학습할 수 있음을 입증하며, 이를 통해 서로가테이트 근사 없이 완전한 그래디언트 프리 학습을 가능하게 한다.
2. 계수 절제 연구(Rank Ablation Study): 저자들은 계수 $r$이 감소함에 따라 정확도가 비교적 안정적으로 유지됨을 보여주며, 명확한 효율성-정확도 파레토 프런티어를 식별한다.
3. 원칙적인 평가: 제안된 방법은 정적 MNIST 평가에서 흔히 사용되는 레이트 코딩 근사를 피하기 위해, N-MNIST를 대상으로 바닐라 ES 및 서로가테이트 그래디언트 BPTT와 벤치마킹된다.

실험 결과
실험은 NVIDIA RTX 3070 Ti 환경에서 2개 층의 완전 연결(fully connected) LIF 네트워크를 사용하여 수행되었다.

• 정확도 대비 속도: 제안된 방법은 계수 $r=4$일 때 **79.21%**의 테스트 정확도를 달성했다. 이는 바닐라 ES가 달성한 76.17%와 비교했을 때 미미한 하락이지만, 세대당 실제 실행 시간(wall-clock time) 측면에서는 2.23배 빠른 속도를 보여준다.
• BPTT와의 비교: 서로가테이트 그래디언트 BPTT가 94.03%로 더 높은 정확도를 달성했으나, 훨씬 느렸다 (세대당 31.69초 vs. Eggroll $r=4$의 5.82초).
• 계수 민감도: 가장 좋은 정확도-시간 트레이드오프는 $r=4$에서 관찰되었다. 더 낮은 계수(예: $r=1$)는 78.75%의 정확도로 가장 빠른 실행 시간(3.41초)을 제공했으나, 더 높은 계수는 변동성이 증가했다.
• 수렴성: EGGROLL 변형 모델들은 세대 수준의 수렴 동작은 유사했음에도 불구하고, 실제 실행 시간 측면에서 바닐라 ES보다 약간 더 빠르게 수렴했다.

의의 및 주장
본 논문은 EGGROLL이 서로가테이트 그래디언트나 역전파 인프라에 의존하지 않고 SNN을 학습시킬 수 있는 유효한 방법이라고 주장한다. 이는 현대적 학습 알고리즘과 서로가테이트 그래디언트에 필요한 autograd 메커니즘을 지원할 수 없는 뉴로모픽 하드웨어의 제약 사이의 호환성 격차를 해결한다는 점에서 중요하다.

저자들은 결과에 대해 다음과 같이 겸허한 입장을 유지한다:

• 그들은 제안된 방법(79.21%)과 서로가테이트 BPTT(94.03%) 사이의 정확도 격차를 인정하며, 이를 제한된 계산 예산(100 세대)과 경량화된 2개 층 네트워크 구조 때문으로 돌린다.
• 또한, 이 방법이 아직 실제 뉴로모픽 하드웨어나 CIFAR10-DVS 또는 N-Caltech101과 같은 더 복잡한 데이터셋에 대해 테스트되지 않았음을 언급한다.
• 본 연구는 저계수 진화 전략이 SNN으로 확장 가능하다는 개념 증명(proof-of-concept)을 확립하며, 계산 효율성과 모델 정확도 사이의 명확한 트레이드오프를 제시하여 향후 온칩 학습 응용을 위한 길을 열어준다.