A Multiplication-Free Spike-Time Learning Algorithm and its Efficient FPGA Implementation for On-Chip SNN Training

[기술 요약] 곱셈이 필요 없는 스파이크 시간 기반 학습 알고리즘 및 효율적인 FPGA 구현

1. 문제 정의 (Problem Statement)

스파이킹 신경망(SNN)은 생물학적 뉴런을 모방하여 저전력, 이벤트 기반 연산이 가능하다는 장점이 있지만, 이를 칩 위에서 직접 지도 학습(Supervised Learning)하는 것은 하드웨어적으로 매우 어렵습니다. 기존의 방식들은 다음과 같은 한계를 가집니다:

• 연산 복잡도: 기존의 대리 기울기(Surrogate Gradient) 방식이나 BPTT(Backpropagation Through Time)는 부동 소수점(Floating-point) 곱셈과 대량의 기울기(Gradient) 저장을 필요로 하여 하드웨어 자원을 많이 소모합니다.
• 에너지 효율 저하: 레이트 코딩(Rate-based coding)은 스파이크 밀도가 높아 전력 소모가 크며, 폰 노이만 구조 기반의 GPU/CPU는 이벤트 기반의 시계열 연산에 비효율적입니다.
• 온칩 학습의 부재: 많은 뉴로모픽 칩(Loihi, TrueNorth 등)이 추론(Inference)에는 뛰어나지만, 실시간으로 가중치를 업데이트하는 온칩 학습 기능은 제한적입니다.

2. 제안 방법론 (Methodology)

본 논문은 하드웨어 효율성을 극대화하기 위해 "곱셈이 필요 없는(Multiplication-free)" 방식과 **"단일 스파이크 시간 코딩(Single-spike temporal coding)"**을 결합한 새로운 학습 알고리즘을 제안합니다.

• 순방향 패스 (Forward Pass):
  • 시간 코딩(Latency Coding): 입력 픽셀의 강도를 스파이크가 발생하는 '시간(Latency)'으로 인코딩합니다. 밝은 픽셀일수록 더 빨리 스파이크를 발생시킵니다.
  • Non-leaky IF 뉴런: 입력 스파이크가 들어올 때마다 막 전위(Membrane Potential)를 누적하며, 임계값을 넘으면 단 한 번의 스파이크를 방출합니다.
• 역방향 패스 (Backward Pass - 핵심 기여):
  • 스파이크 시간 기반 역전파: 기울기(Gradient) 정보를 별도의 실수 값으로 저장하는 대신, **'부호가 있는 스파이크 시간(Signed backward spike time)'**으로 변환합니다.
  • 곱셈 제거: 기울기 계산 시 부동 소수점 곱셈 대신 **비트 시프트(Bit-shift)와 덧셈(Addition)**만을 사용하여 가중치를 업데이트합니다.
  • 이벤트 기반 흐름: 오차(Error)를 스파이크의 타이밍과 극성(Positive/Negative)으로 전달하여, 하드웨어적으로 매우 가벼운 이벤트 기반 연산을 구현합니다.

3. 주요 기여 (Key Contributions)

• 알고리즘 혁신: 기울기 정보를 스파이크 지연 시간(Latency)에 인코딩함으로써, 부동 소수점 연산과 명시적인 기울기 저장 공간 없이도 지도 학습이 가능한 알고리즘을 설계했습니다.
• 하드웨어 최적화 설계: FPGA의 자원을 효율적으로 사용하기 위해 순방향과 역방향 패스에서 연산 유닛(Adder tree, BRAM 등)을 공유하는 반공유(Semi-shared) 아키텍처를 구현했습니다.
• 자원 효율성: DSP 슬라이스를 전혀 사용하지 않고 LUT(Look-up Table)와 Flip-Flop만으로 학습 엔진을 구축하여, 기존 연구(HaSiST 등) 대비 압도적인 자원 절감 효과를 거두었습니다.

4. 실험 결과 (Results)

• 정확도 (Accuracy):
  • MNIST 데이터셋에서 3층 구조 기준 **96.5%**의 정확도를 달성하여, 부동 소수점을 사용하는 최신 SNN 알고리즘(S4NN, BS4NN 등)과 대등한 성능을 보였습니다.
  • Fashion-MNIST에서는 84.8%, 8x8 Digits에서는 98.0%를 기록했습니다.
• 하드웨어 성능 (FPGA Implementation - Xilinx Artix-7):
  • 자원 사용량: 기존 HaSiST 대비 역방향 패스에서 LUT 사용량을 약 7.4배 절감하였고, 레지스터 사용량은 2배 줄였습니다.
  • 동작 주파수 (Fmax): 역방향 패스에서 105.3 MHz를 달성하여, 기존 연구(50 MHz) 대비 110.6% 향상된 속도를 보여주었습니다.
  • 처리량 (Throughput): 약 0.452 MFeaPS(Million Features Per Second)를 기록하며 기존 방식보다 높은 처리량을 입증했습니다.

5. 의의 (Significance)

이 연구는 생물학적 영감을 받은 계산 방식과 실제 디지털 하드웨어(FPGA) 사이의 간극을 성공적으로 메웠습니다. 특히 곱셈 없이도 고성능 온칩 학습이 가능함을 증명함으로써, 전력과 자원이 극도로 제한된 에지(Edge) 환경의 뉴로모픽 시스템에서 실시간 학습이 가능한 저전력 AI 가속기를 구현할 수 있는 실질적인 경로를 제시했습니다.