FeNN-DMA: A RISC-V SoC for SNN acceleration

기술 요약: FeNN-DMA – SNN 가속을 위한 RISC-V SoC

문제 정의
스파이킹 신경망(SNN)은 키워드 탐지나 비디오 분류와 같은 시공간적 작업에 있어 표준 인공 신경망(ANN)의 유망하고 에너지 효율적인 대안을 제공한다. 그러나 SNN은 이벤트 기반 통신 특성상 연산 강도(arithmetic intensity)가 낮아, 밀집 행렬 곱셈에 최적화된 GPU나 TPU와 같은 고처리량 가속기와는 맞지 않는다. ASIC 및 FPGA와 같은 전용 하드웨어가 개발되어 왔으나, 기존의 FPGA 기반 솔루션들은 종종 상당한 트레이드오프 문제에 직면한다. 많은 솔루션이 특정하고 단순한 뉴런 모델(예: Leaky Integrate-and-Fire)과 ANN에서 변환된 이미지 기반 데이터셋(예: MNIST)에 맞춰져 있어, 최첨단 SNN 연구에 필요한 복잡하고 재귀적이며 지연(delay)이 풍부한 아키텍처를 지원하지 못한다. 또한 외부 메모리를 지원하는 시스템은 레이턴시 병목 현상을 겪는 경우가 많은 반면, 온칩 메모리에만 의존하는 시스템은 현대적 모델에 필요한 뉴런 및 시냅스 수를 수용할 만큼 확장하기 어렵다.

방법론
저자들은 AMD UltraScale+ FPGA(구체적으로 Kria KV260 개발 키트)에서 SNN 시뮬레이션을 위해 설계된, RISC-V 아키텍처 기반의 완전 프로그래밍 가능한 시스템 온 칩(SoC)인 FeNN-DMA를 제시한다. 이 설계는 프로그래밍 가능성과 메모리 제한적 성능 사이의 균형을 맞추기 위해 전용 DMA 컨트롤러가 결합된 커스텀 벡터 프로세서를 통합한다.

• 아키텍처: 이 SoC는 긴밀하게 결합된 스칼라 코어(CV32E40x)와 32-레인, 512비트 폭의 벡터 코프로세서(VEC)를 특징으로 한다. VEC는 마스크드 덧셈(masked addition), 확률적 반올림(stochastic rounding), 난수 생성과 같은 SNN 연산을 위한 특수 명령어를 포함하는 3단계 파이프라인 프로세서이다.
• 메모리 계층 구조: SNN의 메모리 제한적 특성을 해결하기 위해, FeNN-DMA는 하이브리드 메모리 접근 방식을 사용한다. 대규모 벡터 데이터(가중치 및 뉴런 상태)를 위해 고밀도 UltraRAM(URAM) 블록을 사용하고, 명령어 메모리 및 "레인 로컬(lane-local)" 메모리에는 BlockRAM(BRAM)을 사용한다. 레인 로컬 메모리는 인덱스 기반 로드를 지원하여, 연산을 여러 사이클에 걸쳐 직렬화하지 않고도 희소 연결성(sparse connectivity)과 시냅스 지연을 효율적으로 처리할 수 있게 한다.
• DMA 컨트롤러: 맞춤형 DMA 컨트롤러는 4GB의 오프칩 DDR4 메모리와 온칩 버퍼 간의 데이터 스트리밍을 관리한다. 이는 메모리 전송 레이턴시를 연산과 중첩시켜, 시스템이 온칩 메모리 용량보다 큰 모델을 시뮬레이션할 수 있도록 한다.
• 소프트웨어 스택: 저자들은 Python 기반 툴체인인 PyFeNN을 개발했다. 이를 통해 사용자는 C 유사 언어로 뉴런 모델을 정의하고, PyTorch와 유사한 구문으로 SNN 토폴로지를 정의하거나 Neuromorphic Intermediate Representation(NIR)에서 모델을 가져올 수 있다. 툴체인은 이러한 기술들을 최적화된 RISC-V 벡터 코드로 컴파일한다.
• 알고리즘: 시스템은 밀집(dense), 희소(sparse), 지연(delayed) 연결성에 대해 최적화된 알고리즘을 구현한다. 희소 연결성의 경우, 스파이크 비트필드를 반복 탐색하고 레인 로컬 메모리를 활용하여 타겟 뉴런 입력을 분산함으로써 벡터 레인 전체에서 병렬로 연결을 처리한다.

주요 기여

1. 업데이트된 FeNN 코어: 시냅스 지연과 희소 연결성을 지원하기 위한 레인 로컬 메모리를 갖춘 향상된 벡터 프로세서와, SNN 연산(예: VANDADD, VRNG, 반올림을 포함한 VMUL)에 최적화된 커스텀 명령어 세트(Table 1)를 제공한다.
2. 맞춤형 DMA 컨트롤러: 가중치를 오프칩 메모리에서 온칩 버퍼로 효율적으로 스트리밍하여, 메모리 레이턴시를 숨기면서 대규모 네트워크(코어당 최대 2억 5,600만 개의 시냅스)를 시뮬레이션할 수 있게 하는 전용 컨트롤러이다.
3. PyFeNN 프레임워크: SNN 모델 정의와 하드웨어 배포 사이의 간극을 메우는 고수준 프로그래밍 환경으로, NIR 임포트 및 고정 소수점 양자화를 지원한다.
4. 확장 가능한 SoC 설계: Kria KV260 상에서 단일 및 듀얼 코어 FeNN-DMA 시스템을 구현하였으며, 코어당 최대 16,000개의 뉴런을 시뮬레이션할 수 있다.

결과

• 성능 및 자원: 단일 코어 FeNN-DMA는 175 MHz의 동작 주파수를 달 achieves 한다. 자원 사용량(LUT, FF, BRAM) 측면에서 고정 기능 가속기와 유사하지만, 훨씬 더 많은 뉴론과 시냅스를 지원한다. 밀집 연결성에서의 원시 처리량(0.92 GSOP/s)은 일부 고정 기능 시스템(47 GSOP/s 초과 가능)보다 낮지만, 훨씬 뛰어난 유연성과 확장성을 제공한다.
• 분류 정확도: 시스템은 까다로운 벤치마크에서 최첨단 정확도를 입증했다:
  • Spiking Heidelberg Digits (SHD): 훈련 가능한 시냅스 지연을 가진 재귀 네트워크에서 90.32%의 정확도를 달성하여, 이 데이터셋에 대해 평가된 다른 FPGA 기반 접근 방식들을 능가했다.
  • Neuromorphic MNIST (N-MNIST): 극도로 희소한(99% 희소도) 재귀 모델을 사용하여 98.46%의 정확도를 달아냈으며, 이는 이전 FPGA 연구들의 밀집 모델보다 우수한 수치이다.
  • Braille Tactile Classification: NIR에서 임포트된 모델을 사용하여 92.86%의 정확도를 달성했으며, 이는 최고의 소프트웨어 백엔드와 대등한 수준이다.
• 확장성: 시스템은 희소 연결성을 사용할 때 최대 16,000개의 뉴런을 가진 균형 잡힌 랜덤 네트워크를 실시간보다 빠른 속도로 시뮬레이션할 수 있다. 희소 처리를 위한 측정된 처리량은 3.72 GSOP/s(75% 희소도 기준)에 도달하여, 고정 기능 하드웨어 대비 낮은 연산당 효율성을 효과적으로 보완했다.

의의 및 주장
본 논문은 FeNN-DMA가 FPGA 상에서 유연하고 용량이 큰 SNN 가속을 향한 중요한 진전임을 주장한다. RISC-V 벡터 아키텍처를 커스텀 DMA 컨트롤러 및 고수준 소프트웨어 스택과 결합함으로써, 이 시스템은 범용 프로세서의 프로그래밍 가능성과 전용 가속기의 효율성 사이의 간극을 메운다.

저자들은 자신들의 접근 방식이 (소프트웨어 기반 스파이크 전파 루프로 인해) 고정 기능 시스템보다 3~4배의 처리량 차이가 있음을 인정하면서도, 외부 메모리로부터 데이터를 스트리밍하고 대규모의 복잡한 모델을 지원할 수 있는 능력이 이 시스템을 최첨단 SNN 추론을 위한 실용적인 솔루션으로 만든다고 강조한다. 본 연구는 FPGA 상의 프로그래머블 벡터 아키텍처가 차세대 뉴로모픽 연구에 필요한 유연성을 제공하면서도 경쟁력 있는 에너지 효율과 자원 사용량을 달성할 수 있음을 보여준다.