Heterogeneous SoC Integrating an Open-Source Recurrent SNN Accelerator for Neuromorphic Edge Computing on FPGA

기술 요약: FPGA 기반 뉴로모픽 엣지 컴퓨팅을 위한 오픈소스 재귀적 SNN 가속기를 통합한 이종 SoC

문제 제기
스파이크 신경망 (SNN) 의 확산은 생물학적 스파이크 기반 처리를 모방할 수 있는 뉴로모픽 아키텍처 개발을 촉진했습니다. SNN 은 에너지 효율성과 병렬 컴퓨팅 측면에서 상당한 장점을 제공하지만, 실리콘 테이프아웃의 prohibitive 비용으로 인해 광범위한 채택이 저해되고 있습니다. 또한 기존 뉴로모픽 하드웨어는 종종 오픈소스 설계와 유연한 프로토타이핑에 대한 접근성이 부족합니다. 중요한 아키텍처적 과제는 독립형 SNN 가속기의 제어입니다. 외부 컨트롤러에 의존하는 솔루션은 엣지 응용 분야에서 가장 중요한 에너지 효율성 측면에서 종종 최적이지 않습니다. 따라서 오픈소스 하드웨어 개발과 커스텀 실리콘 비용 없이 엣지 배포를 용이하게 하기 위해 로컬 컨트롤러와 SNN 가속기를 통합한 유연하고 비용 효율적인 플랫폼이 필요합니다.

방법론
저자들은 Xilinx Zynq-7020 (XC7Z020) FPGA(PYNQ-Z2 보드) 에서 구현된 이종 시스템 온 칩 (SoC) 설계를 제시하며, 여기에는 오픈소스 재귀적 SNN(RSNN) 가속기인 ReckOn과 두 가지 다른 제어 아키텍처가 통합되어 있습니다. ReckOn 가속기는 로컬 공간 및 시간 학습을 위한 e-prop 알고리즘을 활용하여 최대 256 개의 입력/재귀적 누적 누출 (LIF) 뉴런과 16 개의 출력 누적 (LI) 뉴런을 지원합니다.

두 가지 이종 구성이 Xilinx Zynq-7020 (XC7Z020) FPGA(PYNQ-Z2 보드) 에서 합성되었습니다:

1. X-HEEP 마이크로컨트롤러 통합:

   • 컨트롤러: 독립형 디지털 시스템으로 합성된 오픈소스 RISC-V 기반 마이크로컨트롤러 (X-HEEP).
   • 인터페이스: X-HEEP 은 SPI 주변 장치를 통해 ReckOn 가속기를 제어합니다.
   • 데이터 처리: 훈련 및 테스트 데이터셋은 블록 RAM(BRAM) 에 저장되며 비트파일 작성 시 초기화됩니다. 유한 상태 기계 (FSM) 로 구현된 주소 이벤트 표현 (AER) 디코더는 메모리에서 32 비트 단어를 스파이크 이벤트로 디코딩하고 가속기와의 핸드셰이크를 관리합니다.
   • 동작: 시스템은 "베어 메탈 (bare metal)" 환경에서 작동하여 파라미터 뱅크의 구성과 추론/훈련 주기의 실행을 관리합니다.

2. ARM 프로세서 통합 (Zynq SoC):

   • 컨트롤러: 리눅스 기반 OS(PetaLinux) 를 실행하는 ARM Cortex-A9 프로세싱 시스템 (PS).
   • 인터페이스: PS 는 메모리 매핑 AXI 인터페이스 (AXI-QUADSPI, AXI-BRAM, AXI-GPIO) 를 통해 프로그래머블 로직 (PL) 에 구현된 ReckOn 가속기를 제어합니다.
   • 데이터 처리: BRAM 용량 제한을 극복하기 위해 이 아키텍처는 배치 오프로딩 메커니즘을 사용합니다. 데이터셋은 PS 메모리에 저장된 후 배치 단위로 PL BRAM 으로 전송됩니다.
   • 동작: AER 디코더는 배치 처리를 지원하도록 수정되어 ARM 컨트롤러와 조율하기 위해 새로운 FSM 상태 (예: END_B, NEW_BATCH) 와 신호를 도입했습니다. 이를 통해 더 큰 작업과 더 복잡한 데이터셋의 실행이 가능해졌습니다.

주요 기여

• 이종 통합: RISC-V 기반 마이크로컨트롤러 (X-HEEP) 와 상용 ARM 기반 SoC 모두와 ReckOn RSNN 가속기의 성공적인 통합을 통해 뉴로모픽 엣지 컴퓨팅을 위한 유연한 생태계를 입증했습니다.
• 오픈소스 검증: FPGA 에서 ReckOn 가속기를 검증하여 원래의 실리콘 테이프아웃 구현과 동등함을 확인했습니다.
• 확장 가능한 아키텍처: 마이크로컨트롤러 전용 접근법의 주요 한계를 해결하기 위해 FPGA 온칩 메모리보다 큰 데이터셋을 처리하기 위해 배치 오프로딩을 활용하는 ARM 제어 아키텍처를 개발했습니다.
• 온라인 학습 시연: 실제 세계 데이터셋 (점자 숫자) 에서 e-prop 알고리즘을 사용하여 온칩 학습 기능을 FPGA 에서 직접 구현하고 평가했습니다.

결과
저자들은 리소스 활용 분석과 정확도 벤치마크를 통해 설계를 검증했습니다:

• 리소스 활용:
  • X-HEEP 구현은 사용 가능한 LUT 의 약 91.1% 와 BRAM 의 71.07%(데이터셋 저장으로 인해) 를 활용하여 추가 IP 를 위한 공간이 제한적이었습니다.
  • ARM 기반 구현은 LUT 의 77.7% 와 BRAM 의 86.07% 를 활용했습니다. 컨트롤러를 PS 로 오프로딩함으로써 이 설계는 리소스를 확보하고 더 유연한 구성을 가능하게 했습니다.
• 정확도 검증 (이진 결정 내비게이션):
  • FPGA 구현체는 Cue Accumulation 데이터셋을 사용하여 원래 실리콘 테이프아웃 결과 및 RTL 시뮬레이션과 비교되었습니다.
  • X-HEEP: 92.4% 의 훈련 정확도와 96.8% 의 검증 정확도를 달성했습니다.
  • ARM: 92.2% 의 훈련 정확도와 96.4% 의 검증 정확도를 달성했습니다.
  • 실리콘 참조: 96.4% 의 정확도를 보고했습니다.
  • 결과는 FPGA 구현과 실리콘 테이프아웃 사이에 유의미한 차이가 없음을 확인했습니다.
• 온라인 학습 (점자 숫자 분류):
  • 시스템은 점자 숫자 데이터셋의 부분 집합 (12 개 입력 센서) 에서 테스트되었습니다.
  • 3 클래스 부분 집합 (A, E, U): 200 에포크 후 테스트 세트에서 90% 의 정확도를 달성했습니다.
  • 4 클래스 부분 집합: 클래스 {A, E, U, Space} 에 대해 78.8% 의 정확도, {A, E, O, U} 에 대해 60% 의 정확도를 달성했습니다.

의의
본 논문은 FPGA 를 대상으로 하는 것이 오픈소스 뉴로모픽 하드웨어 설계를 개발하고 확산시키기 위한 실리콘 테이프아웃의 실현 가능하고 비용 효율적인 대안을 제공한다고 주장합니다. 가속기를 전통적인 프로세서 (RISC-V 와 ARM 모두) 와 통합함으로써 저자들은 에너지 효율성을 위해 로컬 제어가 필요한 엣지 컴퓨팅 응용 분야를 위한 실용적인 경로를 입증했습니다. 이 작업은 FPGA 기반 구현이 커스텀 칩 제작 없이 점자 숫자 인식과 같은 다양한 데이터셋에서 온라인 학습 작업을 실행할 수 있는 유연성을 제공하면서도 실리콘 대응품의 정확도와 일치할 수 있음을 검증합니다. 저자들은 향후 작업이 Neuromorphic Intermediate Representation(NIR) 프레임워크에서 평가된 최신 뉴로모픽 하드웨어와의 완전한 비교를 포함할 것이라고 언급했습니다.