Spiking Neural Network inference on FPGAs with hls4ml

핵심 아이디어: 디지털 뇌에게 "말하기" 대신 "내뱉기"를 가르치기

전통적인 컴퓨터 뇌(인공 신경망)가 라디오에서 끊임없이 흘러나오는 노래처럼 숫자들의 연속적이고 부드러운 흐름으로 대화한다고 상상해 보세요. 이제 다른 종류의 뇌(스파이킹 신경망 또는 SNN)를 상상해 보세요. 이 뇌는 어두운 방 안의 군중처럼 소통합니다. 이들은 계속 말을 하는 대신, 특정한 일이 발생할 때만 소리(하나의 "스파이크")를 냅니다. 소리가 나지 않는 동안 그들은 침묵합니다.

이 "스파이킹" 방식은 시간 기반 정보(오디오나 센서 데이터 등)를 처리하는 데 매우 훌륭합니다. 왜냐하면 본질적으로 효율적이기 때문입니다. 흥미로운 일이 일어나지 않을 때 뇌는 조용히 유지되며 에너지를 아주 적게 사용합니다.

문제점:
보통 이러한 "스파이킹" 뇌는 고유한 규칙에 따라 작동하는 맞춤형 하드웨어(특수 제작된 악기 같은 것)를 위해 설계됩니다. 하지만 많은 실제 과학 장비(입자 검출기나 의료 스캐너 등)는 이미 FPGA라고 불리는 강력한 표준 칩을 사용하고 있습니다. 이 칩들은 엔지니어가 재프로그래밍할 수 있는 "레고 세트"와 같지만, "스파이키한 군중" 스타일이 아닌 "부드러운 라디오" 스타일의 컴퓨팅에 맞춰져 있습니다.

해결책:
저자인 배리 딜런(Barry Dillon)은 다리를 놓았습니다. 그는 파이썬(Python)에서 훈련된 "스파이킹" 뇌를 표준 FPGA가 이해하고 실행할 수 있는 명령어로 번역할 수 있도록, hls4ml이라는 인기 있는 도구(번역기 역할을 함)를 업데이트했습니다.

작동 원리: 공장 조립 라인

이 작업을 표준 칩에서 수행하기 위해, 저자는 "스파이킹" 뇌가 행동하는 방식을 변경해야 했습니다.

1. 클록 구동 방식의 공장:

   • 일반적인 스파이킹 뇌: 혼란스러운 군중처럼 작동합니다. 누군가 소리를 지르면 방 전체가 즉각 반응합니다. 이는 비동기적(asynchronous)입니다(정해진 일정이 없음).
   • 이 새로운 FPGA 뇌: 공장 조립 라인처럼 작동합니다. 매 초마다 벨이 울립니다(클록). 벨이 울리면 모든 작업자는 자신의 노트를 확인하고, 상태를 업데이트하며, 다음 사람에게 패키지를 전달합니다. 설령 아무도 소리를 지르지 않았더라도 조립 라인은 여전히 움직입니다.
   • 이유는? 표준 FPGA는 엄격한 클록(clock)에 따라 작동하도록 만들어졌기 때문입니다. 저자는 스파이킹 뇌가 기존의 공장 워크플로우에 맞게 이 클록에 맞춰 행진하도록 만들었습니다.

2. 뉴런의 "기억":

   • 일반적인 컴퓨터에서 뉴런은 계산기와 같습니다. 숫자를 주면 답을 내놓고, 그 후에는 모든 것을 잊어버립니다.
   • 이 스파이킹 뇌에서 뉴런은 구멍 난 양동이와 같습니다.
     • "스파이크"(물)가 들어오면 양동이가 채워집니다.
     • 양동이가 너무 가득 차면(임계값에 도달하면), 물 한 양동이를 쏟아내고(스파이크를 발사하고) 초기화됩니다.
     • 하지만 스파이크를 발생시키지 않더라도, 물의 높이(내부 상태)는 다음 순간을 위해 그 자리에 남아 있습니다.
   • 저자의 도구는 FPGA 칩 내부에서 이 "물의 높이"를 추적하여 뇌가 몇 초 전의 일을 기억할 수 있게 합니다.

3. "판독" (의사 결정자):

   • 뇌가 데이터 덩어리(예: 사람이 말하는 숫자의 1.4초 오디오 클립)를 처리한 후에는 결정을 내려야 합니다.
   • 논문은 두 가지 결정 방식을 테스트했습니다:
     • 스파이크 횟수(Spike Count): 최종 뉴런들이 얼마나 많이 소리쳤는지 세는 방식.
     • 막 전위 판독(Membrane Readout): 소리를 지르지 않았더라도 최종 양동이가 얼마나 차 있는지 확인하는 방식.
   • 결과: 양동이의 "채워짐 정도"(막 전위 판독)를 확인하는 것이 단순히 소리 지른 횟수를 세는 것보다 더 정확한 것으로 나타났습니다.

실험: 숫자를 인식하도록 뇌를 가르치기

저자는 이 새로운 시스템을 **SHD (Heidelberg Spiking Digits)**라는 데이터셋을 사용하여 테스트했습니다.

• 과제: 컴퓨터는 사람들이 영어와 독일어로 숫어(0~9)를 말하는 녹음본을 듣습니다.
• 입력: 오디오는 "스파이크"(소리의 모스 부호 같은 것) 스트림으로 변환됩니다.
• 설정: 저자는 64개의 뉴런이 있는 하나의 은닉층을 가진 작고 단순한 뇌를 구축했습니다.
• 훈련: 저자는 표준 파이썬 라이브러리인 snnTorch를 사용하여 뇌를 가르쳤으며, 그 후 양자화 인식 훈련(QAT) 기술을 사용했습니다. QAT는 아주 미세한 밀리미터 눈금 대신 큰 눈금만 있는 자를 사용하여 수학을 하도록 뇌를 가르치는 것과 같습니다. 이는 공간을 절약하기 위해 더 단순한 수학을 선호하는 FPGA에 뇌를 적응시키기 위한 준비 과정입니다.

결과: 빠르고, 정확하며, 효율적임

논문은 인상적인 수치들을 보고합니다:

• 속도: FPGA는 1.4초 길이의 오디오 클립 하나를 약 34 마이크로초(microseconds) 만에 처리할 수 있습니다. 이는 믿기 힘들 정도로 빠릅니다. 인간의 눈 깜빡임보다 훨씬 빠릅니다.
• 정확도: 칩에 맞추기 위해 수학을 단순화(낮은 정밀도 사용)했음에도 불구하고, 뇌는 테스트 세트에서 약 74%의 정확도로 숫자를 인식했습니다. 이는 복잡하고 고정밀인 버전의 정확도와 매우 유사합니다.
• 자원 절약: 낮은 정밀도(단순한 수학)를 사용함으로써 칩의 공간을 엄청나게 절약했습니다. 이는 마치 옷을 짐 싸는 것과 같습니다. 옷을 단단하게 말아서 넣으면(낮은 정밀도) 훨씬 작은 가방에도 많은 양의 물건을 담을 수 있습니다.
• 충실도(Fidelity): 칩의 동작은 컴퓨터 시뮬레이션과 거의 완벽하게 일치했습니다(98% 이상의 일치율). 이는 번역 도구가 올바르게 작동함을 입증합니다.

이것이 의미하는 바 (그리고 아직 하지 못하는 것)

• 할 수 있는 것: 파이썬에서 훈련된 현대적인 "스파이킹" AI 모델을 별도의 특수하거나 이색적인 칩을 만들 필요 없이 표준 과학 하드웨어(FPGA)에 배포할 수 있음을 증명합니다. 이는 이러한 효율적인 시간 민감형 뇌가 실시간 과학 장비에 사용될 수 있는 문을 열어줍니다.
• 아직 하지 못하는 것 (현재 기준):
  • 데이터가 희소(sparse)하다고 해서 자동으로 전력을 절약하지는 않습니다. 칩이 엄격한 클록에 따라 작동하기 때문에, 뉴런이 조용할 때도 수학적 계산을 계속 수행합니다. 저자는 향후 업데이트를 통해 아무 일도 없을 때 수학 계산을 멈추는 "게이트(gates)"를 추가하여 전력을 절약할 수 있다고 언급했지만, 이는 이 논문의 범위에는 포함되지 않습니다.
  • 현재는 한 가지 특정 유형의 스파이킹 뉴런(Leaky Integrate-and-Fire, LIF)만을 지원합니다.
  • 현재는 고정된 시간 창(예: 1.4초 클립)을 위해 설계되었으며, 무한하거나 가변적인 길이의 스트림은 아직 지원하지 않습니다.

요 요약하자면, 저자는 "스파이키"하고 시간 민감한 AI 뇌를 표준적인 클록 구동 컴퓨터 칩에서 실행할 수 있게 해주는 번역기를 만들었습니다. 이를 숫자 인식 작업에 테스트한 결과, 빠르고 정확하게 작동하였으며, 이러한 새로운 유형의 AI가 오늘날 실제 과학 장비에 배치될 수 있음을 입증했습니다.