Hardware-Accelerated Event-Graph Neural Networks for Low-Latency Time-Series Classification on SoC FPGA

기술 요약: SoC FPGA 를 위한 저지연 시계열 분류를 위한 하드웨어 가속 이벤트-그래프 신경망

문제 제기
임베디드 엣지 센서에서 생성되는 데이터 양이 증가함에 따라, 저지연 및 저전력 소비로 시계열 신호를 처리할 수 있는 지능형 로컬 처리에 대한 절실한 필요성이 대두되고 있습니다. 인공지능 (AI) 은 실시간 예측을 위한 솔루션을 제공하지만, 기존 하드웨어인 GPU 는 과도한 전력을 소비하며 마이크로프로세서는 종종 엄격한 지연 시간 요구 사항을 충족하지 못합니다. 필드 프로그래머블 게이트 어레이 (FPGA) 는 최적화된 아키텍처로 가는 길을 제공하지만, 기존 이벤트 기반 AI 접근 방식, 특히 스파이킹 신경망 (SNN) 은 시냅스 가중치 메모리 접근의 비결정적 패턴으로 인해 데이터 희소성을 완전히 활용하는 데 어려움을 겪고 있습니다. 또한, 이벤트-그래프 신경망이 소프트웨어에서 시계열 데이터에 promising 한 결과를 보여주고 있지만, System-on-Chip (SoC) FPGA 에서 이벤트-그래프 오디오 처리를 위한 전용 하드웨어 아키텍처는 아직 실현되지 않았습니다.

방법론
저자들은 SoC FPGA 에 구현된 이벤트-그래프 신경망 (EGNN) 의 하드웨어 - 소프트웨어 공동 설계를 제안합니다. 이 시스템은 연속적인 시계열 오디오를 희소 이벤트 데이터로 변환하는 인공 와우 (AC) 모델에서 데이터를 처리합니다. 방법론은 세 가지 주요 단계를 포함합니다:

1. 이벤트 - 그래프 생성:

   • 입력: 채널 인덱스와 타임스탬프로 정의된 비동기 이벤트.
   • 최적화: 국소 표면을 피팅하여 정규 벡터를 추정하는 데 필요한 기본 소프트웨어 모델의 높은 계산 복잡성을 해결하기 위해, 저자들은 새로운 그래프 생성 방법을 도입했습니다.
   • 스킵 스텝 연결: 모든 가능한 이웃을 스캔하는 대신, 시스템은 꼭짓점 간에 간선을 형성하기 위해 결정론적인 "스킵 스텝" 패턴을 사용합니다. 이는 메모리 오버헤드와 지연 시간을 줄입니다.
   • 특징 단순화: 이벤트 - 정규 벡터는 이웃 이벤트의 평균 타임스탬프와 채널 좌표를 기반으로 한 더 간단한 특징으로 대체됩니다.
   • 메모리 아키텍처: 이벤트는 채널별로 인덱싱된 1 차원 컨텍스트 메모리 (Block RAM) 에 저장되며, 가장 최근 이벤트의 슬라이딩 창을 유지하기 위해 타임스탬프가 지속적으로 덮어씌워집니다.

2. 그래프 합성곱:

   • 시스템은 하드웨어에 적응된 PointNetConv 계층을 활용합니다.
   • 정규화: 양자화 중 정밀도 문제를 해결하기 위해 위치 정규화 (PN) 단계를 도입하여 위치 차이 (채널 및 시간) 를 (0, 1) 범위로 다시 조정합니다.
   • 처리: 합성곱은 완전히 비동기적이고 이벤트 단위로 실행됩니다. 아키텍처는 이벤트 특징과 가중치를 저장하기 위해 듀얼 포트 BRAM 을 사용하여 병렬 벡터 곱셈을 가능하게 합니다.
   • 양자화: 모델은 양자화 인식 훈련을 사용합니다. 특징 맵과 가중치는 부호 없는 정수로 저장되며, 스케일링은 DSP 곱셈과 비트 시프트를 통해 수행됩니다.

3. 시스템 통합:

   • 설계는 SoC FPGA 의 처리 시스템 (PS) 과 프로그래머블 로직 (PL) 사이에 분할됩니다.
   • PL 은 그래프 생성과 합성곱을 처리합니다.
   • PS(ARM 코어에서 실행) 는 최종 분류 헤드 (다층 퍼셉트론) 를 처리하고 SD 카드에서 테스트 데이터를 읽거나 이벤트 타임스탬프를 시뮬레이션하는 등 데이터 흐름을 관리합니다.

주요 기여

• 최초의 임베디드 이벤트 - 그래프 오디오 시스템: 이 논문은 SoC FPGA 에서 이벤트-그래프 기반 오디오 처리를 위한 최초의 임베디드 시스템을 제시합니다.
• 완전 비동기 처리: 구현은 데이터의 시간적 희소성을 보존하는 완전한 비동기적, 이벤트 단위 처리를 지원합니다.
• 하드웨어 인식 최적화: 저자들은 재구성 가능 하드웨어에서 저전력, 저지연 및 저자원 활용을 가능하게 하기 위해 "스킵 스텝" 그래프 생성 방법과 단순화된 특징 추출을 포함한 특정 적응 방안을 제안합니다.
• 벤치마킹: 이 시스템은 시계열 이벤트 데이터의 표준 벤치마크인 스파이킹 하이델베르크 디지털 (SHD) 데이터셋에 대해 평가되었습니다.

결과
제안된 시스템은 SHD 데이터셋 (8156 개의 훈련 샘플, 2264 개의 테스트 샘플) 에서 평가되었으며, 최첨단 소프트웨어 모델 및 기존 FPGA 기반 SNN 구현체와 비교되었습니다.

• 정확도:
  • 기본 모델은 SHD 테스트 세트에서 92.74% 부동 소수점 정확도와 92.30% 양자화 정확도를 달성했습니다.
  • 이 성능은 각각 10 배 이상과 67 배 이상 더 많은 매개변수를 가진 최첨단 모델보다 2.4% 와 2% 이내의 성능을 보입니다.
  • 양자화 모델은 이전 FPGA 기반 SNN 구현체보다 19.3%(Carpegna 외와 비교) 와 4.5%(Matinizadeh 외와 비교) 더 높은 성능을 보였습니다.
• 효율성 및 리소스:
  • 기본 모델은 18.9k 개의 매개변수만 사용하며, 이는 경쟁 모델들 (예: 다른 연구에서의 2.1M 또는 3.9M 매개변수) 보다 훨씬 적습니다.
  • "티니" 모델 변형은 이전 최첨단 모델과Comparable 한 정확도를 달성하면서도 Matinizadeh 외의 구현체에 비해 **LUT 의 23%**와 **BRAM 의 37%**만 사용했습니다.
  • 지연 시간: 그래프 생성 및 합성곱 모듈의 이벤트당 지연 시간은 (200 MHz 에서) 8 µs이며, 마지막 이벤트 후 전체 시스템 지연 시간 (PS 분류 포함) 은 179 µs입니다. 이는 종종 인코딩 후 전체 데이터 샘플을 처리해야 하는 SNN 접근 방식과 대조됩니다.
  • 전력: 기본 아키텍처 (PS 포함) 의 총 전력 소비는 3.94 W(PL 1.20 W, PS 2.74 W) 입니다.

의의 및 주장
이 논문은 이벤트-그래프 신경망이 이벤트 데이터 처리에 매우 적합하며, 하드웨어 구현을 위한 SNN 의 실현 가능한 대안을 제공한다고 주장합니다. 저자들은 그들의 접근 방식이 이벤트 데이터의 고유한 희소성을 활용하여 정확도를 희생하지 않으면서 계산 복잡성과 지연 시간을 줄이는 데 성공했다고 주장합니다.

이 연구의 의의는 다음과 같습니다:

1. 성능: SHD 벤치마크에 대한 FPGA 솔루션의 새로운 최첨단을 수립하여, 이전 SNN 기반 접근 방식보다 훨씬 적은 리소스와 낮은 지연 시간으로 더 높은 정확도를 달성했습니다.
2. 확장성: 이벤트-그래프 접근 방식이 효과적으로 확장됨을 보여주었으며, 더 큰 모델 (272k 매개변수) 은 94.45% 정확도를 달성하여 많은 더 큰 SNN 모델보다 우수한 성능을 보였습니다.
3. 하드웨어 실현 가능성: 이벤트-그래프의 결정론적 가중치 접근 패턴이 데이터 희소성을 진정으로 활용하는 효율적인 하드웨어 가속을 가능하게 하여 SNN 메모리 접근과 관련된 병목 현상을 극복함을 입증했습니다.

저자들은 그들의 하드웨어 구현이 SNN 대안보다 매우 효율적이며 우수한 작업 정확도를 가지므로, 엣지에서의 센서 근처 AI 처리를 위한 유망한 후보라고 결론지었습니다. 향후 작업은 실제 이벤트 센서를 통합하고 고립된 샘플이 아닌 여러 단어의 연속적인 스트림을 처리하도록 시스템을 확장하는 것으로 식별되었습니다.