기술 요약: 효율적인 음성 인식을 위한 스파이킹 및 이벤트 기반 뉴로모픽 맘바(Mamba) 모델

문제 정의

딥러닝은 자동 음성 인식(ASR)을 혁신하여 스마트폰 및 스마트 홈 시스템과 같은 에지 디바이스에 배포할 수 있게 했습니다. 그러나 심층 신경망(DNN)에 내재된 조밀한 행렬 곱셈은 상당한 계산 및 에너지 부담을 초래하여, 지연 시간을 발생시키고 자원이 제한된 하드웨어에서의 실시간 상호작용을 제한합니다. 뉴로모픽 컴퓨팅은 스파이킹 신경망(SNN)을 통한 활성화 희소성(activation sparsity)과 이벤트 기반 네트워크를 도입함으로써 해결책을 제시할 수 있지만, 결정적인 격차가 존재합니다. 즉, 서로 다른 뉴로모픽 전략(스파이킹 vs. 이벤트 기반)의 현실적인 하드웨어 이점을 복잡한 ASR 작업에 대해 평가한 종합적인 연구가 없습니다. 기존 연구들은 종면적인 알고리즘 메트릭(예: 시냅스 연산)에 의존하는 경우가 많으며, 이는 이상적인 희소 계산을 가정하기 때문에 불규칙한 희소성 활용이나 메모리 액세스 오버헤드와 같은 실제 하드웨어 비용을 포착하지 못합니다. 또한, 기존 하드웨어 시뮬레이터는 알고리즘 탐색을 하기에는 너무 경직되어 있거나, 원자적 입력 이벤트에 대한 사이클 단위의 이벤트 기반 모델링이 부족합니다.

방법론

저자들은 최첨단 SpeechMamba 아키텍처(Self-attention과 Mamba 블록을 통합)를 두 가지 구별되는 뉴로모픽 변형으로 적응시켜 활성화 희소성을 개선하는 방법을 제안합니다.

1. 이벤트 기반 SpeechMamba (E-SpeechMamba)

이 접근 방식은 뉴런을 이진 스파이크로 변환하지 않고도 희소성을 유도하기 위해 FATReLU 활성화 함수를 사용합니다.

• 아키텍처: FATReLU 레이어를 SpeechMamba 인코더 및 디코더 내의 주요 병목 지점(선형, 컨볼루션 및 SSM 블록 이후)에 삽격합니다.
• 훈련 파이프라인: 세 단계의 프로세스가 적용됩니다:
  1. 사전 훈련(Pre-training): 계산 부하를 줄이기 위해 표준 ReLU 활성화를 사용하고 희소성 손실(sparsity loss)을 적용합니다.
  2. 임계값 초기화(Threshold Initialization): ReLU를 FATReLU로 교체합니다. 임계값($T$)은 데이터 기반 스위핑 전략을 사용하여, $T$를 가장 낮은 10%의 활성화 값의 평균값으로 설정합니다. 정규화된 손실 비율이 허용 오차 $K$ 미만인 동안 임계값을 점진적으로 증가시킵니다.
  3. 미세 조정(Finetuning): 임계값을 더 많은 제로 활성화를 유도하도록 큰 활성화와 작은 임계값에 패널티를 주는 희소성 유도 정규화 항($L_{spar}$)을 사용하여 추가로 최적화합니다.

2. 스파이킹 SpeechMamba (S-SpeechMamba)

이 접근 방식은 이벤트 기반 모듈을 이진 스파이킹 뉴런으로 교체합니다.

• 아키텍처: LIF(Leaky Integrate-and-Fire) 뉴런을 포함하며, Spikformer 어텐션 메커니즘(Spiking Self-Attention)과 SpikMamba 블록을 채택합니다.
• 계산: 입력은 쿼리(query), 키(key), 값(value) 스파이크 열(spike trains)로 투영됩니다. 어텐션은 소프트맥스 없이 스케일드 닷 프로덕트 유사도를 통해 계산됩니다.
• 훈련: 죽은 뉴런(불충분한 발화)과 과도한 발화를 방지하기 위해 발화율 정규화 손실($L_{quiet} + L_{burst}$)이 적용되어, 희소성과 효과적인 훈련 사이의 균형을 맞춥니다.

3. 사이클 단위 이벤트 기반 시뮬레이터

알고리즘 메트릭과 하드웨어 현실 사이의 간극을 메우기 위해 저자들은 커스텀 시뮬레이터를 개발했습니다:

• 플랫폼: 범용 디지털 뉴로모픽 프로세서를 모델링하는 RISC-V Ibex 코어(RV32IMC)에서 이벤트 기반 데이터플로 실행을 에뮬레이션합니다.
• 기능: 원자적 이벤트(스파이크 또는 등급화된 활성화)가 즉각적인 부분합(partial-sum) 계산을 트리거하는 연산 수준의 시뮬레이션을 수행합니다.
• 최적화: SNN의 경우, 시뮬레이터는 이진 제로에 의한 곱셈을 건너뛰고 이진 일(one)에 대한 가중치를 전파함으로써 에너지 집약적인 MAC 연산을 우회합니다.
• 사용법: 이 시뮬레이터는 "알고리즘-하드웨어 공동 탐색"을 가능하게 하여, 저자들이 서브모듈을 프로파일링하고, 병목 지점을 식별하며, E-SpeechMamba 아키텍처를 반복적으로 최적화(결과적으로 E-SpeechMamba (Optimized) 도출)할 수 있도록 합니다.

주요 결과

실험은 LibriSpeech 데이터셋(약 980시간의 훈련 데이터)을 대상으로 수행되었습니다.

성능 및 희소성 (Table I)

• E-SpeechMamba: 밀집 베이스라인(SpeechMamba) 대비 WER(단어 오류율) 증가가 1% 미만이면서, test-clean 세트에서 62%의 활성화 희소성을 달enc성했습니다.
• S-SpeechMamba: 가장 높은 희소성(72%)을 달성했으나, WER 증가(test-clean 기준 약 2.4%)도 더 높았습니다. 특히, 이 모델은 동등한 성능의 최첨단 SNN보다 3em 30% 적은 파라미터를 사용하면서도 경쟁력 있는 성능을 제공합니다.
• E-SpeechMamba (Optimized): 베이스라인 E-SpeechMamba와 유사한 WER을 유지하면서 64%의 희소성을 달성했으며, 추가적인 희소화 지점 덕분에 더 큰 계산 감소를 보였습니다.

하드웨어 효율성 (Table II)

RISC-V Ibex 코어에서 시뮬레이션한 결과, 모델들은 단순 희소화된 베이스라인에 비해 상당한 개선을 보였습니다:

• E-SpeechMamba (Optimized): CPU 사이클을 46.13%, 명령어를 26.9%, 메모리 액세스를 28.50%, 지연 시간을 37.5% 감소시켰습니다.
• S-SpeechMamba: 더 높은 활성화 희소성에도 불구하고, E-SpeechMamba에 비해 낮은 CPU 사이클 감소율(19.58%)을 보였습니다.
• 핵심 통찰: S-SpeechMamba는 LIF 뉴런의 막 전위(membrane potential) 상태를 유지하는 비용으로 인해 더 높은 메모리 액세스 오버헤드를 발생시켰습니다(E-SpeechMamba의 17.57% 개선 대비 7.63% 개선). 이는 메모리 대역폭이 병목 현상이 될 경우, 높은 활성화 희소성이 항상 하드웨어 효율성으로 이어지지는 않는다는 점을 강조합니다.

서브모듈 분석

시뮬레이션 결과, Mamba 블록 내의 "핫스팟"(특히 SSM Scan 서브모듈 및 특정 행렬 곱셈)이 여전히 조밀한 상태를 유지하며 실행 시간을 지배한다는 것이 밝혀졌습니다. 시뮬레이션 통찰에 기반한 반복적인 최적화 과정은 이러한 병목 지점을 성공적으로 타겟팅하여 추가적인 효율성 이득을 얻었습니다.

의의 및 주장

본 논문은 복잡한 ASR을 위한 서로 다른 뉴로모픽 전략의 실제적인 하드웨어 이점을 평가한 첫 번째 연구라고 주장합니다. 주요 기여는 다음과 같습니다:

1. 새로운 아키텍처: 정확도 저하를 최소화하면서 높은 희소성을 달성하는 이벤트 기반 및 스파이킹 변형 SpeechMamba 모델을 도입했습니다.
2. 하드웨어 인지 공동 탐색: 알고리즘의 희소성 메트릭만으로는 하드웨어 성능을 예측하기에 불충분함을 입증했습니다. 저자들은 메모리 액세스 패턴과 상태 유지 비용(SNN의 경우)이 기대되는 이득을 잠식할 수 있음을 보여주었습니다.
3. 시뮬레이션 프레임워크: 기존의 분석적 또는 조립적 시뮬레이터에는 부족한 기능인, 계산 병목 지점을 식별하고 타겟팅된 아키텍처 최적화를 가능하게 하는 유연한 사이클 단위 이벤트 기반 시뮬레이터를 제공합니다.

이 연구는 뉴로모픽 방법론을 현실적인 조건 하에서 검증하고, 미래의 디지털 뉴로모픽 하드웨어에서 효율적으로 지원될 수 있는 알고리즘 설계를 가이드하기 위해 하드웨어 인지 분석이 필수적임을 강조합니다.