기술 요약: 스파이킹 신경망을 위한 적응형 음성-스파이크 인코딩 (Adaptive Speech-to-Spike Encoding for Spiking Neural Networks)

문제 정의

뉴로모픽 음성 처리의 주요 병목 현상은 연속적인 음향 신호와 이산적이고 이벤트 기반인 스파이킹 신경망(SNN) 사이의 불일치입니다. 동적 비전 센서(DVS)를 사용하여 네이티브 비동기 이벤트 스트림을 제공하는 시각 도메인과 달리, 오디오 획득은 밀도가 높고 대역폭이 넓은 파형을 생성하는 표준 마이크에 의존합니다. 기존 시스템은 일반적으로 수동으로 선택된 정적 임계값을 가진 고정된 단계 전진(step-forward) 방식의 음성-스파이크 인코더를 사용합니다. 이러한 경직성은 다운스트림 SNN 아키텍처가 최적화되지 않은 입력 표현을 보완하도록 강요하며, 이는 종종 변별력 있는 특징을 추출하기 위해 더 큰 모델을 필요로 하게 만듭니다. 또한, 이러한 네트워크를 훈련할 때는 일반적으로 서러게이트 그래디언트(surrogate gradients)를 사용하는 BPTT(Backpropagation Through Time)에 의존하는데, 이는 계산 비용이 많이 드는 오차 역전파와 대칭적 가중치 전송(symmetric weight transport)을 요구하므로 하드웨어 구현에 어려움을 줍니다.

방법론

저자들은 R-LIF(Recurrent Leaky Integrate-and-Fire) 백본과 종단간(end-to-end)으로 공동 훈련되는, 학습 가능한 잔차 음성-스파이크(S2S) 인코딩 메커니즘을 제안합니다.

1. 학습 가능한 단계 전진 인코더 (Learnable Step-Forward Encoder)

인코더는 로그 멜 스펙트로그램 특징을 희소한 이진 스파이크 열로 변환하기 위해 2단계 계층 구조를 사용합니다:

• 조대 인코딩 (Coarse Encoding): 조대 트레이스(trace)는 학습 가능한 단계 크기 $\delta^{(1)}$를 사용하여 입력 신호를 추적합니다. 추적 오차가 이 단계를 초과하면 스파이크가 방출됩니다.
• 미세 잔차 인코딩 (Fine Residual Encoding): 미세 트레이스는 더 작은 학습 가능한 단계 크기 $\delta^{(2)}$를 사용하여 조대 단계로부터의 잔차 오차를 포착합니다.
• 매개변수화: 단계 크기는 모든 주파수 대역에 공유되는 글로벌 스칼라 변수($\rho, \kappa$)로부터 유도되며, 이를 통해 $\delta^{(2)} < \delta^{(1)}$임을 보장합니다.
• 출력: 시스템은 4개의 스파이크 스트림(조대 및 미세 트레이스에 대한 양/음 모두 포함)을 방출하며, 결과적으로 주파수 대역당 4채널 이벤트 표현을 생성합니다.
• 미분 가능성: 헤비사이드 계단 함수(Heaviside step function)는 미분이 불가능하므로, 저자들은 인코더를 위해 스트레이트-스루 추정기(straight-through estimator)와 시그모이드 역방향 형상을, 백본을 위해 패스트-시그모이드 서러게이트(fast-sigmoid surrogate)를 채택했습니다.

2. 순환 백본 및 리드아웃 (Recurrent Backbone and Readout)

인코딩된 스파이크 열은 시간적 의존성을 포착하기 위해 다층 R-LIF 백본에 의해 처리됩니다. 백본은 학습 가능한 누설(leak) 및 임계값 매개변수를 활용합니다. 경량화된 2계층 MLP 리드아웃 헤드는 시간 평균된 스파이크 활성도를 클래스 확률로 매핑합니다.

3. 훈련 목적 함수 및 학습 규칙

훈련 목적 함수는 크로스 엔트로피 손실과 희소성을 유도하기 위한 활성 패널티를 결합합니다. 논문은 동일한 아키텍처 하에서 두 가지 신용 할당(credit assignment) 전략을 벤치마킹합니다:

• 서러게이트 그래디언트 BPTT: 펼쳐진 시간적 그래프를 통해 서러게이트 미분값을 통해 그래디언트를 전파합니다.
• 직접 피드백 정렬 (Direct Feedback Alignment, DFA): 고정된 무작위 행렬을 통해 글로벌 오차 신호를 은닉층으로 투영함으로써 역방향 패스를 분리하는, 생물학적 영감을 받은 하드웨어 친화적인 대안입니다. 이는 대칭적 가중치 전송을 피합니다.

주요 기여

1. 학습 가능한 잔차 인코더: 고정된 임계값을 학습 가능한 매개변수로 대체하여 경쟁력 있는 성능을 달성하는, 공동 최적화된 인코더를 도입했습니다.
2. 인코더 분석: 학습된 인코더가 충실한 신호 재구성을 목표로 하는 것이 아니라, 선형 프로빙(linear probing) 및 그래디언트-잔차 검사를 통해 입증된 바와 같이 클래스 분리도를 높이는 태스크 정렬된 스파이크 표현을 구축함을 보여주었습니다.
3. 학습 규칙 벤치마킹: 뉴로모픽 음성 작업에 대해 서러게이트 그래디언트 BPTT와 DFA를 통제된 비교를 통해 검증하여, 정확도와 하드웨어 친화적 학습 규칙 사이의 성능 트레이드오프를 정량화했습니다.

실험 결과

본 접근 방식은 Google Speech Commands v2 (GSC-v2) 벤치마크(35개 클래스)에서 검증되었습니다.

• 정확도 향상: 학습된 인코더는 동일한 R-LIF 백본과 결합되었을 때, 고정 베이스라인(90.70%) 대비 (Large 모델 기준) **94.97%**로 테스트 정확도를 개선했습니다.
• 효율성: 학습된 인코더는 입력 이벤트 활성도를 발화당 2,982개에서 2,119개로 줄여, 입력 희소성을 90.7%에서 93.4%로 높였습니다.
• 매개변수 효율성: 단 35k 개의 매개변수만을 가진 매우 제한된 "Tiny" 모델이 **89.8%**의 정확도를 달려, 403k 개의 매개변수를 사용하는 기존 베이스라인(예: SIDC-KWS)과 대등하거나 이를 능가하는 성능을 보였습니다.
• 학습 규칙 트레이드오프: 동일한 조건 하에서 DFA는 91.5%의 정확도를 달성하여 BPTT(94.97%)와 비교되었습니다. 이는 생물학적 모방 로컬 학습 규칙을 위한 명확한 정확도 격차를 강조합니다.
• 에너지 프록시: Large 모델은 95.5%의 글로벌 희소성을 달성하여, 연산을 82.9M 개의 덴스(dense) 연산에서 3.9M 개의 활성 SynOps로 줄였으며, 45nm 추정치를 기준으로 약 16 µJ의 활성 에너지를 산출했습니다.

의의 및 주장

본 논문은 현재 뉴로모픽 음성 처리의 근본적인 한계가 단순히 SNN 아키텍처 때문이 아니라, 고정되고 비적응적인 입력 인코딩에 있다고 주장합니다. 정적 임계값을 학습 가능한 잔차 메커니즘으로 대체함으로써, 시스템은 불필요한 이벤트를 버리면서도 태스크 관련 정보를 더 효과적으로 조절할 수 있습니다.

저자들은 학습된 인코더가 신호 충실도보다 클래스 분리도를 우선시하며, 특정 분류 태스크를 위해 특징을 형성한다고 강조합니다. 또한, DFA를 BPTT와 벤치마킹함으로써 뉴로모픽 오디오를 위한 로컬 학습 규칙의 현재 한계를 정량화된 관점에서 제시하였으며, 이는 DFA가 하드웨어적 이점을 제공함에도 불구하고 여전히 극복해야 할 상당한 정확도 격차가 존재함을 시사합니다. 본 연구는 프런트엔드 인코딩을 개선하는 것이 고정밀 뉴로모픽 키워드 탐지를 위해 필요한 매개변수 예산을 줄이는 핵심 경로임을 결론짓습니다.