기술 요약: 플러그앤플레이 스파이킹 연산자

문제 제기

인공신경망 (ANN) 에서 스파이킹 신경망 (SNN) 으로 변환하는 방식은 에너지 효율적인 뉴로모픽 하드웨어에 대규모 언어 모델 (LLM) 을 배포하기 위한 학습이 불필요한 경로를 제공하지만, 현재 파이프라인은 핵심 비선형 연산자를 위한 스파이킹 친화적 구현의 부재라는 치명적인 병목 현상에 직면해 있습니다.

기존 변환 방법은 어텐션 행렬 곱셈과 피드포워드 프로젝션과 같은 선형 대수 연산을 스파이킹 기반 구현으로 성공적으로 변환합니다. 그러나 Softmax, SiLU(Swish), 정규화 레이어(예: RMSNorm, LayerNorm) 와 같은 비선형 구성 요소는 대부분 무시되거나 부적절하게 처리됩니다. 이러한 연산자들은 일반적으로 나눗셈, 지수 계산, 또는 $\ell_2$-노름 계산을 필요로 하는데, 이는 표준 누적 누적 - 방전 (LIF) 뉴런 동역학에서 기본적으로 지원되지 않습니다. 스파이킹 기반 원시 연산만 엄격하게 지원하고 연속 값 상태를 결여한 뉴로모픽 플랫폼에서는 이러한 비선형성이 엔드투엔드 배포를 위한 근본적인 장애물이 됩니다. 또한, 기존에 이러한 함수를 근사하려는 시도들은 종종 추가 학습이나 미세 조정을 요구하여 표준적인 학습 불필요 ANN-to-SNN 파이프라인과의 호환성을 깨뜨립니다.

방법론

저자들은 모델 가중치를 수정하거나 미세 조정을 요구하지 않고 모듈형 스파이킹 친화적 원시 연산을 사용하여 트랜스포머 비선형성을 근사하는 NLSpiking이라는 플러그앤플레이 프레임워크를 제안합니다. 핵심 통찰은 LLM 의 다양한 비선형 함수들이 부호 있는 분자를 엄격히 양수인 분모로 정규화하는 공통된 대수적 구조를 공유한다는 점입니다.

이 프레임워크는 이러한 계산을 집단 부호화 (population coding) 와 비트 시프트 연산을 통해 구현된 세 가지 반복적 원시 연산으로 분해합니다.

1. 나눗셈 뉴런 그룹:

   • 순서화된 임계값을 가진 $L$개의 LIF 뉴런 군집을 사용하여 정수 나눗셈을 구현합니다.
   • 두 개의 시간 창에서 작동합니다.
     • 창 1: 분모 입력이 시간적으로 통합되어 정규화 스케일을 추정합니다. 이 스케일은 오른쪽 시프트 연산 ($\theta \approx I_B \gg n$) 을 통해 기본 임계값으로 변환됩니다.
     • 창 2: 분자 입력이 뉴런 군집을 구동합니다. 몫은 활성화된 뉴런의 수를 세어 (집단 경쟁) 디코딩되며, 이는 스파이킹 누적과 임계값 비교만을 사용하여 $I_A / I_B$를 수행합니다.

2. PolarNorm 단위 (PN 단위):

   • RMSNorm 에 필요한 $\ell_2$-노름 (제곱합의 제곱근) 을 근사합니다.
   • 일반적인 곱셈이나 제곱근을 피하고 시프트 - 덧셈 논리만을 사용하여 $\sqrt{x^2 + y^2}$를 근사하는 CORDIC-Hypot 알고리즘의 이진 트리 구조를 활용합니다.
   • 최종 결과는 고정된 역 이득 (2 의 거듭제곱) 으로 재조정되며, 이는 시스템의 스케일링 인자에 흡수됩니다.

3. 구간별 선형 지수 단위 (PWL-Exp 단위):

   • 유계 구간 $[-L, L]$에 걸쳐 지수 함수 $e^x$를 근사합니다.
   • 컴팩트한 룩업 테이블 (LUT) 에 저장된 사전 계산된 계수를 사용하여 구간별 선형 보간을 적용합니다.
   • 계수는 8 비트 고정 소수점 정밀도로 양자화되어 온라인 지수 계산을 불필요하게 합니다.

구성: 이러한 원시 연산자들은 특정 연산자를 재구성하기 위해 결합됩니다.

• Softmax: 분자는 PWL-Exp 를 통해, 분모는 시간적 누적을 통해, 출력은 나눗셈 뉴런을 통해 구현됩니다.
• SiLU: 분자는 입력이며, 분모는 $1 + \text{PWL-Exp}(-x)$이며, 출력은 나눗셈 뉴런을 통해 구현됩니다.
• RMSNorm: 분자는 스케일링된 입력이며, 분모는 PolarNorm 단위를 통한 $\ell_2$-노름이며, 출력은 나눗셈 뉴런을 통해 구현됩니다.

주요 기여

1. 연산자 수준의 플러그앤플레이 프레임워크: 이 방법은 연산자 수준에서 작동하여 모델 가중치를 변경하거나 재학습을 요구하지 않고 기존 ANN-to-SNN 파이프라인 (예: SpikeLLM, SpikeZIP) 에 원활하게 통합될 수 있습니다.
2. 이론적 오류 보장: 저자들은 Softmax, SiLU, RMSNorm 근사에 대한 명시적 오류 한계를 유도합니다. 총 오류가 지수, 나눗셈, 노름 추정의 고립된 항들로 가법적으로 분해됨을 보여줌으로써, 경미한 조건 하에서 오류가 유계로 유지됨을 입증합니다.
3. 하드웨어 호환성: 이 접근법은 부동 소수점 연산을 피하고 시프트 - 덧셈 연산, 비교, 룩업 테이블에만 의존합니다. 이는 복잡한 비선형 함수를 기본적으로 지원하지 않는 디지털 뉴로모픽 하드웨어의 제약 조건과 부합합니다.
4. 실증적 검증: 이 방법은 SpikeLLM 과 SpikeZIP 을 통해 변환된 모델뿐만 아니라 비선형 연산자가 선택적으로 교체된 표준 ANN 기반 LLM(LLaMA-3, Mistral, Qwen3) 을 포함한 다양한 모델에서 테스트되었습니다.

실험 결과

• 정확도: 다양한 작업 (WinoGrande, HellaSwag, ARC, PIQA) 과 모델 (LLaMA-2/3, Mistral, Qwen3, BERT) 에 걸쳐 비선형 연산자를 NLSpiking 모듈로 교체한 결과, 평균적으로 1% 미만의 정확도 감소가 발생했습니다. 일부 경우 (예: ARC 작업에서의 Qwen3) 에는 정확도가 약간 향상되기도 했습니다.
• 연산자 수준 성능: Sorbet, XNOR-Net, DoReFa-Net 과 같은 베이스라인과 비교하여 NLSpiking 은 8 비트 양자화 하에서 Softmax 와 RMSNorm 에 대해 가장 낮은 평균 오류를 달성했으며, 최대 오류는 정수 격자에 의해 효과적으로 유계되었습니다.
• 지연 시간 및 효율성: 이 프레임워크는 도메인 간 데이터 이동 오버헤드를 제거합니다. 모든 시간 단계에서 반복적인 비선형 평가를 요구하는 파이프라인 (SpikeZIP 스타일) 이나 비선형성을 위해 외부 프로세서를 의존하는 파이프라인 (SpikeLLM 스타일) 과는 달리, NLSpiking 은 시프트 - 덧셈 및 LUT 연산을 사용하여 뉴로모픽 코어 내에서 완전히 실행되며 효율적인 베이스라인과 동일한 시간적 실행 구조를 유지합니다.

중요성 및 주장

이 논문은 엄격한 스파이킹 전용 제약 하에서 진정한 엔드투엔드 스파이킹 트랜스포머의 실현을 방해해 온"비선형성 병목 현상"을 해결했다고 주장합니다. 비선형성을 근사하기 위한 학습 불필요, 모듈형, 그리고 이론적으로 근거 있는 접근법을 제공함으로써, 이 연구는 재학습의 prohibitive 한 비용 없이 대규모 스파이킹 모델을 뉴로모픽 하드웨어에 배포할 수 있게 합니다.

저자들은 그들의 방법이 뉴로모픽 하드웨어의"스파이킹 전용"원시 연산을 존중하므로, 향후 SNN 기반 LLM 설계에 대한 실현 가능한 구성 요소가 된다고 강조합니다. 그들은 메모리 및 정확도 - 지연 시간 트레이드오프로 인해 실제 하드웨어에서의 엔드투엔드 배포와 관련된 현재 한계를 인정하지만, 이 작업을 그 목표를 향한 중요한 단계로 위치시킵니다.