기술 요약: BiSpikCLM

문제 제기

대규모 언어 모델 (LLM) 은 놀라운 능력을 입증해 왔지만, 학습 및 추론 과정에서 prohibitive 한 계산 비용과 에너지 소비를 겪고 있습니다. 스파이킹 신경망 (SNN) 은 이벤트 기반 특성과 초저전력 소비로 인해 뇌에서 영감을 받은 유망한 대안을 제시하지만, SNN 을 자기회귀 언어 모델링으로 확장하는 것은 여전히 큰 도전 과제입니다.

기존의 스파이킹 LLM 은 두 가지 주요 병목 현상에 직면해 있습니다:

1. 어텐션 메커니즘의 비호환성: 기존의 인과적 자기 어텐션은 부동소수점 행렬 곱셈과 소프트맥스 연산에 의존하는데, 이는 계산 집약적이며 이진 스파이크 기반 처리와 근본적으로 양립할 수 없습니다. 이전의 시도들은 이러한 부동소수점 구성 요소를 유지하거나 복잡한 다중 임계값 뉴런을 도입했으나, 진정한 에너지 효율성을 달성하지 못했습니다.
2. 학습의 어려움: SNN 의 고유한 시간적 역동성은 복잡한 계산 그래프를 생성하여, 무작위 초기화에서의 완전한 엔드 - 투 - 엔드 학습을 비효율적으로 만듭니다. 결과적으로 대부분의 기존 연구는 ANN-to-SNN 변환 방법에 의존하는데, 이는 종종 활성화를 근사하기 위해 큰 시간 단계를 요구하여 이벤트 기반 계산의 잠재적 에너지 이점을 무효화합니다.

방법론

저자들은 부동소수점 행렬 곱셈이 없는 완전 이진 스파이킹 인과 언어 모델인 BiSpikCLM을 제안합니다. 이 아키텍처는 OPT 계열 설계를 기반으로 하되, aforementioned 한 문제들을 해결하기 위해 두 가지 새로운 구성 요소를 통합합니다.

1. 소프트맥스 없는 스파이킹 어텐션 (SFSA)

부동소수점 연산 없이 자기회귀 모델링을 가능하게 하기 위해, 저자들은 SFSA 를 도입합니다. 이 메커니즘은 표준 소프트맥스 기반 어텐션을 완전 이산적이고 스파이크 기반의 파이프라인으로 대체합니다:

• 스파이크 기반 프로젝션: 입력 시퀀스는 쿼리, 키, 값으로 프로젝션된 후 스파이킹 뉴런을 통해 이산화됩니다.
• 정수 값 어텐션: 스파이크 기반 쿼리와 키 간의 내적은 정수 값 어텐션 점수를 산출합니다.
• 인과적 마스킹 및 스파이킹 활성화: 이러한 점수는 인과적으로 마스킹된 후 스파이킹 뉴런을 통과하여 희소하고 이진인 어텐션 가중치를 생성합니다.
• 스파이크 기반 출력: 값 스파이크의 가중 합이 출력을 생성한 후, 최종 프로젝션과 스파이킹 활성화를 거칩니다.
  이 설계는 어텐션 모듈 내에서 소프트맥스와 부동소수점 행렬 곱셈을 모두 제거하여 완전 이산 계산을 가능하게 합니다.

2. 스파이크 인식 정렬 증류 (SpAD)

학습의 어려움을 극복하고 무작위 초기화에서의 직접 학습을 가능하게 하기 위해, 저자들은 계층적 지식 증류 프레임워크를 제안합니다. 표준 증류와 달리 SpAD 는 ANN 교사 모델의 연속적이고 정적인 표현과 SNN 학생 모델의 이산적이고 시간적으로 확장된 표현을 명시적으로 정렬합니다. 이 프레임워크는 다섯 가지 정렬 모듈로 구성됩니다:

• 임베딩 정렬 (EA): 입력 임베딩을 정렬합니다.
• 스파이크 - 어텐션 정렬 (SAA): 연속적인 어텐션 맵과 이진 스파이크 트레인 간의 간극을 연결합니다. 두 가지 전략을 사용합니다: (a) 시간적 복제 및 스파이크 인코딩으로, 교사의 어텐션을 시간 단계에 걸쳐 복제하여 스파이킹 뉴런을 통과시켜 스파이크 도메인 프록시를 생성합니다; (b) 시간적 융합으로, 학생의 어텐션을 시간 평균하여 교사의 정적 맵과 일치시킵니다. 발화율 정렬을 위해 Rate-MSE 손실 함수를 사용합니다.
• 스파이크 - 특징 정렬 (SFA): 기반율 기반 및 시간 평균 MSE 의 조합을 사용하여 중간 은닉 상태를 정렬합니다.
• 소프트 타겟 정렬 (STA): 부드럽게 만든 로짓을 사용하여 출력 분포를 증류합니다.
• 하드 타겟 정렬 (HTA): 실제 토큰을 사용한 표준 교차 엔트로피 손실입니다.

저자들은 또한 표현력과 효율성 간의 트레이드오프를 탐구하기 위해 3 진 스파이킹 뉴런을 사용하는 변형인 TriSpikCLM을 소개하지만, 주요 초점은 이진 설계에 남아 있습니다.

주요 기여

1. BiSpikCLM: 스파이크 네이티브 아키텍처 설계를 특징으로 하는 첫 번째 완전 이진, 스파이킹, MatMul-free 인과 언어 모델.
2. SFSA: 소프트맥스와 부동소수점 연산을 제거하여 이진 스파이크만을 사용하여 효율적인 자기회귀 언어 모델링을 가능하게 하는 새로운 어텐션 메커니즘.
3. SpAD: ANN-SNN 도메인 간극을 가로지르며 임베딩, 어텐션 맵, 중간 특징, 출력 로짓을 정렬하는 스파이크 인식 증류 프레임워크로, 처음부터 ANN 을 학습하는 데 필요한 것보다 훨씬 적은 토큰으로 무작위 초기화에서 안정적인 학습을 가능하게 함.
4. 실증적 검증: 완전 이진 스파이킹 LLM 이 계산 비용을 극적으로 줄이면서도 경쟁력 있는 성능을 달성할 수 있음을 입증.

결과

저자들은 BiSpikCLM(13 억 파라미터) 을 제로샷 정확도를 사용하여 상식 추론 및 QA 벤치마크 (ARC-e, ARC-c, Winogrande, BoolQ, PIQA, HellaSwag, OpenBookQA, HeadQA) 에서 평가했습니다.

• 성능: 100 억 학습 토큰 (OPT-13 억 기준에 사용된 1,800 억 토큰보다 현저히 적음) 으로 학습한 BiSpikCLM 은 4 시간 단계에서 **42.19%**의 평균 제로샷 정확도를 달성하여, OPT-13 억 기준의 49.73% 정확도에 근접했습니다. 2 시간 단계에서도 **41.33%**의 정확도를 유지했습니다.
• 효율성: 이 모델은 ANN 대응 모델의 계산 비용의 **4.16%–5.87%**만 소비했습니다. 구체적으로, 13 억 파라미터 모델의 경우 추론 에너지는 OPT-13 억이 필요로 하는 에너지의 약 **10.6%**로 감소했습니다 (예: 4 단계 구성의 경우 66.89 mJ 대 632.22 mJ).
• 절대 실험: 완전히 스파이크 기반 설계 (SFSA + SFFN) 가 에너지 효율성에 중요함을 실험이 확인했습니다. 이를 ANN 대응물로 교체하면 에너지 소비가 10 배 이상 증가하는 반면 정확도 향상은 미미했습니다. SpAD 프레임워크가 필수적임이 입증되었으며, 특히 스파이크 - 어텐션 및 스파이크 - 특징 정렬을 포함한 계층적 정렬이 상당한 성능 향상을 제공했습니다.
• 확장성: 13 억 모델의 학습 토큰을 1,000 억에서 2,500 억으로 늘리면 평균 정확도가 41.33% 에서 44.39% 로 향상되어, 모델이 데이터 양 증가에 긍정적으로 반응함을 나타냈습니다.

중요성과 주장

이 논문은 부동소수점 행렬 곱셈이나 소프트맥스 연산 없이 작동하는 완전 이진, 스파이크 기반 LLM의 실현 가능성을 확립했다고 주장합니다. SFSA 와 SpAD 를 도입함으로써 저자들은 다음을 입증합니다:

• ANN-to-SNN 변환에 의존하지 않고 대규모 스파이킹 언어 모델을 무작위 초기화에서 학습하는 것이 가능합니다.
• 스파이크 기반 모델은 자연어 생성 작업에서 경쟁력 있는 성능을 달성하면서도 전통적인 ANN 보다 한 자릿수 적은 에너지를 소비할 수 있습니다.
• 증류는 뇌에서 영감을 받은 스파이킹 계산과 NLP 에 필요한 표현 능력 간의 간극을 메우는 유망한 경로입니다.

저자들은 한계를 인정하며, BiSpikCLM 이 계산 비용을 크게 줄였음에도 불구하고 일부 벤치마크에서 대규모 ANN LLM 에 비해 정확도가 여전히 뒤처지며, 더 큰 모델을 학습하려면 시간 단계와 증류 일정을 신중하게 조정해야 한다고 지적합니다. 그들은 이 작업을 확장 가능하고 에너지 의식적이며 뇌에서 영감을 받은 언어 모델을 향한 기초적인 단계로 위치시킵니다.