기술 요약: 희소성 천장 (The Sparsity Ceiling)

문제 정의

스파이킹 신경망(SNN)은 밀집된 곱셈-누산(MAC) 연산을 더 저렴한 누산(AC) 연산으로 대체하는 희소하고 이벤트 기반인 활동을 전제로, 기존 딥러닝의 에너지 효율적인 대안으로 널리 홍보되어 왔다. 그러나 기존 문헌들은 특정 작업 최적화에서 자연스럽게 발생하는 발화율(firing rate)에 따라 에너지 절감 효과를 보고할 뿐, 그 인과적 변수인 **달성 가능한 희소성(attainable sparsity)**을 분리하여 고찰하지 않는다.

본 논문은 다음과 같은 더 좁고 검증 가능한 질문을 던진다: 네트워크 아키텍처를 고정하고 뉴런 모델만을 교체했을 때(연속형 vs 스파이킹), 작업 품질이 저하되기 전까지 활동을 얼마나 줄일 수 있는가? 저자들은 "에너지 배당(energy dividend)"이 희소성의 내재적 속성이 아니라, **작업 구조(task structure)**의 속성이라고 주장한다.

방법론

저자들은 아키텍처 차이로부터 스파이킹 역학의 효과를 격리하기 위해 **매칭된 아키텍처 프로토콜(matched-architecture protocol)**을 채택한다:

1. 통제된 비교: 각 작업에 대해, 하나의 아키텍처를 두 가지 변형(기존의 연속형 유닛(ReLU 또는 tanh)을 사용하는 버전과 Leaky-Integrate-and-Fire(LIF) 스파이킹 유닛을 사용하는 버전)으로 구현한다. 모든 가중치, 깊이, 임베딩 및 리드아웃(readout)은 동일하게 유지된다.
2. 양방향 타겟 발화율 프로브(Two-Sided Target-Rate Probe): 우연한 희소성에 의존하는 대신, 저자들은 특정 타겟 발화율($\rho^*$)으로부터의 편차를 양방향으로 벌칙을 주는 정규화 항($L_{reg}$)을 도입한다. 이를 통해 "달성 가능한 희소성"의 하한선, 즉 정확도 손실 없이 유지할 수 있는 최저 발화율을 탐색한다.
3. 에너지 근사치: 에너지는 45 nm 공정 데이터(MAC = 4.6 pJ, AC = 0.9 pJ)를 사용하여 추정한다. 연속적 신호에 의해 구동되는 밀집 변환은 MAC으로 계산하며, 스파이크 구동 변환은 측정된 시냅스 전 발화 및 타임스텝에 의해 스케일링된 AC로 계산한다.
4. 작업(Tasks): 연구는 피드포워드 인지(FashionMNIST), 순환 시퀀스 모델링(WikiText-103 문자 수준), 합성 메모리 작업(copy task), 그리고 스파이킹 트랜스포머를 다룬다.

주요 기여

1. 희소성 천장 (The Sparsity Ceiling)

본 논문은 작업 아키텍처에 따라 달라지는 희소성의 근본적인 한계를 식별한다:

• 피드포워드 인지 (Feed-Forward Perception): 희소성을 자유롭게 확보할 수 있다. 저자들은 정확도 손실 없이 은닉층 발화율을 **5%**까지 성공적으로 낮추었다.
• 순환 시퀀스 모델링 (Recurrent Sequence Modeling): 희소성을 구조적으로 확보할 수 없다. 순환 언어 모델에서 발화율을 10%로 목표하는 시도는 실패했으며, 발화율은 50~63% 근처에 고정되었다. 순환 상태(recurrent state)는 시간 단계에 걸쳐 정보를 전달하기 위해 활성 상태를 유지해야 한다.
• 스파이킹 트랜스포머 (Spiking Transformers): 순환 모델과 달리, 트랜스포머는 고정된 너비의 상태로 이력을 압축하지 않기 때문에 자유롭게 희소화될 수 있다(**2%**까지). 그러나 이들은 발화 하한선을 얻는 대신 **메모리 벽(memory wall)**을 마주하며, 전체 키-값(key-value) 캐시($O(\text{context})$)를 저장해야 한다.

2. 정보 이론적 발화 하한선 (Information-Theoretic Firing-Floor Bound)

저자들은 $H$개의 은닉 유닛이 이진 스파이크를 통해 $M$개의 메모리 내용을 구별하여 통신하는 스파이킹 순환 네트워크에 대해 정보 이론에서 유도된 이론적 경계로 천장을 공식화한다:
$$\rho \ge H_b^{-1}\left(\frac{\log_2 M}{H}\right)$$
여기서 $\rho$는 발화율이고, $H_b$는 이진 엔트로피 함수이다.

• 함의: 최소 발화율($\rho_{min}$)은 메모리 부하($\log_2 M$)에 따라 엄격히 증가하고, 상태 너비($H$)에 따라 감소한다.
• "메모리 전용" 관점에 대한 반박: 이 경계는 모든 표현 부하(representational load)에 적용된다. 실험 결과, 메모리가 없는 피드포워드 작업에서도 클래스 수($C$)가 늘어남에 따라 발화 하한선이 상승함을 보여주었으며, 이는 표현 부하가 (시간적 메모리뿐만 아니라) 천장을 결정한다는 것을 확인시켜 준다.

3. 입력 하한선 (The Input Floor)

은닉층이 성공적으로 희소화되더라도, 입력층이 전체 연산 감소를 제한할 수 있다. 밀집 프레임 재생 입력을 사용한 실험에서, 입력층은 시냅스 연산 예산의 **61%**를 소비하여 전체 연산 감소가 ANN과 대등한 수준 이하로 내려가는 것을 방해했다. 이는 진정한 뉴로모픽 효율성을 위해서는 네이티브 이벤트 구동 입력(구조적으로 희소한 입력)이 필수 조건임을 고립시킨다.

실험 결과

• 인지 (FashionMNIST): 스파이킹 네트워크는 비정규화된 SNN과 유사한 정확도를 유지하면서 발화율을 5%까지 낮추었다. 반면, 단방향 L1 정규화는 네트워크를 침묵 상태로 붕괴시켰다.
• 순환 언어 모델링 (WikiText-103): 발화율 10%를 목표로 하는 것은 활동량을 63%에서 50%로 줄이는 데 그쳤다. 품질 격차(bits per character)는 상당했으며, GPU에서의 학습 속도는 약 6배 느렸다.
• 합성 복사 작업 (Synthetic Copy Task): 정확도는 메모리 부하($N$)에 따라 상승하는 특정 발화 임계값 아래로 붕괴되었다. $N=8$일 때 정확도는 약 8%의 발화율을 요구했고, $N=4$일 때는 약 4%를 요구했다. 이는 메모리 부하가 높아질수록 하한선이 상승한다는 경계의 예측을 확인시켜 주었다.
• 난이도 스케일링: 메모리가 없는 분류 작업에서 클래스 수($C$)를 10에서 160으로 늘리면 발화 하한선이 9.5%에서 26%로 상승했다. 이는 표현 부하가 (시간적 메모리와 상관없이) 천장을 유도한다는 것을 보여준다.
• 스파이킹 트랜스포머: 발화율이 14배(0.27에서 0.02로) 감소했음에도 bits per character의 저하는 없었다. 이는 천장이 순환 압축(recurrent compression)에 특화된 것이지, 일반적인 시퀀스 모델링에 의한 것이 아님을 확인해 준다.

의의 및 주장

본 논문은 "SNN이 에너지를 절약한다"는 주장을 구체적이고 측정 가능한 규칙을 가진 작업 조건부(task-conditional) 진술로 재정의한다.

• 뉴로모픽가 승리하는 곳: 희소하고 이벤트 구동적인 인지 작업 및 낮은 표현 부하를 가진 작업. 여기서는 발화 하한선이 낮으며, 네이티브 이벤트 센서를 사용하면 입력 하한선도 제거된다.
• 뉴로모픽가 고전하는 곳: 시퀀스 모델링.
  • 순환 모델은 고정된 너비의 스파이크 상태로 이력을 압축해야 하기 때문에 발화 하한선(~50%)에 부딪힌다.
  • 어텐션 기반 모델은 발화 하한선은 피할 수 있지만, 메모리 벽(전체 KV 캐시 저장)에 부딪히며, 이는 뉴로모픽 하드웨어의 온칩 메모리 제약과 충돌한다.
• 결론: 어떤 아키텍처도 비용을 완전히 피할 수는 없으며, 단지 서로 다른 축(활동량 vs 메모리)에서 비용을 지불할 뿐이다. 논문은 순환 SNN의 높은 발화율이 에너지 효율 이득을 상쇄하며, 현재의 "스파이킹 LLM" 결과는 대부분 일반적인 시퀀스 모델링이 아닌 GPU 클러스터나 비전 작업에 의존하고 있다고 결론짓는다.

저자들은 자신들의 발견이 통제된 프로브에 기반하고 있음을 강조하며, 레이트 코딩(rate-coded) 데이터를 이벤트 스트림의 대용으로 사용한 점과 직접적인 하드웨어 측정 대신 프로세스 노드 에너지 추정치에 의존했다는 한계점을 언급하였다.