🤖 machine learning

Spiking Brain Compression: Post-Training Second-order Compression for Spiking Neural Networks

이 논문은 저렴하게 계산 가능한 헤시안(Hessian)을 갖는 스파이크 열(spike-train) 기반의 목적 함수를 활용하여 Optimal Brain Surgeon 방식을 스파이킹 신경망으로 확장함으로써, 다양한 데이터셋과 아키텍처에 걸쳐 최첨단 압축 성능과 상당한 정확도 향상을 달성하는 새로운 원샷 사후 훈련 프레임워크인 Spiking Brain Compression(SBC)을 제안한다.

원저자: Lianfeng Shi, Ao Li, Benjamin Ward-Cherrier

게시일 2026-01-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Lianfeng Shi, Ao Li, Benjamin Ward-Cherrier

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 아주 똑똑하고 에너지 효율적인 로봇 두뇌인 **스파이킹 신경망(Spiking Neural Network, SNN)**이 있다고 상상해 보세요. 일반적인 컴퓨터 두뇌가 끊임없이 숫자를 떠드는 것과 달리, 이 로봇 두뇌는 중요한 일이 생겼을 때만 **스파이크(spike)**라고 불리는 작은 전기 불꽃을 사용하여 "말"을 합니다. 이 덕분에 이 두뇌는 믿을 수 없을 정도로 빠르고 전력을 적게 소모하며, 인간의 뇌를 모방한 특수 하드웨어 칩에 매우 적합합니다.

하지만 이러한 로봇 두뇌는 우리가 원하는 작고 휴대 가능한 칩에 담기에는 너무 크고 무거운 경우가 많습니다. 우리는 이 두뇌가 생각하는 법을 "잊어버리지" 않게 하면서도 크기를 줄여야 합니다.

문제점: 축소 과정의 "힘든 작업"

과거에 이러한 네트워크를 축소하는 것은 거대한 책을 통째로 다시 써가며 편집하는 것과 같았습니다. 문장 하나를 삭제하고, 전체 책을 다시 읽어보며 여전히 말이 되는지 확인하고, 또 다른 문장을 삭제하고, 이 과정을 반복하는 식이었죠. **반복적 훈련(iterative training)**이라 불리는 이 과정은 엄청난 시간과 에너지를 소모합니다. 가장 크고 복잡한 로봇 두뇌들(ImageNet이나 Transformer와 같이 사용되는 것들)의 경우, 이 "다시 쓰는" 과정이 너무 비싸서 거의 불가능에 가깝습니다.

해결책: "스파이킹 브레인 압축(Spiking Brain Compression, SBC)"

이 논문의 저자들은 **스파이킹 브레인 압축(SBC)**이라는 새로운 방법을 소개했습니다. SBC는 거대한 책을 다시 쓰는 대신, **단 한 번의 정밀한 절삭(one-shot, surgical trim)**을 수행하는 것과 같습니다. 책을 다시 쓰는 것이 아니라, 텍ка스트를 단 한 번 정밀하게 살펴본 뒤, 어떤 단어를 잘라낼지 결정하고 남은 단어들을 어떻게 조정해야 이야기가 여전히 완벽하게 흐를지 즉각적으로 결정하는 것입니다.

저자들은 다음과 같은 간단한 비유를 사용하여 이 작업을 수행했습니다.

1. 잘못된 방법: 잘못된 것을 측정하기

이전의 네트워크 축소 시도들은 일반 컴퓨터용(인공 신경망, ANN) 자를 사용했습니다. 그들은 "현재 값"이나 가공되지 않은 숫자들을 측정했습니다. 하지만 스파이킹 두뇌에게 가장 중요한 것은 가공되지 않은 숫자가 아니라, **스파크의 타이밍(스파이크 열, spike train)**입니다.

비유: 드럼 스틱이 바닥을 치는 소리의 부피(볼륨)를 측정하여 드럼 솔로의 품질을 판단하려는 것과 같습니다. 실제로는 비트의 리듬을 들어야 합니다. 볼륨만 측정한다면 무엇이 음악을 좋게 만드는지에 대해 잘못된 생각을 갖게 될 것입니다.

2. 올바른 방법: 리듬에 귀 기울이기

저자들은 **반 로섬 거리(Van Rossum Distance)**를 기반으로 한 새로운 "자"를 만들었습니다. 이것은 절삭 전후의 스파크 타이밍이 얼마나 유사한지를 측정합니다.

비유: 문장에 단어가 몇 개 있는지 세는 대신, 말의 리듬에 귀를 기울이는 것입니다. 만약 단어를 하나 제거했다면, 그 문장의 리듬이 여전히 자연스러운지 확인하는 방식입니다.

3. 마법 같은 기술: "대리 막 전위(Surrogate Membrane Potential, SMP)"

이러한 '원샷(one-shot)' 절삭을 가능하게 하기 위해, 그들은 **대리 막 전위(SMP)**라는 영리한 지름길을 발명했습니다.

수학적 비유: 보통, 하나의 절삭이 전체 두뇌에 어떤 영향을 미치는지 정확히 계산하려면 엄청나게 복잡한 퍼즐(헤시안 행렬, Hessian matrix)을 풀어야 하며 이는 시간이 매우 오래 걸립니다. 저자들은 이 퍼즐을 계산하기 쉬운 단순하고 평평한 표면을 사용하여 근사화할 수 있는 방법을 찾아냈습니다.
결과: 이를 통해 그들은 네트워크를 살펴보고, 최적의 절삭 지점을 계산하고, 남은 부분을 **단 한 번의 역전파(backward pass)**만으로 수정할 수 있습니다. 이는 마치 숙련된 재단사가 옷을 보고 어디를 잘라야 할지 정확히 표시한 뒤, 핏을 완벽하게 유지하기 위해 솔기를 어떻게 늘려야 할지 단 1초 만에 알아내는 것과 같습니다.

무엇을 달성했는가?

이 논문은 손동작을 인식하는 작은 로봇 두뇌부터 이미지를 인식하는 거대한 로봇 두뇌(ImageNet 등)에 이르기까지 다양한 모델에 대해 이 "원샷(one-shot)" 방법을 테스트했습니다.

속도: 기존의 재훈련이 필요한 방식보다 10배에서 1,000배 더 빠릅니다.
정확도: 연결의 90% 이상을 잘라내어 두뇌를 매우 희소(sparse)하게 만들었음에도 불구하고, 로봇 두뇌는 이전과 거의 비슷하게 업무를 수행하는 법을 기억해 냈습니다.
범용성: 이 방법은 이벤트 기반 데이터(움직임만을 포착하는 카메라 등)와 일반적인 정적 이미지 모두에서 작동했습니다.
적은 데이터: 이 방법의 튜닝을 위해 방대한 라이브러리의 예시가 필요하지 않다는 것을 증명했습니다. 카테고리당 아주 적은 샘플(때로는 클래스당 1개 미만!)만으로도 여전히 안정적으로 작동합니다.

핵심 요약

이 논문은 **스파이킹 브레인 압축(SBC)**이 이러한 특수 로봇 두뇌를 축소하는 새로운 최첨단(state-of-the-art) 방식이라고 주장합니다. 이를 통해 우리는 거대한 사전 학습 모델을 가져와서, 며칠 또는 몇 주 동안 재훈련할 필요 없이, 작고 저전력인 하드웨어에서 사용할 수 있도록 즉시 압축할 수 있습니다. 이는 두뇌의 리듬을 그대로 유지하면서도 당신의 주머니 속에 쏙 들어갈 만큼 작게 만드는 "잘라 붙이기(cut and paste)" 솔루션입니다.

기술 요약: 스파이킹 신경망을 위한 사후 학습 2차 압축 (Post-Training Second-order Compression)

1. 문제 정의

스파이킹 신경망(SNN)은 희소하고 이벤트 기반인 특성 덕분에 뉴로모픽 하드웨어(예: Loihi, SpiNNaker, TrueNorth)에서 상당한 에너지 효율 이점을 제공한다. 그러나 이러한 하드웨어 플랫폼은 메모리와 계산 자원이 제한적이므로 모델 압축이 필수적이다.

현재의 최첨단(SOTA) SNN 압축 방식들은 두 가지 주요 한계점에 직면해 있다:

높은 계산 비용: 대부분의 기존 프루닝(pruning) 및 양자화(quantization) 기술은 반복적인 프루닝-재학습 사이클에 의존하거나 처음부터 학습(예: 로터리 티켓 가설 접근법)을 요구한다. 이는 SEW-ResNet152 또는 스파이킹 트랜스포머와 같은 대규모 사전 학습된 SNN에 적용하기에는 비용이 너무 많이 든다.
ANN 방식의 적용 불가능성: Optimal Brain Compression(OBC)과 같이 ANN을 위해 설계된 원샷(one-shot) 사후 학습 압축 방식을 단순히 적용하면 하위 최적(suboptimal)의 결과를 얻게 된다. 이는 ANN의 연속적인 출력 목적 함수와 SNN의 이산적이고 시간 의존적인 스파이크 열(spike trains) 사이의 근본적인 단절 때문이다.

본 논문은 재학습을 요구하지 않으면서 현대적인 대규모 SNN 아키텍처를 처리할 수 있는, 계산 효율적인 원샷 사후 학습 압축 프레임워크의 필요성을 다룬다.

2. 방법론: 스파이킹 브레인 압축 (Spiking Brain Compression, SBC)

저자들은 Optimal Brain Surgeon(OBS) 프레임워크를 SNN으로 확장한 레이어별 2차 압축 알고리즘인 **Spiking Brain Compression (SBC)**를 제안한다.

2.1. 모듈 단위 정식화

SNN은 선형/컨볼루션 레이어와 Leaky-Integrate-and-Fire(LIF) 뉴런 레이어로 구성된 모듈 단위로 압축된다. 목표는 원래의 출력 스파이크 열 $S$ 와 압축된 출력 $\hat{S}$ 사이의 왜곡(distortion)을 최소화하는 압축된 가중치 $\hat{W}$ 를 찾는 것이다.

2.2. 손실 함수: 반 로섬 거리 (Van Rossum Distance, VRD)

연속적인 활성화 값에 대해 제곱 오차를 최소화하는 ANN과 달리, SBC는 스파이크 열 사이의 제곱 **반 로섬 거리(VRD)**를 최소화한다. VRD는 감쇠 지수 커널 $k(t)$ 를 사용하여 스파이크 사이의 시간적 거리를 고려한다.
손 loss 함수는 다음과 같이 정의된다:
$L(W) = ||MS - M\hat{S}||_2^2$
여기서 $M$ 은 시간 단계에 대한 커널 $k(t)$ 를 나타내는 컨볼루션 행렬이다. 이 정식화는 손실이 단순히 이진 일치(binary coincidence)가 아니라 스파이크 타이밍의 생물학적 관련성을 반영하도록 보장한다.

2.3. 대리 막 전위 (Surrogate Membrane Potential, SMP) 및 헤시안 유도

스파이크 생성 메커니즘의 미분 불가능한 헤비사이드(Heaviside) 함수 때문에 VRD 손실의 헤시안(Hessian)을 직접 계산하는 것은 복잡하다.
이를 해결하기 위해 저자들은 **대리 막 전위(SMP)**를 도입한다:

미분 불가능한 스파이크 함수를 미분 가능한 대리 그래디언트 $g(u)$ 로 대체한다.
$g(u) = c$ 라는 상수 대리 그래디언트를 가정하여(뉴런이 특정 윈도우 내에서 활성 상태인 것으로 간주), 헤시안 계산을 단순화한다.
이 가정하에, 헤시안 $H$ 는 입력 전류 $X$ 에 대한 $2(MX)^T(MX)$ 의 기대값이 된다.
결과적으로 이 헤시안은 쉽게 계산 가능하며 해석적으로 다룰 수 있어, 최적의 가중치 업데이트를 추정하기 위한 단일 역전파(backward pass)만으로 충분하다.

2.4. 압축 알고리즘

프루닝(Pruning): SBC는 유도된 헤시안을 사용하여 비구조적 프루닝을 수행한다. 크기 기반의 Magnitude-based Pruning Score(LAMPS)를 사용하여 모듈별 희소성 목표를 결정한다. 가중치는 Woodbury 행렬 항등식을 사용하여 역 헤시안을 효율적으로 업데이트함으로써 배치 단위로 프루닝되며, 이는 매 단계마다 발생하는 $O(N^3)$ 의 전체 행렬 역행렬 계산 비용을 피할 수 있게 한다.
양자화(Quantization): 이 프레임워크는 표준 ANN 헤시안을 SMP 기반 헤시안( $H_{SMP}$ )으로 교체하여 GPTQ(Greedy Post-Training Quantization) 알고리즘을 적응시킨다. 이를 통해 스파이크 열의 왜곡을 최소화하기 위한 최적의 가중치 보상(weight compensation)이 가능하다.

3. 주요 기여

VRD 기반 손실의 공식화: SNN의 레이어별 압축을 위한 반 로섬 거리 기반 손실 함수를 공식화하고 효율적으로 샘플링 가능한 헤시안 행렬을 유도하였다.
SBC 알고리즘: 심층 스파이킹 CNN(SEW-ResNet) 및 스파이킹 트랜스포머를 지원하는 원샷 2차 압축 알고리즘(SBC)을 개발하였다.
최첨단 성능: 뉴로모픽 벤치마크(N-MNIST, CIFAR10-DVS) 및 대규모 정적 데이터셋(CIFAR-100, ImageNet)에서 SOTA 원샷 사후 학습 압축 결과를 입증하였다.
데이터 부족에 대한 강건성: 클래스당 1개 미만의 캘리브레이션 샘플 크기에서도 안정적인 성능을 보이는 절제 연구(ablation studies)를 수행하였다.

4. 실험 결과

저자들은 다양한 데이터셋과 아키텍처에 대해 SBC를 평가하였으며, 이를 단순 크기 기반 프루닝(MBP), ExactOBS(SNN용 OBC), 그리고 사후 학습(PAT) 반복 방식과 비교하였다.

4.1. 프루닝 성능

뉴로모픽 벤치마크: SBC는 특히 높은 희소성 수준에서 ExactOBS 및 MBP를 크게 능가한다. 예를 들어, N-MNIST의 97% 희소도에서 SBC는 정확도 저하를 1.59%로 유지한 반면, ExactOBS는 45.07%의 정확도 저하를 겪었다.
정적 데이터셋 (ImageNet): SBC는 SEW-ResNet152 및 Spike-Driven Transformers를 성공적으로 압축하였다. SBC는 ExactOBS의 정확도와 대등하거나 이를 상회하였으며, 일부 경우에는 반복적인 PAT 방식(UPF 및 STDS 등)의 정확도에 근접하면서도 계산 시간은 1~3 자릿수 더 적게 소요되었다.
규모: 본 연구는 34개 이상의 레이어를 가진 SNN의 최초 알려진 비구조적 프루닝이며, ImageNet 규모의 데이터셋으로 훈련된 스파이킹 트랜스포머를 프루닝한 첫 사례이다.

4.2. 양자화 성능

SBC는 4-bit, 3-bit, 2-bit 양자화에 대해 테스트되었다.
SBC가 모든 데이터셋의 높은 비트 너비(4-bit)에서 베이스라인보다 일관되게 우수한 성능을 보이지는 않았으나, 가장 낮은 비트 너비(2-bit)에서 최상의 결과를 달성하였으며, 차순위 방법보다 상당한 격차로 앞섰다(예: N-MNIST에서 28.11%).
이 방법은 가중치 보상이 저비트 배포에 매우 중요하다는 것을 보여주었으나, 보상된 가중치가 때때로 양자화 그리드 범위를 벗어나는 "out-of-bounds" 문제를 언급하였다.

4.3. 효율성 및 캘리브레이션

시냅스 연산 (SOPs): SBC는 정확도를 유지하면서 SOPs(에너지 소비의 대리 지표)를 효과적으로 줄였다. 예를 들어, SEW-ResNet18을 72.26% 희소도로 프루닝했을 때, 최소한의 정확도 손실로 SOPs를 1134.4M에서 697.24M으로 줄였다.
캘리브레이션 크기: 이 방법은 매우 작은 캘리브레이션 세트에서도 강건함을 증명하였다. ImageNet에 대한 SEW-ResNet18의 경우, 클래스당 0.1개의 이미지만 있는 100개의 캘리브레이션 이미지만으로도 경쟁력 있는 성능을 달여냈다.

5. 의의 및 주장

본 논문은 SBC가 SNN 압축을 위한 계산 효율적인 대안을 제공한다고 주장한다. 스파이크 열에 맞춤화된 2차 근사를 활용함으로써, SBC는 과도한 재학습 비용 없이 대규모 사전 학습된 SNN을 자원이 제한된 뉴로모픽 하드웨어에 배포할 수 있게 한다.

저자들은 SBC를 차세대 SNN(심층 네트워크 및 트랜스포머 포함)을 저전력 엣지 컴퓨팅 및 로보틱스 시나리오에 적용하기 위한 필수적인 단계로 규정한다. 또한 양자화에서의 "out-of-bounds" 문제와 매우 큰 출력 차원에 대한 커스텀 헤시안 행렬의 높은 공간 복잡성과 같은 한계를 인정하며, 이를 향후 연구 과제로 식별하였다.