기술 요약: PTQ4SNN

문제 정의

스파이킹 신경망(SNN)은 에너지 효율적이고 이벤트 기반의 연산을 제공하지만, 막 전위(membrane states)의 저장 및 재귀적 데이터 이동으로 인해 자원이 제한된 플랫폼에 배포할 때 상당한 장애물에 직면합니다. 가중치 양자화는 흔히 사용되지만, 재귀적인 막 전위는 추론 과정에서 일반적으로 부동 소수점 정밀도로 유지됩니다. 이는 상태 저장 공간과 데이터 트래픽의 상당 부분이 압축되지 않은 채로 남아 있음을 의미합니다.

이러한 막 전위를 양자화하는 것은 표준 활성화 양자화와 구별되는 독특한 과제를 안겨줍니다:

1. 분포 불일치(Distribution Mismatch): 막 전위 분포는 종종 선행하는 가중치의 스케일 및 형태와 크게 다릅니다. 가중치 스케일을 직접 공유하면 심각한 클리핑(clipping)이 발생하며, 독립적인 스케일링을 적용하면 하드웨어 친화적이지 않은 변환 오버헤드가 발생합니다.
2. 임계값 민감도(Threshold Sensitivity): 막 전위 오류는 매우 민감합니다. 발화 임계값 근처에서의 작은 섭동(perturbation)은 스파이크 결정을 변화시켜, 시간이 지남에 따라 오류가 누적되고 시간적 궤적(temporal trajectories)을 저하시킬 수 있습니다.
3. 채널 이질성(Channel Heterogeneity): 서로 다른 막 채널은 다양한 발화 활동성과 양자화 노이즈에 대한 민감도를 보입니다. 균일한 비트 폭 할당은 비효율적이며, 중요한 채널을 우선순위에 두지 못합니다.

기존의 SNN용 사후 훈련 양자화(PTQ) 방법들은 막 상태를 무시하거나, 양자화 인식 훈련(재학습 필요)에 의존하거나, 채널 수준의 이질성을 해결하지 못하는 레이어별 스케일 결합 방식을 사용합니다.

방법론

저자들은 백본 파라미터의 재학습 없이, 오직 소량의 교정(calibration) 세트만을 사용하여 가중치와 재귀적 막 상태를 공동으로 양자화하는 막 인식 PTQ 프레임워크인 PTQ4SNN을 제안합니다. 이 프레임워크는 양자화 가능한 프로젝션과 그 뒤를 잇는 Leaky Integrate-and-Fire (LIF) 뉴런을 재사용 가능한 **프로젝션-LIF 쌍(projection–LIF pairs)**으로 구성합니다.

1. 통합 스케일 브리지 (Unified Scale Bridge)

가중치와 막 상태 사이의 분포 불일치를 해결하면서 하드웨어 효율성을 유지하기 위해, PTQ4SNN은 **채널별 통합 스케일 브리지(Channel-wise Unified Scale Bridge)**를 도입합니다. 독립적인 스케일링이나 직접적인 재사용 대신, 채널 $c$에 대한 막 스케일($s_{mem,c}$)은 이전 가중치 스케일($s_{w,c}$)에 의해 2의 거듭제곱 시프트(power-of-two shift)를 통해 제약됩니다:
$$s_{mem,c} = s_{w,c} 2^{k_c}$$
여기서 $k_c$는 정수 시프트 지수입니다. 이를 통해 양자화 범위를 막 분포에 적응시키면서도, 곱셈기가 아닌 비트 시프트로 구현 가능한 시프트 호환 변환을 가능하게 합니다. 지수 $k_c$는 각 채널에 할당된 비트 폭을 기준으로 교정됩니다.

2. 혼합 정밀도 비트 할당 (Mixed-Precision Bit Allocation, MPBA)

채널 이질성을 처리하기 위해, 이 프레임워크는 혼합 정밀도 비트 할당을 채택합니다. 모든 채널에 균일한 비트 폭(예: M4)을 할당하는 대신, PTQ4SNN은 요소 개수 가중 평균 비트 예산(element-count-weighted average-bit budget) 하에서 채널당 2, 4 또는 8비트를 할당합니다.

• 스코어링 메커니즘: 채널은 교정 세트로부터 도출된 두 가지 지표를 바탕으로 점수가 매겨집니다:
  • 발화율 ($r_c$): 활동성이 높은 채널이 우선순위를 갖습니다.
  • 양자화 민감도 ($g_c$): 스파이크 출력 변화와 손실 그래디언트 간의 상관관계를 통해 측정됩니다.
• 할당: 결합된 점수 $a_c = \beta \hat{r}_c + \gamma \hat{g}_c$는 채널을 순위화합니다. 임계값은 고도로 활발하거나 민감한 채널을 높은 정밀도(8비트)로 보호하고, 덜 중요한 채널에는 낮은 정밀도(2비트)를 할당하면서 평균 예산(예: 약 4비트)을 충족하도록 그리드 탐색 및 이진 탐색을 통해 결정됩니다.

3. 프레임워크 파이프라인

PTQ4SNN 파이프라인은 다음 단계를 포함합니다:

1. 정규화 폴딩(folding)을 준비하고 Conv/Linear-LIF 쌍을 교체하여 양자화된 모델을 준비합니다.
2. 교정 순전파(forward pass)를 통해 통계량(가중치 스케일, 막 범위, 발화율, 민감도)을 수집합니다.
3. 채널별 막 정밀도(MPBA)를 할당합니다.
4. 할당된 비트 폭에 따라 조건화된 통합 스케일 브리지를 구축합니다.
5. 동결된 양자화 모델을 평가합니다.

주요 기여

1. 통합 스케일 브리지: 가중치 도메인과 막 도메인 사이의 스케일 불일치를 하드웨어 친화적인 2의 거듭제곱 변환을 통해 해결함으로써, 하드웨어 친화적이지 않은 곱셈기 없이도 적응형 채널별 스케일을 제공합니다.
2. 혼합 정밀도 비트 할당: 전역 예산 하에서 재귀적 막 채널에 2/4/8비트 정밀도를 동적으로 할당하여, 정확도와 저장 공간 사이의 트레이드오프를 최적화하는 활동성 및 민감도 인식 전략을 제공합니다.
3. 범용적 적용성: 본 프레임워크는 백본 재학습 없이 기존의 컨볼루션 SNN(예: SEW-ResNet)부터 스파이크 기반 트랜스포머(예: SDT, Meta-SpikeFormer)까지 작동하며, 정적 이미지 분류, 이벤트 기반 인식, 시맨틱 세그멘테이션을 지원합니다.

실험 결과

실험은 ImageNet-1K, CIFAR10-DVS, Pascal VOC2012를 대상으로 W4(4비트 가중치) 양자화 및 평균 약 4비트 막 예산(M4)을 사용하여 수행되었습니다.

• ImageNet-1K 분류:
  • SDT-8-768: PTQ4SNN은 **75.16%**의 정확도를 달성하였으며, 이는 풀 정밀도 베이스라인 대비 단 **0.74%**의 하락만을 기록한 것입니다. 이는 FlowQ(63.74%) 및 가중치 재사용 베이스라인(예: M4를 사용한 BRECQ의 74.12%, 4.84% 하락)을 크게 상회하는 성능입니다.
  • Meta-SpikeFormer: 78.50%(0.38% 하락)를 달성하여 모든 베이스라인을 능가했습니다.
  • SEW-ResNet18: 59.62%(3.07% 하락)를 달성하여 FlowQ 및 가중치 재사용 방식보다 우수한 성능을 보였습니다.
• 이벤트 기반 분류 (CIFAR10-DVS):
  • SDT-2-256에서 PTQ4SNN은 70.80%(1.00% 하락)에 도달하여, 재귀적 시간적 작업에서 FlowQ(67.30%) 대비 견고함을 입증했습니다.
• 시맨틱 세그멘테이션 (Pascal VOC2012):
  • SDT 기반 FPN에서 PTQ4SNN은 59.77 mIoU(0.67 하락)를 달성하여, 레이어별 FlowQ 베이스라인(49.41 mIoU)을 크게 앞질렀습니다.
• 하드웨어 비용 분석:
  • 8×16-PE 하드웨어 모델에서, 혼합 정밀도 접근 방식(MPBA)은 풀 정밀도(1.000) 대비 상태 SRAM 읽기/쓰기 에너지를 0.177(정규화 기준)로 감소시켰으며, 실제 평균 정밀도는 4비트에 가깝습니다.

의의 및 주장

본 논문은 PTQ4SNN이 재귀적 막 상태를 일급 PTQ 대상으로 취급함으로써, 저비트 SNN 배포의 "불완전한" 특성을 효과적으로 해결한다고 주장합니다. 재학습 없이 가중치와 상태를 공동으로 양자화함으로써, 이 프레임워크는 다양한 아키텍처와 작업에 대해 경쟁력 있는 정확도를 보존합니다.

저자들은 다음과 같은 점을 강조합니다:

• 재학습의 필요성을 제거하여, 사전 학습된 SNN을 배포하는 데 실용적입니다.
• 시프트 연산을 통해 가중치와 막 상태 사이의 스케일 불일치를 해결하여 하드웨어 친화적입니다.
• 자원 사용을 최적화하여(중요한 곳에 비트를 할당), 약 4비트의 막 정밀도로 거의 풀 정밀도에 가까운 정확도를 달성합니다.
• 범용성을 갖추어, 컨볼루션 SNN에서 현대적인 스파이크 기반 트랜스포머에 이르기까지 적용 가능함을 입증하며 차세대 에너지 효율적 AI 하드웨어를 위한 유용성을 검증했습니다.