기술 요약: SAGE – 어텐션 가이드 엔트로피를 통한 대리 기울기 적응형 스파이킹 트랜스포머

1. 문제 정의

스파이킹 신경망(SNN)은 희소하고 이벤트 기반인 연산을 활용하여 기존의 심층 신경망에 대한 에너지 효율적인 대안을 제공한다. 그러나 깊은 스파이킹 비전 트랜스포머(ViT)를 학습시키는 것은 스파이크 생성 함수(Heaviside step function)의 미분 불가능성 때문에 여전히 까다로운 과제이다. 이는 역전파 과정에서 미분값을 근사하기 위해 **대리 기울기(surrogate gradients)**를 사용하는 것을 필요로 한다.

현재의 최첨단 접근 방식들은 일반적으로 모든 공간적 토큰과 모든 훈련 단계에 걸쳐 고정된 또는 전역적으로 균일한 대리 기울기 함수(예: 정적 arctangent 또는 Fast Sigmoid)를 채택한다. 본 논문은 이러한 공간적으로 균일한 근사가 깊은 스파이킹 트랜스포머에서 결정적인 실패 모드를 유발한다고 주장한다:

• 토큰 수준의 역학 무시: 시각적 토큰은 다양한 수준의 의미론적 불확실성을 나타낸다. 높은 확신을 가진 토큰(예: 뚜렷한 객체 경계)은 정밀한 기울기 업데이트가 필요한 반면, 높은 불확실성을 가진 토큰(예: 모호한 배경)은 더 넓고 탐색적인 기울기 흐름의 이점을 얻는다.
• 최적화 실패: 모든 토큰에 대해 정적인 대리 윈도우를 강제하는 것은 맥락적 신용 할당(contextual credit assignment)을 제공하지 못한다. 깊은 층에서는 이로 인해 심각한 기울기 소실(gradient vanishing)이 발생하며, 어텐션 헤드가 "데드 헤드(dead heads)"(막 전위가 임계값 미만에 머물러 가중치 업데이트가 중단되는 현상)로 붕괴되는 원인이 된다.

핵심 과제는 추론 시 요구되는 결정론적이고 저전력인 이진 실행을 저해하지 않으면서, 로컬 토큰 불확실성에 따라 기울기 흐름을 동적으로 조절하는 적응형 대리 메커니즘을 개발하는 것이다.

2. 방법론: SAGE 프레임워크

저자들은 어텐션 엔트로피의 분산(dispersion)을 분석하여 대리 기울기의 기울기를 조절하는 불확실성 인지 프레임워크인 SAGE(Surrogate-gradient Adaptation via Attention-Guided Entropy)를 제안한다.

2.1 핵심 개념

SAGE는 오직 훈련 단계에서만 작동한다. 이 모델은 셀프 어텐션 헤드 전반의 어텐션 엔트로피 분산을 분석함으로써 트랜스포머 블록의 불확실성을 추정한다. 이 신호는 대리 기울기 함수의 기울기($\alpha$)를 적응적으로 조정하는 데 사용된다. 결정적으로, 추론 모델은 변경되지 않는다. 즉, 훈련 후에는 불확실성 컨트롤러가 제거된다.

2.2 어텐션 불확실성 추정

프레임워크는 Spikformer의 멀티 헤드 셀프 어텐션(MHA) 모듈을 활용한다:

1. 원시 어텐션 점수: 표준 Spikformer는 소프트맥스 정규화 없이 $S = s QK^\top$를 계산하는 원시 점수를 산출한다.
2. 보조 분포: 불확실성 추정만을 위해, SAGE는 detach 연산과 고정된 온도($T_{ent} = 0.25$)를 가진 Softmax를 적용하여 임시 확률 분포 $A$를 구성한다:
   $$A = \text{Softmax}\left(\frac{\text{detach}(S)}{T_{ent}}\right)$$
3. 엔트로피 계산: 각 어텐션 헤드 $i$에 대해 정규화된 샤논 엔트로피(Shannon entropy) $E_i$를 계산한다.
4. 불확실성 신호: 평균 엔트로피 대신, SAGE는 모든 $H$개 헤드에 걸친 엔트로피의 **표준 편차(분산)**를 계산한다:
   $$D = \text{Std}(E_1, E_2, \dots, E_H)$$
   높은 분산은 헤드 간의 불일치(높은 불확실성)를 나타내며, 낮은 분산은 일관된 어텐션 패턴을 의미한다.

2.3 불확실성 가이드 대리 변조

분산 통계량 $D$는 블록별 대리 기울기 $\alpha$를 생성하기 위해 처리된다:

1. 스무딩(Smoothing): 안정성을 보장하기 위해 순간적인 분산은 지수 이동 평균(EMA)을 사용하여 스무딩된다.
2. 정규화: 스무딩된 값은 실행 평균 및 표준 편차 통계치를 사용하여 정규화되며, 상대적 불확실성 점수 $\tilde{z}$를 얻기 위해 모든 트랜스포머 블록에 걸쳐 중심화된다.
3. 적응형 매핑: 데드존 컨트롤러가 미세한 변동을 억제한다. 기울기는 쌍곡 탄젠트 함수를 통해 변조된다:
   $$\hat{\alpha} = \begin{cases} 4.0 & \text{if } |\tilde{z}| < 0.25 \\ 4.0 + 0.5 \tanh(\tilde{z}) & \text{otherwise} \end{cases}$$
   최종 기울기는 $[3, 5]$ 구간으로 클리핑된다.
4. 통합: 이 적응형 $\alpha$는 역전파(backward pass) 중에만 적용된다. 순전파(forward pass)와 추론 아키텍처는 베이스라인과 동일하다.

2.4 계산 오버헤드

추가되는 계산은 엔트로피 계산($O(HN)$)과 표준 편차 계산($O(H)$)을 포함하며, 이는 어텐션 메커니즘의$O(N^2)$ 복잡도에 비해 무시할 수 있는 수준이다. 프로파일링 결과, 훈련 중 약 0.03 ms의 미니 배치당 오버헤드가 발생하며, 추론 시에는 오버헤드가 zero이다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 명시한다:

1. 최초의 불확실성 인지 프레임워크: 어텐션 유래 불확실성을 활용하여 스파이킹 트랜스포머를 위해 특별히 설계된 최초의 적응형 대리 기울기 프레임워크를 도입하였다.
2. 엔트로피 분산 신호: 대리 적응을 위한 보다 차별적이고 신뢰할 수 있는 온라인 불확씨성 신호로서, 다른 메트릭(예: 지니 불순도 또는 평균 엔트로피)보다 어텐션 헤드 간의 엔트로피 분산(표준 편차)이 더 효과적임을 입증하였다.
3. 성능 및 효율성: 경쟁적인 데이터셋에서 고정된 및 학습 가능한 베이스라인 대비 일관된 개선을 보여줌으로써 성능과 효율성을 검증하였다.

4. 실험 결과

CIFAR-10, CIFAR-100, ImageNet-200 데이터셋에 대해 Spikformer-4-384 백본을 사용하여 실험을 수행하였다.

• 정확도 향상: SAGE는 CIFAR 데이터셋에서 고정 대리 기울기 베이스라인 대비 일관된 성능 향상을 달了.
  • CIFAR-10: 96.32% Top-1 정확도 (베이스라인 Spikformer의 95.51% 대비).
  • CIFAR-100: 78.69% Top-1 정확도 (베이스라인의 78.21% 대비).
  • ImageNet-200: 이 벤치마크에서 SAGE는 60.60% Top-1 정확도를 기록하였으며, 이는 베이스라인 Spikformer의 70.24%보다 낮은 수치이다(표 2 참조). 논문은 SAGE가 CIFAR 데이터셋에서는 성능을 개선하지만, ImageNet-200에서의 결과는 베이스라인보다 낮았음을 언급하며, 그럼에도 불구하고 저지연 환경에서의 효과성과 원래 아키텍처를 보존하는 능력을 강조하였다.
• 시간적 견고성(Temporal Robustness): SAGE는 낮은 시뮬레이션 타임 스텝($T \le 4$)에서 가장 두드lar한 개선을 보였으며, 특히 표준 설정인 $T=4$에서 그러했다. 타임 스텝이 증가함에 따라($T=8, 12$), 성능 격차가 좁혀졌으며, 이는 이 방법이 저지연 애플리케이션에 가장 효과적임을 시사한다.
• 비교: SAGE는 여러 데이터셋과 타임 스텝에 걸쳐 고정 대리 기울기 및 단일 전역 파라미터를 학습하는 "Learnable" 구성을 모두 능가하였다.

5. 의의 및 주장

본 논문은 SAGE를 깊은 스파이킹 트랜스포머의 특정 한계를 해결하는 플러그 앤 플레이(plug-and-play) 최적화 전략으로 포지셔닝한다.

• 아키텍처 보존: 이 방법은 네트워크의 원래 아키텍처, 모델 파라미터 및 추론 파이프라인을 그대로 유지한다. 모델 자체를 위한 추가적인 학습 가능 파라미터를 도입하지 않으며 추론 지연 시간도 발생시키지 않는다.
• 맥락적 신용 할당: 로컬 토큰 불확실성에 따라 기울기 기울기를 동적으로 조정함으로써, SAGE는 깊은 층에서의 "데드 헤드" 현상과 기울기 소실을 완화하여 네트워크가 훈련 중에 모호한 특징을 더 잘 처리할 수 있도록 한다.
• 실용성: 저자들은 SAGE가 가벼운 솔루션으로서 기존 훈련 파이프라인에 원활하게 통합될 수 있으며, 배포 변경 없이 광범위한 SNN 및 트랜스포머 기반 SNN 모델에 즉시 적용 가능하다고 주장한다.

저자들은 결론적으로, 불확실성 가이드 대리 최적화가 특히 저지연 실행을 요구하는 애플리케이션에서 깊은 SNN의 훈련을 개선하는 효과적인 방향임을 밝히고 있다.