Uncertainty-Aware Token Importance Estimation in Spiking Transformers

기술 요약: 스파이킹 트랜스포머에서의 불확실성 인지 토큰 중요도 추정

문제 제기
스파이킹 트랜스포머는 스파이킹 신경망 (SNN) 의 에너지 효율성과 자기-주의 (self-attention) 의 전역 모델링 능력을 결합하여 뉴로모픽 비전에서 상당한 잠재력을 보여주었습니다. 그러나 중요한 병목 현상이 남아 있습니다: SNN 고유의 다단계 토큰 처리는 종종 상당한 중복성과 추론 비용을 초래합니다. 기존 토큰 축소 방법 (예: 토큰 가지치기 또는 병합) 은 효율성을 개선하려는 목표를 가지고 있지만, 주로 활성화 크기, 발화 통계, 또는 특징 유사성과 같은 응답 기반 단서에 의존합니다.

저자들은 이러한 기준이 스파이킹 트랜스포머에는 부적절하다고 주장합니다. 왜냐하면 토큰 수준의 클래스 증거가 시간에 따라 어떻게 진화하는지를 명시적으로 특징화하지 못하기 때문입니다. 정적 트랜스포머에서는 토큰 표현이 단일 시점에서 결정되는 반면, 스파이킹 표현은 여러 시뮬레이션 단계를 거쳐 점진적으로 형성됩니다. 따라서 토큰 중요도는 단일 단계 응답만으로는 적절히 추론될 수 없으며, 스파이킹 역학 전반에 걸친 증거와 불확실성의 진화를 포착하는 시간적 관점이 필요합니다.

방법론: Uncert
이를 해결하기 위해 저자들은 시간적 불확실성 패턴에 기반한 토큰 중요도를 추정하기 위한 학습이 필요 없는 플러그 - 앤 - 플레이 프레임워크인 Uncert를 제안합니다. 방법론은 네 가지 주요 구성 요소로 이루어집니다:

1. 스파이킹 토큰 계층 구조: 이 프레임워크는 계층적 스파이킹 트랜스포머 백본 (예: QKFormer 또는 MaxFormer) 을 활용합니다. 토큰 표현은 $T$개의 시간 단계를 거쳐 진화하며, 각 공간 토큰에 대해 시간적 궤적을 형성합니다.
2. 토큰 불확실성 기준: Uncert 는 원시 활성화 값 대신 디리클레 분포를 사용하여 토큰별 클래스 증거를 모델링합니다.
   • 시간 $t$에서 토큰 $i$의 분류기 로지트는 Softplus 활성화를 통해 음이 아닌 증거 값으로 변환됩니다.
   • 이러한 증거 값은 디리클레 분포의 모수 ($\alpha$) 를 정의합니다.
   • 토큰 불확실성 ($U$) 은 총 증거 ($S$) 로부터 $U = C/S$로 유도되며, 여기서 $C$는 클래스 수입니다. 이는 각 토큰에 대한 시간적 불확실성 궤적 $\{U^t_i\}_{t=1}^T$를 산출합니다.
3. 스파이킹 - 시간적 불확실성 모델링: 프레임워크는 각 토큰의 시간적 불확실성 궤적을 두 가지 통계량을 사용하여 요약합니다:
   • 평균 ($\mu$): 토큰의 전반적인 모호성 수준을 나타냅니다.
   • 표준 편차 ($\sigma$): 토큰 불확실성의 시간적 변동 또는 안정성을 포착합니다.
   • 최종 중요도 점수는 $S_i = \mu_i + \lambda \sigma_i$로 계산되며, 여기서 $\lambda$는 균형 계수 (경험적으로 0.9 로 설정됨) 입니다. 저자들은 불확실성이 높거나 변동이 강한 토큰은 종종 모델이 모호성을 해결하는 정보 풍부한 영역에 해당하며, 반면 불확실성이 낮은 토큰은 종종 중복된 배경을 나타낸다고 관찰했습니다.
4. 토큰 선택: 계산된 점수는 두 가지 전략을 통해 추론 시 토큰 축소를 안내합니다:
   • 토큰 가지치기: 자기-주의 계산 전에 나머지 토큰을 폐기하고 가장 높은 점수를 가진 상위 $K$개 토큰을 선택하여 유지합니다.
   • 토큰 병합: 중요도가 낮은 토큰을 인근의 고점수 앵커로 집계합니다.

주요 기여

• 토큰 중요도에 대한 시간적 관점: 이 논문은 스파이킹 트랜스포머에서의 토큰 중요도 추정을 재검토하여, 토큰이 균일한 역학이 아닌 이질적인 불확실성 궤적 (안정적, 변동적, 또는 지속적으로 모호한) 을 보임을 입증합니다.
• Uncert 프레임워크: 토큰 증거를 디리클레 분포로 모델링하고 시간적으로 집계된 불확실성 통계량 (평균 및 변동) 에서 중요도 점수를 유도하는 학습이 필요 없는 플러그 - 앤 - 플레이 방법론을 제안합니다.
• 실증적 검증: 정적 (CIFAR-10, CIFAR-100) 과 뉴로모픽 (DVS-CIFAR-10, DVS-Gesture) 벤치마크 모두에 대한 광범위한 실험을 통해 방법론의 유효성을 검증했습니다.

실험 결과

• 정확도 - 효율성 트레이드오프: Uncert 는 정확도와 효율성 사이에서 유리한 트레이드오프를 달성합니다. CIFAR-100 과 DVS-CIFAR-10 에서 토큰의 80~90% 만 유지해도 전체 베이스라인과 유사하거나 약간 더 나은 정확도를 얻는 경우가 많습니다.
• 가지치기 대 병합: 토큰 가지치기가 불확실성 기준의 가장 효과적인 적용으로 나타났습니다. 예를 들어, CIFAR-100 에서 80% 유지 비율로 Uncert(가지치기) 는 81.06% 정확도를 달성하여 베이스라인 (80.98%) 과 무작위 선택 (80.40%) 을 능가했습니다. 반면, 토큰 병합은 일관된 향상을 보이지 않았으며, 공격적인 압축 하에서는 종종 베이스라인보다 낮은 성능을 보였습니다.
• 구성 요소 분석: 제거 실험 (Ablation studies) 은 평균 불확실성과 시간적 변동을 모두 결합하는 것이 단일 지표만 사용하는 것보다 우수한 성능을 낸다는 것을 확인했습니다. 이는 전반적인 모호성 수준과 토큰의 시간적 안정성 모두 정보 신호를 구별하는 데 중요함을 강조합니다.
• 효율성 향상: 유지 비율을 0.40 으로 낮추었을 때 블록 수준 연산 (SOP) 이 약 14.86% 감소하여 측정 가능한 계산 절감 효과를 입증했습니다.

의의 및 주장
이 논문은 Uncert 가 즉각적인 응답 강도에서 시간적 불확실성 패턴으로 초점을 이동시킴으로써 스파이킹 트랜스포머의 토큰 역학에 대한 새로운 관점을 제시한다고 주장합니다. 저자들은 불확실성이 단순히 불안정성의 척도가 아니라, 추가 해결이 필요한 차별적 콘텐츠를 식별하는 유용한 신호라고 봅니다.

이 연구의 의의는 추가 학습이나 학습 가능한 예측기가 필요 없이 추론 효율성을 개선할 수 있다는 점에 있습니다. 스파이킹 표현의 고유한 시간적 진화를 활용함으로써 Uncert 는 중복성을 줄이기 위한 원칙적이고 학습이 필요 없는 메커니즘을 제공합니다. 저자들은 시간적 불확실성 통계량이 특히 가지치기를 위한 토큰 선택에 강력하고 효과적인 단서를 제공하며, 정적 및 이벤트 기반 비전 작업 모두를 위한 더 효율적인 스파이킹 트랜스포머를 가능하게 한다고 결론지었습니다.