기술 요약: 효율적인 제스처 이해를 위한 탄성 스파이킹 트랜스포머

1. 문제 제기

의료 및 제스처 인식을 위한 뉴로모픽 하드웨어 (예: Intel Loihi, IBM TrueNorth) 에 스파이킹 신경망 (SNN), 특히 스파이킹 트랜스포머를 배포하는 작업은 두 가지 치명적인 병목 현상에 직면해 있습니다:

1. 아키텍처의 경직성: 기존 SNN 아키텍처는 고정된 파라미터 수와 계산 그래프를 가진 정적 구조입니다. 메모리 및 전력 제약이 다양한 다양한 뉴로모픽 칩에 이러한 모델을 배포하려면 각 하드웨어 타겟마다 완전히 별도의 모델을 훈련하고 배포해야 하므로, 통합 접근법의 효율성 이점이 무효화됩니다.
2. 하드웨어 비호환성 및 에너지 비효율성: 많은 현재의 스파이킹 트랜스포머는 전역 행렬 곱셈 (GEMM) 또는 배치 행렬 곱셈 (BMM) 연산에 의존합니다. 이러한 연산들은 스파이크 기반 뉴로모픽 칩에서 네이티브로 지원되지 않아, 워크로드가 고전력 CPU 로 오프로딩되게 하여 에너지 절감 효과를 훼손합니다. 또한, 표준 확장 전략 (모델 너비/깊이 축소) 은 초기 특징 추출 (패치 임베딩) 단계가 모델 크기와 관계없이 스파이크 활동의 주된 원인으로 남아 있기 때문에 에너지 소비를 비례적으로 줄이는 데 종종 실패합니다.

2. 방법론: NESTformer 아키텍처

저자들은 런타임 적응성을 스파이킹 패러다임에 직접 내장하도록 설계된 새로운 아키텍처인 NESTformer(Neuromorphic Elastic Spiking Transformer) 를 제안합니다. 이 프레임워크는 세 가지 핵심 원칙에 기반합니다:

• 중첩 아키텍처: 더 작은 구성은 더 큰 구성의 엄격한 부분집합이 되어 가중치 공유를 가능하게 합니다.
• 스파이크 인식 탄성: 크기 축소는 파라미터와 스파이크 활동을 모두 최소화하도록 최적화됩니다.
• 하드웨어 인식 설계: 이 아키텍처는 CPU 의존적 연산을 피하고 뉴로모픽 하드웨어에 네이티브인 구조를 활용합니다.

이 모델은 세 개의 탄성 빌딩 블록을 통해 이벤트 기반 입력을 처리하며, 이 블록들은 세분화 매개변수 $g$에 의해 제어됩니다:

A. 탄성 스파이킹 자기 어텐션

Matryoshka 표현 학습에서 영감을 받은 이 블록은 쿼리 ($Q$), 키 ($K$), 값 ($V$) 텐서를 동적으로 슬라이싱하여 추론 중에 활성 어텐션 헤드 수 ($h_g$) 를 조정할 수 있게 합니다.

• 뉴로모픽 호환성: 전역 행렬 곱셈을 제거하기 위해 저자들은 행 단위 어텐션 (Row-wise Attention) 메커니즘을 도입했습니다. 밀집 어텐션 맵을 계산하는 대신, 연산은 두 단계의 누출 적분 및 발화 (LIF) 연산 시퀀스로 분해됩니다: $attng = LIF(Q_g \cdot K_g^T)$ 다음에 $O_g = LIF(attng \cdot V_g)$입니다. 이는 어텐션 점수를 이진 스파이크로 변환하여 후속 곱셈이 이벤트 기반 하드웨어와 호환되는 엄격한 스파이크 기반 누산이 되도록 합니다.

B. 탄성 스파이킹 MLP

다층 퍼셉트론 (MLP) 모듈은 로그 간격 필터 수에 기반한 가변 은닉 차원을 활용합니다. 은닉 차원 ($h_g$) 을 최소에서 최대로 동적으로 조정함으로써, 모델은 재훈련 없이도 파라미터 수 (일반 트랜스포머의 약 60% 를 차지함) 를 크게 줄일 수 있습니다.

C. 탄성 특징 추출 (XiSPS)

패치 임베딩이 대부분의 스파이크를 생성하는 병목 현상을 해결하기 위해, 저자들은 XiSPS(Elastic Spiking Patch Splitting) 를 도입했습니다. 정적 임베딩과 달리 XiSPS 는 특징 세분화와 전력 소비 간의 동적 런타임 트레이드오프를 지원합니다. 이는 입력 단계에서 계산 부하와 파라미터 수를 줄이기 위해 조정 가능한 압축 계수 $\gamma$를 적응시켜, 에너지 절감량이 모델 크기에 선형적으로 비례하도록 보장합니다.

D. 훈련 전략

이 모델은 전통적인 "샌드위치" 훈련 대신 확률적 샘플링 전략을 사용합니다. 훈련 중에는 더 큰 구성을 선호하는 편향된 분포 $P(g)$에서 매 단계마다 하나의 세분화 구성이 샘플링됩니다. 이는 전체 파라미터 세트가 빈번한 업데이트를 받아 모든 더 작은 서브네트워크에서 공유되는 가중치를 안정화시킵니다. 일관된 계산 그래프를 유지하기 위해 이진 마스킹이 적용된 정적 텐서 모양이 사용됩니다.

3. 주요 기여

1. 최초의 탄성 스파이킹 트랜스포머: NESTformer 는 재훈련 없이 런타임 적응성 (메모리 풋프린트 및 연산 확장) 을 가능하게 하는 최초의 SNN 트랜스포머로, 3.8 배의 에너지 범위를 포괄합니다.
2. 뉴로모픽 네이티브 어텐션: 새로운 행 단위 어텐션 계산 방식은 전역 행렬 곱셈을 순차적 시냅스 연산으로 대체하여 CPU 오프로딩 없이 뉴로모픽 하드웨어에 대한 진정한 배포를 가능하게 합니다.
3. 선형 에너지 확장: 저자들은 이전 아키텍처에서는 에너지 절감이 비선형적이었던 것과 달리, NESTformer 의 탄성이 총 스파이크 발화율을 직접 감소시킨다고 입증했습니다. 이는 모델 크기가 감소함에 따라 에너지 소비가 비례적으로 감소하는 결과를 낳습니다.
4. 최첨단 성능: 이 접근법은 제스처 및 이미지 벤치마크에서 경쟁력 있거나 우수한 정확도를 달성하면서 현재 최첨단 (SOTA) 아키텍처보다 훨씬 적은 에너지를 소비합니다.

4. 실험 결과

저자들은 EHWGesture 임상 데이터셋뿐만 아니라 표준 벤치마크인 DVS128 Gesture, CIFAR10-DVS, 그리고 정적 CIFAR-10/100에서 NESTformer 를 검증했습니다.

• EHWGesture (임상 제스처):

  • 가장 큰 구성 ($g_3$) 은 **75.98%**의 정확도를 달성하여 SOTA 인 QKFormer-5-320(75.28%) 과 효율적인 CNN 인 PhiNet(71.25%) 을 능가했습니다.
  • 에너지 효율성: NESTformer($g_3$) 는 추론당 46.1 $\mu$J의 에너지를 소비하여 QKFormer-5-320(100.9 $\mu$J) 의 절반 미만이며, CNN 베이스라인 (6,900–460,000 $\mu$J) 에 비해 수 orders of magnitude 낮습니다.
  • 탄성: $g_2$ 구성은 피크 정확도 (75.86%) 의 99.8% 를 유지하면서 에너지를 거의 40% (28.7 $\mu$J) 줄였습니다. 가장 작은 구성 ($g_0$) 은 13.3 $\mu$J 에서 71.01% 의 정확도를 유지했습니다.

• 일반 벤치마크:

  • DVS128 Gesture: NESTformer($g_3$) 는 SOTA 인 Spike-Driven Transformer(99.30%) 와 일치하고 QKFormer(98.60%) 를 능가했습니다. 초경량 $g_0$ 구성은 가장 큰 구성보다 파라미터가 5.3 배 적으면서 97.57% 의 정확도를 달성했습니다.
  • CIFAR10-DVS: 83.61% 의 정확도 ($g_3$) 를 달성하여 표준 Spikformer(80.90%) 를 능가했습니다.
  • CIFAR-100: $g_3$ 구성은 **81.30%**의 정확도를 달성하여 이 데이터셋에서 스파이킹 트랜스포머에 대한 새로운 SOTA 를 설정했습니다.

• 시간적 트레이드오프: EHWGesture 에 대한 분석은 행동 품질 평가 (AQA) 가 더 높은 시간 해상도 ($T=64$) 의 혜택을 받는 반면, 제스처 인식은 더 낮은 시간 단계 ($T=16$에서 $32$) 에서 정점을 찍는 것으로 나타났습니다. NESTformer 는 사용자로 하여금 특정 작업 요구 사항에 맞는 최적의 세분화 및 시간 단계 조합을 선택할 수 있게 합니다.

5. 중요성 및 주장

이 논문은 NESTformer 가 효율적인 뉴로모픽 컴퓨팅과 탄성 트랜스포머 아키텍처 간의 간극을 메운다고 주장합니다. 그 주요 중요성은 재훈련 없이 초저전력 엣지 장치부터 고정밀 서버까지 뉴로모픽 하드웨어의 전체 스펙트럼에 걸쳐 단일 통합 모델을 배포할 수 있게 한다는 점에 있습니다.

동적 슬라이싱을 통해 메모리 제약 문제를 해결하고 총 스파이크 발화율을 직접 낮춤으로써, NESTformer 는 다음과 같은 독특한 이중 이점을 제공합니다:

1. 배포 유연성: 다양한 하드웨어 사양에 맞춘 파라미터 풋프린트의 즉각적인 확장.
2. 진정한 에너지 효율성: 모델 크기 감소에 비례하는 에너지 소비의 선형적 감소. 이는 기존 인공 신경망 (ANN) 과 고정 SNN 에서는 이전에 불가능했던 능력입니다.

저자들은 이 접근법이 리소스가 제한된 엣지 장치에서 지속적인 실시간 제스처 인식을 가능하게 하여 사용자 프라이버시를 보호하고 통신 지연을 줄이면서도 높은 정확도를 유지한다고 결론지었습니다.