기술 요약: TEFormer – 스파이킹 트랜스포머에서의 구조적 양방향 시간적 강화 모델링

1. 문제 정의

스파이킹 신경망(SNN)은 뉴로모픽 지능을 위한 에너지 효율성과 하드웨어 호환성 측면에서 상당한 이점을 제공하지만, 기존의 스파이킹 트랜스포머는 효과적인 시간적 모델링(temporal modeling)에 어려움을 겪고 있다. 현재의 접근 방식들은 종종 원칙적인 시간적 융합 메커니즘이 부족하여 시공간적 의존성을 활용하는 능력이 제한된다.

문헌에서 식별된 구체적인 과제는 다음과 같다:

• 단방향성 한계: 기존의 대부분의 시간적 강화 방법은 정보를 과거에서 미래로만 전파하며, 전역적 시간적 일관성(global temporal consistency)에 필수적인 미래-현재 간의 제약을 간과한다.
• 휴리스틱 의존성: 많은 설계가 작업 민감적인 하이퍼파라미터에 의존하거나 어텐션 메커니즘 내에 순차적 의존성을 도입하여, 트랜스포머의 본질적인 병렬성을 저해하고 추론 지연 시간을 증가시킨다.
• 인코딩 민감도: 다양한 뉴럴 인코딩 방식이 통일된 스파이킹 트랜스포머 프레임워크 내에서 시간적 모델링 성능에 미치는 영향이 체계적으로 평가되지 않았다.

2. 방법론

인간의 시각 경로에서 관찰되는 피드포워드-피드백 변조(feedforward–feedback modulation)에서 영감을 받아, 저자들은 TEFormer(Temporal Enhanced Spiking Transformer)를 제안한다. 이 프레임워크는 계산 효율성을 희생하지 않으면서 구조적이고 양방향적인 시간적 융합을 달성하기 위해 핵심 트랜스포머 구성 요소 전반에 걸쳐 시간적 모델링을 분리한다.

2.1. 핵심 아키텍처

TEFormer는 저수준의 시공간 패턴이 포착되는 네트워크의 얕은 단계(첫 50%의 트랜스포머 레이어)에 주로 명시적인 시간적 모델링을 적용한다. 이 아키텍처는 두 가지 새로운 모듈로 구성된다:

A. 시간적 강화 어텐션 (TEA)

• 기능: 어텐션 메커니즘 내에서 순방향(forward) 시간적 융합을 가능하게 한다.
• 메커니즘: 단계별 순차 처리를 요구하는 이전 방식들과 달리, TEA는 가볍고 완전히 병렬적인 모듈이다. 이는 단일 학습 가능한 스칼라 파라미터($\theta$)에 의해 제어되는 지수 이동 평균(exponential moving average)을 사용하여 과거 타임 스텝들에 대한 가중치를 계산한다.
• 구현: 시간적 가중치는 마스크 행렬으로 사전 구축되어 단일 행렬 곱셈을 통해 입력 시퀀스에 적용된다. 이를 통해 TEA는 핵심 어텐션 계산을 수정하거나 순환 의존성을 도입하지 않고도 QK-Attention의 Value 경로에 통합될 수 있다.
• 이점: 수동으로 정의된 하이퍼파라미터 없이도 무시할만한 계산 오버헤드로 병렬 순방향 시간적 융합을 달성한다.

B. 시간적 MLP (T-MLP)

• 기능: 역방향(backward) 시간적 융합(역시간 정보 집계)을 가능하게 한다.
• 메커니즘: T-MLP는 표준 MLP 업샘플링 경로를 게이트형 순환 구조로 대체한다. 이는 마지막 타임 스텝에서 은닉 상태를 초기화하고, 단일 게이트 메커니즘을 사용하여 시간 역순($t = T-2 \dots 0$)으로 은닉 상태를 업데이트한다.
• 공식: 은닉 상태 업데이트는 시그모이드 게이트를 통해 미래의 은닉 상태와 현재 입력을 균형 있게 조절한다:
  $$h_r = \text{LIF}(\sigma(W_f x X_r + W_f h h_{r+1}) \odot h_{r+1} + (1 - \sigma(\cdot)) \odot W_{in} X_r)$$
• 이점: 이 설계는 역순으로 시간 정보를 집계하여 시간적 일관성을 강화하고, 다중 게이트 메커니즘(예: GRU)의 무거운 계산 비용 없이 미래-과거 제약을 제공한다.

2.2. 비대칭 설계

이 프레임워크는 TEA가 동기화되고 효율적인 순방향 강화를 담당하고, T-MLP가 정교한 역방향 추적을 관리하는 비대칭 설계를 채택한다. 이는 피드포워드 처리가 일반적으로 피드백 처리보다 빠르다는 생물학적 관찰 결과를 반영한다.

3. 주요 기여

1. TEA 모듈: 스파이킹 어텐션의 성능을 개선하면서도 트랜스포머의 효율성을 보존하는, 파라미터가 없는(수동 하이퍼파라미터 관점에서) 병렬 순방향 시간적 융합 메커니즘을 제공한다.
2. T-MLP 모듈: 역시간 정보 집계를 지원하는 게이트형 역방향 순환 구조를 갖춘 재구성된 MLP로, 생물학적 영감을 받은 양방향 시간적 융합을 가능하게 한다.
3. 통합 평가: 다양한 뉴럴 인코딩 방식(Direct, Phase, Rate, TTFS)과 데이터셋(Static, Neuromorphic, Temporally Complex)에 걸친 스파이킹 트랜스포머의 첫 번째 체계적 평가를 수행하였다.

4. 실험 결과

실험은 STEP 평가 프레임워크(BrainCog 기반)를 사용하여 세 가지 범주의 벤치마크에서 수행되었다.

4.1. 정적 데이터셋 (CIFAR10, CIFAR100, SVHN)

• TEFormer는 강력한 SNN 및 스파이킹 트랜스포머 베이스라인들을 지속적으로 능가했다.
• CIFAR10에서 TEFormer는 **96.24%**의 정확도를 달성하여, 이전 최고 성능인 QKFormer(95.91%)를 넘어섰으며, 정적 입력에 대해 어려움을 겪었던 TIM(94.20%, 단방향 및 단계적 특성 때문)을 크게 앞질렀다.
• 모델은 다양한 모델 규모 전반에서 견고함을 입증했다.

4.2. 뉴로모픽 데이터셋 (CIFAR10-DVS, N-CALTECH101, NCARS)

• TEFormer는 이벤트 기반 데이터에서 명확한 개선을 보여주었으며, CIFAR10-DVS에서 81.90%, NCARS에서 **95.95%**를 달ach했다.
• 결과는 양방향 융합이 이벤트 기반 시간적 단서(temporal cues)를 효과적으로 활용하여, 다양한 뉴로모픽 벤치마크에서 안정적인 이득을 이끌어냄을 나타낸다.

4.3. 시간적으로 복잡한 데이터셋 (sCIFAR, sMNIST, SHD, HMDB51-DVS, UCF101-DVS)

• TEFormer는 직렬화된 긴 시퀀스 작업(sCIFAR, sMNIST) 및 음성/동작 인식 작업(SHD, HMDB51-DVS, UCF101-DVS)에서 최첨단(SOTA) 성능을 달성했다.
• 이는 장거리 의존성과 복잡한 역학을 처리하는 모델의 능력을 확인시켜 준다.

4.4. 인코딩 방식의 견고성

• TEFormer는 Direct, Phase, Rate, TTFS 인코딩 하에서 평가되었다.
• 모델은 모든 인코딩 방식에서 베이스라인을 지속적으로 능가했으며, 특히 동적 인코딩(Phase, Rate, TTFS)에서 눈에 띄는 이득을 보였다. 이는 성능 향상이 특정 인코딩 아티팩트가 아닌 개선된 시간적 모델링 능력에서 기인함을 시사한다.

4.5. 절제 연구 (Ablation Studies)

• 양방향의 필요성: TEA(순방향)와 T-MLP(역방향)를 결합했을 때 시너지 효과를 통한 성능 향상이 나타났다. 두 모듈 중 하나만 사용했을 경우 베이스라인 대비 미미하거나 오히려 부정적인 개선을 보였다.
• 게이트 설계: 제안된 단일 게이트 T-MLP는 GRU 스타일(다중 게이트) 및 EMA 스타일 변형보다 우수한 성능을 보였으며, 정확도와 파라미터 효율성 사이의 최적의 균형을 제공했다.
• 레이어 배치: 시간적 강화를 첫 50%의 레이어에만 적용하는 것이 최적의 정확도-효율성 트레이드오프를 제공했다. 모든 레이어에 적용하는 것은 중복을 초래했다.

5. 의의 및 주장

본 논문은 TEFormer가 시간적 모델링을 위한 원칙적이고 효율적이며 확장 가능한 프레임워크를 구축한다고 주장한다. 그 의의는 다음과 같다:

• 생물학적 타당성: 생물학적 시각 경로의 피드포워드-피드백 변조 개념을 계산 아키텍처로 성공적으로 변환하였다.
• 효율성: 이전의 순환적 접근 방식이 가진 순차적 병목 현상을 피하면서, SNN 고유의 병렬성과 에너지 효율성을 희생하지 않고 양방향 시간적 융합을 달성한다.
• 일반성: 성능 향상이 정적, 뉴로모픽, 시간적으로 복잡한 데이터셋뿐만 아니라 다양한 인코딩 방식 전반에서 견고하게 나타나며, 이는 개선된 시간적 모델링이 데이터셋 특화된 휴리스틱이 아닌 근본적인 발전임을 나타낸다.
• 미래 연구의 토대: 양방향 시간적 모델링이 고성능 스파이킹 트랜스포머에 필수적임을 입증함으로써, 본 연구는 뇌 모사 시간적 표현 학습 및 범용 뉴로모픽 지능을 위한 미래 연구의 토대를 제공한다.

저자들은 현재 결과가 소프트웨어 시뮬레이션에 기반하고 있다는 점(하드웨어 배포는 미탐색됨)과, 역방향 융합 메커니즘이 엄격한 인과적 온라인 추론보다는 윈도우 기반 인식(window-based recognition)을 목표로 한다는 점을 한계로 언급하였다.