Mutual Lateral Prediction for Locally Trained Spiking Neural Networks

기술 요약: 국소적으로 학습되는 스파이킹 신경망을 위한 상호 측면 예측(Mutual Lateral Prediction)

문제 정의
스파이킹 신경망(SNN)은 뉴로모픽 하드웨어(예: Intel Loihi-2, SpiNNaker2)를 위한 자연스러운 계산 모델로서, 동적 비전 센서(DVS)와 같은 이벤트 기반 데이터에 대해 저전력 추론을 제공한다. 그러나 현재 가장 정확한 SNN들은 대리 그래디언트(surrogate gradients)를 사용하는 BPTT(Backpropagation Through Time)에 의존한다. 이 방식은 오차 신호를 여러 층을 거쳐 시간 축을 따라 역방향으로 전파할 것을 요구하는데, 이는 (계층 간 그래디언트 브로드캐스트 메커니즘이 결여된) 뉴로모픽 칩의 특성 및 (유사한 역방향 경로가 존재하지 않는) 생물학적 타당성과 양립할 수 없다. 예측 코딩(Predictive coding)은 엄격하게 국소적인 학습을 위한 경로를 제시하지만, 기존의 스파이킹 공식들은 일반적으로 뉴런이 자신의 순방향 구동(feedforward drive)만을 예측할 뿐, 측면 이웃으로부터 받는 구동은 간과한다.

방법론: MPC-SNN
저자들은 완전히 국소적이고 역전파가 필요 없는 규칙으로 학습되는 컨볼루션 SNN인 MPC-SNN(Mutual Lateral Predictive Coding SNN)을 소개한다. 이 네트워크의 아키텍처와 학습 과정은 세 가지 핵심 구성 요소로 정의된다:

1. 아키텍처 혁신 (측면 예측):
   수지(dendritic) 예측이 오직 순방향 전전압 스파이크에만 의존하는 기존 아키텍처와 달리, MPC-SNN은 학습된 측면 가중치 행렬 $W_{lat}$을 도입한다. 각 뉴런은 동일 계층의 동료 뉴런들이 이전 타임스텝에서 방출한 스파이크를 사용하여 그들의 순방향 입력을 예측한다.

• 수지 추정치 $\hat{I}[t]$는 다음과 같이 계산된다: $\hat{I}[t] = W_d s_{pre}[t] + W_{lat} z_{layer}[t-1]$.
• $W_{lat}$은 동일한 공간 위치에서의 채널들에 대한 학습된 $1\times1$ 컨볼루션으로 구현된다.
• 예측 오차 $\epsilon[t]$는 실제 전전압 스파이크 벡터와 이 측면/순방향 추정치 사이의 편차이다.

2. 엄격하게 국소적인 학습 규칙:
   네트워크는 전역 오차 신호나 외부 타겟 없이도 작동하는, 제1원리로부터 유도된 세 가지 업데이트 규칙을 활용한다:

• 체세포 가중치 ($W_s$): 예측 오차, 적격성 흔적(eligibility trace), 그리고 신경 조절 신호를 사용하는 3요소 헤브 규칙(three-factor Hebbian rule)을 통해 업데이트된다.
• 수지 가중치 ($W_d$): 순방향 성분의 예측 오차를 최소화하도록 업데이트된다.
• 측면 가중치 ($W_{lat}$): 국소적 목적 함수(예측 오차의 절반)를 미분하여 도출된 새로운 구성 요소이다. 업데이트 규칙 $\Delta W_{lat} = \eta_{lat} \epsilon[t] e_{lat}[t]^\top$은 뉴런 자신의 예측 오차와 동일 계층 동료의 이전 스파이크만을 필요로 한다. 이는 출력 오차를 브로드캐스트하는 e-prop이나 외부 타겟 스파이크 열을 요구하는 LTTS보다 엄격하게 더 국소적이다.

3. 2단계 학습 절차:

• 1단계 (비지도 사전 학습): 레이블이나 전역 손실 없이 50 에포크 동안 진행된다. 각 계층은 국소적 예측 오차를 사용하여 독립적으로 가중치를 업데이트한다. 이 단계의 목적은 재사용 가능한 표현을 학습하고 측면 메커니즘의 활성도를 검증하는 것이다.
• 2단계 (지도 미세 조정): 선형 리드아웃(linear readout)이 추가된 상태에서 40 \text{epochs} 동안 크로스 엔트로피 손실과 레이블 스무딩을 사용하여 네트워크를 엔드 투 엔드로 최적화한다.

주요 결과
DVS128 Gesture 벤치마크에서 평가된 MPC-SNN의 결과는 다음과 같다:

• 정확도: 모델은 **95.83%**의 테스트 정확도를 달성했다. 이는 가장 강력한 국소 학습 베이스라인인 DECOLLE(~95.5%)와 통계적으로 일치하며, 이미 배포된 뉴로모픽 구현체들(Loihi의 89.64%, Spike Gating Flow의 87.50%)을 크게 상회한다.
• 메커니즘 활성: 1단계 동안 측면 가중치($W_{lat}$)는 초기값($\approx 0.001$)에서 첫 번째 계층에서 최대 21.1배까지 성장하며, 이는 레이블 기반 신호 없이도 측면 규칙이 기계적으로 활성화되었음을 확인시켜 준다.
• 레이블 효율성: 모델은 높은 레이블 효율성을 보인다. 학습 레이블의 **25%**만 사용했을 때도 **73.50%**의 정확도를 유지한다. 이는 정보 보유 비율(IRR)이 2.94임을 의미하며, 이는 각 레이블된 예시가 선형적 스케일링보다 거의 3배 더 많은 정확도 이득을 제공함을 뜻한다.
• 희소성: 2단계 동안 추론당 스파이크 수는 약 730,000개에서 약 143,000개로 감소하며, 이는 명시적인 희소성 페널티 없이도 창발적 희소성이 나타남을 보여준다.
• 절제 연구(Ablation): 측면 구성 요소를 제거하면(조건 B), 정확도가 약간 하락하고(최고 95.83% 대비 94.79%) 스파이크 수가 5.8% 증가하지만, 5개의 시드에 대한 288개 샘플 테스트 세트에서 이러한 차이는 통계적 유의성에 도달하지 못했다.

의의 및 주장
본 논문은 MPC-SNN이 동일 계층의 측면 예측 코딩과 국소적으로 유도된 예측 오차 규칙을 결리한 최초의 SNN이라고 주장한다. 그 의의는 세 가지 뚜렷한 기여로 구성된다:

1. 아키텍처적: 동료의 순방향 입력을 예측하기 위해 학습된 동일 계층 측면 가중치 행 matrix를 도입하였으며, 이는 SNN 문헌에서 이전에 보고되지 않은 구조이다.
2. 이론적: 측면 업데이트 규칙이 휴리스틱이 아닌 예측 오차 목적 함수로부터 유도되었음을 입증하여, 계층 간 협응이나 외부 타겟이 필요 없는 엄격히 국소적인 학습 규칙을 확립하였다.
3. 경험적: 표준 뉴로모픽 벤치마크에서 경쟁력 있는 정확도를 달성하는 동시에, 높은 레이블 효율성과 비지도 사전 학습 중의 활발한 측면 가중치 성장을 보여주었다.

한계 및 정직한 부정적 결과(Honest Negatives)
저자들은 몇 가지 한계를 명시적으로 언급했다:

• 통계적 유의성: 절제 연구에서 측면 메커니즘이 큰 효과 크기(Cohen's $d=1.01$)를 보였음에도 불구하고, 작은 테스트 세트(288개 샘플)로 인해 이러한 결과가 통계적 유의성에 도달하지 못했다. 측면 가중치의 신뢰성을 확정하기 위해서는 더 큰 테스트 세트가 필요하다.
• 수렴 문제: 1단계 동안 중간 계층(conv2)에서 예측 오차 수렴이 단조롭지 않았는데, 이는 국소적 목적 함수가 순수하게 국소적인 에지(edge)도, 완전히 추상적인 특징도 아닌 특징들을 다루는 데 어려움을 겪을 수 있음을 시사한다.
• 분포 외(OOD) 탐지: 스파이크 수를 이상 징후 점수로 사용하는 OOD 탐지 실험에서 AUROC 0.578(유의미하지 않음)을 기록했다. 저자들은 이를 "정직한 부정적 결과"라고 보고하며, 이는 근본적인 로직의 결함이라기보다 홀드아웃 클래스와 훈련 클래스 간의 의미론적 유사성 때문이라고 설명했다.
• 배포: 본 연구는 시뮬레이션 전용이며, 1단계 학습을 물리적인 뉴로모픽 칩에 매핑하는 효율성은 아직 테스트되지 않았다.

결론적으로, 본 논문은 MPC-SNN을 생물학적 타당성과 고성능 뉴로모픽 컴퓨팅 사이의 간극을 메우는, 측면 예측 코딩의 구체적이고 역전파가 필요 없는 실현체로 제시하며, 추가적인 통계적 검증과 하드웨어 배포 연구의 필요성을 인정하고 있다.