XOResNet: Exclusive-OR Meta-Residuals Facilitate Deep Spiking Neural Networks Learning

기술 요약: XOResNet: 독점적 배타적 논리합(Exclusive-OR) 메타 잔차를 통한 심층 스파이킹 신경망 학습 촉진

문제 정의
스파이킹 신경망(SNN)은 에너지 효율성과 시공간적 역동성의 우수한 표현력을 제공하지만, 심층 SNN을 학습시키는 것은 여전히 도전적인 과제입니다. 기존의 접근 방식은 ResNet과 같은 인공 신경망(ANN)의 잔차 구조를 스파이킹 영역으로 직접 이식하는 데 의존하는 경우가 많습니다. 그러나 이러한 직접적인 이식은 이진 스파이크 통신의 맥락에서 두 가지 주요 한계에 직면합니다:

1. 스파이크 중복성 및 정보 손실: 항등 매핑(identity mapping)에서 스파이크의 단순 합산(SEW ResNet에서 사용되는 방식)은 스파이크의 이진 성질을 파괴합니다(예: $1+1=2$). 이는 뉴로모픽 칩에서의 배포를 저해합니다. 반대로, 이진 속성을 유지하기 위해 논리적 OR 연산을 사용하는 것은, 특히 스케일 변환이 포함된 비항등 매핑(non-identity mapping)에서 두 브랜치의 결합된 정보를 버리게 되어 정보 손실을 초래할 수 있습니다.
2. 중복 학습: 현재의 잔차 구조는 백본(backbone) 브랜치를 융합 후에 결정되는 "사후 학습 잔차(post-learning residuals)"를 학습하는 것으로 취급합니다. 이진 스파이크 시스템에서 이는 백본 브랜치가 이미 숏컷(shortcut) 브랜치에 존재하는 특징을 학습하게 만들어, 스파이크 중복성과 비효효율적인 학습을 야기할 수 있습니다.

방법론
저자들은 이러한 특정 한계를 해결하기 위해 두 가지 혁신적인 구성 요소를 갖춘 심층 SNN 아키텍처인 XOResNet을 제안합니다.

1. OR-ADD (OA) 숏컷 연결:
   이진 스파이크 속성 유지와 정보 보존 사이의 충돌을 해결하기 위해, 저자들은 하이브리드 연결 전략을 제안합니다:

   • 항등 매핑 (Identity Mapping): 숏컷 브랜치가 항등 매핑을 수행할 때, 숏컷 브랜치와 백본 브랜치의 출력 스파이크는 OR 연산을 사용하여 병합됩니다. 이는 스파이크 중복성을 피하면서 이진 속성(0 또는 1)을 유지합니다.
   • 비항등 매핑 (Non-Identity Mapping): 숏컷에 스케일링 또는 차원 변환이 포함된 경우, 두 브랜치의 출력 전류(currents) (스파이크 전 활성화 값)를 합산하여 스파이킹 뉴런에 전달합니다. 이 ADD 연산은 입력의 선형 결합을 보존하여, 스케일 변환된 구조에서 OR 연산이 유발할 수 있는 정보 손실을 방지합니다.
   • 이론적 근기: 본 논문은 정보 이론(조건부 엔트로피 및 상호 정보량)을 통해, ADD 연산이 비항등 시나리오에서 OR 연산보다 더 많은 결합 정보를 보존함을 입증합니다.

2. XOR 메타 잔차 (XOR Meta-Residuals):
   백본 브랜치의 중복 학습을 완화하기 위해, 저자들은 메타 잔차라는 개념을 도입합니다. 임의의 잔차를 학습하는 대신, 백본 브랜치가 "사전 학습 잔차(pre-learning residuals)"를 학습하도록 유도합니다.

   • 두 브랜치의 특징은 백본 브랜치가 이를 처리하기 전에 배타적 논리합(XOR) 연산을 사용하여 병합됩니다.
   • 수학적으로, $MR = f_1 \oplus f_2$입니다. 이 연산은 두 브랜치 간의 차이점을 선택하여, 효과적으로 중복된 정보를 필터링합니다.
   • 이는 백본 브랜치에 구체적인 목표를 제공합니다: 즉, 숏컷에 의해 이미 포착된 요소가 아닌, 차별적인 성분(메타 잔차)만을 학습하도록 하여 스파이크 중복성을 줄이고 학습 효율을 높입니다.

주요 기여

• OA 숏컷 연결: 이진 스파이크 보존과 정보 보유 사이의 균형을 맞추기 위해 OR(항등용)과 ADD(비항등용) 사이를 동적으로 전환하는 새로운 연결 방법.
• XOR 메타 잔차: XOR 연산을 사용하여 잔차 특징을 사전 스크리닝함으로써, 학습 과제를 "사후 학습"에서 "사전 학습"으로 전환하여 중복성을 감소시키는 메커니즘.
• XOResNet 아키텍처: OA 숏컷과 XOR 메타 잔차를 통합한 확장 가능한 심층 SNN 아키텍처. 이론적 분석을 통해 이 구조가 기울기 소실/폭주 문제를 극복하여, 성능 저하 없이 네트워크를 임의의 깊이(최대 110 레이어까지 입증됨)까지 심화할 수 있음을 확인했습니다.

실험 결과
저자들은 Fashion-MNIST, CIFAR-10, CIFAR-100, miniImageNet의 네 가지 데이터셋에 대해 XOResNet을 평가했습니다.

• 성능: XOResNet은 시공간 역전파(STBP)를 통해 최적화된 기존의 최첨단 심층 SNN들(Spiking ResNet, OR ResNet, OA ResNet 포함)을 일관되게 능가했습니다.
  • Fashion-MNIST에서 XOResNet50은 **94.53%**의 정확도를 달 기록했습니다.
  • CIFAR-10에서 XOResNet110은 단 8개의 타임스텝만으로 **90.54%**의 정확도를 달성하였으며, 이는 유사한 결과를 얻기 위해 수천 개의 타임스텝이 필요한 ANN2SNN 방식들을 크게 앞서는 수치입니다.
  • miniImageNet (256x256 해상도)에서 XOResNet44는 **68.00%**의 정확도를 기록하며 퓨샷 학습(few-shot learning) 베이스라인을 넘어섰습니다.
• 깊이 확장성: 성능 저하가 발생하는 Plain Networks 및 Spiking ResNets와 달리, XOResNet은 110 레이어까지 도달해도 정확도를 유지하거나 오히려 향상시켰습니다.
• 절제 연구 (Ablation Studies): 실험을 통해 OA 연결이 순수 OR 연결에서 나타나는 정보 손실을 해결하며, XOR 메타 잔차가 백본 브랜치의 입력과 출력 특징 간의 자카드 유사도(Jaccard similarity)를 유의미하게 감소시켜 중복 학습을 줄인다는 것을 확인했습니다.

의의
본 논문은 XOResNet이 고성능 뉴로모픽 시스템을 구축하기 위한 새로운 아키텍처 패러다임을 제공한다고 주장합니다. 잔차 학습의 근본적인 한계인 스파이크 중복성, 스케일링 시의 정보 손실, 그리고 중복 학습 문제를 해결함으로써, 제안된 방법은 매우 깊고 효율적이며 효과적인 심층 SNN 구축을 가능하게 합니다. 이 연구는 스파이크 통신의 특성(이진 성질 및 비동기 역동성)을 잔차 구조에 통합하는 것이 심층 SNN을 얕은 모델 이상의 수준으로 발전시키는 데 필수적임을 입증합니다. 저자들은 이 접근 방식이 생물학적으로 타당한 퓨샷 학습 알고리즘을 포함한 미래 연구를 위한 견고한 토대를 제공한다고 결론짓습니다.