STAER: Temporal Aligned Rehearsal for Continual Spiking Neural Network

기술 요약: STAER: 지속적 스파이킹 신경망을 위한 시계열 정렬 재현(Temporal Aligned Rehearsal)

문제 정의
스파이킹 신경망(SNN)은 고유한 시계열 역동성과 이벤트 기반 처리 능력을 갖추고 있어, 이론적으로 지속적 학습(CL), 특히 태스크 식별자 없이 새로운 클래스가 순차적으로 도입되는 클래스 증분 학습(CIL) 시나리오에 매우 적합합니다. 그러나 SNN을 CIL에 적용하는 데 있어서는 두 가지 주요 문제, 즉 파괴적 망각(catastrophic forgetting)과 시계열 불일치(temporal misalignment)가 걸림돌이 되어 왔습니다. 표준 인공 신경망(ANN)은 경험 재현(ER) 및 지식 증류(예: DER, DER++)와 같은 기술을 통해 진전을 이루었으나, 이러한 방법들은 스파이크 기반 정보의 독특한 특성을 다루는 데 한계가 있습니다. SNN에서 지식은 단순히 발화율(firing rates)뿐만 아니라 스파이크의 정밀한 타이밍에도 인코딩됩니다. 새로운 태스크를 학습함에 따라 과거 클래스를 인코딩하는 스파이크 패턴의 시계열 구조가 변형(drift)되며, 이는 간섭을 유발합니다. 스파이크 개수(spike counts)에 기반한 표준 손실 함수나 단순한 재현 전략은 이러한 시계열적 변화를 억제하거나 올바른 시계열 역동성을 회복하는 데 실패하며, 결과적으로 ANN 베이스라인에 비해 낮은 성능을 보입니다.

방법론
저자들은 SNN에서 학습된 표현의 시계열 구조를 명시적으로 보존하도록 설계된 프레임워크인 STAER(Spiking Temporal Alignment with Experience Replay)를 제안합니다. 이 방법론은 세 가지 핵심 구성 요소를 통합합니다:

1. 심층 스파이킹 백본(Deep Spiking Backbone): 이 접근 방식은 SNN에 적합하게 조정된 심층 ResNet19 아키텍처를 활용하며, 서로게이트 그래디언트 하강법(surrogate gradient descent)을 통해 학습되는 누설 적분-발화(Leaky Integrate-and-Fire, LIF) 뉴런을 사용합니다. 이를 통해 Sequential-MNIST 및 Sequential-CIFAR10과 같은 복잡한 이미지 벤치마크에 대한 확장성을 확보합니다.
2. 시계열 확장 및 수축 메커니즘(Temporal Expansion and Contraction Mechanism): 회상 흔적(recall traces)이 압축되거나 팽창될 수 있다는 생물학적 기억 과정에서 영감을 받아, 이 방법은 버퍼에 재현 샘플을 세 가지 뚜렷한 시계열 해상도인 $T$(원본), $T/2$(수축), $2T$(확장)로 저장합니다. 이는 인코딩 단계에서 정적인 입력 이미지를 서로 다른 시간 창(time windows)에 걸쳐 복제함으로써 달성됩니다.
3. Soft-DTW 시계열 정렬 손실(Soft-DTW Temporal Alignment Loss): 시계열 드리프트를 해결하기 위해, STAER은 Soft Dynamic Time Warping(Soft-DTW)에 기반한 미분 가능한 정렬 손실을 도입합니다. 새로운 태스크를 학습하는 동안, 네트워크는 현재 데이터에 대한 교차 엔트로피(Cross-Entropy) 손실과 재현 데이터에 대한 시계열 정렬($L_{TA}$) 손실을 계산합니다. $L_{TA}$ 손실은 현재 네트워크의 출력 로짓(logits, 해상도 $T$)을 세 가지 해상도($T, T/2, 2T$) 모두에서 저장된 과거 모델의 로짓과 비교합니다. 이는 네트워크가 샘플링 속도에 관계없이 태스크 간에 시계별 반응의 충실도를 유지하도록 강제합니다.

전체 목적 함수는 $L = L_{CE} + \beta \cdot L_{TA}$로 정의되며, 여기서 $\beta$는 태스크 학습과 시계열 일관성 사이의 균형을 조절합니다.

주요 기여

• 새로운 시계열 정렬 프레임워크: 본 논문은 스파이크 타이밍을 명시적으로 정렬하기 위해 미분 가능한 Soft-DTW를 사용하는 최초의 SNN-CL 방법을 제시합니다. 이는 스파이킹 도메인에서 파괴적 망각을 일으키는 시계열 드리프트를 직접적으로 겨냥합니다.
• 하이브리드 코딩 전략: 이 접근 방식은 발화율(평균 로짓)과 스파이크 타이밍(시계열 정렬)을 통해 정보를 공동으로 인코딩하는 이중 코딩 원리를 채택하여, 생물학적 신경 계산 원리에 부합합니다.
• 심층 아키텍처로의 확장성: 기존의 SNN-CL 연구들이 주로 얕은 네트워크에 의존했던 것과 달리, 이 방법은 심층 ResNet19 백본에서 지속적 학습을 성공적으로 구현하여 심층 SNN이 CIL을 위해 효과적으로 학습될 수 있음을 입증했습니다.

실험 결과
해당 방법은 클래스 증분 학습 프로토콜 하에서 Sequential-MNIST 및 Sequential-CIFAR10 벤치마크를 통해 평가되었습니다.

• 성능: STAER은 SNN 방법들 중 최첨단(state-of-the-art) 성능을 달성하여, Sequential-MNIST에서 최대 98.48%, Sequential-CIFAR10에서 83.53%(버퍼 크기 5120 및 $T=4$ 기준)의 정확도에 도달했습니다.
• 베이스라인과의 비교: 이 방법은 ER, DER, DER++의 스파이킹 변형 모델들을 일관되게 능가합니다. 특히, STAER은 SNN과 강력한 ANN 베이스라인 사이의 성능 격차를 좁혀, 특정 제약 조건이 있는 설정에서 ANN 모델과 대등하거나 이를 능가하는 정확도를 달성했습니다.
• 망각 감소: 실증적 결과에 따르면, STAER은 대부분의 구성에서 가장 낮은 망각률을 보였으며, 가장 제약이 심한 설정(작은 버퍼 크기)에서도 ANN 베이스라인보다 우수한 성능을 보였습니다.
• 절제 연구(Ablation Studies): 실험을 통해 명시적인 시계열 정렬이 결정적임을 확인했습니다. 수축/확장 항을 제거하면($\alpha_1 = \alpha_2 = 0$) 성능이 크게 저하되어, 다중 해상도 시계열 정렬의 유용성을 입증했습니다. 이 방법은 적절한 정렬 가중치($\beta = 10^{-4}$)와 균형 잡힌 압축/팽창 가중치를 사용할 때 가장 효과적입니다.

의의 및 주장
본 논문은 STAER이 SNN을 스파이크 네이티브(spike-native) 평생 학습을 위한 실행 가능하고 확장 가능한 솔루션으로 자리매김한다고 주장합니다. Soft-DTW 정렬을 통해 시계열 구조를 명시적으로 보존하고 생물학적 영감을 받은 시계열 확장/수축을 활용함으로써, 이 프레임워크는 기존 SNN의 한계였던 파괴적 망각과 시계열 간섭을 완화합니다. 저자들은 자신들의 연구가 심층 SNN이 생물학적으로 타당한 역동성을 유지하면서도 전통적인 ANN 베이스라인과 대등하거나 이를 능가할 수 있음을 보여주며, 이는 향-미래의 실제 뉴로모픽 데이터셋 적용을 위한 길을 열어준다고 단언합니다. 이 연구는 발화율 기반 정보와 시계열 정보를 모두 유지하는 것이 스파이킹 신경망의 강건한 적응적 행동에 필수적임을 시사합니다.