기술 요약: 스파이킹 신경망의 테스트 시점 적응을 위한 막 전위 정렬 (Membrane Potential Alignment)

문제 정의

피질 내 뇌-컴퓨터 인터페이스(iBCI)는 일일 신경 신호 변화로 인한 디코더 성능 저하라는 중대한 과제에 직면해 있습니다. 미세 움직임, 하드웨어 장애, 발화율 변동, 글리아 세포의 캡슐화와 같은 요인들은 신경 활동과 운동 출력 사이의 관계를 변화시킵니다. 표준 재교정은 행동 라벨을 사용한 지도 학습 기반의 재학습을 필요로 하지만, 이는 매일 수행하기에는 비현실적입니다. 따라서 테스트 시점 적응(Test-Time Adaptation, TTA)은 라벨이 없는 신경 데이터만을 사용하여 디코더를 업데이트하는 해결책을 제시합니다.

그러나 NoMAD와 같은 기존의 비지도 TTA 방식은 복잡한 심층 순환 또는 적대적 구조(예: Gated Recurrent Unit을 사용하는 변분 오토인코더)에 의존합니다. 이러한 모델은 계산 비용이 많이 들며, 이식형 iBCI 하드웨어의 엄격한 전력 및 지연 시간 제약 조건에 부적합합니다. 반면, 스파이킹 신경망(SNN)은 이식형 장치에 이상적인 고유의 에너지 효율성과 희소 연산을 제공하지만, 기존의 SNN 적응 방법은 정적인 이미지 분류 벤치마크에 집중되어 있어 신경 기록의 비정상성(non-stationary) 문제를 해결하지 못했습니다.

방법론

저자들은 피질 내 디코딩을 위한 SNN에 특화된 TTA 방법인 **막 전위 정렬(Membrane Potential Alignment, MPA)**을 제안합니다. 이 접근 방식은 여러 세션에 걸쳐 네트워크의 내부 막 전위 분포를 일치시킴으로써, 사전 학습된 SNN 디코더를 변화된 신경 기록에 정렬합니다.

1. 아키텍처 및 사전 학습

• 모델: Leaky Integrate-and-Fire(LIF) 뉴런을 사용하는 3층 완전 연결 SNN.
• 사전 학습: 모델은 "Day 0" 소스 세션에서 신경 스파이크 열(spike trains)을 연속적인 손 속도로 매핑하도록 지도 학습 방식으로 훈련됩니다.
• 소프트 리셋(Soft Reset): 스파이크 발생 후 막 전위를 0으로 강제하는 표준 LIF 구현과 달리, MPA는 소프트 리셋을 채택합니다. 이는 잔류 막 전위를 보존하여, 분포 매칭에 유용한 그래디언트를 제공하는 더 연속적인 분포를 생성합니다.

2. 막 전위 정렬 (MPA)

핵적인 적응은 행동 라벨을 사용할 수 없는 타겟 세션(Day $k$)의 추론 단계에서 발생합니다.

• 분포 모델링: 은닉층의 막 전위는 입력 샘플의 배치로부터 추정된 다변량 가우시안 분포 $p(u) = \mathcal{N}(\mu, \Sigma)$로 모델링됩니다.
• 목적 함수: 적응 과정은 Day 0의 동결된 사전 학습 모델의 막 전위 분포($p_0$)와 Day $k$의 적응된 모델의 막 전위 분포($p_k$) 사이의 쿨백-라이블러(Kullback–Leibler, KL) 발산을 최소화합니다.
  $$L_{MPA} = D_{KL}(p_0^{(l)} \parallel p_k^{(l)})$$
• 매개변수 효율성 (LoRA): 과적합과 파괴적 망각을 방기하기 위해, 이 방법은 업데이트를 첫 번째 은닉층의 저차원 적응(Low-Rank Adaptation, LoRA) 가중치로 제한합니다.
  • 가중치 업데이트는 $W' = W + AB$(여기서$A$와$B$는 저차원 행렬)로 매개변수화됩니다.
  • 원래의 가중치 $W$는 동결된 상태를 유지합니다.
  • 이 방식은 전체 모델 파라미터의 9% 미만만을 업데이트하여, 적응이 경량화되고 저차원 부분 공간 내에서 제한적으로 이루어지도록 보장합니다.

3. 소스-타겟 호환성 지표

도메인 변화가 너무 심할 경우(예: 신경 집단의 상당한 재구성) TTA가 실패할 위험을 다루기 위해, 저자들은 사전 적응 지표로 두 가지를 제안합니다.

• 표현 유사성(Representational Similarity): 세션 간의 쌍별 채널 상관관계 보존 정도를 측정합니다 (상관 행렬의 피어슨 상관계수).
• 그라스만 거리(Grassmann Distance): 세션 간의 저차원 신경 부분 공간의 회전을 측정합니다 (PCA를 통해 산출).
  이 지표들은 비지도 정렬이 성공하기 어려울 것으로 예상되는 타겟 세션을 식별하는 데 도움을 줍니다.

주요 기여

1. MPA 알고리즘: KL 발산을 통해 막 전위 분포를 정렬하는 새로운 SNN용 TTA 방법을 제-시하여, SNN의 에너지 효율성과 장기 iBCI를 위한 적응 요구 사이의 간극을 메웁니다.
2. 매개변수 효율성: 막 전위 정렬을 첫 번째 층의 LoRA와 결려 결합함으로써, 최소한의 파라미터 업데이트(<9%)로 모델을 적응시켜 자원이 제한된 하드웨어에 적합하게 만듭니다.
3. 호환성 평가: 표현 유사성과 그라스만 거리를 도입하여, 디코더가 확신을 가지고 있지만 틀린 출력을 내놓는 "침묵의 실패(silent failure)" 문제를 해결하고 TTA 성공 여부를 예측합니다.
4. 고해상도 디코딩: 이 방법은 NoMAD와 같은 경쟁 방법들이 사용하는 20ms 해상도보다 훨씬 정밀한 4ms 시간 해상도에서 작동합니다.

실험 결과

이 방법은 한 달 이상(23개 세션, 96개 채널)에 걸친 비인간 영장류 도달(reaching) 데이터셋(원숭이 "Indy")을 통해 평가되었습니다.

• 성능: MPA는 최첨단 방식인 NoMAD와 대등한 성능을 달 나타냈습니다.
  • 타겟 세션에서 MPA는 평균 $R^2$ 점수를 (적응되지 않은 SNN의) 0.09에서 0.33으로 향상시켰습니다.
  • MPA는 여러 세션(Day 1, 6, 22)에서 NoMAD보다 우수한 성능을 보였으며, 다른 세션에서도 대등한 수준을 유지했습니다.
• 데이터 효율성: 단 1.28초의 타겟 세션 데이터와 1.88초의 소스 데이터만으로 효과적인 적응이 이루어졌습니다.
• 실패 분석: MPA와 NoMAD 모두 Day 8에서 실패했습니다. 제안된 호환성 지표는 해당 세션이 낮은 표현 유사성과 높은 그라스만 거리를 가짐을 정확히 식별하였으며, 이는 도메인 변화가 비지도 정렬로 회복하기에는 너무 컸음을 확인해 줍니다.
• 시간 해상도: MPA는 4ms 해상도에서도 높은 성능을 유지한 반면, NoMAD와 LFADS 베이스라인은 20ms 빈(bin)으로 제한되었습니다.

의의 및 주장

본 논문은 막 전위 정렬이 장기적이고 재교정이 필요 없는 뇌-컴퓨터 인터페이스를 향한 실질적인 경로를 나타낸다고 주장합니다. SNN의 에너지 효율성과 LoRA의 매개변수 효율성을 활용함으로써, MPA는 복잡한 순환 또는 적대적 네트워크의 계산 오버헤드 없이 온디바이스 적응을 가능하게 합니다.

저자들은 TTA가 모든 도메인 변화에 대한 만병통치약은 아니라는 점(Day 8의 실패 사례가 증명하듯)을 강조하면서도, 제안된 호환성 지표가 필수적인 안전장치 역할을 한다고 설명합니다. 결과에 따르면, 효율적인 SNN 기반 TTA는 라벨이 없는 데이터 단 몇 초만을 사용하여 수 주간의 드리프트(drift) 동안 디코딩 성능을 복구할 수 있으며, 이는 완전히 이식 가능한 자가 교정형 신경 보철 장치로 가는 중요한 단계입니다.