기술 요약: QuantFormer

문제 정의

신경 활동을 예측하는 것은 복잡한 동물의 행동을 이해하고, 향에 폐쇄 루프(closed-loop) 광유전학과 같은 미래의 응용 분야를 가능하게 하는 데 매우 중요합니다. 그러나 기존의 트랜스포머 기반 방법들은 신경 신호 고유의 **시공간적 희소성(spatiotemporal sparsity)**과 복잡한 의존성을 처리하는 데 어려움을 겪습니다. 전통적인 접근 방식은 디코딩(신경 활동을 행동/자극에 매핑) 또는 인코딩(자극을 신경 활동에 매핑)에 의존하지만, 동기화된 행동 변수 없이 단일 시행(single-trial) 단위로 미래의 신경 역학을 예측하는 데 자주 실패합니다. 또한, 많은 방법이 디컨볼루션된 칼슘 트레이스(deconvolved calcium traces)나 스파이크 데이터에 의존하는데, 이는 실시간 스파이크 추론 정확도 측면에서 한계를 가집니다. 본 연구는 마우스 시각 피질의 이광자 칼슘 이미징 데이터로부터 원시 형광 트레이스($\Delta F/F$)를 예측하는 과제를 다루며, 특히 임의의 수의 뉴런으로부터 발생하는 희소한 뉴런 활성화 패턴을 예측하는 것을 목표로 합니다.

방법론: QuantFormer

QuantFormer는 **동적 신호 양자화(dynamic signal quantization)**를 통해 회귀 문제를 분류 문제로 재정의하여 신경 활동을 예측하도록 설계된 트랜스포머 기반 모델입니다. 모델의 아키텍처와 훈련 파이프라인은 두 가지 별도의 단계로 구성됩니다.

1. 사전 학습 (자기 지도 학습 기반 마스크드 오토인코딩)

모델은 Allen Brain Observatory 데이터셋을 사용하여 마스크드 오토인코딩 전략으로 사전 학습됩니다.

• 벡터 양자화 (Vector Quantization): 연속적인 값을 예측하는 대신, 모델은 입력 신경 신호 패치를 이산적인 잠재 코드 집합(코드북 크기 $K=32$)으로 매핑하는 법을 배웁니다. 이는 과업을 이산적인 토큰을 예측하는 것으로 재구성하여, 희소한 활성 스파이크 학습을 용이하게 합니다.
• 아키텍처: 인코더와 디코더는 트랜스포머 아키텍처를 기반으로 구축되었습니다. 입력 신호는 패치로 분할되어 토큰으로 투영되며, 일부 분율($P_m=0.2$)은 [MASK] 토큰으로 대체됩니다.
• 목표: 모델은 양자화된 잠재 표현으로부터 원래의 신호를 예측하기 위해 재구성 손실(가중 MSE)을 최소화합니다. 비미분 가능한 양자화 연산자를 통해 그래디언트를 역전파하기 위해 스트레이트 스루 에스티메이터(straight-through estimator)가 사용됩니다.
• 클래스 불균형 처리: 사전 학습 중에는 균형 잡힌 미니배치 전략이 채택됩니다. 즉, 모든 활성 관측치는 유지하되, 뉴런 활성화의 희소성을 해결하기 위해 동일한 수의 비활성 관측치를 서브샘플링하여 포함합니다.

2. 다운스트림 태스크

사전 학습 후, 인코더는 뉴런별 및 자극별로 학습 가능한 토큰을 사용하여 두 가지 특정 태스크에 적응됩니다.

• 뉴런 활성화 예측 (분류): 모델은 자극에 반응하여 뉴런이 활성화($a=1$)될지 또는 비활성화($a=0$)될지를 예측합니다. 시퀀스 앞에 [CLS] 토큰을 추가하고([NEURON] 및 [STIM] 토큰과 함께), 그 출력을 이진 분류기에 입력합니다.
• 뉴런 반응 예측: 모델은 기저 활동($x_b$)과 자극이 주어졌을 때 미래의 반응 시계열($x_f$)을 예측합니다. 입력 시퀀스는 [NEURON] 및 [STIM] 토큰에 이어 기저 패치와 미래 반응을 나타내는 [MASK] 토큰들로 구성됩니다. 분류 네트워크는 코드북 인덱스를 예측하며, 이 인덱스들은 사전 학습된 디코더를 통해 연속적인 신호로 재구성됩니다.

핵-아키텍처 특징: 각 뉴런마다 별도의 모델을 만들지 않고 임의의 수의 뉴런을 처리하기 위해, QuantFormer는 입력 시퀀스에 학습 가능한 뉴런 특화 토큰([NEURON])과 자극 특화 토큰([STIM])을 추가합니다. 이를 통해 모델은 다양한 뉴런 집단의 다변량 신호를 효과적으로 처리할 수 있습니다.

주요 기여

1. 단일 시행 신경 반응 예측: 자극 전 활동과 자극 정보만을 사용하여 미래의 신경 반응을 예측하는 접근법을 제시하며, 이는 온라인 실험 패러다임을 위한 계산적 구성 요소를 제공합니다.
2. 예측을 분류로 재정의: 벡터 양자화를 채택함으로써 모델은 신경 신호의 이산적 표현을 학습합니다. 이는 뉴런 활성화가 상대적으로 드물다는 점을 고려할 때, 분류 기술을 사용하여 희소한 뉴롯 활성화를 효과적으로 예측할 수 있게 합니다.
3. 임의의 뉴런 집단에 대한 확장성: 뉴런 특화 토큰을 사용함으로써 모델은 뉴런당 모델 복잡도를 증가시키지 않고도 임의의 수의 뉴런으로부터 오는 다변량 신호를 분석할 수 있어, 개체 및 세션 간의 확장성과 일반화 성능을 보장합니다.
4. 마우스 시각 피질을 위한 파운데이션 모델: 대규모 Allen 데이터셋을 활용한 비지도 학습을 통해, QuantFormer는 서로 다른 자극, 개체 및 실험 조건 전반에 걸쳐 강력한 예측 성능을 입증했습니다.

실험 결과

모델은 네 가지 자극 유형(드리프트 그래팅, 정적 그래팅, 자연 경관, 국소 희소 노이즈)에 대해 Allen Brain Observatory 데이터셋(11마리 마우스, 236,808개 다변량 신호)을 사용하여 평가되었습니다.

• 분류 성능: QuantFormer는 자극-반응 분류에서 LSTM, Autoformer, Informer, BrainLM, Crossformer와 같은 베이스라인을 능가하며 가장 강력한 결과를 달로 달성했습니다. 균형 정확도(balanced accuracy) **77.39%**와 F1 점수 **66.94%**를 기록했습니다.
• 예측 성능: 누적 그래디언트 정규화(정규화된 시간적 역학의 일치도를 평가) 하에서, QuantFormer는 비교된 방법들 중 가장 낮은 평균 제곱 오차(MSE: 0.247)와 대칭 평균 절대 백분율 오차(SMAPE: 0.656)를 기록했으며, 가장 높은 상관관계(0.338)와 구조적 유사도 지수(SSIM: 0.069)를 나타냈습니다.
• 정성적 분석: 예측된 형광 트레이스의 시각적 검사를 통해, 다른 방법들이 종종 일정한 반응을 예측하거나 일시적인 타이밍을 포착하지 못하는 반면, QuantFormer는 희소한 활성 스파이크와 시간적 역학을 포착하는 데 효과적임을 확인했습니다.
• 절제 연구 (Ablation Studies): 실험을 통해 학습 가능한 토큰(뉴런/자극 식별자)과 양자화 사전 학습의 조합이 성능에 필수적임을 확인했습니다. 고정 빈(fixed-bin) 양자화는 학습된 양자화보다 성능이 낮았으며, 이는 데이터 적응형 코드북 프로토타입을 학습하는 것의 가치를 강조합니다.
• 일반화: Leave-one-out 실험은 모델이 서로 다른 피험자, 세션 및 자극 범주에 대해 효과적으로 일반화됨을 입증했습니다.

의의 및 한계점

의식(Significance):
본 논문은 QuantFormer를 행동 변수에 의존하지 않는 이광자 신경 신호 예측을 위한 파운데이션 모델의 첫 단계로 자리매김합니다. 모델의 추론 지연 시간(512개 뉴론을 약 6.5ms 내에 처리)은 향후 온라인 실험 지원 가능성을 시사합니다. 이 연구는 마우스 시각 피질 활동 예측을 위한 새로운 벤치마크를 설정하였으며, 양자화를 통해 회귀를 분류 문제로 재정의하는 것이 희소한 신경 데이터에 유효한 전략임을 입증했습니다.

한계점 (Limitations):

• 억제 메커니즘: 현재 모델에는 명시적인 억제 메커니즘이 부족하여, 생물학적 뉴런에서 관찰되는 전형적인 단일 활성화와 달리 지속적인 높은 활성 시퀀스가 나타날 수 있습니다.
• 스파이크 추론: 사후 디컨볼루션 분석 결과, Quant-Former나 경쟁 모델 모두 임계값을 넘는 스파이크 이벤트를 신뢰성 있게 재구성하지 못했습니다. 저자들은 현재의 공식이 스파이크/이벤트 예측 모델이 아닌, 엄격하게 형광 예측 방법으로 해석되어야 한다고 명시했습니다.
• 폐쇄 루프 검증: 추론 지연 시간이 온라인 처리에 적합하긴 하지만, 실험적 노이즈, 드리프트에 대한 견고성 및 예측 오류가 폐쇄 루프 제어 시 개입 결정에 미치는 영향에 대해서는 추가적인 조사가 필요하다고 언급했습니다.

저자들은 향-후 연구로서 전체 Allen 데이터셋으로 학습 범위를 넓히고, 스파이킹 신경 데이터에 모델을 적응시켜 일반화 능력을 더욱 향상시킬 것이라고 결론지었습니다.