Cross-Subject Modeling for Widefield Calcium Imaging via Atlas-Aligned Spatiotemporal Tokenization

기술 요약: 앨러스 정렬된 시공간 토큰화를 통한 광역면 칼슘 이미징의 피험자 간 모델링

문제 정의
광역면(Widefield) 칼슘 이미징은 행동하는 동물의 뇌 전반에 걸친 피질 역동성에 대한 전례 없는 접근을 제공하며, 미세 규모의 신경 활동을 높은 시간 해상도와 넓은 공간 범위로 제공한다. 그러나 고차원성, 복잡한 시공간 구조, 그리고 상당한 양의 과업 무관 활동(task-irrelevant activity)은 역사적으로 이러한 기록들을 단일 세션 또는 단일 피험자 분석으로 제한해 왔다. 기존의 접근 방식은 일반적으로 세션별 파라미터나 전처리 단계(예: PCA, LocaNMF)에 의존하며, 이는 확장성과 피험자 간 일반화 능력을 제한한다. 다중 피험자 사전 학습 모델이 다른 신경 양식(예: 스파이킹, LFP)에서 유망함을 보여주었으나, 광역면 칼슘 이미징에 대해서는 아직 입증되지 않았다. 또한, 보지 못한 피험자에 대한 피험자 불변(subject-invariant) 제로샷 행동 디코딩 및 신경 재구성을 달성하는 것은 여전히 해결해야 할 과제로 남아 있다.

방법론: WiCAT
저자들은 다양한 피험자, 세션 및 데이터셋에 걸쳐 공유된 시공 공간 표현을 학습하도록 설계된 다중 피험자 파운데이션 모델인 WiCAT(Widefield Calcium imaging Atlas-aligned Tokenizer model)을 소개한다. 이 아키텍처는 세 가지 핵심 구성 요소로 이루어져 있다:

1. 앨러스 기반 토큰화(Atlas-Grounded Tokenization): 서로 다른 피질 형태와 기록 설정을 가진 피험자 간의 파라미터 공유를 가능하게 하기 위해, 모든 광역면 기록은 공통 해부학적 참조 프레임(Allen Brain Atlas Common Coordinate Framework)에 공간적으로 등록되고 통일된 공간 해상도(128 × 128)로 리샘플링된다. 정렬된 프레임은 겹치지 않는 시공간 패치로 분할된다. 결정적으로, 모델은 각 앨러스 정렬된 패치 인덱스와 관련된 **전역 공간 임베딩(global spatial embeddings)**을 사용한다. 이 임베딩들은 모든 피험자, 세션 및 데이터셋에 걸쳐 공유되며, 세션별 구성 요소 없이 일관된 피질 위치 표현을 제공한다.
2. 시공간 트랜스포머 백본(Spatiotemporal Transformer Backbone): 토큰화된 데이터는 결합된 공간 및 시간 어텐션을 적용하는 트랜스포머 인코더에 의해 처리된다. 상대적 시간 정보를 인코딩하기 위해 회전 위치 임베딩(Rotary Positional Embeddings, RoPE)이 사용된다. 모델은 단일 어텐션 메커니즘 내에서 피질 영역 간의 상호작용과 시간적 상호작용을 포착할 수 있도록 통일된 토큰 시퀀스 상에서 작동한다.
3. 자기 지도 사전 학습(MAE): 모델은 마스크드 오토인코더(Masked Autoencoder, MAE) 목적 함수를 사용하여 사전 학습된다. 사전 학습 중에 시공간 토큰의 90%가 공간과 시간 전체에 걸쳐 무작위로 마스킹된다. 인코더는 마스킹되지 않은 토큰만을 처리하며, 경량 트랜스포머 디코더는 평균 제곱 오차(MSE) 손실을 사용하여 마스킹된 패치를 재구성한다. 결정적으로, 사전 학습 중에 피험자, 세션 또는 데이터셋 식별자가 제공되지 않으므로, 모델은 오직 희소한 컨텍스트와 공유된 전역 공간 임베딩에만 의존하여 신경 활동을 재구성해야 한다.

주요 기여

1. 다중 피험자 모델링: WiCAT는 광역면 칼슘 이미징에 대해 서로 다른 피험자, 세션으로부터의 신경 기록을 공유된 표현 공간으로 매핑하는 최초의 모델로, 기존 연구의 단일 세션 제한을 넘어선다.
2. 앨러스 기반 토큰화: 저자들은 피험자 불변의 해부학적 조직을 포착하는 전역 공간 임베딩을 사용하는 토큰화 방식을 제안하여, 세션별 파라미터 없이도 피험자 간 모델링을 가능하게 한다.
3. 도전적인 사전 학습 프레임워크: 자기 지도 MAE 프레임워크는 피험자 식별자에 접근하지 않고 시공간 표현을 학습하도록 설계되어, 모델이 세션별 노이즈가 아닌 전역적 역동성을 학습하도록 강제한다.
4. 제로샷 능력: 모델은 보지 못한 피험자에 대해 강력한 제로샷 연속 행동 디코딩과 효율적인 퓨샷 적응(few-shot adaptation) 능력을 보여준다. 또한, 제외된 뇌 영역에 대한 제로샷 재구성을 달 achievement 하여, 학습된 표현이 피험자 간에 일반화되는 교차 영역 의존성을 포착하고 있음을 입증한다.
5. 교차 데이터셋 전이: 사전 학습된 표현은 서로 다른 기록 설정, 공간 해상도 및 행동 과업을 가진 데이터셋 간에 효과적으로 전이된다.

결과
38명의 피험자와 378개의 세션에 걸친 두 개의 대규모 데이터셋(Musall 및 Kondo)에서 평가했을 때, WiCAT는 단일 세션 역동성 모델(SBIND), PCA/LocaNMF 특징에 대한 선형 회귀, 그리고 SBIND의 다중 세션 확장 모델을 포함한 베이스라인 모델들을 능가했다.

• 행동 디코딩: WiCAT는 파인튜닝 및 제로샷 세트 모두에서 베이스라인보다 유의미하게 높은 행동 디코딩 성능($R^2$)을 달성했다. 특히 제로샷 세트(보지 못한 피험자)에서, WiCAT 선형 프로빙(Linear probing)은 Musall에서 0.3274, Kondo에서 0.1840의 $R^2$ 점수를 기록하며 차순위의 다중 세션 베이스라인을 크게 앞질렀다.
• 제로샷 일반화: 모델은 백본이나 디코더에 대한 그래디언트 업데이트 없이도 보지 못한 피험자에 대해 강력한 성능을 유지했다.
• 신경 재구성: 제로샷 제외 영역 재구성 작업에서, WiCAT는 주요 피질 영역(예: SS, VIS, MO) 전반에 걸쳐 선형 교차 영역 디코더 베이스라인보다 일관되게 낮은 재구성 오차(MSE)를 달성하였으며, 영역 특이적 시간 구조를 보존했다.
• 어블레이션 연구(Ablation Studies): 전역 공간 임베딩을 제거하거나 세션별 파라미터를 도입하면 제로샷 성능이 크게 저하되었으며, 이는 제안된 아키텍처가 피험자 간 전이에 필수적임을 확인시켜 준다. 또한, MAE 사전 학습이 이 양식(modality)에서 JEPA 스타일의 사전 학습보다 우수함을 보였다.
• 확장성: 성능은 사전 학습 데이터의 양과 모델 용량이 증가함에 따라 향상되었으며, 이는 프레임워크가 더 큰 데이터셋을 효과적으로 활용할 수 있음을 시사한다.

의의
본 논문은 WiCAT를 광역면 칼슘 이미징을 위한 "파운데이션 스타일" 모델링을 향한 기초적인 단계로 자리매김한다. 공유된 표현이 세션별 튜닝 없이도 다양한 피험자와 세션에 걸쳐 학습될 수 있음을 입증함으로써, 이 연구는 확장성 및 일반화의 핵심 장벽을 해결한다. 보지 못한 피험자에 대한 제로샷 행동 디코딩 및 신경 재구성이 가능하다는 점은 모델이 피질 활동의 근본적이고 피험자 불변적인 시공간 역동성을 포착하고 있음을 나타낸다. 이러한 접근 방식은 학습된 표현을 동물, 세션 및 실험 조건 전반에 걸쳐 재사용할 수 있게 하여, 분산된 인구 집단 역동성 및 대규모 기능적 조직에 대한 연구를 가속화할 수 있다. 저자들은 현재 공개된 광역면 데이터의 규모가 다른 양식들에 비해 작지만, 이 프레임워크는 더 크고 다양한 데이터셋이 확보됨에 따라 확장 가능하도록 설계되었다고 언급했다.