기술 요약: 다중 인코더-디코더 VAE를 통한 과업 가이드형 피험자 간 잠재 공간 정렬

문제 정의

서로 다른 개인 간의 신경 활동을 정렬하는 것은 공유된 계산 원리를 발견하고 시스템 신경과학 분야에서 일반화 가능한 디코더를 구축하는 데 필수적이다. 그러나 전통적인 정렬 방법(예: Shared Response Models, Procrustes analysis, Hyperalignment)은 결정적인 제약 조건에 의존한다. 즉, 변환 행렬을 도출하기 위해 모든 피험자가 반드시 **공유된 자극(shared stimuli)**을 보아야 한다는 점이다. 이러한 한계는 피험자들이 서로 거의 중복되지 않거나 공유되지 않은 데이터를 보는 자연주의적 패러다임(naturalistic paradigms)에서의 적용 가능성을 심각하게 제한하며, 대규모 교차 연구 신경 영상 데이터셋의 통합을 방해한다. 또한, 공유된 부분 집합에 대해서만 학습된 방법들은 그 정렬 변환이 더 넓은 데이터셋에 필요한 전체 표현 공간을 포착하지 못할 수 있기 때문에, 공유되지 않은 홀드아웃(held-out) 자극에 대해 일반화하는 데 실패하는 경우가 많다.

방법론: MED-VAE

저자들은 공유된 자극 없이도 피험자 간 정렬을 달로 설계된 프레임워크인 **다중 인코더-디코더 변분 오토인코더(Multi-Encoder-Decoder Variational Autoencoder, MED-VAE)**를 소개한다. 이 모델의 핵심 통찰은 사전 학습된 인공 신경망(ANN)을 계산적 "스캐폴드(scaffold)"로 활용하여 서로 다른 피험자의 표현을 공통된 잠재 공간으로 고정하는 것이다.

아키텍처

MED-VAE는 다중 경로 아키텍처를 채택한다:

1. 피험자별 인코더(Subject-Specific Encoders): 각 피험자 $i$는 고유한 인코더($Enc_{fMRI}^i$)를 가지며, 이는 피험자의 fMRI 반응($x_{fMRI}^i$)을 공유된 $d$차원 잠재 공간($z_i$)으로 매핑한다.
2. 공유 ANN 인코더(Shared ANN Encoder): 공유 인코더($Enc_{ANN}$)는 사전 학습된 ANN(구체적으로 ResNet-50)의 특징을 동일한 잠재 공간으로 매핑한다.
3. 피험자별 디코더(Subject-Specific Decoders): 각 피험자는 잠재 공간으로부터 원래의 복셀 패턴을 재구성하는 고유한 디코더($Dec_{fMRI}^i$)를 가진다.
4. 공유 ANN 디코더(Shared ANN Decoder): 범용 디코더($Dec_{ANN}$)는 어떠한 잠재 표현(fMRI로부터 유도되었든 ANN 자체로부터 유도되었든 상관없이)으로부터도 ANN 특징을 재구성한다.

학습 목적 함수

모델은 네 가지 재구성 경로와 KL 정규화를 통합하는 손실 함수를 사용하여 학습된다:

• 모달리티 내 fMRI: 피험자의 잠재 코드로부터 해당 피험자의 fMRI 데이터를 재구성함.
• 교차 모달ity ANN $\to$ fMRI: ANN 인코더로부터 생성된 잠재 코드로 피험자의 fMRI 데이터를 재구성함.
• 모달ity 내 ANN: ANN 인코더의 잠재 코드로부터 ANN 특징을 재구성함.
• 교차 모달ity fMRI $\to$ ANN: 피험자의 fMRI 유래 잠재 코드로 ANN 특징을 재구성함.

공유 ANN 디코더는 주요 정렬 메커즘 역할을 한다. 모든 피험자의 잠재 표현이 동일한 계층적 시각 특징과 의미론적 관계(ANN에 의해 인코딩된 것)를 재구성하도록 강제함으로써, 모델은 암묵적인 정렬 압력을 가한다. 이를 통해 의미론적으로 유사한 자극(비록 서로 다른 피험자가 보았더라도)이 공유 잠재 공간 내의 근접한 위치로 매핑되도록 보장한다. 결정적으로, ANN 스캐폴드는 학습 중에만 필요하며, 추론 시에는 피험자의 fMRI 인코더만을 사용하여 공유 공간으로 투영된다.

주요 기여

1. 공유 자극의 제거: MED-VAE는 사전 학습된 ANN의 구조적 사전 지식(structural priors)에 의존함으로써 공유된 자극 없이도 피험자 간 정렬을 달성한다.
2. 의미론적 조직화: 이 방법은 전통적인 방식에 비해 더 높은 실루엣 점수(silhouette scores)와 더 나은 교차 피험자 카테고리 디코딩 정확도를 입증함으로써, 우수한 의미론적 조직화를 갖춘 잠재 공간을 생성한다.
3. 강력한 일반화: 전통적인 방법들이 비공유 자극에서 성능이 저하되는 것과 달리, MED-VAE는 홀드아웃 이미지에 대해서도 견고한 일반화 성능을 보여주며, 특정 공유 부분 집합에 과적합되는 대신 피험자 불변적(subject-invariant) 표현을 포착한다.
4. 신호 보존: 교차 시행(cross-trial) 평가 결과, 전통적인 방법들이 높은 시행 내 재구성(종종 시행별 노이즈를 포착함)을 보이는 반면, MED-VAE는 동등한 수준의 자극 구동 신호를 유지하면서 노이즈를 억제함을 보여준다.
5. 다운스트림 유용성: 정렬된 공간은 우수한 교차 피험자 신경 예측 및 이미지 디코딩을 가능하게 하여, 한 피험자의 잠재 표현으로부터 다른 피험자의 뇌 활동을 재구성할 수 있게 한다.

결과

실험은 약 10,000개의 자연 이미지를 관찰하며 중복이 거의 없는 8명의 피험자를 대상으로 하는 **Natural Scenes Dataset (NSD)**을 사용하여 수행되었다.

• 의미론적 구조: MED-VAE 잠재 공간은 SRM(0.22) 및 Procrustes(0.21)보다 유의미하게 높은 실루엣 점수(0.34)를 보여, 의미론적 카테고리의 일관된 클러스터링을 나타냈다. Leave-one-subject-out 디코딩에서도 MED-VAE가 더 높은 정확도를 기록했다.
• 정렬 지표: MED-VAE는 베이스라인(component-wise correlation 0.64 vs. 0.52/0.45 및 RSA score 0.63 vs. 0.41/0.41)보다 높은 성과를 달성했다.
• 일반화 격차: 전통적인 방법들(SRM, Procrustes)은 훈련 세트와 비교했을 때 준공유 홀드아웃 세트(128개 이미지)에서 상당한 성능 저하를 보였으나, MED-VAE는 일관된 성능을 유지하여 자극 중복에 의존하지 않음을 입증했다.
• 교차 피험자 검색: MED-VAE는 홀드아웃 세트에서 46.2%의 top-1 검색 정확도를 달성하여, SRM(21.8%)과 Procrustes(18.4%)보다 두 배 이상의 성능을 기록했다.
• 노이즈 vs. 신호: 시행 내 재구성 지표는 전통적인 방법들에 유리했으나, 교차 시행 평가(시행 $i$의 재구성을 실제 값 $j$와 상관관계 분석)에서는 방법론 간 유의미한 차이가 없었다. 이는 전통적인 방법들의 이점이 시행별 노이즈를 재구성하는 데서 기인한 것이며, MED-VAE가 자극 구동 신호를 동등하게 잘 보존하고 있음을 확인시켜 준다.
• 이미지 디코딩: 교차 피이면 예측값이 고정된 MindEye2 디코더로 입력되었을 때, MED-VAE는 특히 저차원(32D) 공간에서 고수준 의미론적 척도(예: CLIP 유사도, Inception 점수)에 대해 베이스라인보다 우수한 성능을 보였다.

의의 및 주장

본 논문은 MED-VAE가 공유 자극이라는 병목 현상 없이 교차 피험자 예측 및 다운스트림 과업을 위한 **일반화 가능한 공통 하위 공간(common subspaces)**을 식별하는 프레임워크를 제공한다고 주장한다. 사전 학습된 ANN으로부터의 암묵적 제약을 통해 다음과 같은 효과를 낸다:

• 서로 다른 프로토콜이나 서로 다른 자극을 보는 피험자로부터 얻은 데이터에 대한 집단 수준의 분석.
• 최소한의 피험자별 캘리브레이션(calibration)을 통한 교차 피험자 신경 예측 및 이미지 디코딩.
• 정렬된 데이터를 빌려옴으로써 스캐닝 시간이 제한된 피험자를 위한 데이터 증강.

저자들은 이 공통 공간이 임의의 통계적 대응 관계가 아니라 시각적 표현의 계산적 조직(범주적 구조 및 의미론적 관계)을 포착한다는 점을 강조한다. 또한, 정렬의 품질은 선택된 ANN 스캐폴드(예: ResNet-50)의 모델-뇌 대응 관계에 의해 근본적으로 제한된다는 점을 언급하며, 향후 연구에서 더 강력한 동적 또는 시간적 모델링을 갖춘 스캐폴드를 사용하면 정렬을 더욱 개선할 수 있음을 시사한다. 이 프레임워크는 더 강력한 신경과학 연구를 위해 연구 간, 개인 간의 신경 데이터를 통합하는 단계로 제시된다.