기술 요약: CHASMBrain

문제 정의

본 연구가 다루는 근본적인 과제는 심층 시각 표현(deep visual representations)과 인간 시각 체계의 계층적 조직 사이의 대응 관계를 이해하는 것입니다. 현대의 비전 모델들은 이미지 인식 분야에서 탁월한 성능을 보이지만, 이들이 인간 시각 피질의 기능적 조직과 어떻게 정렬되는지는 여전히 미해결 과제로 남아 있습니다. 구체적으로, 기존의 인코딩 모델들은 다음의 요소들을 동시에 포착하는 데 어려움을 겪습니다:

1. 국소적 공간 세부 사항(Local spatial details): 초기 시각 영역(V1/V2와 같은 망막 국소 부위)에 중요한 요소.
2. 전역적 의미론적 맥락(Global semantic context): 고차원 피질 영역에 필수적인 요소.
3. 높은 고유 노이즈(High intrinsic noise): fMRI 신호 내에 존재하며, 직접적인 복셀 수준 회귀를 어렵게 만드는 요소.

기 기존 방식들은 수작업으로 설계된 특징(hand-crafted features)이나 생물학적 해석력이 부족하거나 공간적 위치와 특징 튜닝을 분리하지 못하는 단일 구조의 딥 네트워크에 의존하는 경우가 많습니다.

방법론: CHASMBrain

저자들은 이미지-to-fMRI 인코딩을 위한 새로운 계층적 2단계 프레임워크인 CHASMBrain을 제안합니다. 이 아키텍처는 시각 피질의 기능적 조직에서 영감을 얻었으며, 조대-정밀(coarse-to-fine) 전략과 이중 스트림 Mamba 디자인을 채택했습니다.

1. 입력 표현

모델은 사전 학습된 DINOv2 인코더(ViT-B/14)를 사용하여 시각적 특징을 추출합니다:

• CLS 토큰: 전역적인 이미지 의미를 요약하는 단일 벡터.
• 패치 토큰(Patch Tokens): 국소적 공간 구조를 보존하는 256개의 벡터 시퀀스.

2. 1단계: 조대 예측 (Dual-Stream Mamba)

첫 번째 단계는 노이즈를 완화하기 위해 개별 복셀이 아닌 관심 영역(ROI) 수준에서 노이즈가 제거된 활성도를 예측합니다.

• 이중 스트림 아키텍처:
  • 글로벌 브랜치(Global Branch): 고차원 의미론을 모델링하기 위해 Mamba 블록을 사용하여 CLS 토큰을 처리합니다.
  • 로컬 브랜치(Local Branch): 미세한 공간 구조를 모델링하기 위해 더 깊은 스택의 Mamba 블록을 사용하여 패치 토큰을 처리합니다.
• 적응형 융합(Adaptive Fusion): 학습 가능한 게이트가 두 브랜치의 출력을 동적으로 융합($\hat{r} = \alpha \cdot r_g + (1-\alpha) \cdot r_l$)하여, 단순한 장면에서는 전역적 맥락을, 복잡한 장면에서는 국소적 세부 사항을 강조할 수 있게 합니다.
• ROI 집계(Aggregation): 복셀들을 중복되지 않는 그룹으로 클러스터링합니다. 단순 평균 대신, 모델은 각 클러스터 내에서 상위 $p\%$(70%로 설정)의 활성도를 집계하여 정보가 풍부한 피크(peak)를 보존하면서 노이즈를 억제합니다.
• 학습 목표: 이미지 특징을 뇌 반응과 정렬하기 위해 평균 제곱 오차(MSE), 피어슨 상관관계 정렬, 그리고 대조 학습인 InfoNCE 손실을 결함합니다.

3. 2단계: 정밀 예측 (Mamba-VAE)

두 번째 단계는 1단계의 조대 ROI 예측을 완전한 복셀 수준 예측으로 정교화합니다.

• 입력 융합: 1단계 ROI 예측값과 원래의 시각적 특징(풀링된 패치 특징 및 CLS 토큰)을 결합합니다.
• Mamba-VAE:
  • 인코더(Encoder): 융합된 시퀀스를 인코딩하는 Mamba 블록 스택입니다.
  • 변분 잠재 공간(Variational Latent Space): VAE 헤드가 잠재 분포($\mu, \sigma$)를 학습함으로써 fMRI 반응의 시행 간 변동성(trial-to-trial variability)을 모델링합니다. 추론 시에는 평균($\mu$)이 결정론적 예측을 위해 사용됩니다.
• 이중 디코딩(Dual Decoding):
  • 전체론적 복셀 디코더(Holistic Voxel Decoder): 학습 가능한 쿼리 토큰을 사용하여 전역적 맥락으로부터 전체 복셀 벡터를 공동으로 예측합니다.
  • ROI 잔차 디코더(ROI Residual Decoder): 1단계의 조대 값에 대한 국소적 잔차(residual)를 예측하여 미세한 교정에 집중합니다.
• 진폭 복구(Amplitude Recovery): 학습 가능한 스케일 복구 레이어가 자극의 복잡성에 따라 출력 크기를 조정합니다.

주요 기여

1. 계층적 2단계 프레框架: CHASMBrain은 Natural Scenes Dataset(NSD)에서 피어슨 상관계수 0.429와 MSE 0.261을 달려, 최근의 딥 모델(SynBrain, MindSimulator) 및 강력한 선형 베이스라인(Ridge Regression, DINOv2 linear probes)을 능가합니다.
2. 순차적 조대-정밀 메커니즘: ROI 수준에서의 견고한 의미론적 정렬과 Mamba-VAE를 통한 미세한 복셀 정교화를 분리함으로써, fMRI 신호의 높은 고유 노이즈 문제를 효과적으로 해결합니다.
3. 인과적 스트림 특화(Causal Stream Specialization): 브랜치 제거 및 입력 라우팅 실험을 통해, 저자들은 비대칭적 특화를 입증했습니다:
   • 패치(국소) 스트림은 초기 시각 피질(망막 국소 부위)과 인과적으로 결합되어 있습니다. 이를 제거하면 초기 영역 예측 성능이 불균형적으로 저하됩니다.
   • CLS(전역) 스트림은 고차 영역에 더 넓은 의미론적 맥락을 제공합니다.
   • 이 두 스트림을 서로 바꿨을 때 발생하는 유의미한 비대칭적 성능 저하(초기 영역에서 1.9배 상대적 저하)는, 이 대응 관계가 단순한 상관관계가 아닌 인과적임을 확인시켜 줍니다.
4. 피험자 간 일반화 가능성: 학습된 백본은 개인 간에 일반화됩니다. 소스 피험자들에 대해 학습된 후 고정(frozen)된 상태에서 가벼운 피험자별 헤드만을 미세 조정했을 때, 홀드아웃(held-out) 피험자에 대해 피험자 내부(within-subject) 성능에 근접한 성과를 보였습니다. 이는 해당 표현이 피험자 독립적임을 시사합니다.

결과

• 정량적 성능: NSD(피험자 1, 2, 5, 7)에서 CHASMBrain은 가장 강력한 DINOv2 선형 프로브(Layer 12) 대비 MSE를 26.9% 감소시켰으며, SynBrain 및 MindSimulator와 같은 이전 연구들을 크게 앞질렀습니다.
• 정성적 분석: 예측된 fMRI 맵은 지면 진실(ground-truth) 신경 반응을 밀접하게 모방하며 날카로운 영역 경계와 국소적 피크를 보존합니다. 하위 작업인 이미지 재구성(MindEye2 활용)은 강력한 의미론적 보존을 보여주며, 강체 객체(rigid objects)의 일관된 구조를 베이스라인보다 더 잘 재구성합니다.
• 절제 연구(Ablation Studies):
  • Dual-Mamba 설계는 더 적은 파라미터와 FLOPs를 사용하면서도 단일 스트림 Mamba 및 Transformer보다 우수한 성능을 보였습니다.
  • VAE 기반 정교화 전략은 확산(diffusion) 기반 정교화보다 훨씬 뛰어난 성능을 보였는데, 이는 확산 모델이 인공 노이즈와 생물학적 노이즈를 혼동하기 때문입니다.
  • 1단계의 노이즈 감소와 2단계의 공간 해상도 사이의 균형을 맞추기 위해 최적의 클러스터링 입도(granularity)가 30 voxels/cluster임을 확인했습니다.

의의

본 논문은 시각적 표현에 **피질 프라이어(cortical priors)**를 통합함으로써 인공 시각 표현과 인간의 신경 활동 사이의 간극을 메운다고 주장합니다. 공간적 위치 파라미터를 특징 가중치 파라미터와 명시적으로 분리함으로써, 모델은 수용장(receptive-field) 구조를 직접 검사할 수 있게 합니다. 스트림 특화에 대한 인과적 증거는 이 모델이 인간 뇌의 "어디(where)"(등측/초기) 및 "무엇(what)"(복측/고차) 경로를 반영하는, 생물학적으로 타당한 시각적 표현을 포착하고 있음을 시사합니다. 또한, 피험자 간 일반화 능력은 모델이 피험자 특이적 노이즈에 과적합되는 것이 아니라 근본적인 시각 원리를 학습하고 있음을 나타냅니다.

한계점

저자들은 다음과 같은 몇 가지 한계를 인정합니다:

• 예측 상한선은 fMRI의 생리학적 노이즈 천장($r \approx 0.60$)에 의해 제한됩니다.
• 파이프라인은 정적인 객체 중심 이미지에 편향된 고정된 DINOv2 인코더에 의존하므로, 시간적 역동성(temporal dynamics)이 부족할 수 있습니다.
• 데이터 획득 프로토콜의 차이로 인해 교차 데이터셋 평가는 아직 수행되지 않았습니다.
• 하위 작업인 시각적 재구성은 fMRI-to-image 디코더의 생성적 프라이어(generative priors)에 의해 병목 현상이 발생합니다.