기술 요약: FPED – 해석 가능한 뇌 디코딩을 위한 기능적 네트워크 사전 지향적 전문가 혼합 (MoE) 프레임워크

1. 문제 제기

기능성 자기공명영상 (fMRI) 으로부터 시각 이미지를 재구성하는 것은 인간의 지각 메커니즘을 이해하고 뇌 - 컴퓨터 인터페이스 (BCI) 를 발전시키기 위한 핵심 과제입니다. 그러나 현재 주류 접근법은 두 가지 근본적인 한계를 안고 있습니다:

1. 위상 구조의 상실: 대부분의 방법은 지역화된 시각 피질로부터의 fMRI 신호를 1 차원 (1D) 벡터로 평탄화하여 직접 잠재 공간 (예: CLIP) 에 매핑합니다. 이러한 패러다임은 뇌의 고유한 네트워크 위상을 붕괴시켜 신경과학적 해석 가능성을 제한합니다.
2. 분산 네트워크의 간과: 기존 방법들은 고차원 시각 의미 처리에 있어 분산 기능적 네트워크 (예: 기본 모드 네트워크, 등쪽 주의 네트워크) 의 시너지적 기여를 간과합니다. 시각 피질에만 집중함으로써 이러한 모델들은 노이즈에 의한 의미의 부동 (drifting) 을 방지하는 하향식 (top-down) 제약이 부족하여, 종종 불안정하거나 부정확한 재구성을 초래합니다.

2. 방법론: FPED 프레임워크

저자들은 뇌 활동을 동질적인 특징 벡터가 아닌 이질적이면서도 상호 보완적인 기능적 네트워크의 구성으로 모델링하는 FPED(기능적 네트워크 사전 지향적 전문가 혼합) 프레임워크를 제안합니다. 이 프레임워크는 두 단계의 순차적 과정으로 운영됩니다:

3.1 1 단계: 계층적 MoE 를 통한 fMRI 특징 매핑

FPED 의 핵심은 Yeo-7 기능적 네트워크 어트라스에 의해 지시되는 계층적 전문가 혼합 (MoE) 아키텍처입니다.

• 데이터 전처리: 자연 장면 데이터셋 (Natural Scenes Dataset) 의 전체 뇌 3D fMRI 데이터가 Yeo-7 템플릿에 등록됩니다. Top-k 전략이 가장 높은 강도의 보텍스 (voxels) 를 선택하고, 보텍스 단위의 릿지 회귀 (ridge regression) 가 노이즈 제거에 적용됩니다.
• 계층적 라우팅:
  • 레이어 1 (대략적): Yeo-7 어트라스에 의해 정의된 일곱 기능적 네트워크 중 하나에 대응하는 7 개의 전문가로 구성됩니다. 라우터는 입력 특징에 대한 라우팅 로짓 ($z_i$) 을 계산합니다. 핵심적으로, 학습된 라우팅 분포를 뇌 어트라스에서 유도된 결정론적 사전 분포 ($p_{roi}$) 와 정렬시키기 위해 시간 의존적 KL 발산 정규화기 ($L_{kl}$) 가 사용됩니다. 이는 특정 뇌 영역의 특징이 초기에 해당 네트워크 전문가로 유도되도록 보장합니다.
  • 레이어 2 (세밀한): 더 세밀한 특징 처리를 위해 설계된 14 개의 전문가를 포함합니다. 첫 번째 레이어와 달리, 이러한 전문가들은 명시적인 사전 제약 없이 작동하여 데이터에 의해 주도되는 네트워크 간 상호작용과 복잡한 특징 조합을 학습할 수 있게 합니다.
• 용량 관리: 부하 불균형을 방지하기 위해 용량이 제한된 Top-K 특징 선택 전략이 사용되어, 각 전문가가 정보성 있는 특징의 균형을 맞춘 부분 집합을 처리하도록 보장합니다.
• 퓨전: 모든 전문가의 출력은 합계를 통해 집계된 후, 공간적 평활화를 위한 전역 풀링 및 확산 사전 (diffusion prior) 메커니즘을 거쳐 의미론적 일관성을 보장합니다.

3.2 2 단계: 시공간 라우팅을 통한 미세 조정

특징 매핑을 바탕으로, 이 프레임워크는 MORE-Brain 접근법을 사용하여 사전 훈련된 확산 모델 (SDXL) 을 미세 조정합니다.

• 시공간 라우터: 시간적 라우터는 UNet 시간 단계에 따라 특징의 세밀함을 동적으로 조절합니다. 초기 노이즈 제거 단계 (전역 의미) 에서는 대략적 전문가를 우선시하고, 후기 반복 (정교한 세부 사항) 에서는 세밀한 전문가로 전환합니다.
• 공간적 정제: 공간적 라우터는 교차 주의 (cross-attention) 를 사용하여 노이즈가 있는 잠재 표현이 시간적으로 게이트된 뇌 특징을 쿼리하도록 하여, 일관된 다중 규모 통합을 보장합니다.

3.3 손실 함수

이 프레임워크는 다음을 포함하는 다목적 최적화 전략으로 훈련됩니다:

• KL 발산 ($L_{kl}$): 라우팅 확률과 뇌 네트워크 사전 간의 정렬을 강제합니다.
• 기하학적 정렬: 방향성 및 크기 일관성을 제약하기 위한 코사인 유사도와 평균 제곱 오차 (MSE).
• SoftCLIP 대비 학습: 뇌 표현을 시각 의미 목표와 정렬하기 위한 양방향 손실.
• 확산 사전 및 정제: 고품질 생성 출력을 보장하기 위한 확산 손실 ($L_{DP}$) 과 사전 대비 손실 ($L_{prior}^{CLIP}$) 을 포함합니다.

3. 주요 기여

1. FPED 프레임워크: 사전 지향적 MoE 아키텍처를 통해 뇌 네트워크의 기능적 전문화와 시너지 메커니즘을 명시적으로 모델링하는 뇌 디코딩 프레임워크의 제안.
2. 일반화 검증: 단일 피험자 및 다중 피험자 설정 모두에서 평가하여, 높은 성능을 유지하면서도 개인 간 일반화된 표현을 포착할 수 있는 능력을 입증.
3. 네트워크 수준 사전: 실험을 통해 네트워크 수준 사전의 필요성을 입증하며, 전체 뇌 다중 네트워크 모델링이 전통적인 시각 피질 중심 접근법보다 우수함을 보여줌.
4. 해석 가능성 분석: 디코딩 성능과 신경과학적 메커니즘을 연결하는 포괄적인 분석을 통해 다양한 뇌 네트워크가 시각 의미 이해에 어떻게 기여하는지 규명.

4. 실험 결과

이 모델은 전체 뇌 3D fMRI 데이터를 사용하여 자연 장면 데이터셋 (NSD) 에서 평가되었습니다.

• 성능: FPED 는 **96.7%**의 CLIP 점수와 **94.2%**의 Inception 점수를 포함한 고차원 의미 지표에서 최첨단 (state-of-the-art) 결과를 달성했습니다.
• 효율성: VAE 기반 생성 모델링 없이 경량화된 0.68B 파라미터만을 사용함에도 불구하고, 비교된 방법들 중 두 번째로 좋은 SSIM 점수 (0.386) 를 달성하여 의미론적 정확도와 픽셀 수준의 충실도 간의 유리한 균형을 보여주었습니다.
• 절대 실험 (Ablation Studies):
  • 모델을 시각 피질 특징만으로 제한 ("OnlyV") 한 경우 모든 지표에서 성능이 현저히 저하되어, 비시각 인지 네트워크의 필수적인 역할을 확인했습니다.
  • MoE 아키텍처는 대체 집계 방식 (Transformer 기반, Attention 기반, 균일 퓨전) 보다 우수한 성능을 보여 뇌 역학을 모델링하는 데 있어 그 효과성을 입증했습니다.

5. 중요성과 해석 가능성

이 논문은 FPED 가 기능적 뇌 네트워크와 모달리티별 의미 처리 사이의 생물학적으로 의미 있는 대응 관계를 드러냄으로써 투명한 신경과학적 해석 가능성을 제공한다고 주장합니다:

• 전문가 전문화: 라우팅 가중치의 시각화는 서로 다른 전문가들이 확립된 뇌 기능과 정렬됨을 보여줍니다. 예를 들어, 시각 (V) 전문가는 전역 윤곽을 포착하는 반면, 기본 모드 (DM) 및 변연 (L) 네트워크는 각각 장면 의미와 보상 관련 자극을 인코딩합니다.
• 모달리티별 라우팅: 라우팅 메커니즘은 목표 모달리티에 따라 뇌 네트워크를 적응적으로 할당합니다. 텍스트 정렬은 정서/의미 처리와 관련된 변연 네트워크를 강력하게 동원하는 반면, 이미지 정렬은 등쪽 주의, 시각, 기본 모드, 그리고 체감운동 네트워크의 균형 잡힌 혼합을 활용합니다.
• 결론: 이 연구는 신경생물학적으로 근거 있는 사전 지식을 딥러닝 아키텍처에 통합하는 것이 신경 디코딩과 생물학적 영감을 받은 인공지능을 연결하는 유망한 방향임을 시사하며, "블랙박스" 디코딩을 넘어 구조화되고 해석 가능한 네트워크 수준 표현 학습으로 나아가고 있음을 보여줍니다.