[기술 요약] 계층적 시각 임베딩을 이용한 뇌 표현 학습

1. 문제 정의 (Problem Statement)

뇌 신호(EEG, MEG, fMRI 등)로부터 시각적 자극을 해독(Decoding)하고 재구성(Reconstruction)하는 것은 신경과학과 AI 분야의 핵심 과제입니다. 기존 연구들은 주로 CLIP과 같은 사전 학습된 모델을 사용하여 뇌 신호와 이미지의 고수준 의미론적(High-level semantic) 특징을 정렬하는 데 집중해 왔습니다.

하지만 이러한 방식은 다음과 같은 한계가 있습니다:

• 구조적 간극(Structural Gap): 뇌 신호의 동적 특성과 이미지의 계층적 구조 사이의 차이를 충분히 반영하지 못함.
• 저수준 정보 결여: 픽셀 수준의 세부 사항(색상, 질감, 에지 등)을 무시하여 재구성된 이미지의 충실도(Fidelity)가 떨어짐.
• 분포 불일치: 뇌 신호에서 추출된 특징이 생성 모델(Diffusion Model)이 기대하는 데이터 분포와 일치하지 않아 재구성이 불안정함.

2. 제안 방법론 (Methodology)

본 논문은 인간 시각 시스템의 계층적 처리 과정을 모방하여, 계층적 시각 융합(Hierarchical Visual Fusion, HVF) 프레임워크와 **융합 사전 학습(Fusion Prior)**을 제안합니다.

① 계층적 시각 융합 (Hierarchical Visual Fusion, HVF)

다양한 인덕티브 바이어스(Inductive Bias)를 가진 여러 사전 학습된 인코더를 결합하여 다중 스케일 시각 표현을 구축합니다.

• 고수준 의미론(High-level Semantics): 여러 개의 CLIP 인코더를 사용하여 객체, 장면 등의 추상적 정보를 추출합니다.
• 저수준 픽셀 정보(Low-level Pixels): VAE(Variational Autoencoder) 인코더를 사용하여 색상, 질감 등 세부적인 구조 정보를 추출합니다.
• 융합 과정: 각 인코더의 출력을 선형 사상(Linear Map)으로 정렬한 후, 잔차 MLP(Residual MLP)를 통해 하나의 통합된 **융합 임베딩($z_f$)**으로 만듭니다.

② 대조 학습 (Contrastive Learning)

뇌 신호를 임베딩하는 MBP(MLP-based Brain Projection) 네트워크를 학습시킵니다. InfoNCE 손실 함수를 사용하여 뇌 임베딩($z_b$)과 위에서 만든 융합 시각 임베딩($z_f$) 사이의 유사도를 극대화함으로써 두 모달리티를 정렬합니다.

③ 융합 사전 학습 (Pretrained Fusion Prior)

재구성 단계의 안정성을 위해, 대규모 시각 데이터로 Fusion Prior를 먼저 학습시킵니다.

• 융합된 시각 특징($z_f$)을 Diffusion 모델(SDXL)의 조건(Condition)으로 변환하는 매핑을 학습합니다.
• 이 과정에서 텍스트 프롬프트 없이 오직 시각적 특징만으로 이미지를 생성할 수 있도록 하여, 뇌 신호가 직접 이미지 생성의 가이드 역할을 할 수 있게 합니다.

3. 주요 기여 (Key Contributions)

1. 계층적 정렬 전략: 뇌 신호가 고수준 의미론뿐만 아니라 저수준 픽셀 정보와도 공동으로 정렬된다는 과학적 사실을 입증하고 이를 모델에 반영했습니다.
2. Fusion Prior 도입: 뇌 신호 임베딩을 안정적인 생성 모델의 조건부 공간으로 연결하는 브릿지 역할을 하는 사전 학습된 매핑을 제안했습니다.
3. Plug-and-Play 구조: 고정된 융합 인터페이스를 사용하여 다양한 뇌 신호 인코더(Backbone)를 교체하며 사용할 수 있는 유연성을 제공합니다.

4. 실험 결과 (Results)

THINGS-EEG 및 THINGS-MEG 데이터셋을 통해 검증한 결과는 다음과 같습니다.

• 검색 성능 (Retrieval): 200-way zero-shot retrieval 작업에서 기존 SOTA(UBP)를 크게 상회하는 성능을 기록했습니다. 특히 피험자 간(Inter-subject) 일반화 성능이 크게 향상되었습니다. (예: EEG Intra-subject Top-1 75.7% 달성)
• 재구성 품질 (Reconstruction):
  • 정량적 지표: PixCorr, SSIM 등 저수준 충실도와 AlexNet, CLIP 등 고수준 의미론적 지표 모두에서 기존 모델(ATM, CognitionCapturer)보다 우수한 성능을 보였습니다.
  • 정성적 지표: 재구성된 이미지가 실제 자극 이미지와 비교했을 때 객체의 윤곽선이 더 뚜렷하고 색상 분포가 더 정확함을 확인했습니다.
• 어블레이션 연구 (Ablation Study): VAE(저수준)와 B32(의미론)를 결합했을 때 성능이 가장 높았으며, 이는 뇌 신호 해독에 두 정보가 모두 필수적임을 시사합니다.

5. 의의 (Significance)

본 연구는 뇌 신호 해독에 있어 "의미론적 이해"와 "시각적 세부 사항"의 균형이 얼마나 중요한지를 기술적으로 증명했습니다. 제안된 프레임워크는 뇌-컴퓨터 인터페이스(BCI)를 통해 인간의 시각적 경험을 보다 정확하고 사실적으로 재현할 수 있는 강력한 기반을 마련하였으며, 신경과학적 원리를 AI 모델 설계에 성공적으로 통합한 사례로 평가됩니다.