기술 요약: MindDiffuser – 뇌 활동으로부터의 이미지 재구성을 위한 다각적 프레임워크

1. 문제 정의

뇌 기록으로부터 시각적 자극을 재구성하는 것은 신경 디코딩의 핵심 과제이다. 최근 텍스트-이미지(T2I) 생성 모델(예: Stable Diffusion)의 발전은 뇌 활동을 텍스트 임베딩으로 매핑함으로써 의미론적으로 일관된 이미지를 재구성할 수 있게 해주었으나, 이러한 방식들은 미세한 구조적 정보를 보존하지 못한다는 결정적인 한계를 지닌다. 결과적으로, 재구성된 이미지는 위치, 방향, 크기 및 형태와 관련하여 원래의 자극과 일관성이 부족한 경우가 많다. 이러한 결함은 모델의 제어 가능성과 해석 가능성을 저해한다.

저자들은 기존의 접근 방식들이 주로 뇌의 "복측 경로(ventral stream)"(의미론적 '무엇(what)' 정보를 담당)를 역추적하는 데 치중하여, "배측 경로(dorsal stream)"(구조적 '어디(where)' 정보를 담당)를 간과하고 있다는 점을 지적한다. 본 논문은 정밀하고 제어 가능한 이미지 재구성을 달성하기 위해 의미론적 콘텐츠를 디코딩하는 동시에 구조적 세부 사항을 정렬할 수 있는 프레임워크의 필요성을 다룬다.

2. 방법론: MindDiffuser

저자들은 인간 시각 피질의 이중 경로 처리 메커니즘에서 영감을 얻은 2단계 이미지 재구성 프레임워크인 MindDiffuser를 제안한다. 이 프레임워크는 다양한 생성 모델(GAN, Diffusion)과 통합될 수 있고, 다양한 뇌 신호 양상(fMRI, EEG, MEG)에 적용 가능한 범용성을 갖도록 설계되었다.

1단계: 의미론적 정보 통합 (복측 경로 역전)

• 목표: 의미론적 콘텐츠("이미지에 무엇이 있는가?")를 포함하는 예비 이미지를 생성한다.
• 과정:
  • 선형 회귀 모델(또는 EEG/MEG의 경우 MLP/Transformer)을 사용하여 뇌 신호를 CLIP 텍스트 임베딩($c$)과 VQ-VAE 잠재 특징($z$)으로 디코딩한다.
  • 이러한 특징들을 사전 학습된 Stable Diffusion 모델에 주입한다. VQ-VAE 잠재 특징은 초기 노이즈 역할을 하며, CLIP 텍스트 임베딩은 교차 주의(cross-attention) 메커니즘을 가이드한다.
  • 출력물은 거친 입도의 콘텐츠를 가진 의미론적으로 일관된 이미지이다.

2단계: 구조적 정보 정렬 (배측 경로 역전)

• 목표: 이미지를 반복적으로 정제하여 실제 정답(ground-truth)의 구조적 세부 사항과 일치시킨다("객체가 어디에 있는가?").
• 과정:
  • 뇌의 저수준 구조 처리 영역에 대응하는 얕은 CLIP 시각 특징($Z_{CLIP}$)으로 뇌 신호를 디코딩한다.
  • 생성된 이미지의 얕은 CLIP 특징과 디코딩된 뇌 특징 사이의 평균 제곱 오차(MSE)를 계산하여 **구조적 손실 함수(structural loss function)**를 산출한다.
  • 1단계의 특징 벡터($c$와 $z$)를 이 구조적 손실을 최소화하도록 **역전파(backpropagation)**를 통해 반복적으로 업데이트한다.
  • 이 과정은 출력이 원래의 자극과 공간적 배치 및 미세한 구조 측면에서 일치할 때까지 이미지 생성을 정교화한다.

특징 선택 및 디코딩

• 특징 선택: 구조적 특징의 고차원성과 노이즈 문제를 해결하기 위해, 디코딩 정확도가 가장 높은 상위 25%($k=25$)의 차원만을 유지하고 나머지는 마스킹하는 선택 알고리즘을 사용한다.
• 양상 적응(Modality Adaptation):
  • fMRI: 시각 피질 관심 영역(ROI)의 복셀 데이터에 선형 회귀를 적용한다.
  • EEG/MEG: 채널별 어텐션, 시간/공간 컨볼루션 모듈 및 MLP를 사용하여 다채널 데이터를 필요한 특징 차원으로 투영한다.

3. 주요 기여

1. 제어 가능한 2단계 프레임워크: 본 논문은 복측 및 배측 시각 경로를 명시적으로 역전시키는 새로운 아키텍처를 소개한다. 의미론적 생성과 구조적 정렬을 분리함으로써, 의미론적 정보만을 포착하는 기존 방식의 한계를 극복한다.
2. 다양한 양상 및 모델에 대한 범용성: 이 프레임워크는 세 가지 뚜렷한 뇌 신호 양상(fMRI, EEG, MEG)에서 검증되었으며, GAN 및 Diffusion 아키텍처 기반의 10가지 최첨단 재구성 모델에 성공적으로 통합되었다.
3. 신경생물학적 해석 가능성: 저자들은 프로토콜이 알려진 신경과학 원리와 일치함을 입증하는 공간적 및 시간적 시각화를 제공한다.
   • 공간적: 의미론적 특징은 고수준 시각 피질(HVC)에서 주로 디코딩되는 반면, 구조적 특징은 저수준 시각 피질(LVC)에서 디코딩된다.
   • 시간적: 시각 정보에 대한 피크 디코딩 정확도는 자극 후 100~200ms 창 내에서 발생한다.

4. 실험 결과

프레임워크는 세 가지 대규모 데이터셋인 NSD(fMRI), Things-EEG, Things-MEG에서 평가되었다.

• 정량적 성능:
  • 제안된 프레임워크를 SOTA 모델인 MindEye와 통합했을 때, 8가지 평가 지표(PixCorr, SSIM 및 특징 유사도 지표 포함) 중 1위 1회, 2위 4회의 성적을 거두었다.
  • 프레임워크는 테스트된 모든 베이스 모델에 대해 저수준 구조 지표(예: PixCorr, SSIM)를 유의미하게 향상시켰으며, 양상 및 베이스 모델에 따라 약 4%에서 60% 이상의 향상을 보였다.
  • 고수준 의미론적 지표는 대체로 유지되었으나, 저자들은 구조적 최적화가 때때로 의미론적 일관성을 약간 저하시킬 수 있는 트레이드오프가 있음을 언급했다.
• 정성적 관찰:
  • 재구성된 이미지는 객체의 위치, 방향 및 색상과 관련하여 실제 정답과 개선된 일치도를 보였다.
  • 반복적 정제(2단계)는 구조적 제약에 따라 의미론적 디코딩 편향을 성공적으로 수정하였다(예: "강낭콩 더미"를 "무지개 사탕"으로 변경).
• 절제 연구(Ablation Studies):
  • 구조적 특징($Z_{CLIP}$) 또는 잠재 특징($z$)을 제거하면 저수준 지표가 크게 저하되었다.
  • 의미론적 특징 디코딩은 HVC에 크게 의존하는 반면, 구조적 특징은 LVC에 의존하여 프레임워크 설계의 기능적 분리를 확인하였다.
  • 선형 디코더를 비선형 모델(MLP, Transformer)로 교체하면 성능이 향 향상되었으나, 해석 가능성을 위해 선형 모델을 유지하였다.

5. 의의 및 주장

본 논문은 MindDiffuser가 제어된 이미지 재구성을 위한 범용적이고 효과적인 솔루션을 제공한다고 주장한다. 주요 의의는 다음과 같다:

• 격차 해소: 현재의 T2I 기반 방식이 구조적 세부 사항을 포착하지 못하는 특정 실패 지점을 해결함으로써, 더 정밀하고 제어 가능한 뇌-컴퓨터 인터페이스(BCI)를 위한 경로를 제시한다.
• 일반화 가능성: fMRI, EEG, MEG 전반에서의 성공과 다양한 생성 백본과의 통합을 통해, 이 프레임워크가 특정 작업에 국한된 모델이 아닌 일반화 가능한 모듈임을 입증한다.
• 신경과학적 검증: 이 프레임워크는 뇌의 이중 경로 처리 과정을 모사하는 계산 모델을 제공하며, 향후 신경 디코딩 노력에 구체적인 가이드를 제공한다. 저자들은 특정 피질 영역(의미론을 위한 HVC, 구조를 위한 LVC)과 특정 시간 창(100~200ms)을 타겟팅하는 것이 디코딩 성능을 최적화할 수 있다고 제안한다.

저자들은 엄격한 구조적 정렬이 고수준 의미론적 일관성을 약간 저해할 수 있다는 트레이드오프를 한계점으로 인정하며, 이를 완화하기 위한 방안으로 의미론적 정규화 항(semantic regularization term)을 향후 연구 과제로 제시한다.