fMRI-LM: Towards a Universal Foundation Model for Language-Aligned fMRI Understanding

1. 연구 배경 및 문제 정의 (Problem)

• 현재의 한계: 기존 fMRI(기능적 자기공명영상) 분석 모델들은 주로 특정 작업 (질병 진단, 표현형 예측 등) 에 맞춰 설계된 지도 학습 모델이거나, 뇌 신호 자체의 예측에만 초점을 맞춘 사전 학습 모델 (BrainLM, Brain-JEPA 등) 입니다. 이러한 모델들은 언어 기반의 의미론적 이해 (Semantic Understanding) 가 부족하여, 다양한 작업 간 일반화나 자연어와의 상호작용에 한계가 있습니다.
• 데이터 부족: fMRI 데이터와 자연어 텍스트를 직접적으로 연결한 자연스러운 쌍 (fMRI-text pairs) 이 존재하지 않아, 대규모 언어 모델 (LLM) 을 fMRI 에 적용하는 것이 어려웠습니다.
• 목표: 뇌 활동을 언어와 정렬 (Align) 하여, fMRI 신호를 언어 모델이 이해할 수 있는 토큰으로 변환하고, 이를 통해 다양한 신경과학 및 임상 작업에 적용 가능한 범용 기초 모델 (Foundation Model) 을 구축하는 것입니다.

2. 제안 방법론: fMRI-LM (Methodology)

저자들은 fMRI 와 언어를 연결하는 3 단계 프레임워크인 fMRI-LM을 제안합니다.

Stage 1: fMRI Tokenizer 학습 (Neural Tokenizer)

• 목적: 연속적인 fMRI 신호를 언어 모델의 임베딩 공간과 정렬된 이산적 (discrete) 토큰으로 변환합니다.
• 구조: ViT(Vision Transformer) 기반 인코더와 벡터 양자화기 (Vector Quantizer) 로 구성됩니다.
• 학습 목표:
  1. 재구성 손실 (Reconstruction Loss): 원본 fMRI 신호를 복원하도록 학습.
  2. 도메인 적대적 정렬 (Domain-Adversarial Alignment): fMRI 임베딩이 텍스트 임베딩과 구분되지 않도록 학습 (Gradient Reversal Layer 사용).
  3. 대조적 정렬 (Contrastive Alignment): 생성된 fMRI 텍스트 설명과 실제 fMRI 데이터 간의 유사성을 최대화 (SigLIP 스타일 손실).
• 결과: fMRI 신호가 LLM 의 어휘 공간과 호환되는 토큰 시퀀스로 매핑됨.

Stage 2: LLM 미세 조정 및 시계열 모델링 (LLM Fine-tuning)

• 목적: 사전 학습된 LLM 이 fMRI 토큰과 텍스트를 동시에 이해하고 생성하도록 조정합니다.
• 학습 전략:
  • F2F (fMRI-to-fMRI): 시간적 다음 단계 예측 (Temporal Next-step Prediction) 을 통해 뇌 활동의 시계열 동역학을 학습.
  • F2T (fMRI-to-Text): fMRI 토큰을 조건으로 텍스트 설명 생성.
  • T2T (Text-to-Text): 일반 언어 모델링 능력을 유지하기 위한 텍스트 예측.
• 데이터: fMRI 기반 특징 (기능적 연결성, 그래프 지표, 기능적 경사, ICA 성분 등) 을 구조화된 텍스트 설명 (Descriptive Corpus) 으로 변환하여 fMRI-텍스트 쌍을 인위적으로 생성함.

Stage 3: 다중 작업 및 다중 패러다임 지시 미세 조정 (Instruction Tuning)

• 목적: 다양한 신경과학 및 임상 작업에 대한 고수준 의미 이해 능력을 부여.
• 패러다임:
  1. 단일 질문 - 단일 답변: 특정 속성 (성별, 나이 등) 예측.
  2. 다중 질문 - 다중 답변: 하나의 스캔에서 여러 속성을 동시에 예측.
  3. 개방형 질문: 제한 없이 자유 형식의 텍스트로 뇌 상태 설명 생성.
• 적용: LoRA(Low-Rank Adaptation) 와 같은 파라미터 효율적 미세 조정 기법을 사용하여 효율성을 극대화.

3. 주요 기여 (Key Contributions)

1. 첫 번째 LLM 정렬 fMRI 기초 프레임워크: 휴식 상태 및 작업 무관 fMRI 활동을 LLM 과 호환되는 토큰 공간으로 매핑하여, fMRI 모델링과 지시 미세 조정을 위한 통합 인터페이스를 제공함.
2. 대규모 기술적 설명 코퍼스 (Descriptive Corpus) 구축: fMRI 의 저수준 구조 (기능적 연결성, 그래프 이론 지표 등) 를 구조화된 텍스트 설명으로 변환하여, 자연 fMRI-텍스트 쌍의 부재를 해결하고 언어 기반 지도 학습을 가능하게 함.
3. 범용성 및 효율성 입증: 다양한 벤치마크에서 기존 지도 학습 모델 및 기초 모델보다 우수한 성능을 보이며, 소량의 데이터 (Few-shot) 와 제한된 파라미터 (LoRA) 로도 강력한 일반화 능력을 입증함.

4. 실험 결과 (Results)

• 데이터셋: UK Biobank, ABCD, HCP, ADNI, ADHD200, ABIDE2 등 7 개 대규모 데이터셋을 사용.
• 성능 비교:
  • 분류 작업 (성별, 질병 진단 등): fMRI-LM 은 BrainNetCNN, BrainLM, Brain-JEPA 등 기존 SOTA 모델들을 대부분 능가함 (예: UKB 성별 분류 정확도 94.89%).
  • 회귀 작업 (나이, 인지 점수 등): 이산화된 토큰 예측 또는 선형 프로빙을 통해 기존 모델 대비 우수한 성능 또는 경쟁력 있는 결과를 보임.
  • 다중 작업 및 개방형 질문: 단일 질문보다 복잡한 다중 질문 및 개방형 설명 생성에서도 성능 저하가 거의 없거나 오히려 향상됨. 이는 모델이 fMRI 의 보편적인 표현을 학습했음을 시사.
• Zero-shot 및 Few-shot 일반화: 레이블이 없는 새로운 작업이나 데이터셋에서도 성능이 낮았으나, 소량의 레이블 (2~4 개 샘플) 만으로도 성능이 크게 향상되어 기존 전체 학습 세트와 유사한 결과를 달성함.
• Ablation Study:
  • fMRI-텍스트 설명 코퍼스가 없으면 성능이 급격히 떨어짐 (특히 성별 분류).
  • LoRA 를 사용한 파라미터 효율적 미세 조정도 전체 파인튜닝과 유사하거나 더 나은 성능을 보임.

5. 의의 및 결론 (Significance)

• 뇌 - 언어 정렬의 새로운 패러다임: fMRI-LM 은 뇌 활동을 단순한 신호가 아닌 '언어'로 해석할 수 있는 가능성을 제시하며, 신경과학과 자연어 처리 (NLP) 의 융합을 가속화합니다.
• 해석 가능성 및 범용성: 저수준의 뇌 연결성 패턴을 고수준의 인지 의미로 변환하는 설명 코퍼스를 통해, 모델이 뇌의 구조와 기능을 언어로 설명할 수 있는 능력을 갖추게 되었습니다.
• 확장성: 소량의 데이터와 계산 자원으로 다양한 임상 및 연구 작업에 적용 가능한 확장 가능한 경로를 제시하여, 개인화된 뇌 건강 관리 및 신경질환 진단에 기여할 것으로 기대됩니다.

이 연구는 fMRI 데이터를 언어 모델의 맥락에서 이해하고 활용하는 최초의 범용 기초 모델로서, 뇌 과학 연구의 새로운 지평을 열었다는 점에서 중요한 의미를 가집니다.