Brain-OF: An Omnifunctional Foundation Model for fMRI, EEG and MEG

이 논문은 fMRI, EEG, MEG 등 이질적인 뇌 신호를 통합하여 처리할 수 있는 최초의 범용 뇌 기초 모델인 Brain-OF 를 제안하고, 이를 위해 다양한 해상도의 신호를 공통 공간으로 매핑하는 샘플러와 시간-주파수 도메인에서의 마스킹 예측을 통한 사전 학습 전략을 소개합니다.

핵심

뇌의 만능 번역기: 'Brain-OF'를 쉽게 설명해 드릴게요

안녕하세요! 오늘 소개해 드릴 논문은 **'Brain-OF'**라는 아주 특별한 인공지능에 대한 이야기입니다. 이 모델은 뇌를 연구하는 과학자들이 오랫동안 꿈꿔왔던 **'만능 뇌 기초 모델 (Omnifunctional Foundation Model)'**을 실현했습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 풀어서 설명해 드릴게요.

---

1. 왜 이 모델이 필요할까요? (기존의 문제점)

지금까지 뇌를 연구할 때 사용하는 도구들은 각각 장단점이 뚜렷했습니다. 마치 세 명의 서로 다른 전문가가 있다고 상상해 보세요.

1. fMRI (기능성 자기공명영상): 뇌의 위치를 아주 정확하게 알려주는 '지도 전문가'입니다. 하지만 반응이 느려서 시간 흐름을 따라가기 힘듭니다. (예: "여기 뇌가 움직였어!"라고 말하지만, 2 초 뒤야 알려줍니다.)
2. EEG (뇌전도): 뇌의 시간 흐름을 아주 빠르게 포착하는 '속도 전문가'입니다. 하지만 정확한 위치를 찾기엔 다소 애매합니다. (예: "지금 뇌가 엄청 활발해!"라고 말하지만, 어디서인지 정확히 못 알려줍니다.)
3. MEG (뇌자도): EEG 와 비슷하게 빠르면서도 위치를 조금 더 잘 알려주는 '중간 전문가'입니다.

기존의 인공지능들은 이 전문가들 중 오직 한 명만 고용해서 일했습니다. 그래서 지도 전문가만 고용하면 시간 흐름을 놓치고, 속도 전문가만 고용하면 위치를 놓치는 문제가 생겼습니다.

Brain-OF는 이 세 전문가를 한 팀으로 묶어서 함께 일하게 만든 최초의 모델입니다. 서로의 약점을 보완하고 장점을 합쳐서 뇌를 더 완벽하게 이해합니다.

---

2. Brain-OF 는 어떻게 작동할까요? (핵심 기술)

세 전문가가 서로 다른 언어 (데이터 형식) 를 쓰는데, 어떻게 한 팀이 될 수 있을까요? Brain-OF 는 세 가지 마법 같은 기술을 사용합니다.

① "모든 언어를 통역하는 번역기" (Any-Resolution Neural Signal Sampler)

세 전문가의 데이터는 크기와 속도가 다릅니다. fMRI 데이터는 크고 느리고, EEG 데이터는 작고 빠릅니다.

• 비유: 이 모델은 만능 통역사 역할을 합니다. 서로 다른 크기와 속도의 데이터를 받아서, 모두 **똑같은 크기와 형태의 '의미 있는 단어'**로 변환해 줍니다. 그래서 인공지능이 이 데이터를 한 번에 이해할 수 있게 됩니다.

② "맞춤형 전문가 팀" (Sparse Mixture of Experts)

모든 데이터를 똑같은 방식으로 처리하면 문제가 생깁니다. fMRI 에 최적화된 지식이 EEG 에는 방해가 될 수 있기 때문입니다.

• 비유: Brain-OF 는 거대한 회의실과 같습니다.
  • 공통 전문가 (Shared Experts): 세 전문가 모두에게 공통적으로 필요한 뇌의 기본 원리 (예: "뇌는 전기 신호를 쓴다") 를 가르치는 팀입니다.
  • 전담 전문가 (Routed Experts): fMRI 데이터가 들어오면 fMRI 전용 팀이, EEG 가 들어오면 EEG 전용 팀이 처리합니다.
  • 이렇게 데이터에 따라 적절한 전문가만 일을 하도록 배정해서, 서로의 특성을 해치지 않으면서도 효율적으로 학습합니다.

③ "소음 제거와 핵심 포착" (DINT Attention)

뇌 신호는 잡음이 많아서 인공지능이 헛된 신호에 주의를 기울일 수 있습니다.

• 비유: 시끄러운 카페에서 중요한 대화만 듣는 초인적인 청력을 가진 것과 같습니다. Brain-OF 는 잡음 (불필요한 신호) 을 차단하고, 진짜 중요한 뇌의 활동 패턴 (의미 있는 신호) 에만 집중하도록 설계되었습니다.

④ "시간과 주파수를 동시에 보는 안경" (Masked Temporal-Frequency Modeling)

기존 모델들은 보통 시간 흐름만 보거나, 주파수만 따로 보았습니다.

• 비유: Brain-OF 는 시간과 주파수를 동시에 보는 특수 안경을 끼고 있습니다. 뇌 신호의 '시간적 변화'와 '주파수적 특징'을 동시에 복원하도록 훈련받기 때문에, 뇌가 어떻게 작동하는지 훨씬 더 깊이 이해하게 됩니다.

---

3. 이 모델은 얼마나 잘할까요? (성과)

연구진은 이 모델을 40 개 이상의 다양한 뇌 데이터셋 (약 3 만 2 천 명의 사람 데이터) 으로 훈련시켰습니다. 그 결과, 다음과 같은 놀라운 성과를 거두었습니다.

• 만능 실력: 뇌의 위치를 찾는 작업 (fMRI), 빠른 반응을 찾는 작업 (EEG/MEG), 뇌 질환 진단, 뇌 나이 예측 등 거의 모든 뇌 관련 작업에서 기존 최고의 모델들을 능가했습니다.
• 상호 보완의 힘: fMRI 데이터만 있는 상황에서도 EEG 데이터를 함께 학습한 모델이 더 잘했습니다. 이는 서로 다른 데이터가 서로의 약점을 채워주었기 때문입니다.
• 적은 데이터로도 잘함: labeled(정답이 달린) 데이터가 아주 적어도, 미리 학습된 지식을 바탕으로 좋은 성능을 냈습니다.

---

4. 왜 이것이 중요한가요? (의미)

이 연구는 뇌 과학의 새로운 장을 엽니다.

• 진단의 정확도 향상: 뇌전도 (EEG) 는 저렴하고 휴대가 쉽지만, MRI 는 비싸고 무겁습니다. Brain-OF 는 MRI 의 정밀한 '지도' 지식을 EEG 에 전달할 수 있게 합니다. 즉, 가벼운 EEG 기기로도 MRI 수준의 정밀한 뇌 질환 (치매, 간질 등) 진단이 가능해질 수 있습니다.
• 데이터의 장벽 허물기: 이제 뇌 데이터를 연구할 때 "어떤 기기로 측정했나?"를 걱정하지 않아도 됩니다. 어떤 기기로든 Brain-OF 가 알아서 해석해 주기 때문입니다.

요약

Brain-OF는 서로 다른 뇌 측정 기기 (fMRI, EEG, MEG) 가 가진 서로 다른 장점들을 하나로 합쳐, 뇌를 더 빠르고 정확하게 이해하는 초능력의 인공지능입니다. 마치 서로 다른 언어를 쓰는 세 명의 천재가 한 팀이 되어 뇌의 비밀을 해독하는 것과 같습니다.

이 기술은 앞으로 뇌 질환을 더 쉽게 진단하고, 뇌 - 컴퓨터 인터페이스 (BCI) 를 일상생활에 적용하는 데 큰 도움을 줄 것으로 기대됩니다.

기술 요약

1. 문제 제기 (Problem Statement)

기존의 뇌 기반 기초 모델 (Brain Foundation Models) 은 주로 단일 기능적 모달리티 (fMRI, EEG, 또는 MEG 중 하나) 에만 제한되어 훈련되었습니다. 이로 인해 다음과 같은 한계가 존재합니다.

• 상호 보완적 정보의 부재: fMRI 는 높은 공간 분해능을 가지지만 시간 분해능이 낮고, EEG 와 MEG 는 높은 시간 분해능을 가지지만 공간 분해능이 상대적으로 낮습니다. 단일 모달리티 모델은 이러한 상호 보완적인 시공간 역동성을 활용하지 못합니다.
• 데이터 규모의 한계: 단일 모달리티 데이터는 수집 비용과 프라이버시 문제로 인해 대규모 언어 모델 (LLM) 에 비해 데이터 규모가 매우 작습니다.
• 이질성 (Heterogeneity) 처리의 어려움: 서로 다른 모달리티는 서로 다른 물리적 원리, 샘플링 속도, 채널 수, 시간/공간 해상도를 가지며, 이를 통합하여 학습하는 것은 기술적으로 매우 어렵습니다. 또한 뇌 신호의 낮은 신호 대 잡음비 (SNR) 로 인해 기존 어텐션 메커니즘이 관련 없는 노이즈에 집중하는 문제가 발생합니다.

2. 방법론 (Methodology)

저자들은 fMRI, EEG, MEG 세 가지 주요 기능적 신경영상 모달리티를 통합한 최초의 범용 (Omnifunctional) 뇌 기초 모델인 Brain-OF를 제안합니다. 주요 아키텍처 및 기술적 요소는 다음과 같습니다.

가. 아키텍처 (Architecture)

1. 임의 해상도 신경 신호 샘플러 (Any-Resolution Neural Signal Sampler, ARNESS):
   • 서로 다른 시간/공간/주파수 해상도를 가진 이질적인 신호를 **공유된 의미 공간 (Shared Semantic Space)**으로 투영합니다.
   • Perceiver-style 교차 어텐션 (Cross-attention) 을 사용하여 가변 길이의 입력 시퀀스를 고정된 수의 잠재 토큰 (Latent Tokens) 으로 재샘플링합니다. 이는 고차원 뇌 신호의 토큰 수를 줄여 계산 비용을 절감하고, 단일 백본이 모든 입력을 처리할 수 있게 합니다.
2. DINT 어텐션 (Differential-Integral Attention):
   • 뇌 신호의 낮은 SNR 로 인한 '어텐션 노이즈'를 해결하기 위해 도입되었습니다.
   • 미분 (Differential) 성분: 두 개의 어텐션 분포 차이를 계산하여 노이즈를 감소시키고 국소적 의존성을 포착합니다.
   • 적분 (Integral) 성분: 전역 중요도 점수를 계산하여 전역적 관련성을 증폭시킵니다.
   • 이를 통해 관련 없는 맥락을 억제하고 생물학적으로 의미 있는 패턴에 집중하도록 합니다.
3. 희소 전문가 혼합 (Sparse Mixture of Experts, SMoE):
   • 단일 모달리티 모델에서 발생하는 '모달리티 저울 효과 (Modality Seesaw Effect, 한 모달리티 성능 향상 시 다른 모달리티 성능 저하)'를 해결합니다.
   • 공유 전문가 (Shared Experts): 모든 모달리티에 공통된 불변 표현을 학습합니다.
   • 라우팅 전문가 (Routed Experts): 각 모달리티에 특화된 의미 (Modality-specific semantics) 를 학습합니다.
   • 추가 보조 손실 없이 라우팅 균형을 유지하는 전략을 사용하여 전문가 붕괴를 방지합니다.

나. 사전 학습 목표 (Pretraining Objective)

• 마스크된 시간 - 주파수 모델링 (Masked Temporal-Frequency Modeling, MTFM):
  • 기존 모델이 주로 시간 영역 재구성에만 집중하는 것과 달리, 시간 영역과 주파수 영역을 동시에 재구성하는 이중 도메인 (Dual-domain) 목표를 도입합니다.
  • fMRI 는 공간 FFT 를, EEG/MEG 는 시간 FFT 를 적용하여 주파수 영역 표현을 생성한 후, 시간 패치와 주파수 성분을 모두 마스킹하여 재구성하도록 합니다.
  • 이를 통해 모델이 뇌 활동의 상호 보완적인 물리적 역동성 (예: EEG 의 높은 시간 해상도로 fMRI 의 시간적 지연 보완) 을 내재화하도록 강제합니다.

3. 주요 기여 (Key Contributions)

1. 통합 범용 프레임워크: fMRI, EEG, MEG 세 가지 모달리티를 통합한 최초의 뇌 기초 모델 (Brain-OF) 을 개발했습니다. 40 개 이상의 공개 데이터셋 (약 32,000 명, 587 만 개 샘플) 으로 대규모 사전 학습을 수행했습니다.
2. 이질성 정렬 아키텍처: ARNESS 를 통해 다양한 해상도의 신호를 통합하고, SMoE 와 DINT 어텐션을 통해 모달리티 간 의미적 이질성과 노이즈 문제를 효과적으로 처리합니다.
3. 시간 - 주파수 결합 사전 학습: MTFM 을 통해 시간과 주파수 도메인에서의 결합된 재구성을 학습하여, 단일 도메인 학습보다 풍부한 신경 역동성을 포착합니다.
4. 오픈 소스 및 확장성: Brain-OF Base, Large, Huge (17 억 파라미터) 버전을 공개하여 연구 커뮤니티에 접근성을 제공합니다.

4. 실험 결과 (Results)

다양한 다운스트림 작업 (감정 인식, 발작 탐지, 알츠하이머/ADHD 진단, 뇌 나이 예측 등) 에서 SOTA(최첨단) 성능을 달성했습니다.

• 성능 우위: Brain-OF Huge 는 평가된 9 개 작업 중 7 개에서 1 위를 기록했습니다. 특히 단일 모달리티 기반 모델 (LaBraM, BrainHarmonix-F 등) 이 다른 모달리티 작업에서 성능이 저하되는 '부정적 전이 (Negative Transfer)' 현상을 보인 반면, Brain-OF 는 모달리티 간 일반화 능력이 뛰어났습니다.
• 멀티모달 융합: fMRI 와 EEG/MEG 를 결합한 멀티모달 설정에서 단일 모달리티보다 일관되게 우수한 성능을 보였습니다 (예: CamCAN 뇌 나이 예측에서 MAE 감소). 이는 서로 다른 모달리티의 상호 보완적 정보 (공간 vs 시간) 가 효과적으로 통합되었음을 시사합니다.
• 아블레이션 연구:
  • MTFM 제거 시 성능이 전반적으로 저하되어 시간 - 주파수 결합 학습의 중요성을 입증했습니다.
  • 특정 모달리티 (fMRI, EEG, MEG) 를 사전 학습 데이터에서 제거했을 때, 해당 모달리티의 다운스트림 작업뿐만 아니라 다른 모달리티 작업에서도 성능이 하락하여, 모달리티 간 지식 전이가 발생함을 확인했습니다.
• 해석 가능성: 시각화 결과, 모델이 알츠하이머 관련 뇌 영역 (측두엽 등) 이나 비정상 뇌 활동과 관련된 EEG 채널에 생물학적으로 타당한 가중치를 부여하는 것을 확인했습니다.

5. 의의 및 영향 (Significance)

• 신경과학 및 임상 응용의 혁신: fMRI 의 높은 공간 해상도와 EEG/MEG 의 높은 시간 해상도를 하나의 모델에서 통합함으로써, 간질, 신경퇴행성 질환, 인지 장애 등의 진단 정확도를 높일 수 있는 가능성을 열었습니다.
• 저비용 장비로의 지식 이전: 고비용 장비 (fMRI/MEG) 로 학습된 지식을 저비용 및 웨어러블 장비 (EEG) 로 이전할 수 있어, 실제 임상 환경 및 휴대용 뇌 - 컴퓨터 인터페이스 (BCI) 적용을 가속화할 수 있습니다.
• 데이터 효율성: 대규모 멀티모달 사전 학습을 통해 라벨이 부족한 소규모 데이터셋에서도 높은 성능을 발휘하여, 데이터가 부족한 신경영상 연구의 장벽을 낮췄습니다.

결론적으로, Brain-OF 는 이질적인 뇌 신호를 통합하고 상호 보완적인 역동성을 학습하는 새로운 패러다임을 제시하며, 범용적이고 확장 가능한 뇌 기초 모델 개발의 중요한 이정표가 됩니다.