기술 요약: Mind-Omni

1. 문제 제기

현재 뇌 - 컴퓨터 인터페이스 (BCI) 및 신경 모델링 연구는 전문화된 단일 작업 모델이라는 패러다임이 지배하고 있습니다. 기존 접근법은 이미지 재구성 (디코딩) 또는 자극 예측 (인코딩) 과 같은 고립된 목표에 초점을 맞추며, 종종 단일 방향을 위해 최적화된 "전문가 모델"에 의존합니다. 이러한 전문화는 모델의 다용도성을 제한하고, 서로 다른 신경 작업 간의 잠재적 시너지 관계를 간과하며, 시각, 언어, 신경 신호를 지배하는 고유한 메커니즘을 이해하기 위한 통합된 계산 프레임워크를 제공하지 못합니다.

또한, 통합 모델을 구축하는 데는 세 가지 상당한 도전 과제가 존재합니다:

1. 입력 이질성: 피험자 간 해부학적 변이가 뇌 신호의 직접적인 통합을 방해하며, 기존 정렬 방법은 확장성이 낮거나 정보의 충실도를 희생하는 경향이 있습니다.
2. 모달리티 차이: 연속적인 뇌 신호 (예: fMRI) 와 이산적인 시각/텍스트 토큰 사이에 지속적인 의미적 격차가 존재하여, 직접적인 교차 모달 융합이 비효율적입니다.
3. 작업 상호의존성: 서로 다른 인코딩 및 디코딩 작업 간의 관계는 poorly understood(잘 이해되지 않음) 합니다. 전문화된 모델은 작업 독립성을 가정하지만, 공유된 신경 표현이 긍정적 전이 (positive transfer) 를 가능하게 할 것이라는 가설이 있으며, 이를 검증하려면 통합된 아키텍처가 필요합니다.

2. 방법론: Mind-Omni

이러한 도전 과제를 해결하기 위해 저자들은 Mind-Omni를 제안합니다. 이는 뇌, 이미지, 텍스트 모달리티를 포함하는 7 가지 서로 다른 인코딩 및 디코딩 작업을 이산 확산 (discrete diffusion) 패러다임을 통해 통합한 최초의 다용도 프레임워크입니다. 이 프레임워크는 두 가지 주요 구성 요소로 이루어져 있습니다:

A. 표준화된 신경 표현

피험자 간 변이를 처리하기 위해, 프레임워크는 모든 기능적 데이터를 MNI152 표준 공간에 등록합니다. 이는 피험자 간에 일관된 구조적 공간 차원성을 확립하여 확장 가능한 기반을 제공하고, 피험자별 모듈의 필요성을 완화합니다.

B. Brain Tokenizer

새로운 Brain Tokenizer는 이질적이고 연속적인 fMRI 신호를 이미지 및 텍스트 표현과 정렬된 표준화된 이산 토큰으로 변환합니다. 이 토크나이저는 모달리티 격차를 해소하기 위해 세 가지 특정 정렬 전략을 보완한 VQ-VAE 스타일의 백본을 사용합니다:

• 거시적 정렬 (Coarse-grained Alignment): tri-modal contrastive loss(InfoNCE) 와 특징 증류 (feature distillation) 를 사용하여 공유 의미 공간에서 전역 fMRI 특징을 CLIP 이미지 및 텍스트 특징과 정렬합니다.
• 미시적 정렬 (Fine-grained Alignment): fMRI 토큰 시퀀스를 기반으로 마스킹된 텍스트 토큰을 예측하는 cross-attention 디코더를 사용하여 토큰 수준의 의미 일관성을 최적화합니다.
• 지각적 정렬 (Perceptual Alignment): 재구성된 fMRI 신호가 의미적으로 유의미하도록 보장하기 위해, 재구성을 통해 예측된 특징이 자극의 ground-truth CLIP 특징과 일치하도록 강제합니다.

C. 통합 이산 확산 프레임워크

Mind-Omni 는 별도의 작업별 모듈을 구성하는 대신, 이산 확산 모델링(Muddit 아키텍처에서 초기화됨) 을 활용하여 단일 생성 과정을 만듭니다.

• 아키텍처: 모델은 전용 입력/출력 레이어와 뇌 분기를 위한 대칭적 Q, K, V 투영 레이어를 추가하여 이모달 Muddit 백본을 삼모달 구조 (이미지, 텍스트, 뇌) 로 확장합니다.
• 학습 목표: 모든 작업은 조건부 마스킹 토큰 예측 문제로 프레임됩니다. 학습 중에는 시간 의존적 코사인 스케줄에 따라 토큰을 [MASK] 토큰으로 교체하여 대상 모달리티를 손상시킵니다. 모델은 깨끗한 조건부 토큰을 기반으로 이러한 마스킹된 토큰을 복원하는 법을 학습합니다.
• 작업 통합: 조건부 모달리티 집합 ($C$) 과 대상 모달리티 집합 ($T$) 을 전략적으로 정의함으로써, 단일 목적 함수는 7 가지 작업을 통합합니다:
  1. $I \to B$ (이미지 → 뇌)
  2. $T \to B$ (텍스트 → 뇌)
  3. $I\&T \to B$ (결합 이미지 - 텍스트 → 뇌)
  4. $B \to I$ (뇌 → 이미지)
  5. $B \to T$ (뇌 → 텍스트)
  6. $B \to I\&T$ (결합 뇌 → 이미지 - 텍스트)
  7. 뇌 질문 응답 (BQA): 뇌 신호와 질문에 기반하여 모델이 답변을 생성하는 새로운 지시 튜닝 작업.

D. 데이터 큐레이션

저자들은 전문화된 뇌 질문 응답 (BQA) 지시 튜닝 데이터셋을 큐레이션했습니다. **Qwen2-VL (7B)**과 LLaVA-Instruct-150K를 활용하여 상세한 설명, 간결한 요약, 추론 Q&A 쌍을 포함한 다양한 학습 샘플을 합성하여 고급 추론 능력을 해제했습니다.

3. 주요 기여

1. 패러다임 전환: Mind-Omni 는 뇌, 이미지, 텍스트에 걸친 7 가지 서로 다른 신경 인코딩 및 디코딩 작업을 단일 이산 확산 아키텍처 내에서 통합한 최초의 프레임워크로, 지배적인 전문화 모델 패러다임을 넘어섭니다.
2. 새로운 교차 모달 융합: Brain Tokenizer의 도입은 신경 신호와 시각 - 텍스트 데이터 간의 격차를 메워 공유 의미 공간에서 직접적인 토큰 수준의 상호작용을 가능하게 합니다.
3. 실증된 다중 작업 시너지: 이 연구는 통합 학습이 전문화된 모델과 경쟁하거나 때로는 더 나은 성능을 낼 수 있음을 보여주는 신경 모델링의 시너지 효과에 대한 경험적 증거를 제공합니다.

4. 실험 결과

모델은 8 명의 피험자 (Natural Scenes Dataset) 의 fMRI 데이터로 학습되었으며, 피험자 1, 2, 5, 7 에 대해 평가되었습니다.

• 전체적 성능: Mind-Omni 는 통합 프레임워크 간에 새로운 최첨단 (SOTA) 을 수립했습니다. $B \to I$ 재구성 과 같은 특정 저수준 지표에서 전문화된 단일 작업 모델 (예: MindEye2) 보다 약간 뒤처질 수 있지만, 다른 어떤 통합 모델도 갖지 않은 7 가지 작업 전체에 걸쳐 경쟁력 있는 성능을 유지합니다.
• 신경 디코딩:
  • 시각 재구성: 모델은 저수준 (픽셀 상관관계, SSIM) 과 고수준 (AlexNet, CLIP) 지표 모두에서 경쟁력 있는 성능을 달성합니다.
  • 언어 디코딩: 상세한 설명 및 추론 작업에서 Mind-Omni 는 UMBRAE 및 OneLLM 과 같은 전문화된 모델에 비해 지배적인 SOTA 성능을 보여줍니다. 특히 Mind-Omni 는 외부 고정 LLM(Vicuna-13B 또는 LLaMA2 를 사용하는 UMBRAE 및 OneLLM 과는 대조적) 에 의존하지 않고 이러한 성과를 달성하여, 뇌 신호에 기반한 더 깊은 이해를 시사합니다.
• 신경 인코딩: 모델은 볼륨 및 의미 공간의 모든 지표 (PCC, MSE, RSA) 에서 다중 작업 베이스라인 (BraVL, MoPoE) 을 능가합니다.
• 시너지 효과:
  • 모달리티 간 상호보완성: 결합 인코딩 ($I\&T \to B$) 은 단일 모달리티 인코딩보다 일관되게 우수하여, 시각 및 의미 정보의 자연스러운 통합을 포착합니다.
  • 작업 간 시너지: 결합 디코딩 ($B \to I\&T$) 은 단일 작업 디코딩에 비해 이미지 및 캡션 출력을 모두 개선하여, 캡션에 시각적 세부 정보를 풍부하게 하고 아티팩트를 억제합니다.
• 계산 테스트베드: 이 프레임워크는 잘 알려진 카테고리 선택적 뇌 영역 (예: 신체에 대한 EBA, 얼굴에 대한 FFA, 장소에 대한 PPA) 을 성공적으로 재현하고 새로운 개념 선택적 영역을 탐구하여 신경과학적 탐구를 위한 유용성을 검증합니다.

5. 중요성 및 주장

저자들은 Mind-Omni 가 신경 모델링을 위한 강력한 새로운 패러다임을 제공한다고 주장합니다. 통합된 다중 작업 접근법이 전문화된 모델과 동등하거나 더 나은 성능을 달성할 수 있음을 입증함으로써, 이 연구는 신경 디코딩에서 다중 작업 시너지의 유효성을 검증합니다.

이 논문은 Mind-Omni 를 단순한 성능 벤치마크가 아니라, 시각, 언어, 신경 신호 간의 고유한 관계를 드러내는 계산 테스트베드로 위치시킵니다. 이는 신경 활동의 기반 모델에 대한 길을 열어주며, 단일 아키텍처가 뇌 인지의 복잡하고 분산된 특성을 효과적으로 모델링할 수 있음을 시사합니다. 저자들은 그들의 접근 방식이 순차적 의존성을 부과하는 자기회귀 모델의 혼란스러운 편향을 피하고, 이산 확산의 치환 불변성을 활용함으로써 교차 작업 시너지에 대한 편향 없는 조사를 가능하게 한다고 강조합니다.

코드는 공개되어 있으며, 저자들은 추가 연구를 촉진하기 위해 처리된 fMRI 데이터와 지시 튜닝 데이터셋을 출시할 예정입니다.