The Variance Brain Foundation Models Forgot: Third-Order Statistics Predict Cognition Where Billion-Parameter Models Fail

기술 요약: 뇌 파운데이션 모델이 망각한 분산(Variance)

문제 제기
뇌 파운데이션 모델(Brain Foundation Models, BFMs)은 인지 성능을 예측하기 위해 풍부한 뇌 활동 표현을 학습하는 것을 목표로 fMRI 데이터로 자기지도 학습된 딥 트랜스포머(Transformer)이다. 지배적인 가설은 복잡한 상호작용을 모델링할 수 있는 능력을 갖춘 딥 트랜스포머가 고전적인 기능적 연결성(Functional Connectivity, FC) 베이스라인보다 우수한 성능을 보일 것이라는 점이다. 그러나 본 논문은 현재의 최첨단 BFM(특히 BrainLM, Brain-JEPA, BrainMass)이 인지 예측에 필요한 분산을 포착하는 데 실패함을 보여준다. 대신, 이들은 단순한 원시 FC 행렬에 대한 선형 회귀(약 8만 개의 파라미터)보다 낮은 성능을 보인다. 나아가, 본 논문은 더 큰 모델(예: BrainLM의 6억 5천만 파라미터)이 더 작은 모델(1억 1,100만 파라미터)보다 성능이 떨어지는 "역 스케일링(inverse scaling)" 현상을 식별하였으며, 이는 증가된 용량이 인지 관련 구조가 아닌 지배적인 비인지적 노이즈를 맞추는 데 낭비되고 있음을 시사한다.

방법론
저자들은 Ooi et al. [2022]에 기반한 엄격한 평가 프로토콜을 채택하여, 두 가지 데이터셋(AOMIC-ID1000, N=876 및 HCP, N=955)과 두 가지 파셀레이션(AAL-424 및 Schaefer-400)에 대해 반복된 중첩 교차 검증(20회 반복 × 10개 폴드)을 수행하였다.

1. 첨계수(Cumulants)를 통한 통계적 분석: 본 논문은 분석을 결합 첨계수 전개(joint cumulant expansion)를 통해 프레임화한다.

   • $\kappa_2$ (2차): 쌍별 공분산(표준 FC)을 나타낸다.
   • $\kappa_3$ (3차): 3차 공동 왜도(three-way co-skewness)를 나타내며, FC로는 보이지 않는 비가우시안(non-Gaussian) 구조를 포착한다.
     저자들은 BFM 재구성을 분석하여 어떤 통계적 차수가 보존되는지 결정한다. 분석 결과, $\kappa_2$는 부분적으로 보존되지만, $\kappa_3$는 평균 제곱 오차(MSE) 사전 학습 목적 함수에 의해 크게 파괴됨을 발견했다. MSE는 인지적 신호보다 지배적인 생리학적 노이즈(심장, 호흡, 움직임)를 우선시한다.

2. 제안된 선형 파이프라인 (Tucker Decomposition): 딥러닝 없이 손실된 $\kappa_3$ 구조를 회복하기 위해, 저자들은 다음과 같은 선형 파이프라인을 제안한다:

   • 훈련 데이터로부터 경험적 공동 왜도 텐서($S \in \mathbb{R}^{P \times P \times P}$)를 계산한다.
   • Tucker 분해(Higher-Order SVD)를 수행하여 3차 구조를 극대화하는 저계수 공간적 하위 공간($U$)을 추출한다.
   • 원시 ROI 시계열을 이 하위 공간으로 투영한다.
   • 이 하위 공간 내에서 FC를 계산한다.
   • 이러한 특징들을 커널 릿지 회귀(Kernel Ridge Regression, KRR) 예측기에 입력한다.

3. 파인튜닝 전략: 저자들은 병목 현상이 BFM 아키텍처 자체인지 아니면 단지 사전 학습 목적 함수인지 테스트하기 위해, "이중 모멘트(dual-moment)" 손실을 사용하여 BrainLM을 파인튜닝한다. 이 손실은 재구성을 단순히 원시 신호와 일치시키는 것이 아니라, 최적의 $\kappa_3$-Tucker 하위 공간 내에서 계산된 FC와 일치시킨다(Log-Cholesky 거리 메트릭 사용).

주요 결과

• BFM의 성능 미달: Ooi et al. 프로토콜 하에서, 세 가지 BFM 모두 무시할 만한 인지 예측 점수(Pearson $r \approx 0.00$ ~ $0.18$)를 기록하며, 원시 FC 베이스라인($r \approx 0.31$ ~ $0.39$)보다 현저히 낮은 성능을 보였다.
• 역 스케일링: BrainLM 계열에서 6억 5천만 파라미터 모델은 1억 1,100만 파라미터 모델보다 인지 예측 성능이 낮았으며, 이는 목적 함수를 바꾸지 않고 파라미터를 늘리는 것이 인지적 분산을 포착하는 데 실패를 악화시킨다는 것을 확인시켜 준다.
• 첨계수 보존 실패: BFM 재구성 분석에 따르면, $\kappa_2$ 오차는 보통 수준(상대 오차 29–47%)이지만, $\kappa_3$ 오차는 치명적이다(NMSE가 입력 에너지의 2.6–6.2배). 이는 모델이 인지 관련 정보가 존재하는 특정 통계적 차수를 버리고 있음을 나타낸다.
• Tucker 하위 공간의 우월성: 제안된 선형 파이프라인( $\kappa_3$-최적 Tucker 하위 공간에서 계산된 FC)은 휴지기 fMRI 인지 예측에서 새로운 최첨단(SOTA) 성능을 설정한다. 이 방법은 사전 학습이나 GPU 없이도 모든 데이터셋과 파셀레이션에서 원시 FC 및 모든 사전 학습된 BFM을 능가한다.
  • HCP Schaefer-400에서 이 방법은 $r = 0.571 \pm 0.089$를 달성하여 기존 SOTA 결과(예: principal gradients의 $r = 0.520$)를 넘어섰다.
• 파인튜닝을 통한 회복: 첨계수 기반 손실(이중 모멘트)으로 BrainLM을 파인튜닝했을 때, 재구성 기반 FC 예측은 원시 FC의 천장값($\text{HCP에서 } r \approx 0.39$, 베이스라인과 일치)을 회복한다. 이는 병목 현상이 Transformer 아키텍처나 모델 크기가 아니라 사전 학습 목적 함수에 있음을 증명한다.
• 임베딩 실패: 재구성 출력의 성공에도 불구하고, BFM의 CLS 임베딩은 파인튜닝 후에도 예측력이 거의 제로에 가까운 상태로 유지된다. 이는 잠재 기하 구조(latent geometry)가 사전 학습 중에 고정되어 디코더 레벨의 손실에 의해 재편되지 않음을 시사한다.

의의 및 주장
본 논문은 뇌 파운데이션 모델의 실패가 용량의 부족 때문이 아니라, 재구성 기반 사전 학습 목적 함수에 내재된 "분산 할당 문제(variance allocation problem)" 때문이라고 주장한다. 이러한 목적 함수는 지배적인 생리학적 노이즈($\kappa_2$)를 우선시하고 인지를 예측하는 고차 시너지 정보($\kappa_3$)를 버린다.

저자들은 다음과 같이 주장한다:

1. 평가 표준: 파운데이션 모델은 더 확장하기 전에 원시 FC와 같은 고전적인 도메인 지식 베이스라인에 대해 반드시 평가되어야 한다.
2. 명시적 분해: 작업 관련 하위 공간이 알려져 있을 때(이 경우 $\kappa_3$-최적 하위 공간), 명시적인 선형 분해(Tucker)가 자기지도 학습을 통해 잠재 표현을 학습하는 것보다 더 깔끔하고 효과적이다.
3. 목적 함수 vs 아키텍처: BFM 성능의 병목은 모델 아키텍처가 아니라 사전 학습 목적 함수이다. 손실 함수를 작업의 특정 통계적 구조(3차 공동 왜도)와 정렬하면 모델 구조를 변경하지 않고도 성능을 회복할 수 있다.

결론적으로, 휴지기 fMRI의 인지 관련 구조는 최소한 3차 첨계수 단계에 존재하며, 이 구조를 활용하는 단순하고 GPU가 필요 없는 선형 파이프라인이 현재 수십억 개의 파라미터를 가진 파운데이션 모델보다 뛰어난 성능을 보인다.