🧬 biology

The Variance Brain Foundation Models Forgot: Third-Order Statistics Predict Cognition Where Billion-Parameter Models Fail

尽管具有庞大的规模，当前的脑基础模型仍无法预测认知表现，因为其预训练目标丢弃了至关重要的三阶统计结构（偏斜度），而这一局限性可以通过一个简单的、无需预训练的线性流水线来克服，该流水线通过显式地保留这些高阶特征，从而超越了这些模型以及标准的函数连接基准。

原作者： Giovanni Marraffini, Gabriel Mahuas, Trinidad Borrell, Victoria Shevchenko, Demian Wassermann

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Giovanni Marraffini, Gabriel Mahuas, Trinidad Borrell, Victoria Shevchenko, Demian Wassermann

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

以下是该论文的通俗易懂版解释。

大局观：那个“走错方向”的“聪明”大脑模型

想象你有一个超级聪明的学生（一个大脑基础模型），他读遍了所有关于大脑运作方式的教科书。你给他布置了一项测试：“观察这张大脑扫描图，并告诉我这个人的智力水平如何。”

你预期这个学生能轻松通过测试，因为他规模宏大、极其复杂，并且接受过海量数据的训练。但相反，他却惨败了。一个简单的、过时的计算器（线性回归），仅仅通过观察原始的大脑扫描数据，竟然得到了更高的分数。

更奇怪的是：当研究人员让这个“聪明学生”变得更大、更强大时，他在测试中的表现反而变差了。

这篇论文解释了为什么会发生这种情况，以及他们是如何解决它的。

1. 问题所在：听到了错误的噪音

把大脑扫描（fMRI）想象成一段繁忙城市街道的录音。

噪音： 录音中充满了响亮且明显的声响：公交车的轰鸣声（心跳）、风声（呼吸）以及人们挪动脚步的声音（头部运动）。这些是“主导性”的声音。
信号： 真正的对话（认知思维）是安静且微妙的。它隐藏在三个人或更多人同时交谈时那种复杂的、有节奏的模式之中。

AI 做了什么： AI 模型被训练去“重建”这段录音。它们的目标是让输出结果听起来与输入内容完全一致。由于那些响亮的噪音（心跳、呼吸）比安静的对话要响亮得多，AI 学会了完美地复制噪音。它成为了预测公交车轰鸣声的专家，却完全忽略了那段安静的对话。

结果： AI 模型由于太擅长复制“噪音”，以至于忘记了“信号”。它们无法预测人类的认知，因为它们正忙于关注数据中那些响亮而乏味的成分。

2. “反向缩放”悖论

通常在 AI 领域，如果你把模型做大（赋予它更多的脑力），它会变得更聪明。

论文的发现： 在这里，情况恰恰相反。研究人员测试了一个“小”AI（1.11 亿参数）和一个“巨大”的 AI（6.5 亿参数）。
转折点： 巨大的 AI 在预测认知方面表现得比小的 AI 更差。
原因： 巨大的 AI 甚至更擅长复制那些响亮的噪音。它有更多的容量去记忆心跳和呼吸，从而更有效地掩盖了微妙的认知信号。这就像雇佣了一个巨大的、超高精度的麦克风，结果却只放大了交通噪音，把对话声都盖住了。

3. 解决方案：观察“三阶”模式

研究人员意识到，人类的思考不仅仅是两个大脑区域之间的对话（这是标准大脑扫描通常测量的内容），而是三个区域以特定的、复杂的方式同时进行交互。

类比：
- 二阶（标准）： 爱丽丝（Alice）和鲍勃（Bob）在聊天。你可以测量他们说话的频率。
- 三阶（秘诀）： 爱丽丝、鲍勃和查理（Charlie）都在房间里。有趣的不仅仅是爱丽丝在对鲍勃说话，而是当三个人同时对一个笑话做出反应时的那个特定瞬间。这种复杂的、三方互动的过程，才是“思考”所在。

标准的 AI 模型对这种“三阶”交互是盲目的，因为它们的训练方法（试图复制原始声音）破坏了这种交互。

4. 修复方案：“去噪过滤器”

研究人员并没有试图构建一个更大的 AI，而是构建了一个简单而聪明的过滤器。

方法： 他们使用了一种叫做 Tucker 分解 的数学技术。你可以把它想象成一副特殊的眼镜，可以过滤掉响亮的公交车噪音和风声，只留下复杂的、三方进行的对话。
结果：
1. 他们提取了原始大脑数据。
2. 他们将数据通过这个“三阶过滤器”。
3. 他们测量了在这个过滤后的空间内的连接。
4. 奇迹发生了： 这个简单的、非 AI 的方法预测人类认知的效果，竟然比任何预训练的庞大 AI 模型都要好。它非常出色，甚至超越了该领域之前的最佳结果，而且完全不需要超级计算机或昂贵的训练。

5. “微调”的奇迹

研究人员随后问道：“我们能教会这个大 AI 如何看到这一点吗？”

他们把那个庞大的 AI 拿过来，给了它一份新的家庭作业。与其告诉它“复制声音”，不如告诉它：“复制声音，但要确保保留住那些复杂的、三方进行的对话。”

结果： 当他们这样做时，AI 突然变得和那个简单的过滤器一样出色。它从测试失败变成了满分通过。
教训： AI 并不是“笨”，也不是“太小”。问题在于它的**目标（Objective）**不对。问题不在于模型的架构（AI 的大脑），而在于它被要求学习的内容（目标）。

核心要点总结

并非越大越好： 在大脑建模中，把 AI 做大只会让它更擅长复制“噪音”（心跳/运动），从而更难找到“信号”（思维）。
信号隐藏在复杂之中： 人类的认知存在于复杂的、三方交互（三阶统计）之中，而标准的 AI 训练方法会不小心抹除这些交互。
简单即力量： 一个专注于这些复杂交互的简单数学过滤器，其效果比拥有数十亿参数的 AI 模型还要好。
目标至关重要： 如果你教会 AI 去寻找正确的东西（保留那些复杂的交互），即使是一个标准的模型也能超越那些“顶尖”的巨型模型。

简而言之： 研究人员发现，那些“聪明”的 AI 模型因为太忙于听交通噪音，而听不到对话声。通过构建一个能够屏蔽交通噪音并放大复杂多人对话的过滤器，他们找到了一种比任何庞大 AI 模型都能更好地预测人类思维的方法。

技术摘要：大脑基础模型遗忘的方差

问题陈述
大脑基础模型（Brain Foundation Models, BFMs）是基于 fMRI 数据进行自监督预训练的 Transformer 模型，旨在学习大脑活动的丰富表征以预测认知表现。主流假设认为，深度 Transformer 具有建模超越成对相关性的复杂交互的能力，理应优于传统的函数连接性（Functional Connectivity, FC）基线。然而，本文证明了当前最先进的 BFM（具体指 BrainLM、Brain-JEPA 和 BrainMass）未能捕捉到用于预测认知的必要方差。相反，它们的表现甚至不如在原始 FC 矩阵上进行的简单线性回归（约 8 亿参数）。此外，本文识别出一种“逆缩放”（inverse scaling）现象：规模更大的模型（例如拥有 6.5 亿参数的 BrainLM）表现反而比较小的模型（1.11 亿参数）更差，这表明增加的模型容量被浪费在了拟合占主导地位的非认知噪声上，而非任务相关的结构。

方法论
作者采用了基于 Ooi 等人 [2022] 的严格评估协议，在两个数据集（AOMIC-ID1000, N=876 和 HCP, N=955）以及两种分区方式（AAL-424 和 Schaefer-400）下，使用了重复嵌套交叉验证（20 次重复 $\times$ 10 折）。

通过累积量进行统计分析： 本文使用联合累积量展开（joint cumulant expansion）来构建分析框架。
- $\kappa_2$ （二阶）： 代表成对协方差（标准 FC）。
- $\kappa_3$ （三阶）： 代表三阶共偏度（three-way co-skewness），捕捉了 FC 无法观测到的非高斯结构。
  作者分析了 BFM 的重建结果，以确定保留了哪些统计阶数。研究发现，虽然 $\kappa_2$ 被部分保留，但 $\kappa_3$ 在均方误差（MSE）预训练目标下基本被破坏了；该目标优先考虑高方差的生理噪声（心跳、呼吸、运动），而非协同的认知信号。
提出的线性流水线（Tucker 分解）： 为了在不使用深度学习的情况下恢复丢失的 $\kappa_3$ 结构，作者提出了一个线性流水线：
- 从训练数据中计算经验共偏度张量（ $S \in \mathbb{R}^{P \times P \times P}$ ）。
- 执行 Tucker 分解（高阶 SVD）以提取低秩空间子空间（ $U$ ），该子空间能最大化三阶结构。
- 将原始 ROI 时间序列投影到该子空间中。
- 在该 $\kappa_3$ 知情子空间内计算 FC。
- 将这些特征输入核岭回归（KRR）预测器。
微调策略： 为了测试瓶颈在于 BFM 架构本身还是仅仅在于预训练目标，作者使用“双矩”（dual-moment）损失对 BrainLM 进行微调。该损失不仅使重建结果与原始信号对齐，还使其与在最优 $\kappa_3$ -Tucker 子空间内计算出的 FC 对齐（使用 Log-Cholesky 距离度量）。

关键结果

BFM 表现欠佳： 在 Ooi 等人的协议下，所有三种 BFM 的认知预测得分都极低（Pearson $r \approx 0.00$ 至 $0.18$），显著差于原始 FC 基线（ $r \approx 0.31$ 至 $0.39$）。
逆缩放： 在 BrainLM 系列中，6.5 亿参数模型的预测效果比 1.11 亿参数的模型更差，证实了在不改变目标函数的情况下，单纯增加参数规模会加剧无法捕捉认知方差的问题。
累积量保留失败： 对 BFM 重建结果的分析显示，虽然 $\kappa_2$ 的误差适中（相对误差 29–47%），但 $\kappa_3$ 的误差是灾难性的（NMSE 为输入能量的 2.6–6.2 倍），这表明模型丢弃了认知相关信息所在的特定统计阶数。
Tucker 子空间优越性： 作者提出的线性流水线（在 $\kappa_3$ $κ_{3}$ 最优 Tucker 子空间内计算 FC）创下了静息态 fMRI 认知预测的新技术水平（SOTA）。它在所有数据集和分区上都优于原始 FC 和所有预训练的 BFM，且无需预训练或 GPU。
- 在 HCP Schaefer-400 数据集上，该方法实现了 $r = 0.571 \pm 0.089$ ，超越了之前的 SOTA 结果（例如，主梯度方法的 $r = 0.520$ ）。
微调恢复： 当使用累积量知情损失（双矩损失）对 BrainLM 进行微调时，其基于重建的 FC 预测恢复到了原始 FC 的上限（HCP 上 $r \approx 0.39$ ，与基线持平）。这证明了瓶颈在于预训练目标，而非 Transformer 架构或模型规模。
嵌入失效： 尽管重建输出取得了成功，但 BFM 的 CLS 嵌入即使在微调后其预测能力仍接近于零，这表明潜在几何结构在预训练期间是固定的，并且不会被解码器层级的损失所重构。

意义与主张
本文声称，大脑基础模型的失败并非由于缺乏容量，而是由于基于重建的预训练目标所固有的“方差分配问题”。这些目标优先处理占主导地位的生理噪声 ( $\kappa_2$ )，并丢弃了预测认知的更高阶协同信息 ( $\kappa_3$ )。

作者认为：

评估标准： 在进一步扩大规模之前，基础模型必须针对经典的领域知识基线（如原始 FC）进行评估。
显式分解： 当已知任务相关子空间时（在本例中为 $\kappa_3$ 最优子空间），显式的线性分解（Tucker）比通过自监督学习潜在表示更为简洁且有效。
目标 vs. 架构： BFM 性能的瓶颈在于预训练目标，而非模型架构。通过将损失函数与特定的统计结构（三阶共偏度）对齐，可以在不改变模型结构的情况下恢复性能。

本文得出结论：静息态 fMRI 中的认知相关结构至少存在于第三累积量中；目前，利用这种结构的简单、无需 GPU 的线性流水线，其表现优于数十亿参数的基础模型。