🧬 biology

Beyond Prediction Accuracy: Target-Space Recovery Profiles for Evaluating Model-Brain Alignment

本文介绍了一个统一框架，该框架通过量化脑响应空间中哪些具体的可复现维度被恢复来评估模型与大脑的对齐程度，揭示出仅凭预测准确率可能会掩盖人工视觉模型与人类视觉皮层之间的显著不匹配。

原作者： Ken Nakamura, Tomoya Nakai, Ryuto Yashiro, Ayumu Yamashita, Kaoru Amano

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Ken Nakamura, Tomoya Nakai, Ryuto Yashiro, Ayumu Yamashita, Kaoru Amano

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

想象一下，你正在试图教一个机器人像人类一样看待世界。通常，科学家们通过问一个简单的问题来检查机器人是否表现良好：“机器人猜对答案的频率有多高？”

如果机器人答对了 90% 的问题，我们会说：“干得漂亮！”但这篇论文认为，仅仅获得正确的分数是不够的。这就像一个学生在数学考试中通过死记硬背答案而得了满分，却并没有真正理解公式。他们拿到了分数，但并没有学到正确的东西。

以下是这篇论文内容的简要分解，使用了一些日常类比：

1. 问题：“分数”是一个黑箱

目前，当我们把计算机视觉模型（机器人）与人类大脑进行比较时，我们只看一个数字：预测准确率。

类比：想象两位厨师试图重现一道复杂的汤。你尝了汤，说：“厨师 A 的味道还原度是 95%，厨师 B 也是 95%。”你宣布他们打平。
现实：但如果厨师 A 是通过放太多盐而没放胡椒才得到了正确的味道，而厨师 B 是放太多胡椒而没放盐呢？他们尝起来都很“好”（高分），但他们到达这一结果所使用的配料却完全不同。分数掩盖了他们以截然不同的方式制作汤的事实。

这篇论文指出：“我们需要知道模型实际上使用了哪些配料（或脑信号），而不仅仅是最终的味道是否好。”

2. 解决方案：“可复现的蓝图”

为了解决这个问题，研究人员创造了一种观察大脑活动的新方法。他们使用了一个数据集，其中同一个人多次观看相同的图片。

类比：想象你试图绘制一座城市的地图。如果你只走一次这座城市，你可能会迷路或走奇怪的捷径。但如果你和不同的朋友一起走这座城市 20 次，你就能找出哪些街道是主要、可靠的道路（大家都走的），哪些只是随机的、一次性的绕路。
科学原理：研究人员利用这些重复的行走（fMRI 扫描）构建了一个**“可复现的目标参考”**。这是一张大脑“主干道”的地图——即大脑响应中那些稳定、可靠、且每次我们看到特定图像时都会发生的部分。

3. 新测试：“恢复曲线”

他们不再仅仅问：“机器人的准确率有多高？”，而是现在问：“机器人实际上 traversed（遍历）了大脑‘主干道地图’的哪些部分？”

类比：让我们回到厨师的例子。与其只尝汤，你现在查看他们的食谱书。
- 厨师 A（机器人）：你检查他们的食谱。你看到他们完美地使用了主要香料（可靠的脑信号）。
- 厨师 B（另一个机器人）：你检查他们的食谱。你看到他们获得了相同的味道分数，但他们使用了奇怪的、随机的香料，这些香料与主干道地图完全不符。
- 结果：尽管他们拥有相同的“味道分数”，你现在可以看出厨师 A 实际上是人类大脑更好的模仿者，因为他们使用了正确的配料。

这篇论文称之为**“恢复曲线”**。它展示了一条曲线，告诉你：“该模型很好地恢复了前 10 个最重要的脑信号”，或者“该模型只恢复了第 1 个信号而错过了其余部分”。

4. 重大发现：“聪明”与“随机”

研究人员在计算机模型上测试了这一点。他们比较了：

预训练模型：已经“学习”过数百万张照片的机器人（就像读过教科书的学生）。
随机模型：具有相同结构但从未见过照片的机器人（就像刚把教科书翻到随机一页的学生）。

令人惊讶的是：
有时，“随机”机器人和“预训练”机器人获得了几乎完全相同的预测准确率（味道分数）。

旧观点：“他们是一样的。”
新观点（使用恢复曲线）：“不！预训练机器人使用了大脑的‘主干道’。随机机器人碰巧得到了分数，但使用了一条完全不同的、奇怪的路径，这与人类大脑实际运作的方式不匹配。”

5. 人类参考

为了确保他们的新测试是公平的，他们还将机器人与其他人类进行了比较。

类比：在评判厨师之前，你会问：“如果一位人类厨师尝试制作这道汤，他们通常使用什么配料？”
研究人员发现，当一个人看一张图片时，可以通过观察另一个人的大脑活动来预测其大脑活动。这就形成了一个**“人类参考”**。
现在，他们可以说：“这个机器人与人类参考完美匹配”，或者“这个机器人与人类参考匹配度很差，即使它的分数很高。”

总结

这篇论文介绍了一种新工具，以防止我们被高分所迷惑。

以前：我们只检查模型预测大脑的程度（How Well）。
现在：我们检查模型实际上理解了大脑的程度（How Well）以及哪些部分（Which Parts）。

这就像从只检查学生的期末成绩，转变为实际检查他们的作业，看看他们是否真正理解了课程，还是仅仅猜对了答案。这篇论文表明，两个模型可以拥有相同的分数，但在学习（或失败）的方式上却完全不同。

技术摘要：超越预测精度：用于评估模型 - 大脑对齐的目标空间恢复剖面

问题陈述

当前针对人工视觉模型与人类视觉皮层的评估严重依赖预测精度（例如，模型表征与 fMRI 响应之间的相关性）。虽然这对于模型排序很有用，但单一的标量精度分数无法揭示预测实际上恢复了目标大脑响应空间中的哪些维度。模型可能仅通过捕获响应方向的一个子集，或者通过匹配那些与其他具有相似精度的模型所恢复的方向不同的方向，从而实现高精度。此外，测得的大脑响应既包含可重复的信号也包含噪声；如果不加以区分，就很难确定模型是与大脑真实、稳定的结构对齐，还是仅仅在拟合噪声。

方法论

作者引入了一个目标空间框架，将评估重点从标量分数转移到预测响应与可重复目标参考之间的结构重叠上。

1. 可重复目标参考

利用重复的 fMRI 测量（同一图像的多次试验），作者定义了一个参考，该参考捕获了目标大脑响应空间中在独立试验划分下始终可恢复的维度。

构建：将保留图像的重复试验划分为两个平均视图。在两个方向上拟合目标到目标的预测，以推导目标侧基。可重复目标参考是由此类划分导出的投影器的平均值。
属性：与按方差对维度进行排名的主成分分析（PCA）不同，该参考按预测可重复性对维度进行排名。其特征分解产生目标参考方向（ $u_j$ ）和权重（ $\omega_j$ ），其中较大的权重表示在试验划分中更一致恢复的方向。

2. 预测子空间与恢复剖面

对于任何源（另一个受试者的大脑或视觉模型），该框架评估目标响应空间中的源诱导预测子空间。

源诱导：通过岭正则化的低秩线性拟合将源映射到目标，诱导一个正交目标基（ $Q_s$ ）和一个投影器（ $P_s$ ）。
恢复剖面：通过对预测子空间与可重复目标参考的重叠程度来量化对齐情况。
- 方向覆盖：衡量特定的目标参考方向 $u_j$ 是否位于预测子空间内。
- Top- $k$ 参考覆盖：前 $k$ 个目标参考方向覆盖率的加权平均值。该曲线总结了哪些可重复维度被恢复。
- 剖面均值：恢复曲线高度的标量摘要。

3. 通过脑对脑预测建立人类参考

为了建立“类脑”恢复的基线，作者使用脑对脑预测。利用非目标受试者的响应来预测目标受试者的响应。由此产生的恢复剖面作为人类参考，表明哪些目标参考维度通常可以从其他人类大脑中恢复。模型是相对于此人类参考进行评估的。

4. 实验设置

数据集：涉及 8 名受试者重复观看 515 张自然图像的**自然场景数据集（NSD）**子集。
目标：两个半球中的视觉皮层感兴趣区（V1v, V1d, V2v, V2d, V3v, V3d, hV4）。
源：
- 大脑：其他受试者的响应。
- 模型：ResNet-18/50、VGG-16 和 ViT-B/16，包括预训练（ImageNet）和随机初始化状态。
协议：训练和评估的严格分离。外部测试图像用于定义参考并评估精度；它们绝不用于模型选择或超参数调整。

主要结果

1. 低维可重复结构

重复的目标大脑响应定义了一个低维可重复目标参考。参考权重集中在少数几个维度上（前三个维度约占归一化权重的 88.6%），有效秩的中位数为 5.12。这种结构反映的是预测可重复性，而不仅仅是响应方差。

2. 预测精度掩盖了结构差异

研究表明，仅凭预测精度可能会掩盖模型与大脑之间的不匹配。

案例研究：预训练模型和随机初始化模型具有几乎相同的预测精度（ $|\Delta \text{accuracy}| \le 0.01$ ），但显示出截然不同的恢复剖面。
定量差距：在 29 对相同架构的预训练 - 随机配对中，79% 的配对在剖面均值差异上超过了人类变异阈值，且有利于预训练模型。这表明相似的精度分数可能对应于对根本不同的响应维度的恢复。

3. 预训练拓宽了恢复范围

ImageNet 预训练显著改变了恢复剖面。与随机初始化的对应模型相比，预训练模型恢复了一组更广泛的目标参考维度。

剖面均值差异：预训练模型的剖面均值平均比随机对照高出 0.177（95% CI: 0.162–0.192），这一差距远大于由随机初始化种子引入的变异性。
维度特异性：这种增益不仅限于主导维度；预训练模型在前 10 个维度上显示出更高的覆盖率。

4. 脑对脑作为诊断参考

脑对脑比较提供了一种结构化的、比标量“噪声上限”信息量更大的人类参考。虽然脑对脑预测精度与恢复曲线的整体高度相关，但曲线的形状（即恢复了哪些维度）是变化的，并为模型与人类神经结构对齐的程度提供了具体的诊断依据。

意义与主张

该论文主张，预测精度不足以诊断模型 - 大脑对齐，因为它没有具体说明恢复了哪些可重复的大脑响应维度。

诊断能力：所提出的框架明确指出了恢复了哪些可重复维度，揭示了标量分数所隐藏的不匹配（例如，在精度相等的预训练模型和随机模型之间）。
以人为中心的评估：通过使用脑对脑预测来定义人类参考，该框架超越了抽象基准，转向对从目标大脑中恢复了什么进行诊断性比较。
条件性解释：作者强调，对可重复目标参考的高恢复率只是对齐的条件性证据。它表明源到目标的拟合恢复了特定感兴趣区、数据集和读出类别的可重复维度，但并不意味着整个模型表征都是“类脑”的。

这项工作为评估模型 - 大脑和脑 - 脑对齐提供了一个统一的框架，并论证在神经人工智能（NeuroAI）中，理解恢复的结构与预测精度的幅度同样关键。