🧠 neuroscience

Framed RSA: Representational comparisons that honor both geometry and population-mean response preferences

本文介绍了“框架式 RSA”（framed RSA），这是一种通过将传统表征相似性分析与参考模式相结合，从而在同时兼顾神经活动几何结构与群体平均响应偏好的基础上，增强模型选择准确性与机制可解释性的新颖分析技术。

原作者： Taylor, J. E., Schutt, H., Kriegeskorte, N.

发布于 2026-09-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Taylor, J. E., Schutt, H., Kriegeskorte, N.

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

为了理解大脑是如何思考的，科学家经常观察当我们看到人脸、房屋或单词时所激发的活动模式。想象一个巨大的多维空间，其中每一种可能的思想或感知都有一个特定的位置。当你看到一只猫时，你的大脑会创造出一种独特的活动模式，即这个空间中的一个点。当你看到一只狗时，它会创造另一个点。这些点之间的距离告诉我们，大脑认为这两种动物有多相似。这就是一种被称为表征相似性分析（representational similarity analysis）的流行方法的核心思想。多年来，研究人员一直使用这种方法来比较大脑的不同部分，甚至人工智能的不同层是如何组织信息的。他们发现，这些点所形成的形状——即模式的几何结构——是脑区功能的一个强有力的特征签名。

然而，这种传统方法有一个盲点。它完全关注点与点之间的距离，实际上忽略了整个点群在更大空间中的位置。它并不关心大脑在看到人脸时是否通常比看到房屋时更活跃，也不关心某个特定区域是否整体上更具活力。这一缺失的信息——即一个区域内所有神经元的平均活动水平——在生物学上具有重要意义。它反映了处理不同刺激时的代谢成本，并为该脑区的特定计算功能提供了线索。通过丢弃这些数据，标准方法可能会错过那些看起来几何结构相似但运行能量分布不同的系统之间的关键差异。

哥伦比亚大学和卢森堡大学的一个研究小组引入了一种名为“框架表征相似性分析”（framed representational-similarity analysis）的新技术来修复这一缺陷。他们的目标是创建一种既能尊重神经模式的形状，又能尊重其在响应空间中整体位置和方向的方法。为此，他们在数学景观中增加了两个隐形的参考点：一个代表零活动状态，另一个代表均匀的最大活动状态。这两个点就像一个框架或一把尺子，将神经模式锚定在原地。通过测量每个刺激模式到这些固定参考点的距离，新方法可以恢复每个刺激的平均活动水平。这使得分析能够区分不同的脑区，即使这些脑区的内部几何结构相同，但它们可能具有不同的整体偏好，例如一个对人脸高度活跃的区域和一个对房屋高度活跃的区域，即便人脸和房屋模式之间的相对距离是完全一致的。

研究人员使用三种不同类型的数据测试了这种新方法：人类观看数千张自然图像时的脑扫描数据、猕猴大脑的电信号记录，以及经过物体识别训练的深度神经网络的内部层。在每种情况下，他们都将这项任务视为一场匹配游戏。他们询问，新方法是否能正确识别出：一个人的视觉皮层与另一个人的视觉皮层之间的相似度，要高于其与处理单词的区域之间的相似度。他们将这种框架方法的表现与标准技术以及仅观察平均活动水平的简单分析进行了对比。

结果显示，框架法一致地提高了区分不同脑区和网络层级的能力。在人类脑扫描数据中，尤其是在展示图像数量较少的情况下，新方法识别正确脑区的能力显著优于标准方法。当数据有限时，它的表现也优于仅观察平均活动水平的方法。在猕猴的记录中，框架法在所有条件下都达到或超过了标准技术的表现。或许最具有启发性的是对人工神经网络的测试。当研究人员添加噪声以模拟现实世界的测量误差时，框架法证明了其比标准方法更具鲁棒性。它成功识别了不同版本同一网络中的匹配层，这表明整合平均活动剖面可以为系统的计算方式提供一个更稳定且更具信息量的特征签名。

研究还探讨了参考点的选择如何影响结果。他们发现，将参考点设置为中等大小的效果最好，而将其设置得过大实际上会降低方法的准确性。这表明，模式的几何结构与其相对于参考框架的位置之间的平衡是非常微妙的。研究人员证明，他们的新技术不仅是一个理论上的改进，也是一个可以集成到现有分析流程中的实用工具。通过将区域激活水平的研究与模式几何结构的研究结合起来，框架表征相似性分析为大脑和人工系统如何表征世界提供了更完整的图景。它尊重这样一个事实：一个模式在神经空间中所处的位置，与其所形成的形状同样重要。

技术摘要：Framed RSA（框架化 RSA）

问题陈述
表征相似性分析（Representational Similarity Analysis, RSA）是比较不同脑区、物种以及人工神经网络（DNN）之间神经表征的标准方法。RSA 通过分析刺激物之间的成对距离（或差异性）来刻画响应模式的几何结构，这些差异通常由表征差异矩阵（RDM）进行总结。然而，标准的 RSA 丢弃了关于群体平均响应偏好（例如，一个区域对脸部相对于房屋的整体激活强度）以及响应模式在多变量响应空间中的全局位置与方向的关键信息。

虽然对某些变换（如缩放或旋转）具有不变性对于抽象掉特异性的编码细节是理想的，但作者认为丢弃平均激活剖面是有问题的。群体平均响应在生理上具有重要意义，因为它决定了代谢成本并反映了单个神经元的调谐特性（例如混合选择性）。标准的 RSA 对改变这些平均偏好的全局平移和旋转具有不变性，这可能导致不同的计算功能在外观上显得相同，仅仅因为它们的几何结构是彼此旋转或平移后的版本。

方法论：Framed RSA
作者引入了 Framed RSA，这是一种通过整合关于响应模式相对于全 1 向量在多变量响应空间中全局位置和方向信息的 RSA 变体。这是通过在刺激模式集中增加两个特定的“框架模式”来实现的：

原点 (0)： 一个全零向量。
常数 (c)： 一个全为 $c$ 的向量，其中 $c$ 是一个固定的正实数。

这两个模式定义了一个“框架”（具体而言是一个超立方体边界）在响应空间中。该方法构建了一个扩展的 RDM ( $D_{0c}$ )，其中包括：

所有刺激模式之间的距离。
每个刺激模式到原点 ($0$) 的距离。
每个刺激模式到常数向量 ( $c$ ) 的距离。

数学含义：

恢复平均激活： 通过展开刺激模式 $s$ 、原点 $0 $和常数$ c $之间的平方欧几里得距离公式，作者证明了可以通过对扩展 RDM 条目的线性操作来恢复区域群体平均激活量 ($ c^T s / |c|_1$)。
降低不变性： Framed RSA 消除了平移不变性并降低了旋转不变性。它不再对改变任何刺激的群体平均响应的旋转保持不变，但仍对绕 $c$ 向量的旋转保持不变。
$c$ 的选择： 为了保持理想的不变性（例如对测量单位的均匀缩放的不变性）， $c$ 的范数被选择为与刺激向量的平均范数成比例（例如 $k=1$ ）。
噪声处理： 作者改进了噪声归一化差异估计量（Mahalanobis 和 crossnobis）以及白化 RDM 比较器的使用。他们推导出了一个特定的方差-协方差矩阵 ( $V$ ) 公式，用于计算差异估计，该公式考虑了 $0 $和$ c$ 模式的无噪声特性，从而防止了如果应用标准假设（真实距离 = 0）时可能出现的奇异问题。

核心贡献与结果
作者通过“区域识别”任务验证了 Framed 表示法，其中基准真相（ground truth）是已知的（例如，识别哪个脑区或 DNN 层生成了特定模式）。其性能与标准 RSA 以及平均激活剖面进行了比较。

自然场景数据集（人类 fMRI）：
- 在使用白化相关性或白化余弦相似度作为比较器时，在所有刺激样本量下，Framred RSA 的表现均显著优于标准 RSA。
- 在刺激数量较少（ $\le 20$ ）时，Framed RSA 的表现优于平均激活剖面。
- 有趣的是，对于大量刺激（ $\ge 100$ ），仅靠平均激活剖面的表现最好，这表明在有足够数据来平均噪声的情况下，平均激活是 fMRI 数据的一个稳健特征。
Things 视觉流尖峰放电数据集（猕猴颅内记录）：
- Framed RSA 在所有条件下均达到或超过了标准 RSA 的表现。
- 在刺激数量较少（ $\le 10$ ）时，其表现显著优于标准 RSA。
- 在所有刺激计数下，Framed RSA 始终优于平均激活剖面。作者认为，在低噪声神经记录数据中，群体模式的细粒度信息结合平均偏好，比单纯的平均偏好提供了更强的特征信号。
深度神经网络 (DNN) 层识别：
- 使用以不同随机种子训练的 AlexNet 实例，在低噪声水平下，Framed RSA 显著优于标准 RSA 和平均激活剖面。
- 在高噪声水平下，Framed RSA 优于标准 RSA，但逊于平均激活剖面，这进一步证实了在高度噪声条件下，平均激活具有特别强的诊断性。

意义
该论文声称 Framed RSA 统一了两种传统上相互独立的脑活动分析方法：区域激活分析（单变量平均响应）和多变量模式几何（RSA）。通过创建一个既尊重几何结构又尊重群体平均响应偏好的“功能指纹”，Framed RSA 使更具机制意义的模型比较成为可能。

作者认为，要求模型在预测几何结构的同时，也正确预测区域平均响应偏好，可以提高区分竞争模型计算能力的效力。由于表征刺激的代谢成本是一个重要的生物学约束，这一点对于理解大脑计算尤为重要。Framed RSA 已在开源 RSA 工具箱中实现，便于集成到现有的分析流程中。该方法提供了一种简单且具有数学根据的方法，能够在不丢弃标准 RSA 抽象优势的前提下，将全局响应属性纳入表征比较之中。

类似论文