技术摘要：超越激活对齐：神经敏感性的几何学

问题陈述

激活对齐度量（如表征相似性分析 RSA、典型相关分析 CCA 和中心化核对齐 CKA）是用于比较生物与人工神经表征的标准工具。这些方法主要量化刺激诱发的活动模式中的几何相似性。然而，存在一个关键局限：全局读出层面的一致性并不能决定系统如何利用局部刺激证据。表征可能在激活空间中对齐，但在对微小扰动的敏感性上却存在显著差异。此外，基于激活的相似性度量对简单的后验变换（例如，固定子集平移后接全局均值中心化）不具备不变性，这些变换可能在不改变底层编码过程的情况下改变相似性得分。尽管已有基于解码器的视角和局部几何方法被提出以解决此问题，但它们往往未能明确信息应如何在刺激间聚合，或何种数据集层面的摘要足以表征判别任务。

方法论

作者提出了一个基于局部可解码信息的框架，重点关注表征在噪声条件下于指定的刺激坐标子空间内区分微小扰动能力。

1. 局部扰动任务与费雪几何

该框架将神经表征视为一个可微映射 $f: \mathbb{R}^d \to \mathbb{R}^m$。局部敏感性由拉回度量 $M_f(x) = J_f(x)^\top J_f(x)$ 刻画，其中 $J_f$ 为雅可比矩阵。

• 任务定义：局部判别任务涉及在给定噪声群体活动的情况下，区分刺激 $s$ 与扰动刺激 $s + \eta$。平方判别力 $d'^2$ 由费雪度量 $I_{f,\psi}(s) = J_{hf}(s)^\top \Sigma^{-1} J_{hf}(s)$ 决定，其中 $\Sigma$ 为噪声协方差。
• 数据集层面摘要：为了从点态敏感性转向表征层面的比较，作者定义了投影二阶矩局部任务族。通过固定坐标族（由 $\psi$ 参数化）和扰动子空间（由正交矩阵 $P$ 定义），他们在刺激分布上对局部费雪度量进行平均。
• 算子：该族的最小且完整的数据集层面摘要是投影期望费雪算子：
  $$F_{f,\psi,P,\Sigma} := \mathbb{E}_{s \sim \nu} [P^\top J_{hf}(s)^\top \Sigma^{-1} J_{hf}(s) P]$$
  在各向同性噪声情况下，这简化为投影期望拉回度量 $G_{f,\psi,P}$。该算子完全刻画了由 $P$ 定义的任何二阶矩扰动族的期望判别力。

2. 分解：增益与形状

作者将摘要算子分解为：

• 增益（$\gamma$）：总期望敏感性（算子的迹）。
• 形状（$\hat{G}$）：敏感性的方向分配（迹归一化算子）。
  这使得能够基于总敏感性以及表征在刺激空间中放大或抑制的具体方向来比较不同的表征。

3. 比较度量：S-RAS

为了比较这些正定（SPD）摘要，作者在 SPD 矩阵流形上采用仿射不变黎曼度量（AIRM）。他们定义了谱黎曼对齐得分（S-RAS）：
$$S\text{-}RAS_P(f, g) = \exp\left[ -\frac{1}{\sqrt{k}} d_{AIRM}(\tilde{G}_{f,P}, \tilde{G}_{g,P}) \right]$$
其中 $\tilde{G}$ 是用于正则化的迹缩放 SPD 提升。理论分析表明，S-RAS 为提升后的任务值族提供了统一的乘性证书，界定了两个表征之间期望判别力的不一致性。

主要贡献

1. 局部判别的形式化：本文定义了二阶矩局部扰动判别任务，并确定了投影期望费雪/拉回算子作为这些任务的最小完整数据集层面摘要。
2. S-RAS 度量：引入了基于 SPD 矩阵对数谱距离的几何感知比较方法（S-RAS），提供了具有任务值界限理论保证的维度归一化相似性得分。
3. 实证验证：该框架在人工和生物系统中得到验证，展示了其在层对应、可迁移探针、鲁棒训练分析及生物数据方面的效用。

实验结果

1. 层匹配（人工网络）

使用独立训练的 Tiny10 CNN，作者测试了 S-RAS 是否能恢复预期的层对应关系。

• 结果：S-RAS 实现了有意义的对应（在 $K=768$ 且随机扰动下准确率为 85.3%；白化 PCA 下为 93.8%），接近强激活基线（如线性 CKA，94.4%）的性能。
• 比较：S-RAS 优于点态局部几何控制（点态 AIRM 和 MSA 风格基线），表明聚合期望任务族算子优于平均点态度量差异。

2. 可迁移的类条件探针

作者测试了敏感性对比是否能被外化为有限的扰动，从而泛化到未见的图像和模型。

• 结果：源自类条件敏感性对比（比较 ResNet-18 和 Small ViT）的探针，在未见图像分离度上（1.10）显著优于随机对比（0.43）、池化敏感性（0.31）和标签置换（0.03）控制组。这表明该方法捕捉到了跨模型共享的局部证据结构。

3. 鲁棒训练解离

使用采用 ERM、PGD、TRADES 和 MART 训练的 ResNet-18 模型库，作者检验该框架是否能区分训练机制。

• 结果：源自对比的探针成功在未见图像上将标准模型与鲁棒模型（PGD、TRADES、MART）区分开来。该方法还揭示了鲁棒训练目标之间的细微差异（例如区分 PGD 和 TRADES），表明探针对局部证据使用的具体变化敏感，而不仅仅是机制差异。

4. 生物应用（艾伦脑观测站）

该框架应用于使用坐标 $(\theta, \rho, \phi)$ 的静态光栅的小鼠视觉皮层数据。

• 结果：在跨区域身份匹配中，噪声感知的完整费雪摘要达到了 0.458 的 top-1 准确率，显著优于 CKA（0.288）和朴素几何。在更具挑战性的 VISp-depth 基准测试中，完整费雪（0.466）仍与 CKA（0.483）保持竞争力。
• 洞察：结果表明，生物敏感性结构既取决于总噪声感知敏感性，也取决于方向分配。刺激坐标族的选择（例如 $\rho + \phi$ 与完整集合）显著影响匹配性能，突显了该度量的“族相对”性质。

意义与主张

本文主张，基于激活的比较对于刺激诱发的组织或下游读出结构最具信息量，但它们不足以确定表征是否依赖于相同的局部刺激证据。所提出的框架通过询问两个表征是否在平均意义上使相同的小刺激方向具有可判别性，提供了一种互补视角。

主要主张包括：

• 族相对相似性：一致性是相对于特定扰动族定义的；表征可能在一个族下对齐，而在另一个族下不对齐。
• 对变换的鲁棒性：由于该方法依赖于雅可比矩阵而非激活点云，因此对相对于刺激恒定的后验偏移（例如全局均值中心化）不敏感，解决了 CKA 的一个已知局限。
• 实证效用：该框架成功恢复了层对应关系，生成了可迁移的诊断探针，揭示了鲁棒训练中的解离现象，并发现了生物数据中依赖于族的敏感性。

作者保持谦逊，指出该框架是局部的、基于数据集层面的，且基于二阶矩。它未捕捉图像条件最优解、高阶效应或强非线性有限扰动行为。他们总结道，需要更广泛的基准测试，以确定数据集层面的敏感性几何学在何种情况下能提供与现有方法相比独特的科学洞察。