Quantifying task-relevant representational similarity using decision variable correlation

这是一份关于论文《Quantifying task-relevant representational similarity using decision variable correlation》（利用决策变量相关性量化任务相关的表征相似性）的详细技术总结。

1. 研究背景与问题 (Problem)

核心问题：
尽管深度学习（特别是卷积神经网络 CNN 和 Transformer）在图像分类任务上取得了巨大成功，并被广泛用作研究灵长类动物视觉皮层（如腹侧通路 V4/IT 区）的候选模型，但关于“模型表征”与“大脑表征”之间相似性的结论存在显著矛盾。

• 现有争议： 一些研究认为随着模型性能提升，其表征与大脑越来越相似；而另一些研究则认为这种相似性存在上限，甚至随着模型性能提升而下降。
• 现有方法的局限性：
  • 表征相似性分析 (RSA) 等几何方法： 关注整体几何结构，无法区分“任务相关”和“任务无关”的特征，可能受到无关维度的干扰。
  • 基于行为的方法 (如 Cohen's Kappa)： 关注错误一致性，但容易受到观察者准确率差异（Accuracy Difference）和决策偏差（Decision Bias）的混淆。例如，如果两个观察者的准确率差异很大，Kappa 值会人为地降低；如果存在共同的决策偏差，Kappa 值会虚高。
  • 缺乏任务特异性： 现有方法难以剥离出专门用于解决特定分类任务的决策策略的相似性。

研究目标：
提出一种新的、 principled（有原则的）方法，专门量化两个观察者（模型或大脑）在解决特定分类任务时，其决策策略（Decision Strategies）在试次（trial-by-trial）层面的一致性，且该方法应不受决策偏差和准确率差异的干扰，专注于任务相关的表征相似性。

---

2. 方法论 (Methodology)

作者提出了一种名为 决策变量相关性 (Decision Variable Correlation, DVC) 的新指标。

2.1 核心概念

DVC 基于信号检测理论（Signal Detection Theory, SDT）的推广。

• 传统 SDT： 单个观察者利用一个连续的“决策变量”（Decision Variable, DV）结合一个判据（Criterion）来做出二元选择。
• DVC 的推广： 计算两个观察者在面对同一组图像时，其内部生成的决策变量之间的皮尔逊相关系数。
• 关键创新： 不再仅仅依赖最终的分类行为（对/错），而是从内部神经表征（Neural Representations）中推断决策变量。

2.2 具体实施步骤

1. 提取神经表征： 对于每一对图像类别（例如：猫 vs. 狗），获取模型（倒数第二层激活）或猴子（V4/IT 区神经元发放率）的高维表征。
2. 解码决策变量 (Decoding DVs)：
   • 使用线性判别分析 (LDA) 找到能最大化类别分离的决策轴（Decision Axis）。
   • 将高维表征投影到该轴上，得到每个图像的决策变量（DV）值。
   • 注：为了处理高维小样本问题，先进行 PCA 降维（如降至 25 维），再进行 LDA。
3. 计算相关性： 计算两个观察者（如模型 A 和模型 B，或模型与猴子）针对同一组图像生成的 DV 序列之间的皮尔逊相关系数。
4. 噪声校正 (Split-half Normalization)：
   • 由于测量噪声（如神经元记录的随机性或模型内部噪声）会低估真实的相关性，作者引入了“分半法”进行校正。
   • 将数据分为两组独立子集，计算交叉相关（Cross-observer）和自相关（Within-observer），通过几何平均数公式去除独立加性噪声的影响，得到无偏的真实相关性估计 ($\rho_{corrected}$)。
5. 多类别处理： 对于 $N$ 个类别，遍历所有类别对，计算每对的 DVC，最后取平均值作为最终指标。

2.3 与 Cohen's Kappa 的区别

• Kappa： 衡量分类结果的一致性，受准确率差异和决策偏差（Bias）影响极大。
• DVC： 衡量潜在决策变量的一致性，对决策偏差具有不变性（Invariance），且能解耦准确率与试次间的一致性。

---

3. 关键贡献 (Key Contributions)

1. 提出了 DVC 指标： 一种基于内部表征、专注于任务相关维度、且对决策偏差和准确率差异鲁棒的相似性度量方法。
2. 揭示了“性能 - 相似性”的负相关悖论： 发现 ImageNet-1k 上表现越好的模型，其决策策略与猴子 V4/IT 神经表征的 DVC 反而越低。
3. 验证了现有改进策略的局限性： 证明对抗训练（Adversarial Training）和更大规模的数据集（Data-rich）虽然提升了模型鲁棒性或模型间的一致性，但并未改善模型与猴子大脑在任务相关维度上的一致性，甚至导致 DVC 进一步下降。
4. 方法论的对比与澄清： 系统性地解释了为何基于 Kappa 的先前研究得出了不同结论（主要归因于解码器偏差和准确率差异），并展示了 DVC 如何更准确地反映任务策略的相似性。

---

4. 主要实验结果 (Results)

4.1 猴子脑区内部的一致性

• 在两只不同猴子的 V4/IT 神经记录之间，DVC 值较高（约 0.57），表明不同个体在解决相同视觉任务时，其编码和决策策略在试次层面高度一致。

4.2 模型与大脑的相似性 (Model-Monkey)

• 负相关发现： 对 43 个在 ImageNet-1k 上预训练的模型进行测试，发现模型的 Top-1 准确率越高，其与猴子 V4/IT 的 DVC 越低（Pearson 相关系数 $\rho = -0.70$）。
• 数值对比： 模型与猴子的平均 DVC 约为 0.29，显著低于猴子之间的 DVC (0.57)。

4.3 模型与模型之间的相似性 (Model-Model)

• 同一架构家族的模型之间 DVC 较高，不同家族之间较低。
• 尽管模型间 DVC 高于模型与猴子的 DVC，但并未达到猴子内部的一致性水平，说明模型并未收敛到单一的“最优解”。

4.4 对抗训练与大数据集的影响

• 对抗训练 (Robust Models)： 经过对抗训练的模型，其模型间的 DVC 很高（收敛到共同解），但与猴子的 DVC 反而下降（从 0.29 降至 0.27）。这表明对抗训练改变了模型的特征提取方式，使其更偏离生物视觉系统的任务策略。
• 大数据集 (Data-rich Models)： 在 ImageNet-21k、JFT-300M 或 CLIP 等更大/多模态数据集上训练的模型，其与猴子的 DVC 也低于仅在 ImageNet-1k 上训练的模型（约 0.24）。

4.5 与 Cohen's Kappa 的对比分析

• 在相同数据集上，DVC 与 Kappa 存在正相关，但 Kappa 对准确率差异和决策偏差极度敏感。
• 模拟实验显示，当引入共同的决策偏差时，Kappa 值会虚高，而 DVC 保持不变。这解释了为何某些基于 Kappa 的研究认为模型与人类行为高度一致（可能是因为模型和人类都有类似的偏差，而非决策策略相似）。

---

5. 意义与结论 (Significance & Conclusion)

主要结论：
当前基于 ImageNet 训练的深度学习模型，虽然在分类准确率上超越了人类，但其任务相关的内部决策策略与灵长类动物（猴子）的视觉皮层表征存在显著分歧。随着模型性能的提升、对抗训练的引入或使用更大规模数据集，这种分歧（Divergence）反而在扩大，而非缩小。

科学意义：

1. 重新审视脑模型构建： 单纯追求 ImageNet 准确率或鲁棒性并不能保证模型成为更好的大脑模型。未来的脑模型构建需要关注任务相关的表征对齐，而非仅仅是行为输出的匹配。
2. 方法论的革新： DVC 提供了一种更纯净的视角来评估模型与大脑的相似性，避免了传统行为指标（如 Kappa）的混淆因素，为神经科学和 AI 的交叉研究提供了新的评估标准。
3. 未来方向： 提示研究者应尝试使用更符合灵长类进化环境的刺激统计特性（Stimulus Statistics）的数据集，或引入对噪声和内部变异的模拟，以缩小模型与大脑在任务策略上的差距。

局限性：

• 受限于猴子神经数据的样本量（仅 2 只猴子）和记录时长。
• 实验使用的物体对猴子可能缺乏与人类相同的生态行为相关性。
• 高维特征空间的解码可能存在未完全消除的偏差。

总体而言，该论文通过引入 DVC 这一新指标，有力地挑战了“模型性能提升即意味着脑模型更逼真”的直觉假设，揭示了当前主流视觉模型在任务策略层面与生物视觉系统的根本性差异。