🤖 machine learning

Finding Multiple Interpretations in Datasets

本文提出了一种识别具有相似性能但具有不同上下文感知特征的多个模型的方法，并在 METABRIC 数据集上证明了该方法可以在不牺牲准确性的情况下揭示多样化的基因表达模式。

原作者： Matthew Chak, Paul Anderson

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Matthew Chak, Paul Anderson

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图解开一个复杂的谜题，比如弄清楚在一锅巨大的汤中，究竟哪些食材才是美味的关键。在计算机科学和生物学领域，研究人员经常构建“智能汤锅”（深度学习模型）来预测结果，例如患者是否患有某种癌症。

通常情况下，科学家们制作一个锅，品尝一下汤，然后说：“啊哈！是胡萝卜和洋葱让这汤变得好喝！”接着，他们就假设这些是仅有的重要食材。

问题：“唯一正确答案”的陷象阱
本文作者 Matthew Chak 和 Paul Anderson 指出了这种思维方式中的缺陷。仅仅因为一个锅用胡萝卜和洋葱做出了美味，并不意味着不存在另一个同样美味、但使用的是西兰花和蘑菇的锅。

在处理高科技数据（如他们使用的包含遗传信息的 METABRIC 数据集）时，通常存在许多获得相同正确答案的不同途径。如果研究人员只关注他们找到的第一种“最佳”模型，他们可能会错过其他同样有效的解释。这就像假设从洛杉矶到旧金山只有一条路，而实际上有几十条不同的路线都能在相同的时间内到达。

解决方案：“不同路线”生成器
本文提出了一种寻找这些“不同路线”的新方法。他们不再只是训练一个模型然后停止，而是创建了一个系统，先训练一个模型，然后询问：“你能否构建一个新的模型，在测试得分相同的情况下，使用一套完全不同的‘食材’（基因）来实现它？”

他们使用了一种特殊的数学“惩罚”机制。想象一下你正在训练一位厨师：

目标： 做出一锅味道达到原版 95% 的汤。
转折： 如果新厨师使用了与前一位厨师相同的前 25 种食材，他就会受到“惩罚”（罚分）。
结果： 厨师为了避免受罚，被迫尝试不同的食材，同时仍要努力保持汤的味道。

他们的发现
他们在关于乳腺癌基因的数据集上进行了测试。

对照组： 他们首先训练了 10 个标准模型。所有模型都一致认定了大约 9 个“超级重要”基因的小名单。它们都指向了同样的嫌疑对象。
新方法： 随后，他们使用其“不同路线”生成器创建了 3 个新模型。
- 这 3 个新模型的预测效果与原始 10 个模型一样出色。
- 然而，它们认为重要的基因却完全不同。事实上，这 3 个新模型的前 25 个基因各不相同。它们中的任何一个与原始组的前几名嫌疑对象都没有重叠。

核心观点
本文认为，依赖于仅仅一个“最佳”模型是有风险的。它可能会给你一种虚假的确定感。通过使用他们的方法，研究人员可以看到，对于同一现象存在多种同样有效的解释方式。

一个小警告
作者指出，如果你不断强迫计算机寻找新的、不同的答案，最终汤的质量可能会开始下降。在他们的实验中，第三个新模型为了实现差异化，不得不牺牲了一点“稀疏性”（一个衡量效率的技术指标）。他们建议一旦性能开始明显下降，就应停止该过程，因为这意味着你可能已经找到了所有可用的优质替代解释。

简而言之
本文是在呼吁停止假设数据科学中存在唯一的“正确答案”。它提供了一种工具，用于寻找对同一现象的多种同样准确的解释，从而确保科学家不会因为只看到树木而忽略了森林（或者在这种情况下，因为只看到胡萝卜而忽略了西兰花）。

技术摘要：寻找数据集中的多种解释

问题陈述
在生物学等领域，研究人员经常分析深度学习模型的全局特征（例如，特征重要性、表示层）以获取关于底层现象的见解。标准的工作流程是训练一个达到满意性能的模型，提取一个全局属性，并将该属性解释为关于该领域的结论。然而，这种方法在哲学上受到**欠定性（underspecification）**问题的限制。在高维数据集中，多个不同的模型可能实现相似的预测性能，但依赖于完全不同的特征集。因此，从单个“最佳”模型中得出的结论（例如，“基因 X 至关重要”）可能是无效的，因为存在其他性能相当但其中基因 X 并不重要的替代模型。本文认为，研究人员必须探索模型空间，以确保领域特定的结论不仅仅是特定模型初始化或训练轨迹的产物。

方法论
作者提出了一种生成**性能等效（performance-equivalent）但解释迥异（interpretation-dissimilar）**的模型集的方法。其核心技术贡献是一个优化框架，旨在训练一个新模型 $\theta_{n+1}$ ，使其在保持性能在可接受容差范围内的同时，最大化与现有模型集 $\{\theta_1, ..., \theta_n\}$ 的距离。

该方法被形式化为一个优化问题：

目标： 最大化新模型与现有模型之间的距离函数 $\delta(\theta_i, \theta_{n+1})$ 。
约束： 主要损失 $\lambda(\theta_{n+1})$ 必须保持在 $\lambda(\theta_i) + \epsilon$ 以下。

为了使该问题在深度学习设置中变得可行，作者将其转换为一个可微的目标函数（公式 2）：
$\text{最小化 } \lambda(\theta_{n+1}) + \alpha \sum_{i=1}^{n} \frac{1}{1 + \delta(\theta_i, \theta_{n+1})}$
这里，项 $\frac{1}{1 + \delta}$ 起到了正则化惩罚的作用。如果新模型与现有模型相似（ $\delta$ 很小），则惩罚较高；如果新模型不相似（ $\delta$ 较大），则惩罚较低。

算法 1 (NextModel) 通过随机初始化一个模型，并利用组合损失（主要损失 + 距离惩罚）的梯度迭代更新其参数来实现这一过程。

距离函数的实现
针对基因表达分析的具体应用，距离 $\delta$ 是基于特征重要性的排名来定义的。

算法 2 (RankLossDistance) 通过比较现有模型的排名前 $n$ 个重要基因与新模型的基因来计算距离。
它在输入层权重上利用了一个可微的排名算法（softrank）。
它识别参考模型的排名前 $n$ 个基因，并根据第 $(n+1)$ 个基因的重要性计算一个“偏移量（offset）”。
距离被计算为新模型的基因排名与该偏移量之间正差值的加权和。这有效地惩罚了那些选择了参考模型前 25 个高排名基因的新模型。

实验结果
该方法在 METABRIC 数据集（乳腺癌基因表达数据）上使用 DeepType 模型进行了评估。

设置： 使用标准超参数训练了十个控制模型。随后，使用算法 1 和 RankLossDistance 函数顺序生成了三个“远距离”模型。
性能： 这三个新模型实现了与控制模型相当的测试和验证准确率（例如，模型 1：0 准确率为 0.8220；模型 2：0.7822；模型 3：0.8056），尽管模型 3 的稀疏性损失（sparsity loss）显著增加。
解释差异：
- 控制模型： 在 10 次控制运行中，共有 65 个唯一基因出现在前 25 个重要性列表中，其中 9 个基因在所有 10 个模型的前 25 名中均有出现。
- 远距离模型： 这三个新模型在其各自的前 25 个重要基因列表中共产生了 75 个唯一基因（这是 $3 \times 25 = 75$ 的最大可能值）。至关重要的是，这 75 个基因中只有 26 个与任何控制模型在前 25 名中的基因重叠。
观察结果： 远距离模型实现了高水平的性能，但其依赖的基因集与控制模型以及彼此之间都是高度不相交的。

主要贡献与意义
本文声称其贡献如下：

对欠定性的证明： 研究证实，即使是在像 METABRIC 这样研究充分的数据集上，也存在提供等效预测能力但依赖于根本不同生物机制（基因集）的模型簇。
探索方法： 所提出的正则化训练方法（利用可微距离项）被证明是一种有效的机制，可以在不牺牲整体准确性的情况下，挖掘出这些替代解释。
工作流启示： 作者认为，依赖单个“最佳”模型进行生物学解释是有风险的。他们的方法提供了一种可扩展的方式来探索模型空间，确保领域见解是稳健的，且不依赖于单一的任意解。

局限性与未来方向
作者指出，随着添加的模型增多，主要性能指标最终可能会下降（如模型 3 的稀疏性损失所示），这表明“良好”解的空间是有限的。他们提出，这种下降速率可以作为衡量流水线中欠定性程度的指标。未来的工作包括将此方法应用于其他生物学数据集、研究误差-距离权衡的理论界限，以及探索正则化权重 $\alpha$ 的动态选择。

技术摘要：寻找数据集中的多种解释

类似论文