Constructed negatives determine the population a benchmark can rank over
本文认为，基准测试排名受限于构建负样本时对标注较差实体的排除，证明了高遗漏率（W > 0.5）会阻碍严格的模型排序，并敦促业界透明地报告目标定义、采样支持以及比较依据。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
在广袤的生物发现领域，科学家们经常依赖计算机模型来预测蛋白质如何相互作用，或者化学标签如何附着在它们上面。为了教导这些模型，研究人员必须向它们展示发生的事情（正例）和未发生的事情（负例）的例子。挑战在于，虽然我们拥有一份关于“发生过的事”的良好清单，但我们很少拥有一份关于“所有未发生之事”的完整清单。相反，科学家们通常通过假设任何尚未观察到的相互作用或修饰都可能是一个“非事件”，从而创造出一份“负例”清单。这种假设是许多基准测试（即标准测试）的基础，用于评判一个新模型的表现优劣。如果测试本身存在缺陷，那么对最佳模型的排名就会变得不可靠，从而可能误导研究人员，使他们在寻找新药或生物学见解的过程中走上错误的道路。
杜兰大学的研究员贾斯汀·李（Justin Li）揭示了这些测试构建方式中存在的一个根本性缺陷。他发现，科学家选择“负例”的方式往往忽略了生物界的巨大组成部分，这实际上使得测试对于它声称要评估的大多数候选对象都处于“盲视”状态。李的研究表明，当一个测试排除超过一半的候选对象时，即使一个模型的得分更高，在没有额外假设的情况下，也无法确定两个模型之间的严格排序。这项研究不仅仅指出了一个微小的错误；它证明了该基准测试声称要评估的总体，往往只是现实中一个极小的、不具代表性的切片，而当应用到全貌时，在这些测试中看到的改进有时会消失甚至发生逆转。
问题的核心在于许多研究人员为了保持数据“干净”而使用的一条规则。为了避免由于尚未被发现而误将真实的生物事件标记为“负例”，科学家们通常会设定一个很高的准入门槛。他们可能会说：“只有当我们对某些蛋白质已有深入了解时，才会将它们作为负例使用。”虽然这听起来是确保准确性的一种安全方法，但李的研究表明，这条规则就像一个筛子，过滤掉了几乎所有的内容。在涉及蛋白质化学修饰的八个不同任务中，这条规则排除了介于60%到97%之间的候选蛋白质。在最极端的情况下，测试所观察的对象仅占其本应覆盖的蛋白质总数的极小部分。
李开发了一种精确衡量目标群体缺失程度的方法。他发现，一旦缺失部分超过总数的一半，测试就失去了在不依赖于对排除区域进行假设的前提下，保证两个模型之间存在严格排序的能力。想象一下，如果你只通过阅读书架顶层的书来评判一个图书馆的质量；如果底层书架上藏着最好的书，那么你的判断就会出错。在这些生物学测试中，“顶层书架”是那些注释详尽的小组，而“底层书架”则是测试所忽略的绝大多数蛋白质。当被忽略的部分如此之大时，一个模型之所以在测试中显得表现出色，可能仅仅是因为它恰好在那个狭小的、容易处理的小组中表现良好，而在面对整个生物世界时却表现得一败涂地。
为了证明这一点，李进行了一项特定的实验，将一个标准模型与一个包含了关于整个蛋白质额外信息的版本进行了对比。在仅观察注释完备蛋白质的标准测试中，额外信息似乎有所帮助。然而，当李重建了测试以包含之前被排除的蛋白质时，在八个任务中的七个中，这些额外信息反而损害了模型的性能。在那个狭窄的测试中看起来像是有效升级的功能，在模型被迫应对全范围候选对象时，变成了一个累赘。这种逆转表明，最初的测试并非在测量模型的真实泛化能力，而仅仅是在测量模型对特定、狭窄规则的拟合程度。
该研究还检查了一个流行的蛋白质相互作用基准，该基准用于测试计算机预测蛋白质如何粘附在一起的能力。这个基准使用两步过滤法来创建其负例。首先，它会移除具有过多连接的整个蛋白质；其次，它会移除在网络结构中过于接近的蛋白质对。李发现，第一步本身就会排除整个蛋白质，这意味着对于某些蛋白质来说，根本不存在负例。第二步则移除了许多其他蛋白质的几乎所有可能的配对。结果是，这个测试中的“负例”极其稀疏且带有偏差，无法代表真实的蛋白质相互作用世界。事实上，该测试将其自身所述宇宙中的73%的蛋白质都排除在外了，导致测试声称测量的内容与其实际观察到的内容之间存在巨大的鸿沟。
李的工作并不是说这些模型是无用的，而是强调我们必须诚实地对待它们究竟在测试什么。一个基准测试应该清晰地说明它涵盖了生物界的哪一部分，并承认它遗漏了什么。如果一个测试排除了超过一半的候选对象，那么在没有进一步假设的情况下，它无法证明一个模型比另一个模型更好。研究人员建议，科学家们应该准确报告包含了多少以及排除了多少候选对象，并且除非测试覆盖了足够大的目标范围以进行公平比较，否则在声称一个模型更优越时应当保持谨慎。
这些发现是对生物预测领域的一次必要修正。通过区分模型在它所看到的数据上的表现与其在它错失的数据上的表现，李提供了一条更清晰的前行之路。研究表明，目前使用严格过滤器来创建“干净”负例的做法可能弊大于利，它创造了一种进步的幻象，而这种幻象在模型面对复杂、不完整的生物数据现实时便会烟消云散。解决方案并非放弃这些测试，而是要带着对它们局限性的充分理解去设计它们，确保它们产生的排名反映的是模型的真实潜力，而非测试本身的特性。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。