Model Rankings in Drug–Target Affinity Prediction Vary Across Evaluation Regimes: A Controlled Multi-Seed Study of Model-Comparison Reliability

在发现新药的竞赛中，科学家们经常面临一项艰巨的任务：为特定的“锁”寻找合适的“钥匙”。这些“钥匙”是小分子（潜在的药物），而“锁”则是人体内驱动疾病的蛋白质。当药物能够很好地契合蛋白质时，它就能阻止疾病过程或修复受损的功能。预测药物与蛋白质结合的紧密程度是筛选数百万种候选药物的关键步骤，这能让研究人员将资源集中在最有希望的候选者身上。多年来，计算机模型一直致力于进行此类预测，通过学习已知药物-蛋白质相互作用的海量数据库来进行训练。其目标始终是建立一个能够准确预测从未见过的结合强度的模型，无论这意味着预测一种新药对已知蛋白质的行为，还是预测一种已知药物对全新蛋白质靶点的相互作用。

然而，哈尔滨范文学院的一项新研究表明，关于“哪个模型最好”的答案完全取决于所提出的问题。研究人员魁浩波（Haobo Kui）和崔欣源（Xinyuan Cui）旨在测试这些计算机模型的排名在游戏规则发生变化时是否保持稳定。在现实世界的药物研发中，一个模型可能会被要求预测从未见过的药物、从未见过的蛋白质，或者是两者的结合。研究团队发现，在一个场景中获胜的模型在另一个场景中可能会落败，而且模型的排名顺序会根据具体的测试条件发生彻底的反转。他们的工作涉及运行了一百多次经过精心控制的实验，揭示了并不存在一个适用于所有情况的“最佳”模型；相反，正确的选择取决于将模型与它将面临的具体泛化挑战相匹配。

为了理解这项调查的规模，请想象一个实验室，科学家们正在测试五种不同类型的发动机。在标准测试中，他们可能会在平坦、熟悉的赛道上驾驶所有发动机。但在现实世界中，有些发动机需要应对冰雪路面，而另一些则必须在陡峭的山路中行驶。魁和崔构建了一个严密的测试框架，以观察在平坦赛道上获胜的发动机是否也能在冰面或山路上获胜。他们使用了两个经过清洗的大型药物-蛋白质相互作用数据库，其中一个来源包含超过 118,000 条记录，另一个包含超过 30,000 条记录。基于这些数据，他们创建了三种不同的测试环境。第一种是“温热”（warm）设置，模型是在其训练期间已经见过的药物和蛋白质上进行测试，本质上是在衡量它记忆和插值已学知识的能力。第二种是“冷药物”（cold-drug）设置，模型必须预测其从未接触过的全新化学化合物的相互作用。第三种是“冷靶点”（cold-target）设置，模型面临全新的蛋白质序列，模拟了寻找针对新发现疾病机制的药物所面临的挑战。

研究人员并非简单地运行一次模型并得出结果。为了确保他们的发现不是随机偶然的结果，他们使用了一种被称为使用多个“种子”（seeds）的技术，在略微不同的初始条件下将每个实验运行了三次。他们比较了结合药物和蛋白质信息的三种不同方式，以及两种既有的基准方法，确保所有模型都拥有大致相同的计算能力。他们总共进行了 126 次独立的训练运行，在整个过程中保持数据划分和评估规则完全一致。至关重要的是，他们将最终的测试结果封存，直到每一次运行全部完成，从而防止了模型可能为了拟合测试数据而进行的意外偏差。这种严格且可审计的方法使他们能够追踪每一个结果的来源，确保了比较的完整性。

结果是令人震惊且违反直觉的。当研究人员观察“温热”条件下的模型排名时，一个模型始终优于其他模型。然而，当他们切换到“冷药物”场景时，排名发生了剧烈变化。在涉及较大数据集的最极端情况下，针对“冷靶点”场景的模型顺序与“冷药物”场景的顺序完全相反。一个在预测与新蛋白质相互作用方面表现出色的模型，在被要求预测与新药物相互作用时，却变成了表现最差的模型。这种通过统计工具衡量的完全反转表明，模型的成功并非一种绝对的品质，而是一种随语境而变化的相对属性。

此外，研究还强调，即使在同一个测试场景内，结果也并不总是完全稳定的。通过观察单个运行过程而非仅仅是平均值，研究人员发现，模型的精确顺序可能会随着每一次训练运行而发生变化。这意味着依靠单次实验来宣布胜者是冒险的，因为结果可能会受到训练过程中随机噪声的影响。通过运行多个种子，团队得以看到模型性能真实可靠性的全貌。他们发现，虽然某些模型在特定领域（如“冷药物”设置中，某些融合策略在两个数据集上表现更好）显示出一致的优势，但没有任何一个模型能在所有指标和所有场景下都占据主导地位。

研究人员还通过观察一个特定的、未见的蛋白质靶点 VEGFR2（它参与血管生成并作为癌症治疗的主要靶点）来探索这些发现如何转化为现实应用。利用实验中生成的冻结预测数据，他们模拟了不同模型如何为这一特定靶点对潜在药物候选物进行排名。他们发现，不同的模型产生了不同的顶尖候选名单。一个模型可能会将某种特定化合物列为最佳选择，而另一个模型可能会将其排名放得很低。这证明了选择模型不仅仅是一个学术练习；它直接影响着科学家会在实验室中选择哪些药物候选物。如果研究人员根据模型在“温热”设置下的表现来做出选择，他们可能会在面对新靶点时优先考虑错误的化合物。

最终，这项研究为未来的计算药物研发提供了重要的指南。它反对存在一个可以应用于所有问题的“通用冠军模型”的观点。相反，它建议模型的可靠性取决于评估方法与预期用途的匹配程度。如果目标是寻找针对新靶点的药物，那么模型必须在针对新靶点的环境下进行测试。如果目标是寻找针对已知靶点的新药，那么模型必须在针对新药物的环境下进行测试。研究人员得出结论，为了使模型选择真正可靠，它必须是场景匹配的、多种子验证的且可审计的。通过理解排名会在不同的评估体系下发生偏移，科学家们可以做出更明智的决策，确保他们所使用的工具能够胜任药物研发流程中的特定挑战。