Dated public evidence and known genes for retrospective evaluation of gene prioritization

在现代医学的广袤版图中，科学家们正不断尝试预测哪些基因将成为新药的靶点。想象一位研究人员站在一个包含数百万本关于人类生物学书籍的图书馆前，试图猜测哪一本特定的卷册中藏着治愈某种疾病的秘密。为了做出这些猜测，他们构建了计算机模型，通过学习过去的成功案例来进行推断：他们观察那些已知是有效药物靶点的基因，并试图寻找使它们成功的模式。希望这些模式能帮助他们在一种药物被发明之前，就发现下一个伟大的靶点。然而，在这个过程中存在着一个微妙而危险的陷ları。这些模型所使用的图书馆并非静态的，而是每天都在增长的活态收藏。一旦某个基因变得声名显赫且针对该基因的药物被开发出来，关于该基因的新信息就会涌入数据库。如果一个计算机模型是从一个在基因成名之后才更新的数据库中学习，它可能仅仅是在记忆这个基因之所以出名的事实，而不是在学习它为何起作用的生物学原因。这就像是通过查看已经列出结果的计分板来预测比赛的获胜者；这种预测在技术上是正确的，但它无法告诉你赛跑者实际的速度或策略。

这种被称为“信息泄漏”的问题，使得许多基因优先排序工具的性能表现难以令人信服。研究人员长期以来一直怀疑，这些工具之所以表现得过于出色，是因为它们在无意中窥探了未来。为了解决这个问题，辉瑞（Pfizer）的一个团队创建了一个经过精心处理、带有精确时间戳的数据集，允许科学家们完全按照历史发生的顺序进行回溯。该资源并非使用当前更新版的公共数据库，而是让研究人员能够将时间冻结在过去十年中的任何一个时间点。他们可以让计算机模型仅利用在特定日期公开可用的信息来进行预测，然后检查该模型是否能正确识别出后来变得著名的基因。这种方法剥夺了预知结果的优势，迫使模型依赖真实的生物学信号，而非积累的研究噪声。

这项工作的核心是一个涵盖癌症、炎症性肠病、代谢和银屑病四大主要医学领域的庞大证据表。研究人员从二十个不同的公共来源（如临床试验注册库、遗传数据库和蛋白质图谱）收集了数据。对于这些表格中的每一条信息，他们都附带了两项关键的元数据：发布日期和“泄漏”分类。发布日期告诉计算机这条信息最初何时变为公开信息。泄漏分类则作为一个过滤器，根据数据受药物开发历史影响的可能性进行分类。一些数据点代表纯粹的生物学，例如蛋白质的物理结构或其在体内的位置，无论是否有人尝试为其开发药物，这些特征都会存在。其他数据点则代表研究本身的历史，例如关于某个基因的科学论文数量或测试过该基因的临床试验数量。后者是非常可疑的，因为研究量的增加往往发生在基因已被证实具有重要意义之后。

通过这种方式组织数据，该团队创建了五个不同的“特征集”（即数据集的不同版本），范围从完整集合到排除所有研究历史和药物开发记录的“仅限生物学”版本。这使得科学家可以在不同的条件下测试他们的模型。他们可以观察一个模型在仅被允许观察原始生物学事实时是否有效，或者是否只有在被允许观察人类研究的累积过程时才表现良好。该数据集还包括 19 组“已知基因”的列表，每组都有一个精确的日期，标记该基因首次成为已知靶点或疾病关联的时间。对于癌症靶点，这个日期执行得尤为严格：它是临床试验注册库首次显示针对该特定基因的试验已经开始的那一天，从而确保模型在试验公开之前无法得知该信息。

当研究人员测试这些工具时，他们发现数据的时效性至关重要。他们发现，许多在今天看来非常有用的特征，实际上只是对一个基因被研究程度的反映。例如，研究论文的数量或一个基因在网络中的连接数，往往会在一个基因成为药物靶点后激增。如果一个模型使用了这些特征，它本质上是在使用答案解析。新的数据集揭示了，当你移除这些“历史”特征，仅观察在基因成名之前的生物学情况时，许多模型的性能会显著下降。这表明，以往对这些工具的评估可能过于乐观，因为它们没有考虑到这种泄漏现象。研究并未发现能够预测所有药物靶点的“灵丹妙药”，但它提供了一种严谨的方法，将真正的生物学洞察力与研究量的噪声区分开来。

研究人员还检查了他们日期和标签的可靠性。他们手动审查了数百份临床试验记录，以确保他们分配给基因的日期是准确的。他们发现，虽然自动化系统通常表现良好，但有时也会出错，特别是在试验在已经开始后才进行注册，或者当药物被用于研究与其目标疾病不同的情况时。通过修正这些日期，他们确保了他们构建的这个“时光机”是准确的。他们还验证了生物学特征（如蛋白质的外表面大小）在时间推移下保持稳定，并没有仅仅因为一个基因变得出名而突然改变。这种稳定性证实了基于生物学的特征是值得信赖的，并且不像研究量特征那样受到同样的时间泄漏问题的困扰。

最终，这项工作为如何测试生物学中的计算机模型提供了新的标准。它将关注点从“这个模型在今天的数据上是否有效？”转向了“如果该模型只知道当时已知的信息，它能否预测出这个结果？”该数据集包含了 183 个公共资源的存档版本，允许任何人重建 2016 年至 2024 年间任何季度末的科学知识状态。这意味着，科学家现在可以采用一种新方法，针对 2018 年时的状态运行测试，看看它是否能成功识别出 2020 年成为靶点的基因。如果失败了，说明该方法并不像看起来那么强大；如果成功了，结果则更具可信度。

这对药物研发的未来具有深远的影响。通过使用这些带有日期且无泄漏的数据集，研究人员可以停止构建那些仅仅是在记忆科学史的模型，转而开始构建真正理解疾病生物学的模型。该数据集并不保证明天就能发现一种新药，但它确保了用于寻找药物的工具不会欺骗它们自己。它提供了一种方法，用来区分什么是真正的生物学信号，什么是仅仅反映研究关注度的信号。在这样一个风险极高且数据庞杂的领域，这种清晰度是最有价值的工具。研究人员并没有解决寻找新药的问题，但他们为这段旅程构建了一个更好的指南针，这个指南针指向的是真北，而不是那些其他旅行者已经踏足过的地方。