Genetic Perturbation Prediction Models Fail Out-of-Distribution: A Rigorous Benchmark and Systematic Evaluation

想象一个科学家可以预测活细胞对特定遗传变化如何反应，而无需在实验室中进行实际实验的世界。这就是“虚拟细胞”模型的承诺——这些计算机程序旨在模拟开启或关闭基因所产生的影响。在现实世界中，研究人员使用强大的工具逐一禁用基因，然后测量由此产生的细胞活动变化，这一过程缓慢、昂贵且难以规模化。如果计算机能够准确预报这些结果，它将成为一个巨大的捷径，让药物开发人员能在极短的时间内筛选数千种潜在的治疗方案。多年来，该领域一直致力于构建这些模型，许多研究人员押注于更复杂的人工智能系统最终将掌握这项任务。

然而，一项新的研究表明，当前这一代的模型未能通过一项关键测试。这项工作的背后团队来自 Elucidata Corporation，他们旨在探究这些计算机程序究竟是在学习生命的生物学规则，还是仅仅在记忆它们所摄取数据的模式。他们发现，虽然这些模型在标准测试条件下表现良好，但当被要求预测从未见过的基因的影响时，它们就会崩溃。研究显示，即使是最先进的模型，包括那些基于最新基础技术的模型，也并不比简单的算法更有优势。这些程序并没有理解细胞底层的运作机制，本质上是在根据与过去案例的相似性进行猜测，这种策略在面对全新的、陌生的生物学场景时就会失效。

要理解为什么这很重要，首先必须理解挑战的本质。当科学家研究基因时，他们观察的是当特定基因被移除时，细胞内部指令的变化情况。在典型的实验中，他们可能会在一种类型的细胞中测试数百个基因。计算机模型的目标是从这数百个例子中学习，然后预测如果移除一个不同的、它从未遇到过的基因会发生什么。这是一项艰巨的任务，因为基因与效应之间的关系并不总是显而易见的；它取决于细胞内复杂的相互作用网络。测试这些模型的标准方法是随机拆分数据，给计算机一些基因进行学习，再留出一些基因用于预测。问题的在于，这些“新”基因在生物学上往往与计算机已经知道的基因非常相似。这就像要求一名学生参加考试，而考试题目只是他们学习过题目的微小变体。学生可能获得满分，并不是因为他们理解了学科知识，而是因为他们识别出了模式。

由 Kanupriya Tiwari 及其同事领导的研究团队决定改变游戏规则。他们引入了一种名为 EL-PERTURB 的新测试框架，旨在压力测试下这些模型在现实条件下的表现。他们不再采用随机拆分，而是根据基因如何实际影响细胞行为来进行分组。然后，他们强迫模型去预测来自完全不同组别的基因的影响，确保测试基因在功能上与训练基因具有显著差异。这种设置模拟了现实世界中的场景：药物开发人员需要预测一个从未被研究过的基因的效果。他们测试了二十种不同的模型，从简单的统计工具到复杂的深度学习系统，包括那些利用大规模预训练生物数据库构建的模型。他们在四种不同的人类细胞系数据上运行了这些测试，涵盖了对细胞生存至关重要的必需基因，以及全基因组筛选中发现的更广泛的一组基因。

结果是显著且一致的。当模型在与训练数据相似的基因上进行测试时，它们的表现尚可，证实了它们能够进行插值（即在已知示例之间填补空白）。但当研究人员应用新的、更严格的测试，即针对功能迥异的基因进行测试时，所有模型的性能都大幅下降。那些复杂的模型，包括先进的神经网络以及基于海量生物文本和数据训练的基础模型，表现并没有更好。事实上，在某些情况下，简单的基准模型反而表现得稍好一些。研究发现，最先进的架构在处理这些新的、未见的生物学情况时，并没有提供可靠的优势。这些模型并未学习基因控制细胞的因果逻辑，而仅仅是在从一个记忆中的相似案例邻域中检索答案。

研究人员还调查了使用多种细胞类型的数据是否能帮助模型更好地泛化。他们发现，只有当不同细胞类型之间的生物学反应高度相似时（例如触发共同应激反应的必需基因），这种方法才有效。然而，当他们转向涉及更加多样化且混乱的生物反应的全基因组筛选时，使用多种细胞类型的优势便完全消失了。在这些复杂场景下，模型无法有效地转移知识，而最成功的预测器往往是最简单的，例如基础回归工具，或者依赖于检索已知生物学事实而非从数据本身学习的方法。这表明瓶颈不在于模型的设计，而在于数据的性质以及缺乏对驱动细胞行为的因果机制的真正理解。

另一项关键发现涉及“基础模型”的使用，即在海量遗传信息数据集上进行预训练的大型人工智能系统。许多研究人员曾希望这些学习了通用生物学模式的系统能为预测特定基因效应提供领先优势。研究人员测试了从这些基础模型中提取的嵌入（即基因的数字表示），并将其与基于精选生物知识构建的表示进行对比。结果显示，基础模型的嵌入并没有比精选知识提供任何改进。在某些配置下，它们甚至使预测效果变得更差。这表明，当前这一代大型模型尚未编码预测细胞对遗传变化如何反应所需的特定因果信息，至少在超越更简单、更直接的生物学知识来源方面还做不到这一点。

研究结论指出，该领域高估了这些模型的能力，因为标准的测试方法过于简单。通过依赖随机拆分和充足的训练数据，以往的基准测试使得模型通过插值而非真正的外推来取得成功。作者认为，为了向前迈进，该领域必须采用更严格的评估标准，迫使模型面对真正的生物学挑战。他们提出，未来的模型必须超越模式匹配，开始编码生物学的实际因果结构，理解扰动是如何通过相互作用网络传播并产生特定结果的。在此之前，实现一个能够可靠替代湿实验的“虚拟细胞”的承诺仍然遥不可及，而预测遗传效应最有效的工具，可能依然是那些在追求复杂性的热潮中被忽视的、更简单且透明的方法。