Reference-cell design shapes model evaluation in single-cell perturbation prediction

在人体内的微观世界中，细胞一直在倾听它们所处环境的声音。当病毒入侵或基因被关闭时，细胞的内部机制会改变其行为，重写它所携带的指令以求生存。科学家们已经开发出强大的计算机模型，能够在实验室发生变化之前对其进行预测。通过模拟细胞对新药物或基因微调的反应，研究人员希望能够设计出更好的治疗方案，并在无需承担物理实验的时间和成本的情况下理解疾病。为了知道这些计算机模型是否可靠，科学家会将它们的预测结果与现实世界的数据进行对比。他们对细胞进行处理，测量其基因发生了怎样的变化，并观察计算机是否预测正确。多年来，进行这种检查的标准方法是使用一组特定的未处理细胞作为基准，即一个“对照组”，用以衡量正常状态与改变状态之间的差异。

来自哈利法大学（Khalifa University）和帕维亚大学（University of Pavia）的一个研究小组最近发现，这些对照细胞的选择和分配方式可以完全颠覆这些对比的结果。他们发现，仅仅将相同的对照细胞从一个角色转移到另一个角色，就能让一个看起来像赢家的模型突然变成输家，反之亦然。这种情况的发生，既没有改变计算机模型本身，也没有改变用于评分的数学规则，更没有改变实际的生物学数据。研究人员表明，选择哪些细胞作为基准不仅仅是一个微小的技术细节，它是塑造结果的实验基本组成部分。如果科学家没有明确说明他们是如何分配这些对照细胞的，那么他们关于哪个计算机模型最好的结论可能是偶然的，而非真实的。

这项研究聚焦于一种被称为单细胞 RNA 测序（single-cell RNA sequencing）的特定生物数据类型，它可以读取单个细胞的遗传活动。在这些实验中，研究人员通常拥有大量的健康、未处理的细胞。他们使用其中一些细胞来教计算机模型什么是正常细胞，另一些作为计算变化的基准，还有一些则用于验证最终结果。该团队选取了八个不同的计算机模型家族，并在暴露于流感病毒的人类血细胞数据以及接受各种信号分子处理的细胞数据上进行了测试。他们创建了一个严谨的测试框架，可以在其中对同一池对照细胞进行角色轮换。在一种情景中，同一组细胞同时扮演了老师、基准和验证者的角色；而在另一种情景中，他们将这池细胞拆分，让三个完全不同的群体分别承担这三项工作。

当研究人员进行这些测试时，他们发现模型的排名取决于如何对细胞进行轮换，其变化非常剧烈。在涉及流感感染血细胞的一组实验中，他们发现，将对照细胞拆分为不同组别，会导致二十八次模型间比较中的十次出现结果逆转。这意味着，在一种安排下，模型 A 明显优于模型 B；但在使用完全相同的模型和数据、仅改变排列方式的另一种安排下，模型 B 却成为了明显的赢家。研究人员推导出了一个精确的数学关系，表明当对照细胞组之间的差异大到足以克服模型之间的微小误差时，就会发生这种逆转。这并不是说模型是错误的，而是说测试本身对于使用哪种细胞作为参考点非常敏感。

这一发现的影响不仅限于挑选最好的软件。研究表明，对照细胞的选择也会改变模型所讲述的生物学故事。当研究人员使用不同的对照分配来选择最佳模型时，关于药物处理后哪些基因会开启或关闭的预测结果往往指向相反的方向。在某些情况下，使用一组对照选出的模型预测某种免疫反应会很强，而使用另一组对照选出的模型则预测了相反的结果。这表明，从这些模型中得出的生物学见解并非固定不变的真理，而是受到测试设计的影响。研究人员还观察了这些选择如何影响统计置信度。他们发现，当独立样本数量较小时，标准的统计检验可能会给出误导性的结果，使得很难判断一个模型是真的更好，还是仅仅由于噪声造成的差异。

为了解决这个问题，该团队开发了一个名为 Refara 的工具，它充当了这些实验的审计员。Refara 不仅仅是选择一种分配对照细胞的方式然后继续，它还会检查结果在许多种可能的分配方式下的稳定性。它将由模型实际预测引起的改变与由得分计算方式引起的改变区分开来。该工具帮助研究人员识别哪些模型间的比较是稳健的，哪些是脆弱的。如果一个模型仅仅因为特定的、或许是武断的对照细胞选择而获胜，Refera 会将其标记为不稳定。研究人员在大量的遗传实验筛选中测试了这个工具，发现许多结果中的首选方向在不同的对照分配下并不稳定。只有一小部分结论在对对照细胞进行轮换后依然成立。

论文指出，对照细胞的分配应该被视为实验规范的关键部分，就像选择模型或用于评分的指标一样。正如科学家会报告实验的温度或压力条件一样，他们现在必须准确报告对照细胞是如何分配的。这项研究并不是说计算机模型是无用的，或者我们无法预测细胞行为。相反，它提供了一条更清晰的前行之路。通过承认参考细胞的选择至关重要，科学家可以设计出更可靠的基准。他们可以确保他们信任的模型是那些无论使用哪种特定的细胞作为基准都能表现一致的模型。这有助于实现更具可重复性的科学研究，并为未来的医学发现提供更值得信赖的预测。

研究人员还探讨了对照组的大小如何影响这些结果。他们发现，使用更大的对照细胞组虽然减少了排名的波动，但并未完全消除问题。即使有大量的细胞，如何将它们划分为不同的角色仍然可能左右天平。这凸显了该问题是结构性的，而不仅仅是数据量的问题。研究还检查了实验中“独立单元”的定义如何发挥作用。在某些数据集中，来自同一捐赠者或同一批次的细胞以某种方式相互关联，使得它们看起来并不像实际那样独立。将它们视为独立个体而不顾及事实，会夸大结果的置信度，使一个微弱的发现看起来非常强有力。团队展示了，为了避免得出错误结论，必须对这些结构性细节保持细致的关注。

最终，这项工作提醒我们，在复杂的科学领域中，测量方法与被测量物本身同样重要。研究人员证明，实验设计的一个简单改变——将相同的细胞重新分配到不同的角色——就可以彻底扭转关于哪个计算机模型更优越的叙事。这并不意味着该领域已经崩溃，而是意味着它一直是在一个未被追踪的隐形变量下运行。通过将这个变量带入公众视野并提供衡量其影响的工具，这项研究允许科学界建立更稳固的基础。目标不是寻找一个在任何情况下都完美的单一模型，而是理解任何模型在何种条件下是可靠的。这种清晰度对于将计算机预测转化为现实世界的医学进步至关重要，能确保基于这些模型所做的决策是建立在稳定且被充分理解的基础之上的。