Method Choice, Not Biology, Determines In Silico Perturbation Results: A Systematic Evaluation of Eight Methods Across Four Datasets

技术摘要：决定 in silico 扰动结果的是方法选择，而非生物学本质

问题陈述
目前的 in silico（计算机模拟）单细胞转录组扰动方法面临一个关键的验证鸿沟：它们通常仅在单个数据集上进行基准测试，导致其可靠性、泛化能力以及恢复真实因果信号的能力未知。这种缺乏系统性跨方法和跨数据集评估的情况，使得人们难以判断观察到的生物学结论究竟是由潜在的生物学驱动，还是由特定的算法选择所导致的伪影。

研究方法
作者进行了一项系统性的基准测试研究，评估了八种不同的 in silico 扰动方法。这些方法涵盖了六种不同的数学框架，并在四个多样化的数据集上进行了测试。评估策略包括：

• 跨方法与跨数据集基准测试： 比较不同生物学背景下的性能一致性。
• 信号检测分析： 评估方法检测转录因子（TF）到通路方向性调节的能力，特别关注 TF 到糖酵解（glycolysis）的信号。
• 生物学相干性检查： 分析 PBMC 单核细胞中的 TF-通路关联，包括针对特定对（例如 SPI1 到糖酵解，FOS 到 AP-1 靶点）的富集测试，并使用 SOX9 作为通路特异性的负对照。
• 相关性与排名一致性： 测量方法排名之间的相关性，以识别可能导致生物学结论反转的反相关结果。
• 实验验证： 将预测结果与 K562 细胞的 CRISPRi Perturb-seq 数据进行验证，具体比较了基因（如 JUN、CEBPB、SPI1 和 FOS）的预测扰动方向与实验敲低结果。
• 诊断性失效模式分析： 利用 VAE 潜空间剖析、相关分布比较和基因-基因图分析，精准定位表现不佳方法的特定技术失效原因。
• 消融实验： 测试将基因调控网络（GRN）先验引入 DDIM 方法是否能提高目标召回率。

关键结果

• 现有方法的广泛失效： 在评估的八种方法中，包括广泛使用的基于变分自编码器（VAE）的方法和张量分解方法在内的六种方法，均未能产生可检测到的 TF-到-通路信号。
• 有限的成功： 只有 CellOracle 和 DDIM 一致地检测到了 TF 到糖酵解的方向性调节。虽然这两种方法在初始基准测试中取得了成功，但 CellOracle 的预测在随后的实验验证中失败了。
• 方法依赖型结论： 仅靠方法的选择就能反转生物学结论。例如，DDIM 和 scTenifoldKnk 产生的排名呈现显著的反相关性（$\rho = -0.811$，$p = 0.027$）。
• 验证差异： 虽然 CRISPRi Perturb-seq 证实了 TF 敲低会抑制糖酵解基因表达（例如 JUN $\delta = -1.72$，SPI1 $\delta = -1.57$），但 CellOracle 预测的扰动方向与实验方向的一致性仅为 40.9%，这一比例与随机水平并无显著差异。这凸显了稳态相关性与因果扰动推理之间存在的根本差距。
• 识别出的失效模式： 诊断分析揭示了方法失效的具体原因：
  • VAE 潜空间竞争： 信噪比过低（例如 STAT3 的信噪比为 0.44，而 SPI1 为 4.25）。
  • 相关性噪声： TF-糖酵解的相关性（$|r|=0.038$）与背景噪声（$|r|=0.047$）无法区分。
  • 图非特异性： 富集因子低至 0.84 倍。
• 消融研究发现： 向 DDIM 添加 GRN 先验并未提高目标召回率（所有 TFs 的 $\delta = 0$），这证实了性能差异是多因素驱动的，不能仅通过整合先验来解决。

核心贡献

• 系统性基准测试： 该研究提供了首次对八种 in silico 扰动方法进行的跨方法、跨数据集评估，超越了单一数据集的验证。
• 方法偏差的经验证据： 本文证明了方法选择是结果的主要决定因素，能够产生相互矛盾的生物学叙事。
• 诊断框架： 引入了特定的诊断工具（潜空间剖析、相关分布比较、图分析），用以识别特定方法在特定背景下失效的原因。
• 验证差距的识别： 该工作明确量化了基于稳态相关性的预测与实验扰动结果之间的脱节。

意义与指导
本文确立了从 in silico 扰动中得出的生物学结论高度取决于所选算法，而非纯粹反映生物学真相。因此，作者提供了初步的、基于数据的决策指导，以减轻这些风险。该指导包括：

• 实施跨通路验证。
• 采用具备方向感知能力的基准测试协议。
• 遵循最低数据要求以确保鲁棒的信号检测，特别建议使用 $\ge$500 个细胞 且 $\ge$1,000 个高变基因（HVGs） 的数据集。

这些发现强调了在依赖计算扰动结果进行生物学推断之前，进行严格、多维度验证的必要性。