🧬 biology

Beyond Accuracy: Benchmarking the Reproducibility and Robustness of Single-Cell Embeddings

本文介绍了 BioBench，这是一个通过生物稳定性评分（Biological Stability Score）挑战“可复现性与模型类别相关”这一假设的框架，该评分证明了算法求解器而非方法是线性还是深度，才是单细胞嵌入稳定性的主要决定因素。

原作者： Advika Jain

发布于 2026-09-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Advika Jain

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

在我们体内微观世界的细胞中，每个细胞都携带一份由基因编写的独特指令手册。几十年来，科学家只能读取一群细胞这些手册的平均值，从而错失了那些让一个细胞成为感染对抗者、而另一个成为组织构建者的细微差异。如今，一种被称为单细胞测序的技术让研究人员能够读取单个细胞的手册，揭示了定义健康与疾病的隐藏多样性景观。为了理清数百万个此类独立读数的含义，科学家使用计算机程序将复杂的数据压缩成更简单的地图，即嵌入（embeddings）。这些地图将相似的细胞聚集在一起，帮助研究人员识别新的细胞类型或追踪疾病如何进展。然而，长期以来一直有一个沉默的假设在引导着这个领域：即简单、传统的数学方法是可靠且稳定的，而更新、复杂的人工智能模型则容易产生波动并改变主意。

一项新的研究挑战了这一假设，提出了一个根本性的问题：如果你对同一份数据进行两次相同的分析，能否得到完全相同的地图？研究人员 Advika Jain 构建了一个名为 BioBench 的测试框架，用于衡量这种稳定性。他们选取了五种不同的计算机方法——从经典的数学技术到现代的深度学习模型——并在三组大规模人类细胞数据上进行了运行。研究不仅检查了地图是否准确，还测量了当计算机被要求仅仅是从一个不同的随机起点重新开始，或者当数据以一种现实的方式被轻微调整时，地图会发生多大的偏移。其目标是查明，是否仅通过了解一个方法是“旧”的还是“新”的，就能预测其可靠性。

结果揭示了一个令人惊讶的现实。那种认为简单方法总是稳定而复杂方法总是摇摆不定的观点被证明是错误的。研究发现，复现性存在于一个横跨新旧分野的广泛光谱之上。一种被称为非负矩阵分解的经典简单方法，被发现与测试的最复杂的深度学习模型一样不稳定。当研究人员多次运行这两种方法时，它们生成的地图发生了显著偏移，有时甚至改变了细胞的分组方式，从而可能改变生物学结论。事实上，深度学习模型并不是最糟糕的破坏者；在某些情况下，它甚至比经典方法更稳定。

这项研究最具有启发性的部分来自于对两种在理论上看起来几乎完全相同的方法的直接比较：一种是标准的数学技术，称为 PCA；另一种是稍微快一点的版本，称为截断 SVD（Truncated SVD）。这两种方法执行的任务基本相同，都是简化数据，并且都生成了质量近乎相同的地图。然而，当研究人员一次又一次地运行它们时，标准方法每次都产生完全相同的地图，而较快的版本在每次新运行中都会显著改变其输出。它们之间的唯一区别在于用于进行计算的特定计算机算法，即“求解器”（solver）。一个使用了精确的、循序渐进的计算，而另一个则使用了随机化的快捷方式来节省时间。这证明了结果的稳定性并不取决于方法是简单还是复杂，而是取决于计算机被指示解决问题时的具体方式。

研究人员还发现，稳定性并不是一种方法的固定特征；它会随着所分析数据的不同而变化。一种在某组血液细胞上高度稳定的方法，在分析来自不同器官的细胞集时可能会变得相当不稳定。这意味着科学家不能仅仅因为某种方法在之前的研究中表现良好就信任它；他们必须针对自己的特定数据来测量稳定性。该研究引入了一个新的评分——生物稳定性评分（Biological Stability Score），用以量化这一指标。当应用于结果时，该评分显示，对于某些方法而言，仅仅通过重启计算机所引起的改变是如此之大，以至于它们可以掩盖或伪造真实的生物效应。例如，在其中一个数据集中，从分析中移除一部分细胞对深度学习模型造成的地图变化，并不比仅仅重启模型所造成的改变更大，这意味着这种变化与随机噪声是无法区分的。

最终，这项研究认为科学界需要改变评估这些工具的方式。仅有准确性是不够的；一个方法还必须被证明是具有可复现性的。作者建议，未来的每一次基准测试都应该在报告其准确性得分的同时，报告一个“噪声底线”（noise floor）——即测量该方法的结果在多次运行时产生多少“晃动”。这将使研究人员能够区分出真正的生物学发现，与由计算机随机起点引起的偶然现象。通过将其测试框架作为一种开放工具发布，研究人员希望使这一做法成为标准实践，确保引导我们理解人类生物学的地图不仅是准确的，而且是稳固且可靠的。

技术摘要：超越准确度：单细胞嵌入（Embeddings）的可复现性与鲁棒性基准测试

问题陈述

单细胞 RNA 测序（scRNA-seq）分析高度依赖于低维表示（即嵌入），用于细胞聚类、细胞类型注释和批次集成等任务。目前，这些模型的评估几乎完全集中在预测准确度上。在量化可复现性方面存在一个关键空白：即当偶然细节（如随机种子或合理的预处理扰动）发生变化时，模型学习到的表示是否保持稳定。

该领域一直存在一种隐含假设，即可以根据方法的类别来推断其可复现性：认为经典的线性方法本质上是可复现的，而深度随机方法则不然。本研究挑战了这一假设，认为可复现性是特定算法及其求解器实现（solver implementation）的属性，而非模型类别（线性 vs 深度）的属性。如果不对“重跑噪声底线”（re-run noise floor）进行测量，基准测试可能会将方差误报为信号，从而导致不可靠的生物学结论。

方法论

作者引入了 BioBench，这是一个开源的、具有溯源追踪能力的框架，旨在标准化流程下测量嵌入的稳定性。本研究重点关注三个维度的可复现性，结果针对鲁棒性（Q2）和重跑一致性（Q3）进行了报告。

1. 实验设计

数据集： 使用了三个公开的人类数据集：PBMC 10k、PBMC 68k（降采样）和 Tabula Sapiens（降采样）。所有数据都经过了一个统一的标准预处理流程（Scanby），包括质量控制、库大小归一化、log1p 转换以及前 2,000 个高变基因（HVGs）的选择。
评估的方法： 选择了五种在 CPU 上可运行的方法，以解耦模型类别与可复现性：
- PCA： 确定性线性分解（精确 SVD 求解器）。
- ICA： 随机线性方法（带有随机初始化的 FastICA）。
- TruncatedSVD： 随机线性方法（随机化求解器）。
- NMF： 随机线性方法（非负矩阵分解）。
- scVI： 随机深度生成模型（变分自编码器）。
扰动： 为了测试鲁棒性，在标准流程之前对原始计数应用了三种类型的扰动：
- 基因丢弃（Gene Dropout）： 将随机比例的非零项设为零（保留计数结构）。
- 细胞降采样（Cell Subsampling）： 按细胞类型进行不放回抽样（保留计数结构）。
- 加性高斯噪声（Additive Gaussian Noise）： 向条目添加噪声（不保留计数结构；用作最坏情况下的压力测试）。
重跑协议： 每种方法和条件都在三个独立的随机种子（0, 1, 2）下执行，以建立每个方法、每个数据集的噪声底线。

2. 指标

生物稳定性得分（BSS）： 一种基于模型无关方式量化表示稳定性的新指标。它是以下各项的凸组合：
- 邻域保留度（50%）： 基准嵌入与变体嵌入之间 $k=15$ 个最近邻的平均 Jaccard 重叠度。
- 聚类保留度（30%）： Leiden 分区的调整兰德指数（ARI）。
- 标签稳定性（20%）： 保留分配细胞类型标签的细胞比例（仅针对已注释的数据集）。
- 得分范围： [0, 1]，其中 1 表示完美保留。
决策规则： 只有当产生的 BSS 严格低于该方法的重跑噪声底线（ $BSS_{perturbed} < F_{noise}$ ）时，扰动才被视为产生了“真实效应”。如果 BSS 高于该底线，则该变化与种子引起的噪声无法区分。
正确性指标： 在已注释的 Tabula Sapiens 数据集上，使用了标准指标（ARI, NMI, 细胞类型准确度, macro-F1, kBET, iLISI, cLISI）以确保在衡量稳定性时并未以牺牲准确度为代价。

关键结果

1. 可复现性是一个连续谱，而非二元对立

与“线性方法可复现而深度方法不可复现”的假设相反，可复现性呈现出一个广泛的连续谱，且无法通过模型类别进行预测：

完全可复现： PCA（在所有数据集上 BSS = 1.000）。
近乎确定性： ICA（BSS 介于 0.874–1.000）。
高度依赖数据集： TruncatedSVD（BSS 介于 0.380–0.855）。
显著不可复现： NMF（BSS 介于 0.325–0.550）和 scVI（BSS 介于 0.258–0.526）。
关键发现： NMF（一种经典的线性方法）与 scVI（一种深度生成模型）一样具有不可复现性。

2. 求解器（Solver）是决定因素

通过对比 PCA（精确 SVD 求解器）和 TruncatedSVD（随机化求解器）的配对实验：

质量： 两种方法在下游准确度方面产生的表示几乎相同（Tabula Sapiens ARI 分别为 0.587 vs 0.585；细胞类型准确度一致）。
可复现性： 它们的重跑稳定性差异巨大。在 PBMC 10k 上，PCA 达到了 1. 000，而 TruncatedSVD 仅为 0.525（BSS 差距为 0.475）。
结论： 这种差距完全归因于求解器（确定性 vs 随机化），而非模型族或表示内容。

3. 噪声底线具有数据集依赖性

同一方法的重跑噪声底线在不同数据集之间差异显著。例如，TruncatedSVD 的 BSS 在 PBMC 68k 上为 0.380，而在 Tabula Sapiens 上为 0.855。这表明噪声底线不能被假设或在数据集间迁移，必须针对每个实验进行测量。

4. 鲁棒性与可复现性不相关

一种方法对数据扰动的鲁棒性并不能预测其在重跑中的可复型性。

ICA 具有高度的可复现性，但在不同数据集下表现出不同的鲁棒性。
scVI 比 ICA 的可复现性差，但在某些数据集上比 NMF 更具鲁棒性。
准确度 vs 可复现性： 方法按准确度排序的顺序（如 PCA ≈ SVD > ICA > scVI > NMF）与按可复现性排序的顺序并不匹配。

5. 噪声底线的应用

应用决策规则后发现，一些表观上的“扰动效应”实际上与种子引起的噪声无法区分。例如，在 Tabula Sapiens 上，对 scVI 进行 30% 的细胞降采样并不会使表示产生比单纯重新训练模型更明显的移动（BSS 仍高于噪声底线）。相反，同样的扰动作用于 NMF 时，则产生了真实效应（BSS 跌破了底线）。

意义与主张

本文认为，可复现性是一个一等公民的评估维度，必须与准确度一同在单细胞基准测试中报告。

反驳“类别启发式”： 本研究提供了直接证据，证明无法通过方法是线性还是深度来推断其可复现性。基于“线性 = 可复现”假设进行选择的从业者，可能会在无意中选择了一个高度不稳定的方法（如 NMF），或错过了一个稳定的方法（如 ICA）。
求解器选择至关重要： 求解器的选择（精确 vs 随机化）是一个关键的设计决策，它对可复现性的影响比模型架构本身更大。计算速度（随机化求解器）与精确可复现性之间的权衡是显性且可衡量的。
具有操作性的框架： BioBench 提供了测量“重跑噪声底线”的基础设施。作者声称，如果不进行此类测量，基准测试将无法区分真实的生物学效应与随机初始化的伪影。
研究范围限制： 作者承认了局限性，包括仅使用了三个种子（限制了置信区间的精度）、由于计算限制未包含基于 GPU 的基础模型（如 scGPT, Geneformer），以及使用高斯噪声作为非计数原生（non-count-native）的压力测试。其结论严格限定在所测试的 CPU 可行方法（PCA, ICA, SVD, NMF, scVI）范围内。

总之，本文得出结论：可复现性是求解器及其对随机性使用的属性，而非模型类别的属性，且每一次单细胞基准测试都应报告每个数据集的重跑噪声底线，以确保生物学解释的可靠性。