Building computational benchmarks: an Omnibenchmark reimplementation of a single-cell preprocessing pipeline evaluation
本文提出了 Omnibenchmark，一个可复现且标准化的框架，旨在统一单细胞 RNA 测序预处理流程的评估，以解决现有基准测试中的不一致问题，并促进更灵活、更具扩展性的方法比较。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
在过去的十年中，科学家们开发出了一种读取单个细胞内遗传指令的方法，而不是仅仅通过混合在一起的一百万个细胞的信号进行平均。这一转变改变了我们对生物学的理解，揭示了组织并非均匀的组织块，而是由具有各自功能的独特细胞类型组成的复杂马赛克。为了理解这些实验产生的海量数据，研究人员依赖于计算机程序来清理原始数字、组织它们并将相似的细胞归为一类。这些程序通常被称为流水线（pipelines），是必不可少的工具。然而，由于现在有数百种不同的软件包可用，每种软件在处理数据时都会做出略有不同的选择，这使得研究人员很难知道哪种工具最适合特定的工作。一个程序对细胞的分组方式可能与其他程序不同，这并不是因为生物学发生了变化，而是因为软件处理数学逻辑的方式不同。由于缺乏清晰的比较方法，研究人员面临着基于特定程序的特性而非他们所研究的细胞真实情况来得出结论的风险。
苏黎世大学和瑞士生物信息学研究所的一个研究小组决定通过建立一个标准化的测试平台来解决这种困惑。他们利用了一项现有的对比五种流行单细胞数据分析流水线的研究，并从头开始对其进行了重建，使其更加严谨、透明且可重复。他们的目标不仅是看哪个程序运行得最快或最准确，而是要创建一个可以被更广泛的科学界轻松更新和扩展的框架。他们重点研究了五种主要的流水线：Seurat、Scrapper、OSCA、Scanpy 和 Rapids。这些工具执行相同的任务：过滤低质量数据、选择最具信息量的基因、将数据的复杂度降低为更简单的形式，最后将细胞分组为簇。研究人员在包含数千个细胞的三个不同数据集上运行了这些流水线，并在广泛的设置范围内进行测试，以观察软件配置的微小变化如何影响最终结果。
该团队发现，这些流水线的速度和准确性会根据用户做出的具体选择而发生显著变化。例如，运行分析所需的时间受所选特征数量以及连接相似细胞的图复杂度影响很大。某些流水线（特别是那些设计用于在专用图形处理器上运行的流水线）比其他流水线快得多，但这种速度并不总是能保证更好的准确性。事实上，研究人员发现，没有任何一个单一的流水线能在所有数据集中都表现最佳。在一个实验中擅长对细胞进行分组的工具，在面对另一个数据集时可能会遇到困难。这种不一致性凸显了“最佳”工具并不是一个固定的答案，而是取决于特定的数据和所选的参数。最重要的发现之一是，不同软件包处理名为“分辨率”（resolution）的关键参数的方式并不一致。由于这些工具对该设置的解读不同，很难对它们进行公平的比较。为了解决这个问题，研究人员调整了他们的基准测试，将其重点放在实际产生的细胞组数量上，而不是用于创建它们的抽象设置上，从而确保了更直接的比较。
除了对工具进行排名之外，这项研究还表明构建基准测试本身的过程也需要改变。研究人员展示了通过标准化数据输入程序的方式以及收集结果的方式，实现自动运行数百个实验变体是可能的。他们发现，即使是软件版本或底层计算机硬件的微小差异也会改变结果，有时甚至会导致严重的错误。例如，当他们测试某个特定软件包的更新时，注意到性能突然下降，其原因可以追溯到程序解决数学问题方式的细微变化。这表明，软件工具需要进行持续测试，就像汽车模型在不同条件下进行测试一样，而不是仅仅在发布时测试一次。研究人员还指出，虽然有些工具声称使用多核计算来加速处理，但它们并不总能达到预期的增益，这表明仅仅拥有某项功能并不意味着效率是有保障的。
这项工作的终极价值在于该团队创建的框架，他们称之为 Omnibenchmark。这个系统允许其他科学家在无需从头开始重建整个实验的情况下，接入新的数据集、新的软件或新的衡量成功的方法。通过使代码、数据和软件环境保持开放且易于修改，研究人员为计算生物学如何向前发展提供了一个模板。该领域不再是进行难以复制的孤立研究，而是可以建立一个随着技术进步而不断演变的共享、活性的基准库。研究结论指出，虽然不存在适用于所有情况的完美流水线，但拥有一个标准化、透明的方法来评估它们，可以让整个领域做出更明智的选择。它将混乱的可用工具景观转变为一张可导航的地图，使每种方法的优势和劣势都清晰可见，从而帮助科学家专注于生物学本身，而非软件。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。