scprocess: a pipeline for processing, integrating and visualising atlas-scale single cell data

本文介绍了 scprocess，这是一个专为 10x Genomics 技术生成的百万级单细胞数据而设计的 Snakemake 自动化流程，旨在通过统一的命令行接口解决大规模数据集在管理、效率及可重复性方面的挑战，实现从原始测序文件到标准化分析结果的端到端处理。

要点

想象一下，你是一位城市人口普查员。

过去，你只需要统计一个街区的几百人（传统的单细胞测序）。但现在，技术突飞猛进，你突然要统计整个大都会区，甚至整个国家的几百万人（所谓的“图谱级”单细胞研究）。

面对如此庞大的人口数据，传统的记账本（普通分析软件）根本记不过来：

1. 数据量太大：电脑内存会爆，硬盘会满。
2. 流程太乱：每个人统计的方法不一样，有的用铅笔，有的用钢笔，有的甚至用算盘。最后没人知道这份报告是怎么算出来的，想复查都找不到线索。
3. 噪音太多：人群中混杂着很多“幽灵”（空液滴）和“回声”（环境中的游离 RNA），很难分清谁是真的居民，谁是背景噪音。

《scprocess》这篇论文，就是为了解决这些混乱而诞生的“超级人口普查自动化流水线”。

下面用几个生动的比喻来解释它的核心功能：

1. 它是全自动的“智能工厂” (Pipeline & Automation)

以前的分析就像让一群工匠手工组装汽车，每个人拧螺丝的力度都不一样。
scprocess 则像是一条高度自动化的汽车流水线。你只需要把原材料（原始测序数据）扔进传送带，设定好参数（比如要生产什么型号的车），它就能自动完成从切割、焊接到喷漆的所有步骤。

• 好处：不管谁来操作，生产出来的车（分析结果）都是一模一样的，完全可重复，而且速度极快。

2. 它是高效的“分拣员” (Read Alignment & Quantification)

原始数据是一堆乱码，需要把它们对应到具体的“基因”上。
以前的工具（如 Cell Ranger）像是一个慢吞吞的老会计，虽然算得准，但处理几百万条数据时，算到一半电脑就死机了。
scprocess 换用了超级计算器（simpleaf/alevin-fry）。它不需要把每个零件都拆开看（全基因组比对），而是通过“指纹识别”（伪比对）快速知道这个零件属于哪辆车。

• 比喻：就像在机场安检，以前要打开每个行李箱检查（慢且费电），现在用 X 光机扫一眼（快且省电），瞬间就能知道里面有没有违禁品。

3. 它是敏锐的“排雷专家” (Cell Calling & Ambient RNA)

在单细胞实验中，很多液滴里其实没有细胞，只有细胞破裂后流出来的“汤汁”（环境 RNA）。

• 旧方法：容易把“汤汁”误认为是“人”，或者把真正的“人”漏掉。
• scprocess 的做法：它提供了两种“排雷”策略。
  • 重型排雷（CellBender）：像用精密的雷达扫描，非常准，但需要强大的显卡（GPU）支持，耗时较长。
  • 轻型排雷（DecontX）：像用金属探测器，速度快，普通电脑就能跑，适合大多数情况。
    它能精准地把“真居民”和“背景噪音”区分开，确保后续分析不会受到干扰。

4. 它是严格的“质检员” (Quality Control)

并不是所有收集到的人都是健康的。有些细胞可能已经“死”了，或者被压坏了。
scprocess 会检查每个人的“体检报告”：

• ** mitochondria（线粒体）比例**：如果一个人身体里全是线粒体，可能意味着细胞膜破了（就像一个人只剩骨架）。
• 双细胞检测（Doublets）：有时候两个细胞粘在一起被当成一个了。scprocess 会像侦探一样，通过算法找出这些“双胞胎”并剔除，防止它们混淆视听。

5. 它是聪明的“地图绘制师” (Integration & Clustering)

当你把几百万人聚在一起时，他们来自不同的城市（样本），有不同的口音（批次效应）。如果不处理，大家会因为口音不同而聚在一起，而不是因为职业或性格。
scprocess 会先进行**“翻译”和“对齐”**（Integration），消除口音差异，让大家因为“本质”聚在一起。

• 创新点：它有两种模式。普通模式像步行（CPU），稳健但慢；高级模式像开跑车（GPU/RAPIDS），利用显卡加速，能把原本需要几天的聚类分析缩短到几小时。

6. 它是严谨的“统计学家” (Marker Gene & Annotation)

最后，我们要给这群人贴上标签（比如：这是医生，那是老师）。
以前的方法往往把每个人当成独立的个体去统计，容易出错。
scprocess 采用了**“群体代表制”**（Pseudobulk）：它不是看张三李四，而是把同一个小区（样本）里的人汇总起来看。这样得出的结论更科学、更不容易被偶然因素误导。
它还能自动参考“名人录”（已有的大型细胞图谱数据库），利用 AI 模型自动给细胞贴上“大脑神经元”或“免疫细胞”的标签。

总结

scprocess 就像是一个为大数据时代量身定做的“单细胞数据瑞士军刀”。

它把原本复杂、昂贵、容易出错的单细胞分析过程，变成了一个标准化、可重复、且能处理海量数据的自动化流程。对于想要探索生命奥秘的科学家来说，它不再需要担心电脑死机或结果无法复现，可以专注于从数据中发现真正的生物学故事。

简单来说：以前做单细胞分析像是在迷雾中手工拼图，现在有了 scprocess，就像是在高清地图上用无人机自动拼图，又快又准。

技术摘要

scprocess 技术摘要

scprocess 是一款专为处理、整合和可视化大规模（Atlas-scale）单细胞数据而设计的 Snakemake 流程。该工具旨在解决单细胞 RNA 测序（scRNA-seq）研究向“图谱级”规模发展过程中面临的计算效率、数据管理和可重复性挑战。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

随着单细胞测序技术的成熟和成本降低，研究数据量呈指数级增长，形成了包含数百万细胞和数百个样本的“图谱级”数据集。这种规模带来了以下核心挑战：

• 计算瓶颈：传统工具（如 Cell Ranger）在处理数百个样本时，内存占用高且运行缓慢，难以在高性能计算（HPC）环境中高效扩展。
• 可重复性差：单细胞分析流程涉及数十个关键决策点（工具选择、参数调整），缺乏统一框架导致难以记录每一步的工具和参数，使得结果难以复现。
• 流程碎片化：现有方法通常针对特定步骤，缺乏将预处理、质控、整合到可视化的端到端统一解决方案。

2. 方法论与核心架构 (Methodology)

scprocess 是一个基于 Snakemake 的自动化流程，专为 10x Genomics 技术生成的 scRNA-seq 和单核 RNA-seq (snRNA-seq) 数据优化。其核心设计原则包括模块化、可扩展性和可重复性。

关键处理步骤与算法选择：

• 比对与定量 (Read Alignment & Quantification)：
  • 摒弃了资源密集型的 Cell Ranger，采用 simpleaf（基于 alevin-fry 生态系统）。
  • 利用 alevin-fry 的伪比对（pseudoalignment）技术，显著提高了速度并降低了内存消耗，同时生成包含剪接和非剪接读数的计数矩阵，支持 RNA 速度分析。
  • 具备自动检测 10x Genomics 实验化学性质的功能。
• 细胞识别与环境 RNA 去除 (Cell Calling & Ambient RNA Removal)：
  • 提供两种策略：
    1. CellBender：基于深度学习模型，精度高但计算资源需求大（需 GPU）。
    2. DecontX：基于 CPU 的快速替代方案。scprocess 结合 DropletUtils 中的 barcodeRanks 或 emptyDrops 进行细胞识别，并输入估计的环境 RNA 轮廓给 DecontX，以提高去噪准确性。
• 质量控制 (Quality Control, QC)：
  • 支持基于文库大小、特征数、线粒体读段比例和剪接读段比例（针对 snRNA-seq 中细胞质污染的关键指标）的过滤。
  • 采用用户自定义阈值而非简单的 MAD（中位数绝对偏差）方法，以适应多细胞类型样本的复杂分布。
  • 集成 scDblFinder 进行双细胞（doublet）检测，因其基准测试表现最佳。
• 特征选择 (Feature Selection)：
  • 针对大规模数据集，采用**分块处理（chunked processing）**策略，无需将全量计数矩阵加载到内存即可计算高变基因（HVGs）。
  • 改进了 Seurat vst 算法，支持按样本或样本组独立计算，避免批次效应主导特征选择。
  • 引入基于伪批量（pseudobulk）的差异表达分析（使用 edgeR），识别并过滤在空液滴中富集的“环境基因”，防止其干扰 HVG 排名。
• 数据整合与降维 (Integration)：
  • 流程包含 PCA、Harmony 批次校正、近邻图构建、Leiden 聚类和 UMAP。
  • 提供两种后端框架：Scanpy（标准 CPU）和 RAPIDS-singlecell（利用 GPU 加速，显著提升聚类和 UMAP 速度）。
  • 采用两轮整合策略：第一轮包含所有细胞（含双细胞）以识别双细胞富集簇，第二轮仅使用过滤后的数据进行最终整合。
• 标记基因鉴定与注释 (Marker Genes & Annotation)：
  • 标记基因：摒弃将单个细胞视为独立重复的 Wilcoxon 检验，采用伪批量（pseudobulk）方法（基于样本水平聚合计数，使用 edgeR），以提高统计稳健性。
  • 细胞注释：集成 CellTypist（基于逻辑回归的自动标签转移）和针对人脑数据的 XGBoost 模型，辅助手动注释。
  • 支持基因集富集分析（GSEA）以辅助细胞类型表征。
• 多重样本处理 (Multiplexing)：
  • 支持 HTO（Hashtag Oligos）和遗传变异（Genetic Variation）去混（Demultiplexing），利用 simpleaf 生成 HTO 计数矩阵并结合 Seurat 的 HTODemux 功能。

3. 主要贡献与结果 (Key Contributions & Results)

• 统一且可扩展的框架：scprocess 将复杂的单细胞分析步骤整合为一个连贯的 Snakemake 工作流，支持通过简单的命令行接口（CLI）处理 100+ 个样本的数据集。
• 性能优化：通过采用 alevin-fry 和 RAPIDS-singlecell，显著降低了内存需求和运行时间，使其能够在 HPC 环境中高效处理大规模数据。
• 可重复性与透明度：
  • 所有参数通过 YAML 配置文件管理，作为处理记录。
  • 为每个主要步骤生成详细的 HTML 报告，允许用户检查中间结果并调整参数。
  • 支持断点续跑和模块化执行，用户可独立运行特定步骤。
• 科学严谨性：
  • 在特征选择中引入环境基因过滤，减少技术噪音。
  • 在差异表达和标记基因鉴定中强制使用伪批量方法，纠正了单细胞分析中常见的统计假阳性问题。
  • 针对 snRNA-seq 引入了剪接读段比例作为关键 QC 指标。
• 实际应用验证：流程已在包含 149 个样本的真实数据集（Pineda et al. 2024）上进行了测试，并生成了公开的可访问报告。

4. 意义与影响 (Significance)

• 推动 Atlas 级研究：scprocess 解决了从 TB 级原始数据到标准化分析结果的瓶颈，使得构建包含数百万细胞的细胞图谱在计算上变得可行。
• 提升可复现性标准：通过自动化和标准化流程，减少了人为操作差异，为单细胞研究社区提供了可复现的基准工作流。
• 灵活性与适应性：模块化设计允许研究人员根据具体实验需求（如是否需要 GPU、特定的去噪策略）灵活配置，同时保持核心流程的稳定性。
• 开源与易用性：作为开源工具（MIT 许可证），提供详细的文档和教程，降低了大规模单细胞数据分析的门槛。

总结：scprocess 不仅仅是一个自动化脚本，它是一个经过深思熟虑的、统计严谨的、且针对现代大规模单细胞数据挑战优化的分析生态系统，填补了从原始测序数据到生物学洞察之间的关键空白。