CellBench-LS: Benchmark Evaluation of Single-cell Foundation Models for Low-supervision Scenarios

本文提出了 CellBench-LS 框架，通过系统评估单细胞基础模型在低监督场景下的泛化能力，揭示了其在细胞类型识别任务中的优势及传统方法在基因表达量化任务中的竞争力，从而为单细胞分析算法的开发提供了关键指导。

要点

这篇论文就像是在给单细胞生物学领域里的“超级英雄”们（也就是单细胞基础模型）举办的一场**“极限生存大挑战”**。

为了让你轻松理解，我们可以把这项研究想象成在测试一群**“刚毕业的天才大学生”（基础模型）和一群“经验丰富的老工匠”**（传统方法），看他们在面对不同工作场景时，谁更靠谱。

1. 背景：为什么需要这场考试？

• 现状：以前，科学家分析细胞数据（就像分析成千上万个细胞的“体检报告”）主要靠老工匠（传统方法，如 PCA、UMAP）。他们经验丰富，干活稳，但有时候不够灵活。
• 新来者：最近，出现了一批“天才大学生”（基础模型，如 scGPT, Geneformer 等）。他们读过海量的细胞数据（就像读过图书馆里所有的书），理论上无所不知，能举一反三。
• 问题：但是，这些“大学生”在**“没给太多提示”**（低监督/少标签）的情况下，到底能不能干好活？如果只给一点点样本，他们能不能像老工匠一样精准？还是说他们只是“纸上谈兵”？
• 目的：这篇论文就是设计了一套**“CellBench-LS"**（细胞基准测试），专门在“资源匮乏”（标签很少）的极端环境下，公平地测试这两类人，看看谁才是真材实料。

2. 考试项目（五大任务）

这场考试设计了五个场景，模拟真实科研中可能遇到的困难：

1. 细胞聚类（找同类）：

   • 比喻：给一堆混在一起的苹果、香蕉和橘子，让你把它们分好类，但不许看标签（零样本）。
   • 结果： “大学生”们（基础模型）表现很好，他们凭借读过的书，能一眼看出哪些细胞是“一家人”。老工匠（传统方法）也能分，但在复杂情况下不如大学生灵活。

2. 批次校正（去噪）：

   • 比喻：有些数据是早上测的，有些是下午测的，仪器不同导致数据有偏差（就像照片有滤镜）。你要把滤镜去掉，让所有照片看起来像同一天拍的，但不能把苹果变成香蕉（保留生物特征）。
   • 结果： “大学生”们再次胜出。他们更擅长把“仪器误差”和“真实差异”区分开，而老工匠有时候会把苹果和香蕉的界限也抹平了。

3. 细胞类型标注（认脸）：

   • 比喻：给你看一张新细胞的照片，告诉你“这是 T 细胞”，然后只给你看3 张类似的 T 细胞照片，让你认出剩下的 1000 张里哪些是 T 细胞（少样本学习）。
   • 结果：这是“大学生”的主场！他们利用之前读过的海量知识，只要给一点点提示，就能认出绝大多数细胞。老工匠这时候就有点懵了，认不准。

4. 基因表达重建（填空）：

   • 比喻：给你一张被撕了一半的体检报告（只有一半基因数据），让你猜出另一半是什么。
   • 结果：这次老工匠赢了！“大学生”虽然博学，但在精确计算数值（比如某个基因具体有多少个分子）时，反而不如老工匠（如 PCA）精准。这就好比让一个博学的哲学家去算微积分，不如让一个熟练的会计算得快又准。

5. 扰动预测（猜后果）：

   • 比喻：如果你给细胞吃了一种药（或者敲除一个基因），猜猜它的基因表达会变成什么样？
   • 结果： “大学生”们再次表现出色。他们能根据之前的知识，推演出细胞在受到刺激后的反应，比老工匠预测得更准。

3. 核心发现：没有“全能冠军”

论文得出了一个非常有趣的结论：没有一种模型是万能的。

• 如果你需要“认人”或“做预测”（比如细胞分类、预测药物反应）：请选**“天才大学生”**（基础模型）。他们懂得多，举一反三能力强，特别是在数据很少的时候，他们能利用“常识”帮你大忙。
• 如果你需要“算数”或“精确重建”（比如还原基因的具体数值）：还是请**“老工匠”**（传统方法）吧。他们虽然不懂那么多大道理，但在处理具体数值时更稳、更准。
• 警惕“偏科”：即使是“大学生”，也不是在所有科目上都拿满分。有的擅长分类，有的擅长预测，但没有一个模型能在所有任务上都碾压对手。

4. 给科学家的建议（实用指南）

这篇论文就像一份**“选才指南”**，告诉生物学家们：

• 别盲目追新：不要觉得用了“基础模型”就万事大吉。如果你的任务只是简单的去噪或分类，老方法可能更简单、更便宜、更准。
• 看菜吃饭：
  • 做探索性研究（数据少、没标签）？用基础模型。
  • 做精确量化（需要具体数值）？用传统方法。
• 未来方向：未来的“超级模型”应该像**“通才 + 专才”的结合体**，既要有广博的知识，又要在具体任务上经过专门训练，不能只靠“死记硬背”来解决问题。

总结

简单来说，这篇论文告诉我们：单细胞基础模型（AI）确实很强大，特别是在“没老师教”的情况下能靠自学成才，但它们不是神。 在需要精确计算的时候，传统的“老办法”依然不可替代。最好的策略是**“因地制宜”**，根据具体任务选择最合适的工具，而不是盲目迷信某一种新技术。

技术摘要

1. 研究背景与问题 (Problem)

背景：
单细胞基础模型（Single-cell Foundation Models, SCFMs）如 Geneformer、scGPT 等，利用 Transformer 架构和大规模预训练，在单细胞数据分析中展现出巨大潜力。然而，这些模型在实际生物医学研究中的转化面临瓶颈。

核心问题：

1. 低资源/低监督场景下的泛化能力不足： 现有的 SCFMs 在标签稀缺（Label-scarce）或无监督（Zero-shot）场景下的泛化性能尚不明确，缺乏系统性的评估。
2. 缺乏统一基准： 现有的基准测试（如 scSSL-Bench, Kedzierska et al. 等）要么侧重于零样本评估，要么未包含经典方法对比，要么任务覆盖不全。这导致研究人员难以根据具体任务和数据条件选择最合适的分析流程。
3. 模型选择困境： 面对众多建模选项，从业者难以判断何时应使用传统方法（如 PCA, UMAP），何时应使用基础模型，以及基础模型在哪些任务上真正具有优势。

2. 方法论 (Methodology)

作者提出了 CellBench-LS，一个专为低监督场景设计的统一、系统化的基准评估框架。

2.1 评估对象

• 7 种代表性 SCFMs： scGPT, Geneformer, LangCell, CellPLM, scMulan, scFoundation, Nicheformer。
• 3 种经典基线方法： PCA, UMAP, scVI（深度生成模型）。

2.2 数据集

使用了 13 个多样化的单细胞 RNA-seq (scRNA-seq) 数据集，涵盖不同组织（如 PBMC、胰腺、大脑皮层、肝脏、肺等）、不同规模（从几千到几十万细胞）以及不同实验条件（常规、批次效应、扰动）。

2.3 评估任务与学习协议

框架涵盖了 5 个核心下游任务，并根据任务特性采用不同的监督设置：

1. 零样本 (Zero-shot) 任务（无需训练，直接评估嵌入表示）：

   • 细胞聚类 (Cell Clustering)： 使用 Louvain 算法，评估指标包括 ARI, NMI, ASW。
   • 批次校正 (Batch Correction)： 使用 Harmony 整合，评估指标包括 iLISI (批次混合), 1-cLISI (生物纯度), cASW, 1-bASW。

2. 少样本 (Few-shot) 任务（使用少量标签微调任务头 MLP）：

   • 细胞类型注释 (Cell Type Annotation)： 分类任务，每类细胞使用 k=1, 3, 5, 7, 9 个样本。评估指标：Accuracy, Macro-F1, Precision, Recall。
   • 基因表达重构 (Gene Expression Reconstruction)： 回归任务，预测前 400 个高变基因的表达量。每类使用 k=100~900 个样本。评估指标：MSE, Pearson Correlation。
   • 扰动预测 (Perturbation Prediction)： 预测基因扰动后的表达谱。每类扰动使用 k=1, 3, 5, 7, 9 个细胞对。评估指标：DES (差异表达基因重合度), MAE。

2.4 实验设置

• 所有模型使用官方预训练权重和预处理流程。
• 少样本任务统一使用多层感知机 (MLP) 作为任务头，采用 Adam 优化器，训练 500 轮，并设置早停机制。
• 所有实验重复 5 次（不同随机种子）取平均值。

3. 主要贡献 (Key Contributions)

1. 首个全面的低监督单细胞基准： CellBench-LS 是目前唯一同时涵盖 7 种基础模型、3 种经典方法，并支持零样本和少样本评估的框架。
2. 分层评估协议： 明确区分了无监督（聚类、批次校正）和弱监督（注释、重构、扰动）场景，揭示了不同模型在不同监督强度下的表现差异。
3. 任务导向的模型选择指南： 通过大规模实验，提供了基于任务类型和数据规模的模型选择建议，打破了“大模型一定优于小模型”的迷思。
4. 揭示了当前 SCFMs 的局限性： 指出当前模型在跨数据集泛化、特定任务（如重构）上的不足，为未来模型设计指明了方向。

4. 关键实验结果 (Key Results)

4.1 总体表现

• SCFMs 的优势： 在细胞注释和扰动预测等需要识别细胞类型或生物学先验的任务中，SCFMs 显著优于传统方法（PCA/UMAP）和 scVI。特别是在少样本设置下，SCFMs 表现出更强的泛化能力和对稀有细胞类型的识别能力。
• SCFMs 的劣势： 在基因表达重构任务中，传统线性方法（PCA）和深度生成模型（scVI）往往优于基础模型。这表明预训练目标（如掩码建模）可能未充分优化对精细基因表达模式的量化能力。
• 聚类与批次校正： SCFMs（尤其是 CellPLM 和 Nicheformer）在零样本聚类中表现最稳健，能更好地捕捉细胞亚群结构；在批次校正中，SCFMs 在去除批次效应同时保留生物变异方面优于 scVI。

4.2 具体发现

• 模型特异性： 没有单一模型在所有任务上都保持 SOTA。例如，CellPLM 在聚类和注释上表现优异，而 scFoundation 在某些数据集上表现波动较大。
• 数据集敏感性： SCFMs 对数据集分布非常敏感。例如，scFoundation 在 PBMC12k 上表现良好，但在 hPancreas 上表现不佳；反之亦然。这表明目前的模型缺乏跨组织、跨物种的强泛化能力。
• 重构任务的特例： 在基因表达重构任务中，PCA 经常击败所有基础模型，说明对于精确量化基因表达，简单的线性投影或专门训练的生成模型可能比通用的基础模型更有效。

5. 意义与未来展望 (Significance & Future Work)

意义：

• 指导实践： 为生物信息学家提供了明确的选型指南：在探索性分析或无标签数据中，可优先考虑 PCA 或 scVI；在需要细胞类型识别或少样本迁移学习时，应优先考虑 SCFMs。
• 推动模型改进： 揭示了当前 SCFMs 的两大瓶颈：
  1. 预训练目标与下游任务不匹配： 现有的掩码建模等目标未能充分捕捉聚类分离性或表达连续性等特定结构。
  2. 领域泛化能力弱： 模型在不同组织或批次间表现不稳定。

未来方向建议：

• 任务对齐的预训练： 在预训练阶段引入对比聚类损失、表达感知重构或生物学结构约束，使表示学习与下游任务更对齐。
• 增强领域泛化： 开发域适应（Domain Adaptation）、跨数据集预训练或多任务学习策略，以提高模型在不同生物背景下的鲁棒性。

总结：
CellBench-LS 不仅是一个评估工具，更是一份关于单细胞基础模型现状的“体检报告”。它表明虽然 SCFMs 在理解细胞身份和预测扰动方面具有革命性潜力，但在精确量化和跨域泛化方面仍需改进，且并非所有场景都适用大模型。