🤖 machine learning

Prototype Guided Post-pretraining for Single-Cell Representation Learning

本文介绍了 CellRefine，这是一种新颖的预训练后方法，它利用标记基因集作为结构先验来优化细胞嵌入，从而克服现有单细胞基础模型的泛化局限性，进而显著提升下游任务的性能。

原作者： Sachini Weerasekara, Natasha Darras, Sagar Kamarthi, Colles Price, Jacqueline Isaacs

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Sachini Weerasekara, Natasha Darras, Sagar Kamarthi, Colles Price, Jacqueline Isaacs

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《Prototype Guided Post-pretraining for Single-Cell Representation Learning》（介绍CellRefine）的通俗解释，辅以生动的类比。

宏观图景：教导机器人理解细胞

想象你拥有一台超级智能的机器人，它已经阅读了数百万本生物学教科书。这台机器人是单细胞数据的“基础模型”。它非常了解基因和细胞，就像大型语言模型非常了解单词和句子一样。

然而，当这台机器人试图理解现实世界的生物学时，它面临两个主要问题：

“稀有书籍”问题（长尾分布）： 在图书馆里，大多数书架都摆满了畅销书（如红细胞等常见细胞类型）。但是，稀有、冷门的书籍（如特定的免疫细胞或致病干细胞等稀有细胞类型）的副本非常少。因为机器人主要是在畅销书上训练的，所以它非常擅长识别常见细胞，但对稀有细胞感到困惑或直接忽略。这就像一个只学习了最热门历史事件的学生，当被问及一场次要、冷门的战役时，考试不及格。
“口音”问题（协变量偏移）： 想象机器人是从教科书里学会英语的，但现在它必须与讲不同口音或方言的人交谈（不同的实验室设备、测序机或实验条件）。机器人会被这些“口音”搞糊涂，误以为它们是截然不同的语言，而没有意识到这仍然是同一种语言。

解决方案：CellRefine（“精修教练”）

作者介绍了一种名为CellRefine的新方法。不要把它想象成一个新的机器人，而应将其视为一位专门的教练，它在机器人完成初步训练后、但在开始执行具体任务（如诊断疾病）之前介入。

这位教练采用“后预训练”（Post-Pretraining）策略。教练不是让机器人随意猜测，而是根据真实的生物学事实，为它提供一份结构化的学习指南。

CellRefine 的工作原理（三大工具）

教练使用三种特定工具来修复机器人的大脑：

1. “小抄”（标记基因原型）

类比： 想象你正在尝试识别一种特定的鸟。你不仅仅是看整只鸟，而是寻找特定的“小抄”特征：红色的喙、蓝色的翅膀和特定的鸣叫声。
科学原理： 在生物学中，某些基因充当特定细胞类型的这些“小抄”（称为标记基因）。CellRefine 利用这些已知的小抄，为每种细胞类型创建一个“原型”（完美的理想版本）。
修复机制： 在训练过程中，教练迫使机器人将其看到的每个细胞与这些原型进行比较。它会说：“这个细胞看起来像'CD8+ T 细胞’，因为它匹配了'CD8'小抄。”这有助于机器人关注它之前忽略的稀有细胞，确保它们在机器人的记忆中拥有自己独立的“席位”。

2. “家谱”（谱系正则化）

类比： 想象一次家庭聚会。你有一个表亲和一个远房表亲。他们看起来非常相似，但是不同的人。如果你只是看他们，可能会把他们搞混。
科学原理： 细胞拥有家谱（本体论）。有些细胞亲缘关系非常近（像兄弟姐妹），但仍然是不同的。机器人经常因为它们的相似性而将它们混为一谈。
修复机制： CellRefine 增加了一条规则：“如果这两个细胞在同一个家族分支中，但是不同的物种，你必须在记忆中将它们区分开。”它迫使机器人学习近亲之间的细微差别，防止它们混淆。

3. “有序的文件柜”（高斯混合变分编码）

类比： 想象机器人的记忆是一堆杂乱无章的纸张。CellRefine 帮助将这堆纸张整理成整齐、贴有标签的文件夹。
科学原理： 它迫使机器人的内部数学运算将细胞组织成清晰、 distinct 的簇（就像文件柜中的文件夹），而不是一团模糊的乱麻。这使得数据更加清晰，更易于后续使用。

结果：教练有效吗？

作者将这位“教练”在三项不同的任务上进行了测试，就像学生参加不同的考试：

细胞识别： “这是什么类型的细胞？”
- 结果： 机器人在识别稀有细胞方面有了显著提高。在某些测试中，其准确率提高了高达15%。它不再将稀有细胞与常见细胞混淆。
填补空白（插补）： “我们遗漏了一些数据；猜猜缺失的基因说了什么。”
- 结果： 机器人预测缺失信息的能力增强了，特别是在复杂的空间数据（细胞在组织中的位置）方面。
预测反应： “如果我们用药物刺激这个细胞，它会如何反应？”
- 结果： 机器人的预测变得更加准确，尽管这项任务对所有人来说都 notoriously 困难。

核心结论

该论文声称，通过在开始执行具体任务之前，增加一个由生物学事实（如标记基因和家谱）引导的中间步骤，我们可以修正机器人对稀有细胞的偏见以及其对不同实验室“口音”的困惑。

CellRefine 不仅仅是让机器人通过猜测来学习；它提供了一张结构化的、基于生物学基础的地图，帮助机器人导航复杂的单细胞数据世界，使其成为科学家更可靠的工具。

技术摘要：用于单细胞表示学习的原型引导后预训练

问题陈述

单细胞表示学习（SCRL）旨在解码高维基因表达数据，以揭示细胞调控逻辑。尽管受大型语言模型启发（将基因视为词元，将细胞视为句子）的近期基础模型展现出潜力，但它们面临两个根本性局限：

长尾细胞类型分布：单细胞数据集表现出极端的类别不平衡，其中稀有但具有生物学重要性的细胞群（例如疾病起始干细胞）仅占样本的极小部分。这导致稀有细胞类型的嵌入噪声过大或发生坍塌，因为模型偏向于丰度较高的群体。
协变量偏移：技术伪影（如批次效应和不同的测序深度）在训练数据和推理数据之间造成了分布差异。现有模型往往过拟合于特定批次的模式，而非捕捉通用的调控逻辑，从而限制了其在不同平台或实验方案间的泛化能力。

当前的微调策略往往无法完全解决这些问题，因为它们始于初始预训练阶段建立的不稳定潜在嵌入流形。

方法：CellRefine

为了应对这些挑战，作者引入了CellRefine，这是一个设计用于在初始预训练阶段和下游微调之间运行的后预训练框架。CellRefine 注入基于生物学基础的归纳偏置，将潜在嵌入空间重塑为更稳定且更具判别力的结构。

该方法采用结合四个组件的多面目标函数（ $L_{Total}$ ）：

原型引导学习（标记基因程序）：
- 概念：利用已知的标记基因集作为结构先验。由于完整的标记集通常未知，该方法使用精心策划的标记子集为每种细胞类型创建“原型”。
- 实现：基于细胞本体层级（从特定亚型到更广泛的谱系），使用函数 $H(c_i)$ 对细胞类型 $c_i$ 的标记基因进行排序。这些有序序列被词元化并编码为原型嵌入（ $z_m$ ）。
- 损失：原型引导的正则化损失（ $L_{prototype}$ ）最大化细胞嵌入（ $z_c$ ）与其对应原型嵌入之间的余弦相似度，同时最小化其与其他原型的相似度。这将生物学结构注入到表示中。
谱系感知正则化：
- 概念：解决在嵌入空间中，亲缘关系较近的细胞类型（在本体中共享父谱系）仍然区分不足的问题。
- 实现：谱系感知分离损失（ $L_{lineage}$ ）惩罚共享相同父谱系和本体层级的细胞对之间的过度相似性，鼓励模型区分细粒度的生物学身份。
高斯混合变分编码（GMVE）：
- 概念：显式地将潜在空间建模为聚类结构，以提高表示质量。
- 实现：在模型后附加一个高斯混合变分编码器。KL 散度损失（ $L_{GMVE}$ ）将变分后验相对于学习到的混合高斯先验进行正则化，强制形成聚类的潜在结构。
掩码语言建模（MLM）：
- 保留标准的预训练目标，以确保模型继续学习通用的基因表达模式。

总目标函数为：
$L_{Total} = L_{MLM} + \lambda_1 L_{prototype} + \lambda_2 L_{lineage} + \lambda_3 L_{GMVE}$

主要贡献

新颖的后预训练阶段：提出了一种中间适应阶段（CellRefine），在特定任务微调之前优化基础模型的潜在流形，而不是仅依赖预训练后直接进行微调。
生物学先验的整合：系统性地将机制性生物学知识（标记基因程序和细胞本体）直接整合到优化过程中，以指导表示学习。
处理长尾和协变量偏移：证明了将模型建立在生物学先验基础上，可以减轻对丰度较高细胞类型的偏见，并提高对技术偏移的鲁棒性。

实验结果

作者在涵盖多种组织（血液、胰腺、肝脏、大脑、肺、心脏等）的 11 个数据集上，评估了 CellRefine 在三个核心计算生物学任务中的表现：

细胞身份预测：
- 域内：在 10 个数据集中，CellRefine 始终优于最先进基线（包括全量微调、LoRA 和标准 MLM 对齐）。在 Blood 和 Pancreas 等不平衡数据集上，其宏观 F1 分数比最强基线（MLM $\to$ FF）提高了高达 15%。
- 域外（零样本）：在跨模态迁移（在 scRNA-seq 上训练，在空间转录组学上测试）中，CellRefine 显示出更优的 recall@k 性能，表明其具有更稳健和更具泛化能力的表示。
空间转录组插补：
- CellRefine 提高了未测量基因表达的预测能力，在肝脏空间数据集上，与基线相比实现了更高的皮尔逊相关系数和余弦相似度分数。
基因扰动响应预测：
- 在预测扰动下的基因表达变化时，CellRefine 相比基线取得了持续但较小的改进，在所有测试方法中实现了最佳的整体性能。

消融研究：

移除三个正则化项（ $L_{prototype}$ 、 $L_{lineage}$ 、 $L_{GMVE}$ ）中的任何一项都会导致性能下降，证实了多目标方法的协同作用。
样本效率：在少样本学习场景（5–50 个样本）中，与标准微调相比，CellRefine 在低样本数量下表现出更陡峭的性能提升，表明它能更有效地利用有限的标记数据。

定性分析：

潜在空间的 UMAP 可视化显示，CellRefine 重新组织了嵌入流形，使得稀有“尾部”细胞群（例如特定的 T 细胞亚群、稀有肝细胞类型）更具可区分性，并且与主要细胞簇的纠缠程度低于仅使用 MLM 训练的模型。

意义与主张

该论文声称，CellRefine 代表了单细胞表示学习的一个有前景的方向，因为它证明了基于生物学知识的归纳偏置可以显著提高基础模型的下游性能。

临床效用：通过更好地捕捉稀有细胞类型并提高对协变量偏移的鲁棒性，该方法增强了在稀有或过渡性细胞状态中识别疾病机制和治疗靶点的潜力，而这些状态在标准模型中往往被掩盖。
方法论转变：该工作反对仅依赖数据驱动的预训练 followed by 微调，转而提倡在中间阶段显式整合领域知识（标记基因和本体），以稳定学习过程。
局限性：作者谦逊地指出，该方法依赖于精心策划的标记基因程序，这对于新型细胞类型可能是不完整或有噪声的。此外，性能的提升并不一定意味着参数效率的提高。

总之，CellRefine 提供了一个框架，弥合了大规模预训练与单细胞生物数据特有的、通常不平衡的现实之间的差距，从而产生更具判别力和泛化能力的细胞表示。