Universal Cell Embeddings: A Foundation Model for Cell Biology

本文介绍了无需任何数据标注即可在自监督模式下训练的通用细胞嵌入（UCE）基础模型，该模型成功构建了包含 3600 万个细胞、跨越 8 个物种的集成超大规模图谱，实现了跨组织与跨物种的细胞统一表征，并能自动推断细胞功能及发育谱系。

要点

这篇论文介绍了一个名为 UCE（通用细胞嵌入） 的突破性人工智能模型。为了让你轻松理解，我们可以把这项技术想象成生物学界的“谷歌翻译”加上“万能地图”。

1. 核心问题：细胞界的“巴别塔”

想象一下，细胞生物学就像是一个巨大的图书馆，里面存放着来自不同国家（不同物种）、不同城市（不同组织）、不同年代（不同实验）的书籍（细胞数据）。

• 过去的问题： 以前的科学家就像只有单一语言翻译器的人。如果你想把“人类肝脏细胞”的数据和“老鼠肾脏细胞”的数据放在一起比较，或者把“旧实验”和“新实验”的数据合并，就像试图把中文书、法文书和俄文书强行拼在一起，结果是一团乱麻。以前的方法需要为每一本新书（每一个新数据集）重新请一位翻译（重新训练模型），既慢又贵，而且很难发现它们之间深层的联系。
• 现在的困境： 即使有海量的细胞数据（3600 万个细胞），我们也无法在一个统一的视角下看清它们的全貌。

2. 解决方案：UCE 模型 —— 细胞的“万能身份证”

UCE 就像是一个超级智能的**“细胞身份证生成器”**。

• 它是怎么工作的？
  想象每个细胞都是一本由基因写成的“食谱”。以前的模型是死记硬背食谱里的每一个字（基因名），但这很笨，因为不同物种的“菜名”不一样。
  UCE 很聪明，它不看“菜名”，而是看**“食材”**（蛋白质）。

  • 它把基因翻译成蛋白质（就像把“西红柿炒蛋”翻译成“番茄 + 鸡蛋”）。
  • 它利用一个已经学富五车的“蛋白质语言大师”（ESM2 模型），理解这些食材的本质。
  • 然后，它把这些食材组合起来，给每个细胞生成一个独一无二的、1280 维度的“数字指纹”（嵌入向量）。

• 它的超能力：
  无论这个细胞是来自人类、老鼠、青蛙，甚至是还没被研究过的物种，UCE 都能直接给它生成这个“数字指纹”，不需要重新学习，也不需要人工标注。就像你给一个从未见过的陌生人拍张照，AI 就能立刻知道他是谁，甚至知道他和谁长得像。

3. 主要成就：绘制了“细胞宇宙地图”

作者们利用 UCE，绘制了一张名为 IMA（集成超大规模图谱） 的地图。

• 规模惊人： 这张地图包含了 3600 万个细胞，涵盖了 8 个物种、50 种组织 和 1000 多种细胞类型。
• 神奇的自组织： 最酷的是，这张地图是完全自学成才的（没有告诉 AI 哪个是肝细胞，哪个是神经细胞）。但神奇的是，当 AI 把这些细胞按“指纹”排列后，它们自动聚集成群：
  • 所有的“免疫细胞”自动站在一起。
  • 所有的“神经细胞”自动站在一起。
  • 甚至，来自不同器官的“巨噬细胞”（一种免疫细胞），虽然平时长得不一样，但在 UCE 的地图里，它们也紧紧挨在一起，仿佛认出了彼此是“亲戚”。
  • 比喻： 就像把全世界不同国家的人扔进一个房间，大家不说话，但最后大家自动按“职业”排好了队，而且不同国家的“医生”都聚在了一起。

4. 实际应用：像“零-shot"侦探一样工作

UCE 最厉害的地方在于它的**“零样本”（Zero-shot）**能力。

• 场景一：新物种的翻译
  如果你拿到了一种从未被研究过的动物（比如绿猴）的细胞数据，以前的方法需要科学家花几个月去标注。但 UCE 可以直接把绿猴细胞扔进去，立刻就能告诉你：“看，这群细胞长得像人类的 T 细胞，那群像 B 细胞。”甚至还能发现一些以前被误认的细胞（比如把一群其实是 T 细胞的细胞误标为 B 细胞）。

• 场景二：发现新细胞（Norn 细胞案例）
  科学家发现了一种在肾脏里产生造血激素（Epo）的神秘细胞，叫"Norn 细胞”。

  • 利用 UCE，科学家训练了一个简单的“探测器”。
  • 然后，他们把这个探测器直接扔进了3600 万个细胞的数据库里搜索。
  • 结果： 探测器不仅在肾脏找到了 Norn 细胞，还在心脏和肺里找到了长得非常像的"Norn 样细胞”。
  • 意义： 这暗示了心脏和肺可能也有制造造血激素的功能，这为研究肺病（如肺纤维化）和心脏病提供了全新的思路。以前，要发现这些联系，可能需要几十年的实验和无数次的重新分析。

5. 总结：为什么这很重要？

这就好比以前我们看细胞世界，像是在看一堆散乱的拼图碎片，每块碎片都要单独拼。
UCE 的出现，相当于给所有碎片都贴上了统一的坐标系统。

• 对科学家： 不再需要为每个新实验重新造轮子。你可以直接拿新数据去问这个“万能模型”：“这个细胞是什么？它和谁像？它可能有什么功能？”
• 对未来： 它让我们离“虚拟细胞”（Virtual Cell）的梦想更近了一步。我们可以模拟、预测和理解生命的基本单元，就像我们在数字世界里拥有了一个全知全能的细胞宇宙。

一句话总结： UCE 是一个给所有细胞颁发“通用身份证”的 AI 系统，它让科学家能瞬间跨越物种和实验的障碍，在 3600 万个细胞的海洋中，一眼看穿生命的奥秘。

技术摘要

这是一份关于论文《Universal Cell Embeddings: A Foundation Model for Cell Biology》（通用细胞嵌入：细胞生物学的基础模型）的详细技术总结。

1. 研究背景与问题 (Problem)

单细胞 RNA 测序（scRNA-seq）技术的飞速发展产生了海量的细胞图谱数据，涵盖了多种组织、物种和实验条件。然而，现有的计算方法在整合这些多样化数据时面临巨大挑战：

• 缺乏通用性：现有的嵌入方法通常针对特定数据集进行微调，难以直接应用于新数据集（尤其是新物种或新实验条件），导致每次新实验都需要重新训练模型和进行大量的人工标注。
• 批次效应与噪声：不同实验产生的批次效应（Batch effects）和技术差异（如不同的测序平台）往往掩盖了真实的生物学信号，使得跨数据集的细胞类型对齐变得困难。
• 物种限制：大多数模型依赖于同源基因（Homologous genes）的映射，难以处理训练集中未出现的物种，或者需要复杂的预处理步骤。
• 效率低下：传统的分析流程依赖于小规模的私有数据集，缺乏能够利用大规模公开数据生成通用表示的“基础模型”（Foundation Model）。

2. 方法论 (Methodology)

作者提出了通用细胞嵌入（Universal Cell Embedding, UCE），这是一个专为单细胞基因表达设计的基础模型。其核心创新在于将细胞视为“RNA 袋”（Bags of RNA），并利用蛋白质语言模型来构建基因表示，从而实现跨物种、跨组织的零样本（Zero-shot）嵌入。

核心架构与流程：

1. 输入表示（Input Representation）：

   • 基因作为 Token：UCE 不直接将基因表达量作为文本序列，而是将每个表达的基因映射为其对应的蛋白质序列。
   • 蛋白质语言模型（Protein Language Model）：利用预训练的蛋白质语言模型 ESM2（150 亿参数）将氨基酸序列转换为蛋白质嵌入向量（Protein Embeddings）。这使得模型能够理解任何物种的基因，只要知道其氨基酸序列，无需预先计算同源关系。
   • 采样策略：对于每个细胞，根据基因表达量对数加权，有放回地采样 1024 个基因（允许重复），形成“基因袋”。
   • 排序与分组：采样的基因按染色体位置排序，不同染色体之间使用特殊标记（Start/End tokens）分隔，并在序列开头添加一个特殊的 CLS 标记（代表整个细胞）。

2. 模型架构（Transformer Architecture）：

   • 采用 33 层 Transformer 架构，包含 6.5 亿参数。
   • 输入是经过 ESM2 编码的基因 Token 序列，经过 Transformer 处理后，提取 CLS 标记 的最终层输出作为该细胞的 1280 维嵌入向量。

3. 训练目标（Self-Supervised Training）：

   • 完全无监督：训练过程不使用任何细胞类型标签或数据集注释。
   • 掩码预测任务：随机掩码（Mask）细胞中 20% 的表达基因。模型的目标是根据剩余的基因和细胞上下文，预测被掩码基因是否在细胞中表达（二分类任务：表达 vs 不表达）。
   • 损失函数：使用二元交叉熵损失（Binary Cross-Entropy Loss）。

4. 数据规模：

   • 训练数据来自 300 多个 公开数据集，包含 3600 万 个细胞，涵盖 8 个物种（人、小鼠、斑马鱼、猪、猕猴等）和 50 多种组织。

3. 关键贡献 (Key Contributions)

• 首个通用细胞基础模型：UCE 是第一个能够生成通用细胞表示的基础模型，无需针对新数据进行微调或重新训练即可直接应用（Zero-shot capability）。
• 跨物种通用性：通过利用蛋白质序列而非基因名称，UCE 能够直接嵌入训练集中未出现的物种（如绿猴、裸鼹鼠、鸡），无需同源基因映射。
• 大规模集成图谱（Integrated Mega-scale Atlas, IMA）：利用 UCE 构建了包含 3600 万个细胞、1000 多种细胞类型的统一嵌入空间，实现了跨组织、跨物种的细胞状态整合。
• 涌现的生物学组织性：模型在没有显式标签的情况下，自发地学习到了符合已知生物学知识（如细胞发育谱系、细胞类型层级结构）的组织结构。

4. 主要结果 (Results)

• 零样本性能卓越：

  • 在未见过的 Tabula Sapiens v2 数据集（58 万个细胞，27 种组织）上，UCE 的零样本嵌入在细胞类型分离度（Biological Conservation）和批次校正（Batch Correction）指标上，显著优于 Geneformer 和 scGPT，甚至略优于需要微调的 scVI 和 scArches。
  • 能够准确地将新物种（如绿猴）的细胞映射到人类参考图谱中，正确识别细胞类型（如将绿猴的 B 细胞簇映射到人类 B 细胞，甚至发现了原本标注为 B 细胞但实际表达 T 细胞标记的异常簇）。

• 生物学结构的涌现：

  • 细胞类型聚类：在 UCE 空间中，同一细胞类型（如巨噬细胞）在不同组织中紧密聚集，而不同组织间的批次效应被有效消除。
  • 层级关系：细胞在嵌入空间中的距离与 Cell Ontology（细胞本体论）中的树状距离高度相关。细胞类型在空间中的相对位置反映了其进化或发育上的亲疏关系。

• 新细胞类型发现与功能推断：

  • Norn 细胞案例研究：利用 UCE 成功在肾脏数据中识别出产生促红细胞生成素（Epo）的 Norn 细胞。
  • 跨组织搜索：训练一个简单的逻辑回归分类器（基于 UCE 嵌入），成功在肺和心脏数据中找到了具有相似转录特征的"Norn 样”细胞，并发现这些细胞在不同疾病（如 IPF 和 COPD）中的表达差异，揭示了潜在的疾病机制（如 IPF 患者肺中 Norn 样细胞胶原表达更高）。

5. 意义与影响 (Significance)

• 范式转变：UCE 将单细胞分析从“针对每个数据集单独建模”转变为“使用通用模型进行零样本分析”，极大地降低了分析门槛和计算成本。
• 加速发现：通过提供统一的参考空间，研究人员可以快速将新数据映射到已知生物学知识中，加速新细胞类型的发现、功能注释和跨物种比较。
• 虚拟细胞（Virtual Cell）的愿景：UCE 是构建“虚拟细胞”的重要一步，它证明了基础模型可以学习细胞生物学的通用规律，而不仅仅是拟合特定数据集的噪声。
• 开源与可及性：模型权重和代码已开源，为社区提供了一个强大的工具，用于分析、注释和生成关于单细胞数据的新假设。

局限性：
论文也指出，目前基准测试主要依赖专家标注的细胞类型，可能无法完全捕捉细微的生物学过程；模型仍主要偏向哺乳动物（尤其是人和小鼠）；且作为“黑盒”模型，其内部机制的可解释性仍需加强。

总体而言，UCE 代表了单细胞生物学与人工智能交叉领域的重大突破，为构建全面、通用的细胞图谱奠定了坚实基础。