🧬 biology

Scalable Single-Cell Gene Expression Generation with Latent Diffusion Models

本文介绍了 scLDM，这是一种可扩展的潜在扩散模型，它利用置换不变的多头交叉注意力模块和扩散 Transformer，在尊重数据基本的可交换属性的同时，生成逼真、高质量的单细胞基因表达谱。

原作者： Giovanni Palla, Sudarshan Babu, Payam Dibaeinia, James D. Pearce, Donghui Li, Aly A. Khan, Theofanis Karaletsos, Jakub M. Tomczak

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Giovanni Palla, Sudarshan Babu, Payam Dibaeinia, James D. Pearce, Donghui Li, Aly A. Khan, Theofanis Karaletsos, Jakub M. Tomczak

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

想象一下，你正试图教会计算机理解单个细胞的“个性”。在生物学中，细胞的个性是通过其基因表达（gene expression）来体现的：这是一份显示数千个不同基因活跃程度的海量数字列表。

问题在于，这份列表非常杂乱。它就像一份购物清单，其中项目的顺序并不重要（你可以先列“牛奶”再列“鸡蛋”，或者反过来，这仍然是同一份清单），但大多数计算机程序都要求严格的顺序。此外，这份列表充满了零（即不活跃的基因），而且数字是整数计数，而不是平滑的小数。

这篇论文介绍了一种新的 AI 模型，名为 scLDM（单细胞潜空间扩散模型），它解决了这些问题。以下是它的工作原理，我们使用简单的类比来解释：

1. “不在乎顺序的大厨”（处理顺序）

大多数 AI 模型将基因视为类似于单词顺序很重要的句子。如果你交换“猫”和“狗”的位置，意思就变了。但在细胞中，交换基因的顺序并不会改变细胞的身份。

旧方法： 想象一位大厨，他坚持要求你按特定顺序列出食材（苹果，然后香蕉，然后樱桃）。如果你给他们的是“樱桃，苹果”，他们就会感到困惑或出错。
scLDM 的方式： 这个模型就像一位不在乎顺序的大厨。他们只看食材的集合。无论你递给他们的是“苹果，香蕉”还是“香蕉，苹果”，他们都明白这是同一种食谱。他们使用一种称为多头交叉注意力模块（Multi-head Cross-Attention Block）的特殊工具，在不担心先后顺序的情况下将食材混合在一起。

2. “压缩素描”（潜空间）

细胞拥有数千个基因，这对计算机来说一次性处理所有数据效率太低。

类比： 想象你要背诵一部一万页的百科全书。与其那样做，不如创建一个“压缩素描”或一份摘要笔记，捕捉这本书的精髓。
工作原理： scLDM 首先读取细胞的基因列表，并将其压缩成一个小的、固定大小的“摘要标记”（即潜变量）。无论原始列表包含 10 个基因还是 10,000 个基因，摘要的大小始终保持不变。这使得该模型具有可扩展性（它可以处理巨大的数据集而不会崩溃）。

3. “去噪艺术家”（扩散）

一旦模型拥有了“摘要素描”，它就需要生成新的、真实的细胞。

类比： 想象一个用粘土制作的雕塑。
- 旧模型： 试图从零开始构建雕塑，结果往往产生凹凸不平、不真实的形状。
- scLDM（扩散）： 从一块纯粹的、混沌的噪声（就像旧电视上的雪花点）开始。然后，它通过一步步地“去噪”，将这些静电噪声逐渐精炼成一个完美的、真实的雕塑。
- 转折点： 它不是在原始的、杂乱的基因数据上进行这种“去噪”过程（这既慢又难），而是在压缩后的素描（潜空间）上进行。这就像是先雕刻一个小巧易控的粘土球，然后再将其扩展成一座巨大的雕像。这更快，且能产生更高质量的结果。

4. “定制需求”（条件生成）

科学家经常希望生成具有特定特征的细胞，例如“暴露于病毒影响下的肺细胞”。

类比： 把这个模型想象成一个定制家具制造商。
- 旧模型： 它们可以做一把椅子，但如果你要求做一把“带断腿的红椅子”，它可能会感到困惑，或者做出看起来像桌子的椅子。
- scLDM： 使用了一种名为无分类器指导（Classifier-Free Guidance）的技术。你可以告诉它：“给我做一个既是肺细胞又带有病毒的细胞。”模型学会了如何完美地融合这些指令。论文声称，这种“联合”听取指令的方式比逐一添加指令的效果更好。

他们证明了什么？

作者在真实生物数据上，将 scLDM 与其他顶尖模型（如 scVI、scDiffusion 和 CFGen）进行了对比测试：

重构（Reconstruction）： 当被要求“记住”它曾经见过的一个细胞时，scLDM 比其他模型做得更好，能够更准确地捕捉细节。
生成（Generation）： 当被要求创造新的、看起来真实的假细胞时，scLDM 生成的数据在统计学上比其竞争对手更接近真实细胞。它不仅仅是复制粘贴，而是创造了新的、有效的变体。
预测（Prediction）： 当作为一种细胞分类工具使用时（例如，“这个细胞是否感染了 COVID-19？”），scLDM 创建的“摘要素描”帮助计算机做出了比旧方法更准确的决策。

核心结论

这篇论文展示了一种灵活且强大的新方法，用于教计算机理解和创造单细胞数据。通过尊重基因顺序无关紧要这一事实，并利用在压缩数据上进行的“从噪声中雕刻”技术，scLDM 比以往的方法创造了更真实的生物模拟。

注：该论文完全侧重于计算模型在生成和重构数据方面的能力。它并不声称该模型目前正在用于治愈疾病或在医院做出临床决策，而是表明它是计算机中用于模拟和理解细胞生物学的更优越工具。

技术摘要：基于潜在扩散模型的可扩展单细胞基因表达生成

问题陈述

单细胞基因表达的计算建模对于理解细胞异质性、分化以及对扰动的响应至关重要。然而，生成真实的表达谱仍面临重大挑战，这主要归因于两个因素：基因表达数据的计数特性（count-based nature）以及基因之间复杂的潜在依赖关系。

现有的生成模型面临着关键的局限性：

违反可交换性（Exchangeability）： 许多方法强加了人为的固定基因顺序，或依赖于受限的高变基因（HVGs）子集。这违背了基因表达是可交换集合这一生物学事实，即在这些集合中，基因的顺序并不具有内在意义。固定顺序的架构将输入维度与特定基因绑定，阻碍了模型在无需重新训练的情况下处理不同组织或物种中变化的基因词汇表的能力。
架构与训练不稳定性： 基于生成对抗网络（GAN）的方法深受训练不稳定和模式崩溃（mode collapse）的困扰。同时，标准的变分自编码器（VAE）通常依赖于浅层架构，或者需要复杂的层次化潜在结构来处理集合规模，如果参数化处理得当，这种复杂性可能是不必要的。

方法论：scLDM

作者引入了 scLDM（可扩展潜在扩散模型），这是一个完全基于 Transformer 的深度生成模型，旨在遵循单细胞数据的基本可交换属性。该框架由两个主要阶段组成：

1. 基于 Transformer 的 VAE，具备置换不变性/等变性设计

scLDM 的核心是一个 VAE 架构，它利用 多头交叉注意力块（MCAB） 来处理无序的基因集。

输入处理： 为了应对单细胞 RNA-seq 数据极高的稀疏性（通常 >70% 为零值）带来的计算复杂度，模型通过过滤输入仅包含表达的基因，并将上下文填充（padding）至固定长度 $d$ 。这使模型能够专注于具有生物学意义的信号，同时不限制解码器对零计数进行建模的能力。
编码器（置换不变性）： 编码器处理基因计数和 ID 集合，以产生固定大小的潜在变量 $Z$ 。它采用 MCAB，其中“查询”（queries）是可学习的伪输入（诱导点/inducing points），而“键/值”（keys/values）则源自基因嵌入。这种设计确保了无论输入基因顺序如何，潜在表示都是**置换不变（permutation-invariant）**的。
解码器（置换等变性）： 解码器根据请求的基因 ID 集合重建基因表达计数。它使用相同的 MCAB 架构，但将查询修改为由请求的基因 ID 索引的特定基因嵌入。这确保了输出是**置换等变（permutation-equivariant）**的，即置换输入的基因 ID 会导致输出参数发生相应的置换。
似然函数： 模型使用负二项分布（NB）或高斯分布对条件似然进行参数化，从而有效地捕捉数据的过度离散（overdispersion）和计数特性。

2. 基于流匹配（Flow Matching）的潜在扩散模型（LDM）

作者没有使用标准的高斯先验，而是用在 VAE 潜在空间中训练的潜在扩散模型取代了先验。

架构： 扩散过程使用 扩散 Transformer（Diffusion Transformers, DiT） 进行建模。
训练目标： 模型使用带有线性插值器的 流匹配（Flow Matching） 进行训练，通过优化损失函数来学习一个向量场，将噪声传输到数据分布。
受控生成： 该框架通过 分类器自由引导（Classifier-Free Guidance, CFG） 支持多条件生成（例如：细胞类型 + 扰动）。作者提出了一种 联合条件化（joint conditioning） 策略，即使用单个 Token 代表属性的唯一组合，这与先前工作中使用的加性条件化方法形成对比。

核心贡献

可交换架构： 本文提出了一种新型的、完全基于 Transformer 的 VAE，它使用统一的 MCAB 架构来实现编码器中的置换不变池化（pooling）和解码器中的置换等变去池化（unpooling）。这消除了对单独的池化/去池化组件或固定基因顺序的需求。
结合流匹配的潜在扩散： 将基于扩散 Transformer 的 LDM 与流匹配及线性插值相结合，实现了高质量的生成和通过分类器自由引导实现的受控采样。
联合条件化： 作者证明了用于分类器自由引导的联合条件化公式（将属性组合视为单个 Token）在多属性扰动基准测试中优于加性条件化策略。

实验结果

作者在观测数据集（Dentate Gyrus, Tabula Muris, HLCA）和扰动数据集（Parse 1M, Replogle）上对 scLDM 进行了评估，并将其与包括 scVI、CFGen、scDiffusion、CPA 和 scGPT 在内的最先进基准模型进行了比较。

重建性能： 在所有观测数据集中，scLDM 的重建指标（更低的重建误差、更高的 Pearson 相关系数和更低的 MSE）均优于 scVI 和 CFGen。例如，在 HLCA 数据集上，scLDM 的 PCC 为 0.310，而 CFGen 仅为 0.146。
生成质量： 在无条件和有条件生成任务中，scLDM 展示了更好的分布匹配能力（更低的 Wasserstein-2 和 MMD2 距离），并具有更平衡的精确度-召回率权衡，避免了某些基准模型中观察到的模式崩溃现象。
扰动建模： 在 Parse 1M 和 Replogle 数据集上，scLDM 在生成未见过的“细胞-扰动”组合的基因表达谱方面表现出竞争性或优越的性能。它在扰动预测指标（如 DEG 重叠、log-fold changes 的 Spearman 相关性）上超越了基准模型。
下游分类： 通过对 scLDM-VAE 学习到的嵌入进行分类任务评估（COVID-19 感染检测和 Tabula Sapiens 2.0 中的细胞类型分类），拥有 2.7 亿参数的 scLDM 模型在 COVID-19 任务上达到了 0.820 的 SOTA F1 分数，超越了 TranscriptFormer 和 scGPT 等其他基础模型。
消融研究： 实验证实，零填充（zero-padding）输入策略在保持重建质量的同时具有很高的计算效率。此外，研究表明联合条件化在多属性生成方面优于加性条件化。

意义与主张

本文声称 scLDM 提供了一个学习单细胞数据可交换模型的原则性框架，超越了固定基因顺序的人为约束。通过将置换不变/等变的 Transformer 架构与潜在扩散相结合，该模型在重建和生成单细胞表达谱方面均达到了最先进的性能。

作者强调，其方法自然支持灵活的条件化和跨未知场景的泛化，能够实现对复杂细胞反应的忠实建模。他们将这项工作定位为面向可交换生物学数据的基础模型的一步，并指出该设计可以从转录组学扩展到多组学和多模态数据。该工作旨在通过实现 in silico（计算机模拟）扰动实验来加速药物开发，尽管作者也指出，在临床应用中仍需进行实验验证。