🧬 biology

Scaling an Autoregressive Transformer for Single-Cell Generation

本文介绍了一种带有量化 VAE 分词器的自监督自回归 Transformer，用于生成具有生物学真实性的单细胞基因表达向量，在建立首个针对单细胞基础模型的联合双指数缩放法则和计算最优前沿的同时，展示了其在扰动响应预测方面的潜力。

原作者： Aleksandr Sharipov, Yusif Mukhtarov, Igor Molybog

发布于 2026-08-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Aleksandr Sharipov, Yusif Mukhtarov, Igor Molybog

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

想象一下，你是一名试图在一个繁忙城市中破解谜团的侦探。但这不是一个由人类组成的城市，而是一个由细胞组成的城市，它们是生命的微小构建模块。每个细胞都有一个独特的“身份证”，由成千上万个被称为基因的化学信号组成。有时，科学家们只有一些这些“身份证”，这使得理解整个城市是如何运作变得困难。为了解决这个问题，他们需要创造出看起来和感觉起来与真实的身份证完全一样的“伪造”身份证，这样他们就可以在不需要采集更多真实细胞的情况下进行实验。这就是“单细胞生物学”的世界，其目标是生成真实的合成数据，以帮助我们理解健康与疾病。

为了做到这一点，研究人员使用了一种特殊的计算机大脑，称为“AI模型”。把这些模型想象成超级聪明的学生，他们阅读了数百万本书（在这种情况下是数百万个细胞身份证）来学习语言的规则。在过去，这些学生被教导去阅读连续的句子，但本文尝试了一个不同的技巧：将杂乱、连续的化学信号转化为一串简单的数字，就像一段秘密代码。大问题在于科学家们想要回答：“如果我们给这个学生更多的书来读，并让他们的脑容量变得更大，他们是否会变得更擅长编写这些伪造的身份证？”长期以来，专家们一直在争论，扩大这些模型的规模是否真的对生物学有帮助，或者是否存在一个点，让它们停止学习。

秘密代码与不断增长的大脑

本文作者构建了一个新的系统来生成这些合成的细胞身份证。他们首先教机器将一个复杂的细胞化学特征翻译成一个简短的八位数字代码。想象一下将一幅巨大且复杂的画作压缩成一个微小的八位数字密码。他们称之为“分词器”（tokenizer）。一旦细胞被转化为这些简单的代码，他们就会将它们输入到一个“Transformer”中，这是一种以编写故事和回答问题而闻名的 AI 类型。在这种情况下，AI 的任务是阅读一系列这种八位数字代码，并预测下一个代码，如此循环往复，直到它写出一个全新的细胞。

团队想要观察这个系统是否遵循一个可预测的规则：如果我们让 AI 的大脑变得更大（更多的参数）并给它喂更多的数据（更多的细胞），它是否会变得更好？他们通过建立一个实验网格来测试这一点。他们构建了五种不同规模的 AI 大脑，范围从微小的 130 万个“神经元”到较大的 8390 万个。然后，他们用不同量的数据来训练每个大脑，从大约 3800 万个细胞到 3.62 亿个细胞不等。

“对勾”式的发现

令人兴奋的部分在于：他们发现 AI 确实遵循一个清晰、可预测的规则。随着大脑变得更大并获得更多数据，AI 的错误（称为“损失”）以一种平滑的数学模式下降。他们发现了一个“双指数定律”，这只是一个时髦的说法，意味着有两个旋钮可以用来改进 AI：大脑的大小和数据的量。

最令人惊讶的发现是关于如何分配计算能力。他们发现，对于这种特定类型的生物学 AI，喂给它更多的数据实际上比让大脑变得更大更有效。如果你有固定的计算能力，通过在一个巨大的数据堆上训练一个中等大小的大脑，比在一个较小的堆上训练一个巨大的大脑能获得更好的结果。这与其他研究人员在生物学中观察到的情况不同，在那些情况下，模型似乎遇到了瓶子，无论给予多少数据都会停止改进。作者解释说，之前的模型很可能遇到了“容量瓶颈”——大脑太小了，无法理解正在喂给它们的数据。一旦你给它们一个足够大的大脑来处理数据，改进就会持续进行。

为什么这很重要

论文还检查了 AI 创建的伪造细胞是否真的优秀。他们将伪造细胞的平均“声音”与真实的、留出的细胞进行了比较。结果令人印象深刻：伪造细胞与真实细胞之间的相似程度，几乎等同于同类型的两个真实细胞之间的相似程度。AI 能以 99% 的准确率区分 T 细胞和皮肤细胞，证明了生成的数据具有生物学上的真实性。

然而，作者谨慎地指出，这仅仅是第一步。他们发现，虽然 AI 在训练过程中在生成通用细胞方面变得越来越好，但它并不一定会通过单纯增加训练时间来变得更擅长预测细胞对特定药物或治疗的反应。事实上，他们注意到数据中出现了一个奇怪的“对勾”形状：AI 预测特定药物反应的能力最初会变好，但随着它在通用数据上继续训练，能力又会变差。这表明，要制作一个预测药物反应的 AI，他们可能需要在特定的时刻停止训练，然后专门教它关于药物的新课程。

简而言之，这篇论文证明了对于单细胞生物学，更大的数据和更大的大脑会以一种可预测的方式协同工作，并且给予 AI 更多的数据是让它变得更聪明的最有效方式。它为创建大规模合成细胞库打开了大门，这可以帮助科学家更快、更便宜地测试新药，尽管预测药物反应的最后一步仍需要一些精细调整。

技术摘要：用于单细胞生成的自回归 Transformer 扩展研究

问题陈述
本文旨在解决生成特定细胞类型的高保真基因表达向量的挑战。虽然现有方法通过类别名称、单个示例向量或向量序列来表示细胞系，但目前需要一种可扩展的、自监督的框架，能够生成合成基因表达谱，以扩充稀缺的测量数据并实现“干实验”（in-silico）实验。此外，该领域对于单细胞基础模型的预训练损失如何随模型规模（ $N$ ）和数据规模（ $D$ ）进行扩展缺乏清晰的理解，目前对于这些模型是遵循可预测的幂律扩展，还是由于数据多样性限制而进入平台期，存在着相互矛盾的报告。

方法论
作者提出了一种结合了学习到的量化变分自编码器（VAE）分词器的自回归 Transformer 架构。该方法涉及两个顺序训练的主要组件：

分词器 (RQ-VAE)： 残差量化 VAE 将连续的单细胞基因表达向量（18,080 个基因）映射为 8 个离散标记（tokens）的序列。编码器将输入压缩为 256 维的潜在向量，随后通过八个残差码本进行由粗到精的量化。该分词器在 scBaseCount 图谱上训练一次后即被冻结，用作 Transformer 的离散表示层。
Transformer 模型： 一个因果 Transformer（基于 LLaMA 架构）对这些离散标记序列进行建模。“句子”是通过连接来自相同细胞类型的 32 个细胞的标记块构建的，块之间由学习到的分隔符标记隔开。模型通过使用交叉熵损失进行下一标记预测（next-token prediction）进行训练。
扩展网格 (Scaling Grid)： 为了研究扩展定律，作者构建了一个独立改变模型规模（ $N$ $N$ ）和数据规模（ $D$ $D$ ）的可控网格。
- 模型规模： 包含 5 种配置，参数量从 1.31M 到 83.9M 不等，保持固定的宽度与深度比例。
- 数据规模： 训练预算范围从 3 8.1M 到 362M 个细胞，样本取自约 2 亿个细胞的固定 scBaseCount 图谱子集，并采用比例采样以保持自然的细胞类型组成。
- 总计： 共评估了 22 个不同的 $(N, D)$ 点。

核心贡献

任务形式化： 定义了一个自监督学习任务，即在给定细胞系上下文的情况下，利用离散化分词生成合成基因表达向量。
评估指标： 建立了包括平均表达量的皮尔逊相关系数、平均绝对误差（MAE）以及细胞类型判别度在内的下游生物学保真度指标。
损失相关性： 证明了预训练交叉熵损失与下游生成质量指标之间存在强相关性。
联合扩展定律： 对预训练损失拟合了一个联合的双指数扩展定律 $L(N, D) = E + A N^{-\alpha} + B D^{-\beta}$ 。据作者所知，这是针对独立变化的 $N \times D$ 网格对单细胞 Transformer 进行此类拟合的首例。
计算最优前沿： 基于拟合的指数推导出了计算最优分配策略，表明在当前规模下，将计算资源投入到增加数据量比增加模型参数更有效。

结果

生成质量： 模型生成的细胞类型特异性向量与经验重复样本高度匹配。在验证损失最低的检查点，生成的群体相对于留出（held-out）的经验数据实现了 0.960 的皮尔逊相关系数和 0.041 的 MAE，几乎达到了对比两个不相交经验子集的基准水平（分别为 0.964 和 0.038）。细胞类型判别度为 0.990，表明生成器并未坍缩到单一模式。
扩展定律拟合： 拟合的扩展定律得到的指数为 $\alpha \approx 0.81$ （模型规模）和 $\beta \approx 0.57$ （数据规模），不可约损失底数为 $E \approx 2.90$ nats。拟合的 $R^2$ 达到了 0.977。
预测能力： 拟合的定律能够预测留出的运行实验（同时改变 $N$ 和 $D$ ），其误差在测量值的 0.5% 以内，验证了模型的推断能力。
计算最优前沿： 由于 $\alpha > \beta$ ，最优分配向数据倾斜（ $D^* \propto C^{0.59}$ vs. $N^* \propto C^{0.41}$ ）。

意义与主张
本文声称解决了关于单细胞扩展定律的争论。此前的一些研究（“多样性优于规模”集群）报告称单细胞模型在大规模下会进入平台期，并将其归因于缺乏上下文多样性；而作者认为这是一种对容量瓶颈的误解。他们的结果显示，当 $N$ 和 $D$ 联合变化时，会出现清晰的幂律扩展。此前观察到的平台期被归因于在固定或不受控的模型规模下增加数据，即当数据项低于容量项时，模型缺乏利用额外数据的能力。

作者将这项工作定位为单细胞基础模型的奠基性一步，提供了训练的计算最优前沿。他们还讨论了一个“第二阶段”的应用：针对扰动响应预测对预训练模型进行微调。然而，他们注意到一个在预训练过程中的观察结果：一个扰动基准测试的留出损失呈现出“钩形”（先下降后上升）的轨迹，这与主要的扩展损失不同，暗示了通用预训练语料库与特定扰动上下文之间存在成分不匹配。这仍然是一个开放性问题，而非已报告的结果。

论文总结道，所提出的架构成功合成了具有高生物学保真度的基因表达向量，并且只要训练网格得到充分控制，单细胞 Transformer 的扩展行为就遵循类似于自然语言处理中的可预测联合幂律。

技术摘要：用于单细胞生成的自回归 Transformer 扩展研究

类似论文