🧬 biology

Scaling Laws for Masked-Reconstruction Transformers on Single-Cell Transcriptomics

本研究建立了首个系统性证据，证明在单细胞 RNA 测序数据上训练的掩码重构 Transformer 遵循与自然语言处理中类似的神经缩放定律，但前提是必须有足够的数据量来克服数据集稀缺带来的限制。

原作者： Ihor Kendiukhov

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Ihor Kendiukhov

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

想象一下，你正试图教一个机器人理解单个细胞内部的“语言”。这种语言并非由像“苹果”或“奔跑”这样的词汇组成，而是由基因组成的。一个细胞拥有数以千计的基因，在任何给定时刻，有些基因处于“开启”状态（活跃），而有些则处于“关闭”状态（沉默）。这种活跃程度被称为基因表达。

这篇论文讲述了研究人员如何教一个智能计算机程序（一种“Transformer”，与驱动聊天机器人的 AI 类型相同）去猜测细胞遗传故事中缺失的部分。

以下是研究人员所做工作和发现的简单拆解：

1. 游戏规则：“填空游戏”

研究人员利用了一个庞大的细胞数据库（来自 CELLxGENE Census，这就像是一个关于人类细胞的巨大公共百科全书）。他们选取了 200,000 个细胞，并专注于每个细胞中最具代表性的 512 个基因。

他们让 AI 玩了一个游戏：

他们向 AI 展示一个细胞的基因图谱，但隐藏（掩盖）了 15% 的基因。
AI 必须观察剩余的基因，并猜测那些被隐藏的基因正在做什么。
目标是尽可能接近真实的答案。

2. 核心问题：越大真的越好吗？

在 AI 世界中，有一个著名的法则叫做**“缩放定律”（Scaling Laws）**。它基本上是说：如果你把 AI 做得更大（增加脑力），并给它更多的数据，它完成工作的能力会以一种可预测的方式提升。

科学家知道这在语言（聊天机器人）和图像（图像生成器）领域行之有效。但没人知道这是否也适用于生物学。研究人员想要看看这个规则是否也适用于细胞。

他们构建了 六个不同版本的 AI，范围从一个微小的“玩具”模型（仅有 500 个“脑细胞”）到一个巨大的“巨型”模型（拥有超过 1 亿个“脑细胞”）。

3. 结果：“甜点区”

他们用相同的数据训练了所有六个模型，并测量了它们猜测缺失基因的能力。

好消息： 就像语言模型一样，AI 越大，它猜得就越准。误差率呈现出一条平滑且可预测的曲线。这证明了神经缩放定律在单细胞生物学领域确实存在。
代价（收益递减）： 曲线开始趋于平缓。一旦 AI 达到约 2000 万个参数（即“中等”规模），再进一步扩大规模（直到 1 亿个）并不会带来太多帮助。这就像试图填满一个已经 99% 满的桶；增加更多的水（更多的计算能力）并不会显著改变水位。

4. “噪声”底线：什么是无法学习的？

即使是最大的、最聪明的 AI 也无法获得完美的分数。存在一个误差停止下降的“底线”。

研究人员问道：这是因为 AI 还不够聪明，还是因为数据本身很乱？

他们计算出，即使是完美的 AI，在尝试预测每个基因时，仍然会产生 2.3 比特（bits）的信息误差。

类比： 想象你在一个嘈ellous（嘈杂）的房间里试图听朋友低语。即使你拥有最好的耳朵（最大的 AI），你也无法听得完美无瑕，因为房间太吵了（生物噪声）或者朋友在含糊其辞（技术限制）。
发现： 这“2.3 比特”代表了不可还原的不确定性。这是在给定当前数据和处理方式的情况下，基因表达具有的可预测性的极限。这并非宇宙的普遍法则，而是针对这项特定实验而言的极限。

5. 关于数据规模的警告

研究人员还进行了另一种实验：保持 AI 大小不变，但改变喂给它的数据量。

惊喜： 当他们仅仅给 AI 更多的数据，但没有让它进行更长时间的训练时，性能并没有提高。
教训： 这不仅仅关乎拥有更大的藏书量（数据），更关乎你让学生阅读这些书的时间长短（训练步数）。如果你给一个学生一百万本书，但只允许他读 10 分钟，那么他学到的东西并不会比你给他一百本书并让他读 10 分钟要多。

总结

这篇论文首次证明了更大的 AI 模型在生物学领域表现更好，但仅限于一定范围内。

缩放是有效的： 更大的模型能更好地预测基因活动。
存在极限： 在 2000 万个参数左右，继续扩大规模的成本效益就不再显著。
存在噪声极限： 即使是完美的模型也无法预测一切，因为生物学本质上是“嘈杂”且不可预测的（约 2.3 比特的不确定性）。
训练至关重要： 你需要平衡模型的大小、数据的量以及用于训练的时间。

这对未来意味着什么：
论文表明，科学家们不应该盲目地持续构建庞大的模型。相反，他们应该专注于获取更好、更干净的数据，并进行更聪明的实验，以准确理解为什么预测细胞行为的能力存在上限。

技术摘要：单细胞转录组学中掩码重构 Transformer 的缩放法则

问题陈述

虽然神经缩放法则（损失、模型大小与数据量之间的幂律关系）在语言和视觉 Transformer 中已有详尽记录，但在单细胞基因组学领域仍鲜为人知。单细胞社区已经开发了大型基础模型（如 scVI、scGPT、Geneformer），但这些模型通常是在下游任务（注释、批次校正）上进行评估，而非针对预训练损失与模型规模之间的基本关系。由于缺乏建立的缩放法则，从业者无法判断性能瓶颈是源于模型容量不足、数据量不足，还是内在的生物学/技术噪声。此外，缩放法则中的渐近损失底限（asymptotic loss floor）为可减少误差提供了一个潜在的经验上限，这可能与基因表达数据的内在熵相关。

方法论

作者展示了针对单细胞 RNA 测序（scRNA-seq）数据训练的掩码重构 Transformer 缩放行为的首次系统性研究。

数据来源： 数据取自 CELLxGENE Census。主要实验使用了一个标准化的子集，包含 200,000 个细胞和 512 个高变基因（HVGs）。补充分析使用了不同细胞数量（ $D \in \{25k, 50k, 100k, 200k\}$ ）的固定词表子集。
预处理： 流水线包括库大小归一化（目标总和为 $10^4$ ）、 $\log(1+x)$ 转换，以及分层拆分为训练集（90%）、验证集（5%）和测试集（5%）。
架构： 采用了一种置换不变的 Transformer 编码器，由于基因顺序不具备生物学意义，因此省略了位置编码。输入由基因身份嵌入、观测到的表达值（或学习到的掩码标记）以及一个二进制掩码组成。模型使用预层归一化（Pre-LN）和一个线性预测头来重构被掩码的基因值。
训练目标： 模型使用掩码重构目标进行训练，最小化被掩码位置处预测值与真实值之间的均方误差（MSE）（15% 的掩码率）。
实验设计：
- 参数扫描： 在标准化的 $V=512, D=200k$ 数据集上，训练了六种不同规模（从 XXS 到 L）的模型，参数量从 533 跨越到 $1.0 \times 10^8$ 。每个规模使用三个随机种子运行 60,000 个步长。
- 数据规模扫描： 在固定模型（ $M$ 规模）分析中，通过改变数据集大小（ $D$ ）来观察效果，同时保持总训练步数恒定。
- 诊断： 跨基因残差异质性检查以及小规模直接高斯负对数似然（NLL）校准。
缩放法则公式化： 验证 MSE（ $L$ ）与参数量（ $P$ ）之间的关系建模为 $L(P) = aP^{-\alpha} + c$ ，其中 $c$ 代表不可约损失底限。通过对 $c$ 进行网格搜索并在线性化形式上进行普通最小二乘法拟合。

核心贡献

首次系统性研究： 本工作对基于掩码重构的 scRNA-seq 预训练进行了首次系统性调查。
证明了缩放性： 研究表明，在标准化的 $V=512, D=200k$ 扫描中出现了幂律缩放，且留出测试集的评估遵循与验证集相同的定性趋势。
全面分析： 研究包含了额外的固定 $V$ 分析，包括数据规模扫描、跨基因残差异质性诊断以及小规模直接高斯-NLL 校准。
初步熵估计： 提供了一个渐近不确定性底限的初步估计，并在特定假设下将其解释为信息论单位。
严谨性路线图： 明确了从“损失-参数”曲线过渡到严谨的转录组熵估计所需的必要实验要素（匹配的 $V/D$ 扫描、基于似然的目标函数、计算量核算）。

结果

参数缩放： 在标准化扫描中，验证 MSE 从 XXS 到 M 模型稳步下降。L 模型（ $\sim 10^8$ 参数）较 M 模型（ $\sim 1.9 \times 10^7$ 参数）没有表现出改进，表明损失曲线已开始趋于平缓。
缩放指数： 拟合的幂律指数为 $\alpha \approx 0.266$ （验证集）和 $\alpha \approx 0.268$ （测试集）， $R^2$ 约为 0.86。这显著大于自回归语言模型报告的指数（ $\alpha \approx 0.076 person$ ），但在定性上与幂律缩放的存在是一致的。
不可约底限： 估计的不可约损失底限 $c$ 分别约为 $\approx 1.44$ （验证 MSE）和 $\approx 1.46$ （测试 MSE）。
数据规模效应： 固定 $V$ 的数据规模扫描（在固定步数下改变 $D$ ）产生了一个接近平坦的验证拟合 $\beta \approx -0.002$ ，这表明在固定训练步数的情况下，较大的数据集意味着更少的有效轮数（epochs），从而导致在该特定设置下无法形成清晰的 $L(D)$ 法则。
残差异质性： 残差误差具有强烈的基因依赖性。平均表达量与每基因 MSE 之间的相关系数为 0.892，基因间的变异系数为 0.730，表明同方差高斯假设并不完美。
熵估计： 在同方差高斯近似下，渐近底限对应于每个掩码基因位置约 2.30 比特 的不可约不确定性。该估计值既源自 MSE 底限，也源自转换后的高斯 NLL 底限，尽管作者指出由于是事后推导，两者并非完全独立。

重要性与主张

本文声称建立了一个用于推理单细胞基础模型缩放行为的定量框架。其主要意义在于：

实践指导： 研究表明，对于 $\sim 200,000$ 个细胞的数据集，数千万参数的模型足以捕捉可学习的结构，且在当前设置下，超过 $\sim 20M$ 参数后的收益递减。
方法论清晰度： 它强调了数据量、优化预算和损失解释之间存在复杂的相互作用；一个清晰的数据法则分析需要跨数据集规模的匹配优化预算，而这在固定步数的扫描中并未实现。
生物学洞察： 估计的不可约底限（ $\sim 2.3$ 比特）被呈现为并非普遍的生物学常数，而是反映了生物噪声、技术噪声以及特定预处理流水线（ $\log$ 转换、HVG 选择）造成的信息损失的特定任务量。
未来方向： 该工作概述了严谨的转录组熵估计需要未来的工作，包括匹配的 $V/D/C$ 实验矩阵、原生的基于似然的目标函数（同时预测 $\mu$ 和 $\sigma^2$ ）以及全面的计算量核算。

作者保持了谦逊的基调，强调 2.3 比特的数值是在特定假设下的初步基准，且当前研究尚未能明确区分数据受限型与模型受限型的底限。