🧬 biology

Integrating gene regulatory priors into Transformer attention with scTransformer for interpretable scRNA-seq analysis

本文介绍了 scTransformer，这是一种新型的基于 Transformer 的模型，它通过将基因调控先验知识整合到注意力机制中，以增强单细胞 RNA-seq 分析的性能和生物学解释性。

原作者： Mikele Milia, Louis Fabrice Tshimanga, Henning Mueller, Manfredo Atzori, Barbara Di Camillo

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Mikele Milia, Louis Fabrice Tshimanga, Henning Mueller, Manfredo Atzori, Barbara Di Camillo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

想象一下，你正在试图教一个超级聪明的学生（一个 AI 模型）如何仅仅通过观察他们的身份证件，就能在拥挤的房间里识别出不同类型的人。在生物学世界中，这些“人”就是细胞，而他们的“身份证件”则是细胞内活跃的基因列表。这被称为单细胞 RNA 测序 (scRNA-seq)。

长期以来，科学家们一直使用被称为 Transformers 的强大 AI 工具（也就是现代聊天机器人背后的同款技术）来研究这些细胞。然而，这里存在一个问题：这些 AI 模型通常将每个基因都视为与其他任何基因都毫无关系的陌生人。它们观察数百万个细胞，并试图纯粹靠运气来猜测其中的联系，就像一个侦探试图在没有任何先验知识的情况下，通过瞎猜来破解谁可能认识谁的犯罪案件一样。

如果拥有海量数据，这种方法还可以，但它有两个巨大的缺陷：

它是在盲目猜测： AI 可能会发现一些看起来真实、但实际上只是随机噪声的模式。
它难以被信任： 如果你问 AI 为什么 它做出了某个决定，很难解释清楚，因为它只是在遵循统计学上的运气，而不是生物学规则。

解决方案：scTransformer

该论文的作者创建了一个名为 scTransformer 的新模型。你可以把这个模型想象成一个不仅仅是在瞎猜，而是在开始学习之前就拿到了一本规则手册的学生。

这本规则手册是一张已知生物关系的地图。它告诉 AI：“嘿，基因 A 是一个‘老板’（转录因子），它控制着基因 B。但基因 A 对基因 C 并没有管辖权。”

用技术术语来说，他们直接将这种规则手册构建到了 AI 的“注意力机制”（attention mechanism）中。在普通的 AI 中，每个基因都可以“注视”每一个其他基因。而在 scTransformer 中，AI 在物理层面上被阻断了，无法去关注那些在规则手册中并不存在的联系。它只能关注那些科学家已经证实的相互关系。

它是如何工作的（类比）

想象一个学生们正在尝试解开谜题的教室。

旧方法（标准 Transformer）： 每个学生都可以向其他任何学生窃窃私语。他们可能会根据偶然坐在谁旁边而意外地组成一个小组，即使他们之间毫无共同点。如果你问他们为什么要分组，他们可能会说：“我们只是觉得这样挺好。”
新方法（scTransformer）： 老师根据家族血缘关系发放了座位表。学生 A（老板）只能向他们特定的兄弟姐妹（目标基因）低声细语。学生 B（普通基因）只能对自己或自己的家人说话。AI 被迫去学习真实的家族结构，而不是随机的座位安排。

他们的发现

研究人员在与特定疾病相关的脑细胞数据集上测试了这个新模型。结果如下：

数据越少，它越聪明： 当 AI 只有很少的数据可以学习时（比如只有总细胞数的 1%），新模型的细胞类型预测准确度远高于旧模型。“规则手册”帮助它学得更快，因为它不需要浪费时间去猜测那些不可能存在的联系。
它更具一致性： 如果你运行十次旧的 AI 模型，它可能会选出十组不同的基因来做出决策，即使准确率是一样的。这就像一个学生在考试中拿到了正确答案，但每次使用的逻辑方法却完全随机。而新模型则会每次都选择相同的基因组。它是可靠的。
它符合逻辑： 因为 AI 被迫遵循生物学规则手册，它发现的联系实际上与生物学家已知的知识相匹配。AI 对不同基因所投入的“注意力”看起来像是一个真实的调控程序，而不是一团随机的乱麻。

核心结论

论文得出结论，通过迫使 AI 尊重已知的生物学规则，他们不仅是稍微提高了准确性，更是让它变得更加值得信赖。

在一个数据往往混乱且不完整的情况下，这种方法确保了 AI 的“想法”是立足于现实的。它不仅预测答案，还使用生物学的语言来解释答案。作者展示了你可以拥有一个既强大又受自然法则严格引导的 AI，这使其成为了理解我们细胞运作方式的更好工具。

技术摘要：scTransformer —— 将基因调控先验集成至 Transformer 注意力机制中

问题陈述

单细胞 RNA 测序（scRNA-seq）数据具有高维、稀疏和技术噪声的特征，为表示学习带来了显著挑战。虽然基于 Transformer 的基础模型（如 scGPT、Geneformer）通过在数百万个细胞上进行预训练展示了可扩展性，但它们通常将基因视为独立的 Token，并使用无约束的自注意力机制。这种设计允许任何基因关注其他任何基因，仅依赖统计共变性来发现依赖关系。因此，这些模型经常面临以下问题：

可解释性有限： 注意力模式难以映射到机械性的生物学过程。
不稳定性： 在低数据量或存在批次效应的情况下，无约束模型可能会过拟合于数据集特有的相关性，导致预测结果虽然在准确率上表现稳健，但在特征选择上却不稳定（即不同的训练运行会选择不相交的基因集）。
忽略生物学知识： 现有方法在很大程度上忽略了经过整理的转录因子（TF）– 靶基因（TG）调控网络，这些网络编码了转录控制中合理的因果结构。

方法论：scTransformer 架构

作者提出了 scTransformer，这是一种生物学感知的 Transformer 编码器，通过硬掩码（hard masking）将经过整理的 TF–TG 调控网络直接集成到自注意力机制中。

1. 输入表示与嵌入：

基因 Token 嵌入： 每个细胞中的每个基因被映射为一个 $d$ 维 Token，结合了可训练的基因身份嵌入（ $e^{id}$ ）和连续表达编码（ $e^{expr}$ ）。
连续正弦编码： 与离散分箱不同，表达值使用连续的正弦方案（ $\sin(x \cdot \omega_k), \cos(x \cdot \omega_k)$ ）进行编码。这保留了 scRNA-seq 测量值在动态范围内的定量信息，确保了平滑性和有界性。
池化： 一种基于相似性的池化机制将变长 Token 序列聚合为固定维度的细胞嵌入。上下文向量通过计算 Token 嵌入的均值得出，并用作跨注意力机制中对 Token 序列进行查询的 Query。

2. 先验门控注意力机制：
其核心创新是用先验门控机制取代了无约束的注意力：

调控网络： 对经过整理的 TF–TG 网络（来自 CollecTRI）进行预处理，过滤掉只有足够靶基因的 TF 以及存在于数据集中的基因。
硬掩码： 构建一个布尔允许矩阵（ $M_{allow}$ ），其中仅当基因 $i$ 是 TF 且基因 $j$ 是其靶基因时， $M_{allow}(i, j) = 1$ （对于自环则 $i=j$ ）。所有其他相互作用均设为 0。
注意力约束： 该矩阵被转换为加性掩码（ $\tilde{M}_{prior}$ ），其中禁止的相互作用被分配为 $-\infty$ 。在缩放点积注意力中的 Softmax 操作之前，将此掩码添加到注意力得分中：
$A_h = \text{softmax}\left(\frac{Q_h K_h^\top}{\sqrt{d_k}} + \tilde{M}_{prior} + M_{pad}\right)$
这确保了信息仅沿着已知的调控边（以及自环）流动，从而有效地将假设空间限制在生物学上合理的相互作用内。

3. 可解释性指标：
为了量化学习到的注意力的生物学相关性，作者定义了模块级指标：

浓度得分 ( $\phi$ )： 使用归一化熵衡量 TF 将注意力集中在其注释靶基因上的选择性程度。较低的熵（较高的 $\phi$ ）表示注意力更加集中且具有结构性。
模块重要性： 结合浓度得分与指向靶基因的总注意力质量，来量化调控信号的强度。

4. 实现细节：

数据： 在 MSSM 单细胞核 RNA-seq 图谱（PsychAD 队列）上进行评估，限制在 17 个亚型和 TF–TG 基因交集内。
训练： 使用带有 Pre-LN 架构的 AdamW 优化器。训练采用直接在压缩稀疏行（CSR）矩阵上进行的稀疏批处理，以高效处理大规模数据集。
评估： 模型在不同的训练数据规模（1% 到 100%）下进行了测试，以评估样本效率和鲁棒性。

主要贡献

先验门控注意力： 首个将经过整理的 TF–TG 网络作为硬约束嵌入 Transformer 注意力机制的框架，将调控知识转化为结构化归纳偏置。
连续表达编码： 一种正弦编码方案，在不进行离散化的情况下保留了 scRNA-seq 数据的定量特性。
稀疏训练流水线： 一个直接在 CSR 矩阵上运行的高效实现，能够在大规模单细胞数据集上进行可扩展训练。
形式化可解释性指标： 一套用于量化注意力集中度和调控重要性的指标，允许直接评估生物学连贯性，而无需事后分析。
可重复协议： 采用带有受控数据划分和多种子评估的分布式训练设置，以严格评估稳定性。

结果

作者在细胞类型分类任务中将 scTransformer 与无约束基准模型进行了对比：

低数据规模下的表现： 在训练数据有限（1% 和 25%）的情况下，先验门控模型实现了比无约束基准模型显著更高的准确率（例如，在 1% 数据下为 0.486 对比 0.464）。这证明了改进的样本效率。
全数据规模下的表现： 在 100% 数据可用时，先验门控模型（仅使用 TF–TG 限制的基因）达到了与使用所有基因的无约束基准模型相当的准确率（0.911 对比 0.917），尽管其操作的相互作用空间要小得多。
稳定性与可重复性： 无约束模型在不同训练运行中表现出高度变异性，选择的基因集是不相交的（Jaccard 指数接近零，Spearman 相关系数为负）。相比之下，先验门控模型表现出高度稳定性，能够一致地选择相似的基因子集并保持一致的排名。
生物学连贯性： 先验门控模型的注意力图显示出更高的浓度得分 ( $\phi$ )，表明 TF 将注意力集中在特定的、具有生物学意义的靶基因子集上。这些模式与已知的亚型特异性调控程序相一致（例如，内皮样细胞群中 GRHL3 的富集，以及 OPCs 中 NANOG 的富集），而无约束模型产生的注意力分布则较为弥散且缺乏可解释性。

意义与主张

论文声称，整合调控先验的主要价值不仅在于提高预测准确率，更在于增强所学表示的认识论可靠性和可解释性。

解决歧义性： 在高维、稀疏的数据中，多种基因组合可以解释相同的表型。无约束模型可能会收敛到任意且不稳定的解。调控先验约束了假设空间，引导模型走向具有生物学基础且连贯的解。
归纳偏置： 通过将生物学结构直接嵌入架构中，模型学习到的表示既能对噪声和批次效应具有鲁棒性，又能在数据充足时保持灵活性。
可解释性的基础： 该方法为“生物学驱动的基础模型”迈出了原则性的一步，在这种模型中，注意力权重可以直接解释为调控程序，从而促进生物学洞察，而无需进行事后分析。

作者保持了谦逊的态度，指出目前的局限性包括使用硬二元掩码（这阻碍了学习新相互作用的能力）、仅限于监督任务以及仅在单个数据集上进行评估。他们建议未来的工作可以探索软/可学习先验、自监督预训练以及混合架构。