🧬 biology

GeneMamba: An Efficient and Effective Foundation Model on Single Cell Data

本文提出了基于 Bi-Mamba 架构的基因基础模型 GeneMamba，通过线性时间复杂度高效处理单细胞转录组数据，在预训练近 3 亿个细胞后，于多批次整合、细胞类型注释及基因相关性分析等任务中展现出超越 Transformer 方法的性能与可扩展性。

原作者： Cong Qi, Hanzhang Fang, Siqi Jiang, Xun Song, Tianxing Hu, Wei Zhi

发布于 2026-03-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Cong Qi, Hanzhang Fang, Siqi Jiang, Xun Song, Tianxing Hu, Wei Zhi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

这篇论文介绍了一个名为 GeneMamba 的新模型，它就像是为单细胞生物学研究量身定做的一个“超级大脑”。为了让你更容易理解，我们可以把这项技术想象成是在教计算机如何像生物学家一样“阅读”和“理解”生命。

以下是用通俗易懂的语言和生动的比喻对这篇论文的解读：

1. 背景：为什么我们需要 GeneMamba？

现状：细胞是“海量数据”，旧模型“跑不动”
想象一下，人体由数万亿个细胞组成，每个细胞里都有成千上万个基因在说话（表达）。科学家通过一种叫“单细胞测序”的技术，试图记录每个细胞里所有基因的声音。

以前的做法（Transformer 模型）： 就像是用一个非常聪明的老式图书馆管理员。他能把所有书（基因）都读一遍，理解它们之间的关系。但是，如果书太多（细胞数量巨大），或者书太长（基因序列很长），这位管理员就会累得半死，因为他的阅读速度是“平方级”的——书多一倍，他花的时间就要多四倍。这导致处理几百万个细胞的数据时，计算成本极高，甚至跑不动。
新的需求： 我们需要一个既能读懂所有书，又能像闪电一样快，还能处理海量数据的“超级管理员”。

2. 核心创新：GeneMamba 是什么？

GeneMamba 就是为了解决上述问题而诞生的。它基于一种叫 Mamba 的新技术（属于状态空间模型 SSM），并专门为生物学做了优化。

比喻一：从“死记硬背”到“双向阅读”

单向阅读（旧 Mamba）： 就像你读一本书，只能从第一页读到最后一页。你知道了前面的情节，但不知道后面的伏笔。
双向阅读（Bi-Mamba）： GeneMamba 引入了 Bi-Mamba 模块。这就像是一个同时从书头读到书尾，又从书尾读回书头的超级读者。它能同时理解基因之间的“前因”和“后果”。在生物学中，这意味着它能更好地捕捉基因之间复杂的相互调控关系（比如基因 A 如何影响基因 B，反之亦然）。

比喻二：把“基因”变成“单词”

计算机不认识基因，只认识数字。

以前的方法： 像把基因表达量强行塞进几个固定的“盒子”里（分箱），这可能会丢失很多细微的差别。
GeneMamba 的方法： 它采用了一种**“排名法”**。想象你在班级里给所有同学按身高排队。GeneMamba 不看具体的身高数值（因为那容易受测量误差影响），而是看“谁比谁高”。
- 它把每个细胞里的基因按表达量从高到低排个序，把“第一名”、“第二名”变成计算机能懂的“单词”。
- 好处： 这种方法非常抗干扰。不管细胞里的基因表达量整体是高了还是低了（比如因为实验批次不同），排名的相对顺序通常是不变的。这让模型更稳定，更像生物学的真实逻辑。

3. 它是怎么训练的？（预训练）

GeneMamba 是在一个巨大的数据集上“自学成才”的。

数据量： 它学习了来自 CELLXGENE 数据库的 近 3000 万个细胞 的数据。这相当于它读完了人类历史上几乎所有的单细胞实验记录。
训练目标：
1. 猜下一个词： 就像玩“成语接龙”或“完形填空”。给它看一个细胞里前几个基因，让它猜下一个基因是谁。这让它学会了基因之间的语言规律。
2. 理解“朋友圈”（通路损失）： 生物学中，基因不是孤立工作的，它们组成“功能小组”（通路）。GeneMamba 被训练去识别：如果两个基因属于同一个功能小组（比如都负责免疫反应），它们在模型里的“位置”应该靠得很近；如果属于不同小组，就要离得远。这就像教模型识别“朋友圈”，让同伙聚在一起。

4. 它有多厉害？（实验结果）

GeneMamba 在三个主要任务上表现优异，甚至超过了之前的顶尖模型（如 scGPT, GeneFormer）：

任务一：把不同批次的细胞“融合”在一起（多批次整合）
- 比喻： 就像把来自不同学校、不同老师教的学生（不同实验批次的数据）放到同一个班级里。以前的模型可能会把“学校 A"的学生和“学校 B"的学生强行分开，或者把不同性格的学生混在一起。
- GeneMamba 的表现： 它能完美地消除“学校”带来的差异，只保留学生本身的“性格”（细胞类型）。它既消除了噪音，又保留了真实的生物学特征。
任务二：给细胞“贴标签”（细胞类型注释）
- 比喻： 给细胞分类，比如认出哪个是“红细胞”，哪个是“免疫细胞”。
- GeneMamba 的表现： 它的准确率非常高，能精准识别出那些细微差别的细胞类型，就像一位经验丰富的老医生，看一眼就能确诊。
任务三：还原基因排名（重建实验）
- 比喻： 让模型看着一张被打乱的基因排名表，把它重新排好。
- GeneMamba 的表现： 它不仅能排好头部的基因，连尾部那些不常表达的基因也能排得很准。这证明了它真正理解了数据的结构，而不是在“瞎蒙”。

5. 为什么这很重要？（意义与局限）

意义：
- 快且省： 它处理数据的速度比传统模型快得多，计算成本更低。以前需要几周才能训练完的模型，现在可能只需要几天，甚至能用更少的显卡完成。
- 可扩展： 它可以轻松处理数千万甚至上亿个细胞的数据，为未来的“数字生物学”打下了基础。
- 可解释： 因为它能很好地重建基因排名，科学家可以更容易地理解模型到底学到了什么生物学规律。
局限：
- 就像任何新工具一样，它可能还不太擅长处理那些极其罕见、数据极少的细胞类型（因为“书”读得不够多）。
- 虽然比旧模型快，但训练它依然需要强大的计算机资源。

总结

GeneMamba 就像是单细胞生物学领域的“新引擎”。它不再使用笨重且缓慢的“老式引擎”（Transformer），而是换上了一套高效、双向、懂生物逻辑的“混合动力系统”。

它让科学家能够以前所未有的速度和规模去分析细胞，就像给显微镜装上了超级计算机，让我们能更清晰地看清生命的微观世界，从而加速新药研发和疾病治疗的研究。

GeneMamba 技术总结

1. 研究背景与问题 (Problem)

背景：
单细胞 RNA 测序（scRNA-seq）技术极大地推动了细胞异质性、分化轨迹和稀有细胞群的研究。然而，处理海量单细胞数据面临巨大挑战：

数据特性： 高维度、固有稀疏性、技术噪声以及极长的序列长度（每个细胞包含数千个基因）。
现有模型局限： 基于 Transformer 的架构（如 scBERT, scGPT, Geneformer）虽然在单细胞分析中表现优异，但其自注意力机制（Self-Attention）具有二次方计算复杂度（ $O(N^2)$ ），导致在处理长序列（即包含大量基因的单细胞数据）时计算效率低下，难以扩展到数千万细胞规模。此外，Transformer 在捕捉长距离依赖（Long-range dependencies）方面存在困难，而这对于建模基因调控网络至关重要。

核心问题：
如何构建一个既能高效处理超大规模单细胞数据（线性复杂度），又能有效捕捉基因间复杂双向上下文依赖关系，且具备生物学可解释性的基础模型？

2. 方法论 (Methodology)

GeneMamba 提出了一种基于**状态空间模型（State Space Models, SSMs）**的新型架构，旨在解决上述效率与可扩展性问题。

2.1 数据预处理与 Tokenization

输入表示： 将单细胞数据视为基因表达矩阵，行代表细胞，列代表基因。
归一化： 对基因表达值进行深度归一化（除以细胞总表达量）和基因特异性归一化（使用 t-digest 算法计算非零中位数）。
基于排名的离散化（Rank-based Discretization）：
- 不同于传统的分箱（Binning）或连续值投影，GeneMamba 采用基于排名的策略。
- 在每个细胞内，根据归一化后的表达值对基因进行降序排列。
- 将基因转换为排名 Token（Rank Tokens）。这种方法不仅保留了相对表达水平的生物学意义，还增强了对批次效应和噪声的鲁棒性，同时降低了序列长度（仅保留 Top 2048 或 4096 个基因）。

2.2 核心架构：Bi-Mamba (双向 Mamba)

Mamba 基础： 利用 SSM 的线性复杂度特性，通过输入依赖的动态参数（ $A, B, C, \Delta$ ）实现选择性信息传播，高效捕捉长序列依赖。
双向扩展（Bi-Mamba）： 针对单细胞数据中基因调控的双向上下文需求，设计了双向处理机制：
1. 正向与反向处理： 将输入序列 $S$ 和反转序列 $S_{rev}$ 分别通过共享权重的 Mamba 层处理。
2. 门控融合机制（Gating Mechanism）： 引入可学习的门控单元，动态平衡正向和反向上下文的贡献，生成统一的上下文感知表示。
3. 优势： 相比单向 Mamba，Bi-Mamba 能更全面地捕捉基因间的上游和下游依赖关系，且保持线性计算复杂度。

2.3 预训练目标 (Pretraining Objectives)

模型采用多任务联合训练策略，包含两个损失函数：

下一基因预测损失 ( $L_{lang}$ )： 类似于语言模型的掩码语言建模（MLM）或自回归预测，根据细胞内前序基因预测下一个基因 Token，学习基因序列的局部和全局依赖。
基因通路损失 ( $L_{pathway}$ )： 引入生物学先验知识，使用 InfoNCE 对比损失。
- 正样本： 同一生物通路（Pathway）内的基因对。
- 负样本： 不同通路的基因对。
- 目的： 强制模型在嵌入空间中拉近同一通路基因的距离，推远不同通路基因的距离，增强模型的生物学可解释性和功能组织能力。

总损失： $L = L_{lang} + \gamma L_{pathway}$

3. 主要贡献 (Key Contributions)

首个面向单细胞数据的高效 SSM 基础模型： 提出了 GeneMamba，利用 Bi-Mamba 架构成功将单细胞分析模型的计算复杂度从二次方降低至线性，实现了在5000 万 + 细胞规模上的可扩展训练。
创新的生物学感知训练策略： 结合了基于排名的 Tokenization 和基于通路的对比损失，不仅提升了模型性能，还显著增强了基因嵌入的生物学可解释性。
全面的下游任务验证： 在多个关键任务中验证了模型的有效性，包括多批次整合、细胞类型注释和基因相关性分析，证明了其作为单细胞组学基础模型的通用性。
卓越的重建与解释能力： 通过基因排名重建实验，展示了模型在保留输入数据结构和捕捉低表达基因特征方面的优越性，优于现有的 Transformer 模型。

4. 实验结果 (Results)

实验在 CELLXGENE 数据库构建的约 3000 万个高质量细胞数据集上进行预训练，并在多个基准数据集上进行了评估。

4.1 多批次整合 (Multi-batch Integration)

指标： Avg_batch（批次校正能力）和 Avg_bio（生物信息保留能力）。
结果： GeneMamba 在 PBMC12k、COVID-19 等数据集上表现优异。它成功克服了传统方法（如 Harmony）在消除批次效应时往往丢失生物差异的权衡问题，在保持高批次校正率的同时，更好地保留了细胞类型的生物学聚类结构。

4.2 细胞类型注释 (Cell Type Annotation)

数据集： hPancreas, MS, Myeloid 等。
结果： 在 hPancreas 数据集上达到了 97.13% 的准确率和 0.7710 的 Macro-F1 分数，优于 scGPT、scFoundation 和 GeneFormer。在 Myeloid_b（平衡数据集）上也取得了 96.03% 的准确率，证明了其在区分细微细胞亚群方面的鲁棒性。

4.3 基因排名重建 (Gene Rank Reconstruction)

任务： 输入基因排名序列，预测输出序列，评估模型对基因表达模式的还原能力。
指标： Levenshtein Distance (L-Dist), BLEU, Spearman 相关性。
结果： GeneMamba 在 PBMC12k 数据集上 L-Dist 仅为 6，BLEU 高达 0.987，Spearman 相关系数 0.711。
- 对比发现：单向 Mamba (GeneMamba_U) 和 GeneFormer 在处理低排名（低表达）基因时表现较差，而 GeneMamba 能同时精准捕捉高、低表达基因，证明了双向上下文的重要性。

4.4 可扩展性与效率

训练效率： 相比 Transformer 架构，GeneMamba 在相同参数量下，训练时间减少了约 42%（2048 序列长度下）。
长序列处理： 随着序列长度增加（2048 -> 8192），Transformer 的训练时间呈指数级增长，而 GeneMamba 保持线性增长，展现出处理超大规模单细胞数据的巨大潜力。

5. 意义与影响 (Significance)

计算范式转变： GeneMamba 证明了状态空间模型（SSM）在单细胞生物学领域的应用潜力，为替代计算昂贵的 Transformer 架构提供了可行的替代方案，使得在消费级或中等规模 GPU 集群上训练亿级细胞模型成为可能。
生物学可解释性： 通过引入通路约束和基于排名的输入，模型生成的嵌入不仅具有统计意义，更紧密地贴合了生物学机制（如基因调控网络和通路功能），有助于发现新的生物标志物。
基础模型生态： 作为一个通用的基础模型，GeneMamba 为未来的单细胞多组学分析、药物发现、疾病建模提供了强大的预训练权重和特征提取能力，降低了下游研究的技术门槛。
开源贡献： 代码和模型权重已开源，推动了单细胞计算生物学社区的协作与发展。

总结： GeneMamba 通过结合 Bi-Mamba 的高效架构与生物学先验知识，成功解决了单细胞数据分析中的可扩展性和可解释性难题，是单细胞转录组学领域迈向大规模基础模型时代的重要里程碑。