CLM-X: A multimodal single-cell foundation model with flexible multi-way Transformer for unified scRNA-seq and scATAC-seq analysis

本文提出了 CLM-X，一种基于多向 Transformer 架构的 multimodal 单细胞基础模型，通过统一的标记化设计和分阶段掩码重建预训练策略，实现了对 scRNA-seq 和 scATAC-seq 数据的联合建模，并在批次校正、跨模态翻译及扰动预测等多项下游任务中展现出优于现有方法的性能。

要点

这篇论文介绍了一个名为 CLM-X 的超级人工智能模型，它的任务是帮助科学家更好地理解人体细胞。

为了让你更容易理解，我们可以把细胞想象成一座极其复杂的“生物城市”。要读懂这座城市，科学家通常需要看两本不同的“地图”：

1. RNA 地图（scRNA-seq）： 就像城市的**“实时交通报告”**。它告诉我们哪些“车辆”（基因）正在活跃地运行，城市里正在发生什么活动（比如细胞正在分裂、正在防御病毒等）。
2. ATAC 地图（scATAC-seq）： 就像城市的**“建筑蓝图”或“开关面板”**。它告诉我们哪些“房间”（基因区域）的门是开着的，允许车辆进入，哪些是锁着的。这解释了为什么某些活动会发生。

以前的难题：两张地图对不上

过去，科学家手里有这两张地图，但它们很难拼在一起：

• 格式不同： 一张是密密麻麻的交通数据，另一张是复杂的建筑开关图，就像把“中文”和“数学公式”硬凑在一起读，非常困难。
• 数据太少： 同时拥有这两张完整地图的细胞样本非常少（就像只有几栋楼既有交通报告又有建筑蓝图），而大多数数据只有一种。
• 工具太笨： 以前的软件要么只能读一种地图，要么需要人工把数据“削足适履”才能勉强拼合，容易丢失重要信息。

CLM-X 的解决方案：一位全能的“超级翻译官”

CLM-X 就像一位精通双语、读过海量书籍的“超级翻译官”。它基于一种叫"Transformer"的先进架构（和现在流行的聊天机器人技术同源），专门用来学习细胞的语言。

1. 统一的“语言”（Tokenization）

CLM-X 发明了一种通用的“字母表”。

• 它把 RNA 数据（基因表达）和 ATAC 数据（染色质开放）都转换成了统一的“单词”序列。
• 比喻： 就像不管你是说中文还是英文，CLM-X 都能把它们都转写成同一种“拼音”，这样它就能用同一套大脑去理解两者。

2. 独特的“学习法”（预训练策略）

CLM-X 的学习过程分三步走，非常聪明：

• 第一步（单科学习）： 先让它大量阅读只有 RNA 的“交通报告”和只有 ATAC 的“建筑蓝图”，分别学会这两门语言。
• 第二步（双语融合）： 再让它阅读那些同时拥有两张地图的珍贵样本。
• 第三步（填空游戏）： 这是最精彩的部分。CLM-X 玩一种“遮眼填空”的游戏。
  • 给它看 RNA 报告，让它猜 ATAC 蓝图（“既然这条路堵了，那对应的建筑开关应该关了吧？”）。
  • 给它看 ATAC 蓝图，让它猜 RNA 报告（“既然这个房间门开着，那里面应该正在发生什么活动？”）。
  • 比喻： 这就像你只看到了一个人的背影（ATAC），就能猜出他在做什么动作（RNA）；或者只听到他在说话（RNA），就能猜出他现在的表情（ATAC）。

3. 强大的“万能应用”

经过海量数据（3600 万个细胞）的训练后，CLM-X 变成了全能选手，能解决五大难题：

• 消除“噪音”（批次校正）： 不同实验室、不同时间做的实验会有“色差”。CLM-X 能像修图软件一样，把不同来源的数据“调色”统一，让细胞看起来是在同一个城市里，而不是被分割在不同地方。
• 完美拼图（多模态整合）： 它能将 RNA 和 ATAC 两张地图完美融合，生成一张**“全息地图”**，既知道门开着，也知道车在跑，比单独看任何一张都清楚。
• 跨模态翻译（Cross-modal Translation）： 这是它的杀手锏。如果你只有 RNA 数据（交通报告），它能精准地预测出对应的 ATAC 数据（建筑蓝图），反之亦然。这意味着未来我们可能只需要测一种数据，就能“脑补”出另一种数据，省大钱！
• 细胞身份证（细胞类型注释）： 它能更准确地识别细胞的身份（比如这是 T 细胞还是 B 细胞），哪怕是在数据很模糊的情况下。
• 预测未来（扰动预测）： 如果给细胞“打一拳”（基因编辑或药物刺激），CLM-X 能预测细胞会怎么反应。就像预测“如果关闭这个开关，城市交通会怎么瘫痪”。

总结：为什么这很重要？

以前的方法像是在拼凑碎片，而 CLM-X 像是直接读懂了整本书。

它不仅仅是一个工具，更像是一个通用的生物学基础模型。它证明了，只要给 AI 足够多的数据，并教它如何同时理解“基因表达”和“基因调控”这两门语言，它就能学会细胞运作的深层逻辑。

这对我们意味着什么？

• 更便宜： 未来可能不需要同时做昂贵的双模态实验，用 AI 补全数据即可。
• 更精准： 能发现以前看不见的细胞状态和疾病机制。
• 更快速： 加速新药研发，因为我们可以先在电脑上模拟药物对细胞的影响。

简单来说，CLM-X 就是细胞生物学界的“超级大脑”，它把混乱的数据变成了清晰的生物学故事。

技术摘要

这是一份关于论文 CLM-X: A multimodal single-cell foundation model with flexible multi-way Transformer for unified scRNA-seq and scATAC-seq analysis 的详细技术总结。

1. 研究背景与问题 (Problem)

随着单细胞多组学技术（如 scRNA-seq 和 scATAC-seq）的发展，研究人员能够以前所未有的规模和分辨率对细胞进行多层面分子图谱分析。然而，现有的分析方法面临以下核心挑战：

• 数据异构性与整合困难：不同组学模态（转录组与表观基因组）在数据结构、噪声特性和特征空间上存在巨大差异，导致多模态数据整合极具挑战性。
• 现有方法的局限性：
  • 传统的多模态整合方法（如 MultiVI, scJoint 等）通常针对特定任务设计，缺乏可扩展性，难以处理百万级细胞规模的数据。
  • 它们往往依赖特定的预处理步骤（如降维、过滤），可能引入主观偏差。
  • 大多数方法严重依赖成对的（paired）多组学数据，而高质量成对数据稀缺，限制了模型的泛化能力。
• 基础模型（Foundation Model）的空白：虽然基于 Transformer 的单模态细胞语言模型（如 scGPT, Geneformer）在各自领域表现优异，但缺乏一个能够统一建模 scRNA-seq 和 scATAC-seq、且具备灵活多模态处理能力的通用基础模型。现有的多模态尝试（如 scCLIP）多基于对比学习，难以充分捕捉模态间的互补信息，且灵活性不足。

2. 方法论 (Methodology)

CLM-X 是一个基于 BEiT-3 架构 的多模态单细胞基础模型，旨在通过统一的框架实现 scRNA-seq 和 scATAC-seq 的联合建模。其核心设计包括：

A. 统一的数据表示与 Tokenization (Unified Tokenization)

• RNA 数据：借鉴 scGPT 的策略，将每个细胞表示为基因 Token 序列，表达值被分箱（binned）为离散值。
• ATAC 数据：将超高维的染色质开放区域（Peaks）按基因组坐标分组为 Patch，并将每个 Patch 内的峰二值化。
• 统一长度：两种模态均被处理为固定长度（2000 个 Token）的序列。对于成对数据（Paired RNA-ATAC），将 RNA 和 ATAC 的 Token 序列拼接，形成最长 4000 个 Token 的上下文窗口，使模型能在共享注意力机制中直接进行跨模态交互。

B. 多路 Transformer 架构 (Multiway Transformer Backbone)

• 采用 BEiT-3 架构作为骨干网络，包含共享的多头自注意力（MHSA）模块和模态特定的前馈网络（FFN）专家（R-FFN 用于 RNA，A-FFN 用于 ATAC，RA-FFN 用于成对数据）。
• 这种设计允许模型在共享注意力层进行深度多模态融合，同时通过专家网络保留模态特定的特征表示。

C. 分阶段掩码重建预训练策略 (Stage-wise Masked Reconstruction Pretraining)

为了在有限的成对数据下最大化利用海量单模态数据，CLM-X 采用分阶段预训练：

1. 阶段一（RNA-only）：在大规模 scRNA-seq 数据上进行掩码重建，初始化共享注意力参数。
2. 阶段二（ATAC-only）：在大规模 scATAC-seq 数据上进行掩码重建，继承阶段一的共享参数。
3. 阶段三（Paired RNA-ATAC）：在成对数据上进行双向条件掩码重建。
   • Phase 1：掩码 ATAC Token，基于可见的 RNA 上下文重建 ATAC。
   • Phase 2：掩码 RNA Token，基于可见的 ATAC 上下文重建 RNA。
   • 这种策略强制模型学习模态间的对齐和互补信息，同时减少对成对数据的依赖。

D. 下游任务微调 (Downstream Fine-tuning)

预训练后的模型通过引入轻量级的任务特定头部（Heads）进行微调，支持五大任务：

• 批次校正 (Batch Correction)
• 多模态整合 (Multimodal Integration)
• 跨模态翻译 (Cross-modal Translation, 如 ATAC→RNA)
• 细胞类型注释 (Cell Type Annotation)
• 扰动预测 (Perturbation Prediction)

3. 关键贡献 (Key Contributions)

1. 首个统一的多模态单细胞基础模型：CLM-X 是首个能够在一个框架内灵活处理 RNA-only、ATAC-only 以及成对 RNA-ATAC 输入的通用基础模型。
2. 创新的预训练策略：提出的“分阶段掩码重建”策略有效解决了成对数据稀缺的问题，利用海量单模态数据预训练，仅在最后阶段利用少量成对数据进行跨模态对齐。
3. 统一的分词方案：设计了统一的 Token 化方案，将异构的转录组和表观基因组数据映射到相同的输入空间，实现了真正的端到端多模态建模。
4. 广泛的基准测试：在 10 个数据集上进行了全面评估，涵盖了批次校正、整合、翻译、注释和扰动预测等任务。

4. 实验结果 (Results)

CLM-X 在 10 个数据集上的综合基准测试中，表现 consistently 优于现有的多模态方法（如 MultiVI, Multigrate, MIRA, scMoMaT）和单模态基础模型（如 scGPT）：

• 批次校正 (Batch Correction)：在 PBMC 和 BMMC 数据集上，CLM-X 在保留细胞类型结构（NMI）和消除批次效应（bASW）之间取得了最佳平衡，整体得分比现有方法高出 5.9%–35.0%。
• 多模态整合 (Multimodal Integration)：在融合 RNA 和 ATAC 信息时，CLM-X 生成的嵌入在聚类一致性（ARI/NMI）和局部邻域结构保持（cLISI）上均优于基线模型，证明了互补信息的有效融合。
• 跨模态翻译 (Cross-modal Translation)：
  • ATAC→RNA：在预测基因表达方面，CLM-X 在 7 个数据集上均取得了最低的 RMSE 和最高的 PCC，显著优于 BABEL 和 MultiVI。
  • RNA→ATAC：在预测染色质可及性方面，CLM-X 同样表现出最高的定量重建精度。
  • 特别地，CLM-X 支持未过滤输入的建模，能够进行全规模的跨模态预测。
• 细胞类型注释 (Cell Type Annotation)：在成对多组学数据上，CLM-X (Fusion) 的平均 Macro F1 达到 88.24%，显著优于 scGPT (74.94%) 和 scJoint (58.14%)，特别是在区分稀有或易混淆细胞群（如 IL1B+ Mono）时表现优异。
• 扰动预测 (Perturbation Prediction)：在未见过的基因扰动（Unseen Perturbations）预测任务中，CLM-X 在 DE20 Pearson 相关性和全基因组相关性上均超越了 GEARS 和 scGPT，显示出强大的泛化能力。

5. 意义与展望 (Significance)

• 统一范式：CLM-X 建立了一个统一、可扩展的多模态基础模型范式，证明了单一预训练编码器可以系统地适应各种异构下游任务。
• 生物学发现：通过更鲁棒、全面的细胞状态表示，CLM-X 有助于更深入地解析转录程序、表观遗传调控机制以及细胞对扰动的响应。
• 数据利用：其分阶段预训练策略为如何利用海量单模态数据结合少量成对数据进行多模态学习提供了新的思路，降低了对昂贵成对数据的依赖。
• 未来方向：该框架为未来整合更多分子模态（如蛋白质组）、扩展至更多生物背景以及动态细胞过程分析奠定了基础，有望推动单细胞图谱向更复杂、更系统的生物学发现迈进。

总结：CLM-X 通过创新的架构设计和预训练策略，成功解决了单细胞多模态分析中的异构性、数据稀缺性和可扩展性难题，为单细胞生物学研究提供了一个强大的、通用的基础模型工具。