SPEAR: Predicting Gene Expression from Single-Cell Chromatin Accessibility

本文介绍了 SPEAR 框架，该框架通过统一的转录起始位点中心特征表示，利用 Transformer 等模型从单细胞染色质可及性数据中预测基因表达，揭示了不同基因的可预测性差异及启动子近端区域在顺式调控中的核心作用。

要点

这篇论文介绍了一个名为 SPEAR 的新工具，它的核心任务可以简单理解为：通过观察细胞的“开关状态”（染色质开放性），来预测细胞里的“生产指令”（基因表达量）。

为了让你更容易理解，我们可以把细胞想象成一个巨大的、繁忙的工厂。

1. 背景：工厂里的两个关键角色

在这个工厂里，有两个关键角色：

• 基因（Gene）：这是产品图纸，决定了工厂要生产什么（比如是制造血红蛋白，还是制造肌肉蛋白）。
• 染色质（Chromatin）：这是图纸的存放柜和开关。
  • 如果某个区域的“柜子”是打开的（染色质开放/可及），工人就能拿到图纸，开始生产。
  • 如果柜子是锁着的（染色质关闭），工人就看不到图纸，生产也就停止了。

过去，科学家通常只能单独看“图纸”（测基因表达）或者单独看“柜子状态”（测染色质开放性）。但现在的新技术（Multiome）允许我们在同一个细胞里同时看到这两样东西。

2. 问题：我们能不能只靠“柜子状态”猜出“生产量”？

既然能同时看到，科学家就想知道：如果我们只看柜子是开是关，能不能准确算出工厂生产了多少产品？

这很难，因为：

• 柜子离图纸有多远？
• 是紧挨着图纸的柜子重要，还是远处的柜子重要？
• 不同的工厂（不同的细胞类型）规则一样吗？

以前有很多电脑程序（模型）试图做这个预测，但它们就像用不同的尺子去量同一个东西：有的尺子刻度不一样，有的测量方法不同，导致很难公平地比较谁更聪明。

3. 解决方案：SPEAR（一把统一的“智能标尺”）

这篇论文提出了 SPEAR，它不是一个单一的模型，而是一个公平的竞技场和标准化的工具包。

• 统一规则：SPEAR 规定，不管用哪种电脑算法，大家都必须用同一把尺子。这把尺子就是以基因开头（转录起始位点）为中心，向两边各延伸 10,000 个碱基对（约 10kb）的区域。
• 比喻：想象我们要预测一家餐厅的生意好坏。以前，有的厨师看“门口”，有的看“后厨”，有的看“停车场”。SPEAR 规定：所有人必须只看“餐厅正门”方圆 10 米内的情况（比如门口有没有人排队、招牌亮不亮），然后大家用不同的方法（算法）来预测生意。这样就能公平地看出谁的方法最厉害。

4. 实验结果：谁赢了？

研究者用了两个不同的“工厂”数据来测试：

1. 小鼠胚胎发育（像是一个正在快速建设的新工厂，变化很快）。
2. 人类造血内皮细胞（像是一个成熟但复杂的工厂）。

他们测试了各种“预测员”（模型）：

• 老派预测员（线性回归、随机森林等）：就像凭经验猜，或者简单的加减法。结果发现，它们猜得不太准，尤其是在复杂的工厂里。
• 超级预测员（Transformer 编码器）：这是一种基于人工智能（AI）的模型，它像是一个超级侦探。它不仅能看门口，还能理解门口排队的人、招牌的灯光、甚至远处传来的声音之间的复杂关系。

结果惊人的一致：
在两个完全不同的工厂里，Transformer（超级侦探）都表现得最好。

• 在小鼠胚胎中，它能猜对约 55% 的规律。
• 在人类细胞中，它能猜对约 47% 的规律。
• 而老派的线性模型几乎猜不到什么（接近 0%）。

5. 有趣的发现：门边最重要

SPEAR 还有一个功能，就是告诉我们要看哪里。
通过一种叫"SHAP"的技术（就像给每个因素打分），发现：

• 离“门”（基因开头）越近的地方，越重要。
• 就像餐厅门口排队的人越多，生意越好一样。
• 虽然离得远一点的地方（比如 5000 米外）也有点影响，但90% 的预测能力都集中在紧挨着“门”的那一小块区域。

6. 总结：这对我们意味着什么？

• 对于科学家：SPEAR 提供了一个公平的“考试”，告诉大家如果要预测基因表达，用 Transformer 这种 AI 模型是最靠谱的。它也证明了，只要把基因“门口”的开关状态看清楚，就能在很大程度上预测细胞在做什么。
• 对于未来：如果我们在实验中只能测“开关状态”（因为测“生产量”太贵或太难），我们可以用 SPEAR 训练好的 AI 模型，免费帮我们“算”出基因表达量。这样就能省下实验成本，去研究更多其他的细胞秘密。

一句话总结：
SPEAR 就像是一个标准化的考试系统，它证明了用最先进的人工智能（Transformer），通过观察基因门口附近的开关状态，就能最准确地预测细胞里的生产活动。这让我们离完全读懂细胞的“操作手册”又近了一步。

技术摘要

这是一篇关于 SPEAR（基于单细胞染色质可及性预测基因表达）的论文技术总结。该研究提出了一种配置驱动的框架，用于在单细胞分辨率下，从染色质可及性（scATAC-seq）预测基因表达（scRNA-seq），并系统性地评估了不同机器学习模型的归纳偏置（Inductive Bias）。

以下是详细的技术总结：

1. 研究背景与问题 (Problem)

• 多组学数据的局限性：虽然单细胞多组学（Multiome）技术（如 10x Genomics）允许在同一细胞中同时测量染色质可及性和基因表达，但大多数实验设计仍受限于每个细胞只能测量两到三种模态。
• 现有方法的不足：
  • 现有的跨模态预测方法通常侧重于潜在空间对齐（latent alignment）或模态重构（modality reconstruction），难以在统一的顺式调控特征定义下，隔离并评估不同模型架构的归纳偏置对性能的影响。
  • 缺乏一个受控的、以基因为中心的基准测试框架，能够比较不同模型家族在相同特征构建、数据划分和评估协议下的表现。
  • 现有研究往往忽略了基因层面的异质性（哪些基因可预测、哪些不可预测）以及特征归因结构，而这些对于理解调控机制至关重要。
• 核心问题：在固定的顺式调控特征表示下，不同模型架构（如线性模型、树模型、深度学习模型）在从染色质可及性预测基因表达方面的性能差异如何？这种差异揭示了怎样的生物学规律？

2. 方法论 (Methodology)

SPEAR 是一个模块化的监督学习框架，旨在将染色质到表达的映射形式化为回归问题。

• 核心输入与特征构建：
  • 数据：使用配对的 scATAC-seq 和 scRNA-seq 数据。
  • 特征表示：采用以转录起始位点（TSS）为中心的固定基因组窗口（默认 $\pm 10$ kb）。
  • 分箱（Binning）：将窗口划分为 40 个非重叠的等宽 bins（每个 500 bp），并根据基因链方向定向。
  • 特征向量：每个细胞中，每个基因对应一个 40 维的染色质可及性特征向量。这种表示独立于基因长度和峰密度。
• 模型家族（Model Zoo）：
  • 为了比较不同的归纳偏置，SPEAR 评估了多种模型：
    • 线性模型：OLS, Ridge, Lasso, Elastic Net。
    • 树集成模型：随机森林 (Random Forest), Extra Trees, XGBoost, CatBoost。
    • 神经网络：多层感知机 (MLP), 序列结构模型 (CNN, RNN/LSTM), Transformer 编码器, 图神经网络 (GNN)。
• 实验设置：
  • 数据集：两个生物系统——小鼠胚胎发育（GSE205117）和人类造血内皮细胞（GSE270141）。
  • 控制变量：所有模型使用相同的特征定义、数据划分（训练/验证/测试集）和评估协议，确保比较的公平性。
  • 预处理：包括质量控制、CPM 归一化、log1p 转换，以及使用 PCA 引导的 k 近邻（kNN）平滑以解决稀疏性问题。
  • 评估指标：主要指标为皮尔逊相关系数（Pearson correlation），辅以 RMSE、Spearman 相关系数和 $R^2$。

3. 关键贡献 (Key Contributions)

1. 提出 SPEAR 框架：首个在固定、统一的顺式调控特征表示下，对多种模型家族进行受控基准测试的框架。
2. 系统性归纳偏置评估：揭示了在染色质到表达预测任务中，模型架构的选择（归纳偏置）比数据集本身的差异对性能排序的影响更为显著。
3. 基因层面的异质性分析：不仅提供整体性能，还生成了每个基因的可预测性分布，指出可预测性高度依赖于基因本身。
4. 可解释性分析：利用 SHAP 值将预测信号定位到 TSS 附近的启动子区域，验证了生物学先验知识。
5. 开源工具：SPEAR 已开源，支持配置驱动的实验，便于复现和扩展。

4. 主要结果 (Results)

A. 模型性能表现

• 深度学习模型占优：在所有模型中，Transformer 编码器在两个数据集中均表现最佳。
  • 小鼠胚胎数据集：Transformer 平均测试相关系数为 0.546。
  • 人类内皮数据集：Transformer 平均测试相关系数为 0.470。
• 模型排序差异：
  • 在小鼠胚胎数据中，MLP 和 GNN 表现接近 Transformer。
  • 在人类内皮数据中，序列结构模型（LSTM, CNN）表现优于 MLP 和 GNN。
• 传统模型表现不佳：线性模型（如 Ridge, OLS）表现极差（相关系数接近 0），树集成模型（如 Random Forest, CatBoost）表现中等，但往往不如深度学习模型。

B. 基因层面的异质性

• 可预测性在不同基因间存在巨大差异。即使表现最好的 Transformer 模型，也有部分基因难以预测。
• 这表明染色质可及性驱动的信号主要集中在部分基因上，且受生物学背景（如发育阶段 vs. 稳态细胞）影响。

C. 泛化能力与过拟合

• 深度学习模型泛化性好：Transformer 等深度模型的训练集与测试集之间的差距（Generalization Gap）较小，表明其学习到了真实的信号而非记忆噪声。
• 树集成模型过拟合严重：Extra Trees 和 XGBoost 在训练集上达到了近乎完美的相关性（$\approx 1.0$），但在测试集上大幅下降，显示出严重的过拟合，尤其是在高维稀疏特征下。

D. 特征重要性（可解释性）

• 启动子近端主导：基于 SHAP 值的特征归因分析显示，预测信号主要集中在 TSS 附近的 bins。
• 距离衰减：特征重要性随着距离 TSS 的增加而迅速衰减。这验证了启动子可及性在转录起始中的核心作用，同时也表明在 $\pm 10$ kb 窗口内，非启动子区域的顺式调控信号虽然存在但较弱。

5. 意义与结论 (Significance)

• 方法论意义：

  • 证明了在单细胞多组学预测任务中，归纳偏置（Inductive Bias）（如 Transformer 的注意力机制）比单纯的模型容量更重要。
  • 确立了 Transformer 作为从染色质可及性预测基因表达的首选基线模型。
  • 提供了一个标准化的基准，帮助研究人员在新数据集中选择合适的模型架构。

• 生物学意义：

  • 证实了在局部窗口（$\pm 10$ kb）内，启动子可及性是预测基因表达的主要驱动力，但不同生物背景（如胚胎发育 vs. 内皮细胞）下，这种耦合的强度不同。
  • 揭示了基因表达的可预测性具有高度的基因特异性，提示许多基因的表达可能受远端增强子或转录因子丰度等未包含在局部窗口内的因素影响。

• 实际应用：

  • 实验设计优化：可靠的 ATAC-to-RNA 预测可以指导实验设计，在无法同时测量所有模态时，通过预测补充缺失的基因表达数据，从而释放实验容量以探索其他调控层。
  • 工具推广：SPEAR 作为一个可配置、可复现的工具，为未来整合远端增强子、转录因子 motif 等特征以及研究更复杂的调控逻辑奠定了基础。

总结：SPEAR 通过严格的受控实验，证明了基于 Transformer 的深度学习模型在从单细胞染色质可及性预测基因表达方面具有显著优势，并揭示了这种预测能力高度依赖于启动子近端的调控信号以及具体的生物学背景。该工作为单细胞基因调控建模提供了新的基准和工具。