pertTF: context-aware AI modeling for genome-scale and cross-system perturbation prediction

本文介绍了 pertTF，一种基于 Transformer 的上下文感知人工智能模型，它利用涵盖人类胰腺发育过程中多种细胞类型的全基因敲除单细胞数据，在预测未见基因和细胞环境下的表达变化、推断细胞身份转变以及跨生理系统（如人胰岛）的泛化能力方面均优于现有方法，为疾病背景下的遗传扰动效应预测提供了通用框架。

要点

这篇论文介绍了一个名为 pertTF 的人工智能模型。为了让你轻松理解，我们可以把细胞比作一个巨大的、繁忙的“城市”，而基因则是这个城市里的**“居民”或“管理者”**。

1. 核心问题：如果“市长”生病了，城市会变成什么样？

在生物学研究中，科学家想知道：如果我们把某个特定的基因（比如控制细胞身份的“市长”）关掉（敲除），细胞（城市）会发生什么变化？

• 传统方法的困境：以前，科学家必须像做实验一样，在实验室里真的把基因关掉，然后观察细胞。但这就像为了预测“如果市长辞职，城市交通会瘫痪吗？”而真的把市长赶走，这在很多情况下太慢、太贵，甚至根本做不到（比如在人体的原始组织里）。
• 现有 AI 的不足：以前的 AI 模型就像是一个只读过几本“城市手册”的学生。它们能记住某些特定城市（细胞类型）在特定情况下的反应，但一旦遇到没见过的城市（新细胞类型）或没见过的“市长”（新基因），它们就束手无策，或者只能给出很模糊的猜测。

2. pertTF 是什么？一位“全知全能的未来预言家”

pertTF 就是一个经过特殊训练的超级 AI 预言家。它的名字里的"TF"代表 Transformer（一种强大的 AI 架构，就像大语言模型一样），而"pert"代表扰动（Perturbation，即基因改变）。

它有三个超能力：

🌟 超能力一：不仅看“表情”，还能看“命运”

• 普通 AI：只能告诉你，基因关掉后，细胞里的某些“情绪”（基因表达量）变了。
• pertTF：不仅能看到情绪变化，还能预测细胞的身份会不会变，甚至整个细胞群体的构成会不会变。
  • 比喻：普通 AI 说“这个居民今天很生气”；pertTF 会说“这个居民因为生气，明天可能会从‘医生’转行变成‘建筑工人’，甚至整个社区里医生的比例会下降”。这对理解疾病（如癌症中细胞类型的转变）至关重要。

🌟 超能力二：举一反三，触类旁通

这是 pertTF 最厉害的地方。它是在一个包含14 种不同细胞类型（从干细胞到成熟的胰岛细胞）和30 种基因敲除的巨大数据集上训练的。

• 场景：假设它从未见过“胰腺细胞”被“基因 X"干扰的情况。
• 表现：因为它学会了基因之间的“关系网”和细胞变化的“底层逻辑”，它能猜出基因 X 在胰腺细胞里会发生什么，准确率远超其他模型。
  • 比喻：就像你教了一个学生“下雨天路会滑”的道理。以前其他模型只背过“北京下雨路滑”，遇到“上海下雨”就懵了。但 pertTF 真正理解了“雨 + 路=滑”的规律，所以它知道上海、纽约甚至火星（新环境）下雨路也会滑。

🌟 超能力三：在“虚拟世界”做实验（In Silico Screens）

既然 pertTF 这么准，科学家就不需要每次都去实验室做昂贵的实验了。

• 应用：我们可以让 pertTF 在电脑里模拟“如果关掉这 1 万个基因，哪个会让糖尿病好转？”
• 结果：它不仅能找出已知的关键基因，还能发现以前没人注意到的新基因。
  • 比喻：以前医生治病是“试错法”，一个个药试过去。现在 pertTF 就像是一个超级模拟游戏，医生可以在游戏里先试一万种药，发现最有效的几种，然后再去现实世界给病人用。这大大节省了时间和金钱。

3. 它是如何做到的？（简单的技术原理）

• 数据喂养：研究人员提供了一个非常独特的“训练教材”——包含 8.7 万个细胞的数据，涵盖了人类胰腺发育的全过程。这就像给 AI 看了一部完整的“人类细胞成长纪录片”。
• 多任务学习：它不像普通模型只学一件事。它同时学习：
  1. 猜细胞是什么类型（分类）。
  2. 猜是哪个基因被关了（识别扰动）。
  3. 预测关掉基因后，细胞会变成什么样（预测未来）。
• 知识迁移：对于它没见过的基因，它会利用“基因关系图”（比如基因 A 和基因 B 功能很像）来推断。就像你虽然没吃过“火鸡”，但你知道它和“鸭子”很像，所以能猜出火鸡大概是什么味道。

4. 为什么这很重要？

• 攻克糖尿病：论文中特别提到了胰腺和糖尿病。pertTF 成功预测了糖尿病风险基因如何影响胰岛细胞，甚至能在真实的糖尿病患者组织数据中，发现哪些细胞“生病了”（基因功能失调）。
• 加速药物研发：它能让科学家在电脑里快速筛选出最有潜力的药物靶点，把原本需要几年的实验缩短到几天。
• 通用性：虽然这次是用在胰腺上，但这个方法可以推广到癌症、神经疾病等任何需要理解细胞变化的领域。

总结

pertTF 就像是一个拥有“上帝视角”的细胞世界预言家。它不再只是死记硬背实验数据，而是真正理解了细胞运作的“物理定律”。通过它，我们可以在虚拟世界中低成本、高效率地探索生命的奥秘，为治疗糖尿病、癌症等复杂疾病点亮新的灯塔。

技术摘要

论文标题

pertTF: 用于基因组规模和跨系统扰动预测的上下文感知 AI 建模

1. 研究背景与核心问题 (Problem)

在单细胞水平预测基因扰动（Genetic Perturbation）的响应是构建细胞状态模型和理解疾病机制的核心挑战。尽管高通量扰动实验（如 Perturb-seq, CROP-seq）取得了进展，但现有方法存在以下显著局限：

• 泛化能力差：现有模型难以将预测结果推广到训练数据中未见的细胞类型（Context）或基因（Perturbation）。
• 表型预测单一：大多数模型仅预测基因表达的变化，无法有效预测更高层次的表型结果，如细胞身份（Cell Identity）的转变和细胞群体组成（Population Composition）的变化。
• 实验成本高昂：在原始细胞（Primary cells）、类器官或疾病相关模型中进行大规模基因扰动实验在技术上极具挑战性且成本高昂，导致缺乏高质量的训练数据。
• 基准表现不佳：近期的基准测试表明，当前模型在未见细胞环境中的表现往往不如简单的基线方法。

2. 方法论 (Methodology)

2.1 训练数据集

研究团队构建了一个独特的高质量单细胞扰动数据集，用于训练 pertTF：

• 来源：人类多能干细胞（hPSC）定向分化为胰腺细胞的过程。
• 规模：包含超过 87,000 个细胞，跨越 14 种主要细胞类型（从定形内胚层到胰岛亚型）。
• 扰动：针对 30 个 胰腺谱系调节因子和糖尿病风险基因进行了全基因敲除（Full Gene Knockout）。
• 特点：数据覆盖了发育的不同阶段，且扰动为完全敲除，提供了清晰的信号。

2.2 模型架构：pertTF

pertTF 是一个基于 Transformer 的多任务深度学习模型，其核心设计包括：

• 输入表示：将单细胞基因表达谱和扰动信息（基因型）编码为 Token 序列。
• 多任务学习框架：模型联合优化多个目标，包括：
  1. 掩码基因表达重建：使用负二项分布（Negative Binomial, NB）的对数似然损失（NLL）替代传统的均方误差（MSE），以更好地拟合单细胞计数数据的过离散特性。
  2. 细胞类型分类：预测细胞的发育阶段或类型。
  3. 扰动（基因型）分类：在输入中隐藏扰动信息的情况下，预测细胞受到的扰动类型。
  4. 表型/组成变化预测：预测扰动引起的细胞身份偏移和群体组成变化。
• 关键创新：
  • 扰动集成模块：将扰动编码直接整合到细胞嵌入（Cell Embedding）中。
  • 监督对比损失（Supervised Contrastive Loss）：强制模型在潜在空间中学习分离良好的细胞类型和扰动簇。
  • 适配器（Adapters）：用于下游任务（如细胞类型/基因型分类、组成变化预测）的专用模块。
  • 图神经网络（GNN）集成：为了预测未见过的基因，pertTF 集成了基于基因本体（GO）和已知扰动数据训练的 GNN 生成的基因嵌入，使模型能够利用基因间的功能相似性进行外推。

2.3 预测策略

• 细胞组成变化预测：引入 lochNESS 分数，基于 k-近邻（k-NN）图量化特定细胞类型在扰动后的富集或耗竭程度。
• 跨系统迁移学习：利用在 hPSC 数据上预训练的模型，通过少量原始胰岛细胞（Primary Islet Cells）的微调（Fine-tuning），适应新的生理系统。
• 虚拟筛选（In Silico Screens）：
  • 方法 1：基于预测的细胞嵌入与目标扰动群体的余弦相似度进行基因排序。
  • 方法 2：基于预测的 lochNESS 分数直接评估细胞群体的富集/耗竭。

3. 主要结果 (Key Results)

3.1 性能超越现有模型

• 分类任务：在细胞类型和基因型分类任务中，pertTF 的表现优于 scGPT、Geneformer 和 scFoundation 等基础模型。
• 泛化能力：
  • 未见细胞类型：在完全未见过的细胞类型（如胰腺 - 十二指肠前体细胞 PDP）中，pertTF 能准确预测 PDX1 敲除引起的嵌入偏移，表现优于 GEARS 和其他基础模型。
  • 未见基因：通过集成 GNN 嵌入，pertTF 能够准确预测训练集中未包含的基因（如 PDX1 在“留一法”实验中）的扰动效应，在 8 项评估指标中均优于对比方法。
  • 双重未见：即使在“未见基因 + 未见细胞类型”的极端设置下，pertTF 仍保持最佳性能。

3.2 表型预测与组成变化

• pertTF 成功预测了扰动引起的细胞身份转变（如 GATA4 敲除导致后肠前体细胞耗竭，HHEX 敲除导致肝细胞富集）。
• 预测的 lochNESS 分数与实验测量的真实分数高度相关，显著优于仅基于基因表达变化的基线方法。

3.3 独立实验验证

• CRISPRi Perturb-seq 验证：在 iPSC 中进行的独立 CRISPRi 扰动实验（50 个基因，仅 2 个在训练集中）验证了模型的泛化性。pertTF 在 8/8 指标上表现最佳，成功预测了 CTNNB1 等基因的扰动效应。
• 原始人类胰岛应用：将模型迁移至非糖尿病、前糖尿病（pre-T2D）和 2 型糖尿病（T2D）患者的原始胰岛数据。模型成功推断出 PDX1 功能丧失在 T2D 患者中增加，并区分了不同亚型（Beta-1 vs Beta-2）的扰动状态，结果与生物学先验知识一致。

3.4 虚拟遗传筛选

• pertTF 能够进行虚拟的 Pooled 和单细胞 CRISPR 筛选。
• 在预测胰腺祖细胞（PP）的关键调节因子时，pertTF 将 PDX1 排在首位，并成功识别出 GATA6、MAPK1 等已知调节因子。
• 其预测结果与独立的 Pooled CRISPR 筛选实验结果高度一致（AUC = 0.79），优于仅基于差异表达基因的排序。

4. 核心贡献 (Key Contributions)

1. 首个多任务扰动 Transformer：提出了 pertTF，不仅预测基因表达变化，还能同时预测细胞身份转变和群体组成变化。
2. 卓越的泛化性：证明了模型在未见细胞类型和未见基因上的强大外推能力，解决了当前 AI 模型在生物背景泛化上的瓶颈。
3. 高质量基准数据集：构建了包含 30 个基因敲除、14 种细胞类型、8.7 万个细胞的胰腺发育扰动数据集，为领域提供了宝贵的资源。
4. 虚拟筛选框架：建立了一套完整的“虚拟遗传筛选”流程，能够利用计算模型替代部分昂贵的湿实验，优先筛选候选基因。
5. 临床相关性验证：成功将模型应用于原始人类胰岛和糖尿病背景，展示了其在疾病机制研究和药物靶点发现中的潜力。

5. 意义与展望 (Significance)

• 加速生物发现：pertTF 提供了一种可扩展的计算替代方案，用于在难以进行大规模实验的系统（如原始组织、类器官）中进行基因功能探索。
• 指导实验设计：通过虚拟筛选优先排序候选基因，可以显著减少湿实验的成本和时间，指导针对性的验证实验。
• 迈向“虚拟细胞”：该工作是将 AI 模型构建为能够预测复杂生物系统行为的“虚拟细胞”的重要一步，为理解基因型 - 表型关系提供了新的范式。
• 局限性：目前训练数据覆盖的基因数量相对有限（30 个），未来需要更大规模的扰动数据集（如数百至数千个基因）来进一步提升模型的覆盖度和精度。此外，模型主要基于完全敲除，未来需扩展至部分敲低（Knockdown）或剂量依赖的扰动场景。

总结：pertTF 通过结合大规模单细胞扰动数据、先进的 Transformer 架构和生物学先验知识，显著提升了基因扰动预测的准确性和泛化能力，为理解复杂生物系统和疾病机制提供了强大的 AI 工具。