Foundation Models Improve Perturbation Response Prediction

该研究通过对 600 多个模型的大规模分析，证实了在数据充足的情况下，部分基础模型及多模型集成方法能够显著提升基因和化学扰动下的细胞响应预测性能，并逼近理论性能极限。

要点

这篇论文就像是一场**“超级侦探训练营”**，目的是看看谁能最准确地预测：当我们给细胞“捣乱”（比如敲除某个基因或加入某种药物）时，细胞会发生什么变化。

为了让你轻松理解，我们把细胞想象成一个巨大的、复杂的乐高城市，而基因和药物就是改变这个城市的指令。

1. 核心任务：预测“捣乱”后的后果

在生物学里，科学家一直想预测：如果我把城市里的“发电厂”（某个基因）拆了，或者往城市里倒了一桶“蓝色油漆”（某种药物），整个城市会变成什么样？

• 以前的做法：用简单的数学公式或者老派的统计方法（就像用简单的尺子量）。
• 现在的尝试：使用**“基础模型”（Foundation Models, FMs）。你可以把这些模型想象成读过海量生物书籍的“超级学霸”**。它们见过无数种细胞的样子，理论上应该能猜出任何新指令带来的后果。

2. 最大的争议：学霸真的比尺子好用吗？

最近科学界吵翻了天。有人说：“这些超级学霸根本没用，简单的尺子（基础模型）反而更准！”也有人说：“学霸就是神，能预测一切！”

这篇论文的作者们（来自 GenBio AI 等机构）决定亲自下场，搞一次大比武。他们测试了600 多种不同的“学霸”模型，看看谁在预测细胞反应时最靠谱。

3. 比赛结果：并不是所有“学霸”都聪明

作者发现了一个有趣的现象：“学霸”的聪明程度，取决于它读的是什么书（数据来源）。

• 读“死书”的学霸（表现一般）：
  有些模型只读过基因序列（像 DNA 字母表）或蛋白质结构（像乐高积木的形状）。它们虽然很厉害，但在预测细胞反应时，表现还不如简单的尺子。这就好比一个只背过字典的人，让他猜剧情，可能不如一个有生活经验的人猜得准。

• 读“关系网”的学霸（表现超神）：
  那些基于**“相互作用网络”（Interactome）**训练的模型，表现最好！

  • 比喻：想象一下，如果你想知道拆掉“发电厂”后城市会怎样，你不需要知道发电厂的砖块怎么烧（序列），你需要知道发电厂和哪些街道、医院、学校连着（相互作用）。
  • 这些模型就像拥有全城交通图和人际关系网的侦探。它们知道谁和谁有关系，所以一旦某个点被破坏，它们能精准地推导出连锁反应。
  • 结论：基于“关系网”的模型，比简单的尺子强得多，甚至能预测出接近实验误差极限的精准结果。

4. 进阶玩法：组建“复仇者联盟”

既然不同的“学霸”擅长不同的领域，作者想：能不能把它们组队？

• 做法：他们设计了一种**“注意力融合机制”。这就像开一个专家会诊会**。
  • 基因序列专家说：“我觉得这个基因很重要。”
  • 蛋白质结构专家说：“它的形状决定了它怎么工作。”
  • 关系网专家说：“它和隔壁那个基因是死对头。”
• 结果：当这些专家一起开会（融合模型）时，预测效果达到了巅峰！在某些情况下，它们的预测精准度几乎达到了人类实验能达到的物理极限（就像你无法比尺子量得更准了）。

5. 关于“微调”的教训：别太贪心

有人问：“既然这些学霸这么强，我们能不能让它们专门针对这个任务再特训一下（微调）？”

• 结果：有点翻车。
• 比喻：现在的细胞实验数据量其实还不够大（就像只有几本参考书）。如果让超级学霸为了这几道题死记硬背（微调），它们反而会**“过拟合”**，把特例当成了规律，结果考得更差。
• 建议：对于现在的任务，直接调用学霸原本的知识（冻结模型），往往比让它们重新学习更靠谱。

6. 化学药物 vs. 基因改造

• 基因改造：就像拆掉城市里特定的一个建筑。因为目标明确，关系网模型预测得很准。
• 化学药物：就像往城市里倒一种神秘液体。这种液体可能同时影响几十个建筑，而且我们往往不知道它具体攻击谁。
  • 结果：目前的模型预测化学药物的效果比较吃力。因为缺乏关于“药物 - 细胞”关系的详细地图。作者呼吁，我们需要更多专门研究药物如何与生物互动的“超级学霸”。

总结

这篇论文告诉我们：

1. 基础模型确实有用，但前提是它们必须学习**“细胞内部的社交网络”**，而不仅仅是死记硬背基因序列。
2. 单打独斗不如团队合作。把不同来源的模型结合起来（融合），能达到目前人类预测的最高水平。
3. 这为未来的药物研发和疾病治疗打开了大门：如果我们能更准确地预测细胞对药物的反应，就能大大缩短新药研发的时间，减少试错成本。

简单来说，作者们证明了：只要找对“老师”（基于关系网的模型）并让它们“开大会”（模型融合），我们就能以前所未有的精度预测生命的反应。

技术摘要

这是一份关于论文《Foundation Models Improve Perturbation Response Prediction》（基础模型改进扰动响应预测）的详细技术总结。

1. 研究背景与问题 (Problem)

在分子生物学中，预测细胞对遗传（如基因敲除/过表达）或化学（如小分子药物）扰动的响应是一个长期存在的挑战。

• 核心争议：近期关于基础模型（Foundation Models, FMs）在此任务上的表现存在矛盾。一些研究声称 FMs 优于简单基线，而另一些研究（如 Littman et al.）则认为 FMs 并未带来显著改进，简单的基线方法（如基于 PCA 的线性模型）表现相当甚至更好。
• 研究目标：通过大规模、系统的基准测试，解决这一争议，评估不同来源的基础模型嵌入（Embeddings）在预测未见过扰动（Unseen Perturbations）时的有效性，并探索多模型融合策略。

2. 方法论 (Methodology)

研究团队构建了一个包含超过 600 种不同模型变体的评估框架，涵盖了多种数据模态和预测任务。

2.1 数据集与任务定义

• 数据集：
  • 遗传扰动：Essential (4 种细胞系，~2000 个扰动), Norman (K562 细胞系), Tahoe (化学扰动), Sciplex-3 (化学扰动)。
  • 任务形式：
    1. 对数倍数变化回归 (LFC Regression)：预测基因表达的平均变化向量。
    2. 差异表达基因分类 (DEG Classification)：预测基因是上调、下调还是不显著。
• 评估指标：主要使用 L2 误差（均方误差），并定义了“实验误差下限”（Experimental Error Limit）作为理论性能上限，通过自举法（Bootstrap）估算。

2.2 嵌入来源 (Embedding Sources)

研究对比了多种模态的预训练模型生成的基因/分子嵌入：

• 表达数据 (Expression)：scGPT, Geneformer, AIDO.Cell, scPRINT, TranscriptFormer 等单细胞转录组基础模型。
• 先验知识 (Prior Knowledge)：基于相互作用组（Interactome）的模型（如 STRING GNN, WaveGC）、基因本体论文本描述（GenePT）、基因功能注释（GenotypeVAE）。
• 序列与结构：DNA 序列 (AIDO.DNA), 蛋白质序列 (ESM2, AIDO.Protein), 蛋白质结构。
• 化学分子：SMILES 文本 (ChemBERTa), 分子指纹 (Morgan), 基于靶点的嵌入。

2.3 预测模型与策略

• 基线模型：kNN 回归、Lasso、线性回归、MLP。
• 微调 (Fine-tuning)：测试了“索引法”（Indexing）和“体外敲除法”（In-Silico KO）对 AIDO.Cell 和 STRING GNN 的微调效果。
• 复杂生成模型：评估了潜在扩散模型 (Latent Diffusion)、流匹配 (Flow Matching) 和 Schrödinger Bridge，看其是否优于简单的 kNN。
• 多模态融合 (Fusion)：提出了一种基于注意力机制（Attention-based）的融合模型，将来自不同模态的嵌入整合，以预测扰动响应。

3. 关键贡献与主要发现 (Key Contributions & Results)

3.1 嵌入模态决定性能上限

• 发现：嵌入的效用主要取决于其数据模态，而非模型的具体架构细节。
• 结果：基于相互作用组（Interactome）的嵌入（如 STRING WaveGC, STRING GNN）和基于文本/功能注释的嵌入（如 GenePT, GenotypeVAE）表现最佳，显著优于简单的 PCA 基线和大多数单细胞转录组基础模型（如 scGPT, Geneformer）。
• 结论：相互作用网络数据包含了预测扰动响应所需的最关键生物学信息。

3.2 遗传扰动 vs. 化学扰动

• 遗传扰动：预测效果显著。在 Essential 数据集上，最佳嵌入（WaveGC）配合 kNN 回归，在 K562 细胞系中填补了训练均值与实验误差之间 77% 的差距。多模态融合模型甚至达到了实验误差的理论极限。
• 化学扰动：预测效果较差。在 Tahoe 和 Sciplex 数据集的 LFC 回归任务中，大多数嵌入无法超越负对照。但在 DEG 分类任务中，基于靶点（Target-based）的嵌入表现较好。
• 原因分析：小分子通常具有多靶点特性，且缺乏像基因网络那样完善的相互作用图谱数据，导致预测难度更大。

3.3 微调的局限性与风险

• 发现：微调的效果高度依赖于模型架构和数据量。
• 结果：对于 AIDO.Cell，"In-Silico KO"微调方法提升了性能；但对于 STRING GNN 和其他模型，微调往往导致性能下降（过拟合）。
• 结论：由于当前扰动数据集规模相对较小，直接使用冻结（Frozen）的基础模型嵌入通常比微调更稳健、更有效。

3.4 复杂生成模型并未带来显著优势

• 发现：Latent Diffusion、Flow Matching 和 Schrödinger Bridge 等复杂生成模型，在 LFC 回归任务中并未优于简单的 kNN + 最佳嵌入组合。
• 结论：在当前的数据规模和任务设定下，复杂的生成式建模并未提供额外的实用价值，且计算成本高昂。

3.5 多模态融合的有效性

• 发现：通过注意力机制融合来自不同模态（如相互作用组、文本、序列）的嵌入，可以进一步提升性能。
• 结果：在 Essential 数据集上，融合模型（Fusion Full）的表现优于任何单一模态，甚至在某些细胞系中达到了实验误差的理论极限。

4. 意义与影响 (Significance)

1. 解决争议：明确证实了基础模型在扰动预测中具有巨大潜力，但前提是必须选择正确的嵌入模态（特别是相互作用组数据）。这反驳了"FMs 无用论”，同时也指出了盲目使用 FMs 的局限性。
2. 指导数据策略：对于构建虚拟细胞模型，研究建议优先收集细胞类型、发育阶段或疾病状态下的相互作用网络数据，其价值可能高于单纯的单细胞表达数据。
3. 药物发现应用：虽然小分子预测仍有挑战，但基于靶点的嵌入融合策略为药物筛选提供了新的方向。
4. 方法论建议：在数据量有限的情况下，优先使用冻结的、基于先验知识的嵌入，而非盲目微调或引入复杂的生成模型。

5. 总结

该论文通过大规模基准测试表明，基于相互作用组（Interactome）的基础模型嵌入是预测细胞扰动响应的最佳单一来源。通过多模态融合，这些模型可以达到接近实验误差极限的预测精度。研究强调了数据模态选择的重要性，并为未来的生物基础模型开发指明了方向：即需要更多高质量的生物相互作用网络数据，以及针对小分子生物功能的专用基础模型。