ViroGym: Realistic Large-Scale Benchmarks for Evaluating Viral Proteins

本文介绍了 ViroGym，一个包含 79 项深度突变扫描实验和多种真实世界预测任务的大规模基准，旨在评估蛋白质语言模型在病毒蛋白变异效应预测中的表现，并为疫苗抗原选择提供基于实验数据指导的理性框架。

要点

这篇论文介绍了一个名为 ViroGym（病毒健身房） 的新工具。为了让你轻松理解，我们可以把病毒、疫苗和人工智能模型想象成一场**“超级英雄与反派”的博弈游戏**。

1. 背景：为什么我们需要 ViroGym？

想象一下，病毒（如流感、新冠） 是一群极其狡猾的**“反派”。它们每天都在疯狂地“换装”（发生基因突变），试图躲过我们免疫系统的追捕，或者让现有的疫苗**失效。

• 目前的困境： 科学家和制药公司就像“守城方”，他们需要根据预测来制造疫苗。但现在的预测系统有点像“看天吃饭”，往往等病毒真的变了，疫苗才刚生产出来，结果发现**“药不对症”**，效果大打折扣。
• 过去的尝试： 以前，科学家主要靠**“实验室实验”（DMS）**。这就像在实验室里把病毒的一个个零件拆下来，手动测试哪个零件坏了病毒会死，哪个零件变了病毒会更强。但这太慢了，而且实验室环境太“干净”，跟外面真实世界的复杂环境不一样。
• 新的希望： 最近出现了一种叫**“蛋白质语言模型”（pLMs）** 的 AI。它们就像读过所有病毒“传记”的超级图书管理员，能根据病毒过去的“文字”（基因序列），猜出它下一步会怎么变。

但是，问题来了： 这些 AI 真的懂病毒吗？它们是在真实世界里能预测病毒变异的“预言家”，还是只是在实验室数据上考高分的“书呆子”？没人知道，因为缺乏一个专门的**“考场”**。

2. ViroGym 是什么？

ViroGym 就是为这些 AI 模型专门设计的“全能竞技场”或“健身房”。

它的名字很有趣：

• Viro = 病毒
• Gym = 健身房（意味着这里是用来锻炼、测试和评估模型能力的地方）

在这个“健身房”里，AI 模型要完成三项核心训练任务：

1. 突变效果预测（体能测试）：

   • 比喻： 给病毒换个零件（比如把螺丝换成螺母），AI 要能猜出这个病毒是变得更强了、更弱了，还是直接废了。
   • 数据： 这里收集了来自 79 个不同实验的55 万多个突变数据，涵盖了流感、新冠、艾滋病等 13 种病毒。

2. 抗原多样性预测（伪装识别）：

   • 比喻： 病毒喜欢“换马甲”（抗原变异）来骗过抗体。AI 要能判断：这个新病毒和旧疫苗里的病毒，长得像不像？如果太不像，疫苗就失效了。
   • 数据： 包含了 21 种流感病毒的中和实验数据，模拟真实世界中抗体对病毒的打击效果。

3. 大流行预测（未来预言）：

   • 比喻： 这是最难的“终极考试”。AI 不看实验室数据，直接看真实世界中病毒是怎么传播的。它要预测：接下来哪种病毒变种会成为“霸主”？
   • 数据： 利用了 GISAID 数据库中 2020 年到 2025 年真实的病毒传播记录。

3. 实验结果：谁赢了？

在这个“健身房”里，研究人员测试了各种 AI 模型（像 ESM、ProGen2 等）。结果非常有趣：

• 实验室数据 vs. 真实世界：

  • 有些模型在实验室数据（DMS） 上表现很好，就像在“模拟考”中拿了满分。
  • 但是，当把它们放到真实世界（GISAID） 去预测病毒会不会流行时，很多模型就“翻车”了。
  • 关键点： 研究发现，实验室里测出来的“最强突变”，往往并不是现实中传播最广的突变。因为真实世界里，病毒不仅要“强壮”，还要能“骗过”人类的免疫系统，还要适应环境，这比实验室复杂多了。

• 谁是冠军？

  • 一个叫 ProGen2 的模型表现最出色。
  • 它的厉害之处： 它不仅能读懂实验室数据，还能真正理解病毒在自然界中的“生存法则”。它预测出的“未来霸主”突变，和现实中真正流行的病毒突变高度重合（重合度高达 50%）。
  • 这意味着，ProGen2 不仅仅是在背答案，它似乎真的“学会”了病毒进化的逻辑。

4. 这意味着什么？（核心启示）

这篇论文告诉我们一个重要的道理：

不要只盯着实验室的“标准答案”，要看 AI 在真实世界里的“实战表现”。

• 互补而非替代： 实验室实验（DMS）依然很重要，它们提供了精细的“零件级”数据。但 AI 模型（pLMs）提供了宏观的“进化视角”。
• 未来的疫苗设计： 如果我们能用像 ProGen2 这样经过 ViroGym 严格训练的 AI，在病毒大规模爆发之前，就预测出它下一步会怎么变，我们就能提前设计疫苗。
  • 这就好比：以前我们是等小偷进屋了才报警；现在有了 ViroGym 训练出的 AI，我们能预测小偷下次会穿什么衣服、走哪条路，提前在门口设伏。

总结

ViroGym 就像是一个**“病毒进化模拟器”**。它把各种 AI 模型扔进这个模拟器和真实数据的大熔炉里，看看谁能真正预测出病毒的下一步动作。

这项研究不仅筛选出了最强的 AI 模型（ProGen2），更重要的是，它改变了一个观念：最好的病毒预测工具，不是那些在实验室里最完美的，而是那些最懂真实世界复杂规则的。 这将为未来开发更有效的疫苗和药物提供强大的“导航仪”。

技术摘要

以下是基于论文《ViroGym: Realistic Large-Scale Benchmarks for Evaluating Viral Proteins》的详细技术总结：

1. 研究背景与问题 (Problem)

• 病毒快速演化的挑战： 流感、SARS-CoV-2 等呼吸道病毒突变迅速，给疫苗和治疗药物的开发带来巨大挑战。现有的疫苗株选择系统（如 WHO 每半年一次的流感疫苗推荐）往往滞后，导致疫苗有效性下降（例如季节性流感疫苗有效性仅为 19%-60%，SARS-CoV-2 疫苗在 2023 年秋季峰值后迅速下降）。
• 现有基准的局限性：
  • 虽然蛋白质语言模型（pLMs）在零样本（zero-shot）预测错义突变功能效应方面表现出色，但现有的基准（如 ProteinGym）主要关注非病毒蛋白，病毒序列占比极低。
  • 另一个基准 EVEREST 虽然关注病毒，但覆盖的病毒种类有限，且发现现有 pLMs 对超过一半的病毒突变预测不可靠。
  • 缺乏将**体外实验数据（in vitro）与真实世界预测（real-world prediction）**相结合的系统性策略，难以指导抗原和靶点的选择。
• 核心缺口： 目前尚不清楚不同的 pLMs 在处理病毒基因组序列时的具体表现，缺乏一个能够评估模型在疫苗开发和抗病毒药物研发中实际效用的大规模基准。

2. 方法论 (Methodology)

作者提出了 ViroGym，一个专为评估病毒蛋白变体效应预测而设计的大规模、现实基准。

2.1 数据集构建

ViroGym 整合了三大核心数据源，涵盖 13 种病毒类型和 7 种表型类别：

1. 深度突变扫描 (DMS) 数据： 收集了 79 个 DMS 实验，包含 552,937 个突变氨基酸序列。涵盖 SARS-CoV-2、流感 A、HIV、寨卡病毒等。表型包括结合能力、细胞进入、表达量、适应性、免疫逃逸（新增类别）和稳定性。
2. 中和实验 (Neutralisation Assays)： 包含 21 个 基于序列的高通量流感病毒中和实验，涉及 2,691 个病毒序列 - 滴度对。这些实验量化了血清抗体对不同病毒株的中和能力，用于评估抗原性差异。
3. 真实世界预测任务 (Real-world Task)： 利用 GISAID 数据库（2020 年 1 月至 2025 年 5 月）的 SARS-CoV-2 序列数据，提取 Spike 蛋白的自然突变频率（24,187 个单突变测量），作为“大流行预测”任务的基准。

2.2 评估任务

ViroGym 定义了三个核心评估任务：

1. 突变效应预测 (Mutational Effect Prediction)： 评估模型捕捉病毒基因组内复杂非线性关联及推断单个突变功能后果的能力。
2. 抗原多样性预测 (Antigenic Diversity Prediction)： 评估模型理解免疫逃逸和毒株区分的能力（通过中和实验数据）。
3. 大流行预测 (Pandemic Prediction)： 识别具有强零样本泛化能力的模型，使其能准确预测自然界中观察到的主导循环突变。

2.3 基线模型与评分策略

• 模型： 测试了多种主流 pLMs，包括 ESM 系列 (ESM-1, ESM-1v, ESM-2)、ProtT5、ProGen2 系列、Tranception、ProtGPT2 等。
• 评分策略：
  • 对于编码器模型（如 ESM），比较了掩码边缘概率、野生型边缘概率、突变边缘概率、伪似然等策略。研究发现，语义距离（Semantic Distance）（即突变序列与参考序列在上下文嵌入空间中的欧几里得距离）通常表现最佳。
  • 对于解码器模型（如 ProGen2），主要使用负对数似然（Negative Log-Likelihood）或困惑度（Perplexity）。
• 评估指标： 绝对斯皮尔曼等级相关系数（Absolute Spearman rank correlation）、Top K% 召回率（Top K% recall，K=10%）、Precision@K。

3. 关键贡献 (Key Contributions)

1. 首个大规模病毒蛋白基准： 构建了包含近 56 万个突变读数和 21 个中和实验任务的 ViroGym 基准，填补了病毒蛋白评估领域的空白。
2. 引入“免疫逃逸”表型： 在 DMS 数据中明确增加了免疫逃逸（Immune Escape）类别，直接关联疫苗和治疗开发需求。
3. 连接实验室与真实世界： 首次系统性地整合了受控的体外实验（DMS/中和实验）与真实世界的病毒进化数据（GISAID），评估模型从实验室到现实环境的泛化能力。
4. 发现评分策略差异： 指出在病毒蛋白预测中，基于语义嵌入距离的评分策略（Semantic Scoring）往往优于传统的掩码似然策略。

4. 主要结果 (Results)

• 突变效应预测 (DMS)：
  • ProGen2-XL 在 DMS 任务中表现最强（平均 Top 10% 召回率 0.1980，Spearman 相关系数 0.2930）。
  • 不同模型之间的性能差异在某些任务中不显著，但 ProGen2 系列整体表现优于 ESM 系列。
  • 语义距离策略在 ESM 模型中表现优于掩码边缘概率策略。
• 抗原多样性预测 (中和实验)：
  • 模型间的性能差异较小，Tranception M 略胜一筹（Spearman 相关系数 0.2316）。
  • 结果表明当前 pLMs 在预测中和抗体反应方面仍有较大提升空间。
• 大流行预测 (GISAID)：
  • ProGen2-XL 再次展现出最强的泛化能力，在 Precision@3 指标上达到 0.33，显著优于其他模型（其他模型多为 0）。
  • 关键发现： DMS 实验识别出的高适应性突变与真实世界中主导的循环突变重叠度极低（仅约 10%）。然而，在 DMS 任务中表现优异的模型（如 ProGen2-XL），却能更准确地预测真实世界中的主导突变（与 GISAID 数据重叠度达 50%）。
  • 这表明，虽然 DMS 数据本身不能直接代表真实世界的进化，但基于 DMS 筛选出的高性能模型能够捕捉到指导真实世界病毒进化的生物学约束。

5. 意义与影响 (Significance)

1. 重新定义 pLM 的评估范式： 论文指出，pLMs 的价值不仅仅在于复现 DMS 实验结果，更在于捕捉真实世界中观察到的突变模式。ViroGym 提供了一个更贴近实际应用场景的评估框架。
2. 指导疫苗株选择： 研究证明，经过适当筛选的 pLMs 可以作为互补工具，帮助科学家在 WHO 宣布毒株之前，提前预测主导循环突变，从而加速疫苗研发周期。
3. 互补性信号： DMS 实验提供了高分辨率的功能效应测量，而 pLMs 提供了从大规模进化数据中学习到的序列级约束。将两者结合（DMS 筛选模型 + pLM 预测）可能是提高病毒进化预测准确性的最佳路径。
4. 未来方向： 论文指出了当前模型的局限性，如处理插入/缺失（indels）的能力不足、上下文窗口长度限制（<1024 残基）以及训练数据的多样性问题。这为下一代病毒专用语言模型的开发指明了方向。

总结： ViroGym 不仅是一个评估工具，更是一个连接计算生物学与公共卫生实践的桥梁。它证明了利用大规模预训练语言模型进行零样本预测，可以有效辅助应对快速演变的病毒威胁，特别是在疫苗设计和疫情预警方面具有巨大的应用潜力。