CombinGym: a benchmark platform for machine learning-assisted design of combinatorial protein variants

本文介绍了 CombinGym 基准平台，该平台通过整合 14 个组合突变数据集并评估多种机器学习算法，填补了蛋白质组合突变设计领域的空白，并验证了利用低阶突变数据预测高阶突变性能的有效性，同时提供了交互式网站以促进相关研究与自动化生物制造平台的集成。

要点

这篇论文介绍了一个名为 CombinGym 的新平台，你可以把它想象成蛋白质工程领域的"超级健身房"或"赛车模拟器"。

为了让你更容易理解，我们用一些生活中的比喻来拆解这篇论文的核心内容：

1. 背景：蛋白质就像“乐高积木”，但组合太复杂

想象一下，蛋白质是由氨基酸（像乐高积木块）搭成的机器。科学家想通过改变几块积木（突变）来让这台机器跑得更快、更亮或更耐用。

• 以前的难题：如果你只换一块积木，很容易预测结果。但如果你同时换好几块积木（组合突变），它们之间会互相“打架”或“合作”（这叫上位效应，Epistasis），导致结果变得极其难以预测。这就好比你想把乐高城堡改造成飞船，随便换几块可能直接散架，或者根本飞不起来。
• 现有的工具：以前有很多“训练场”（基准测试），但它们只教怎么换一块积木。对于“换多块积木”这种高难度操作，大家缺乏统一的测试标准。

2. 什么是 CombinGym？（新的训练场）

CombinGym 就是为了解决这个问题而建立的专门训练场。

• 它有什么？ 它收集了 14 个真实的“蛋白质改造数据集”，涵盖了 9 种不同的蛋白质（有的像抗体，有的像发光的荧光蛋白，有的像酶）。
• 它有多全？ 里面包含了超过 40 万个经过实验测试的“积木组合”数据。这就好比它记录了过去几十年里，无数科学家尝试过的各种乐高改法及其最终效果。
• 它的目标：让各种人工智能（AI）模型在这里“刷题”，看看谁能最准确地预测：“如果我同时换掉 3 块、4 块甚至更多积木，这个蛋白质会变成什么样？”

3. 它是如何考试的？（分级挑战）

CombinGym 设计了不同难度的关卡，来测试 AI 的“举一反三”能力：

• 0 级挑战（零样本）：AI 完全没看过这些蛋白质的数据，只能靠“直觉”（预训练知识）来猜。
• 1 级挑战：AI 只看过“换 1 块积木”的数据，要猜“换 2 块、3 块”会怎样。
• 2 级挑战：AI 看过“换 1 块”和“换 2 块”的数据，要猜“换 3 块”会怎样。
• 3 级挑战：AI 看过直到“换 3 块”的数据，要猜更复杂的组合。

发现：就像学数学一样，如果只教简单的加法（单突变），很难直接学会复杂的微积分（多突变组合）。但 CombinGym 证明，只要给 AI 提供足够多的“低阶”数据（比如单突变和双突变），它就能学会预测“高阶”突变的效果。

4. 考试中发现的“坑”与“技巧”

在测试过程中，研究团队发现了一些影响 AI 发挥的关键因素：

• 噪音干扰：实验数据有时候会有误差（就像测量体重时，秤不准）。如果数据太吵，AI 就学不好。研究发现，把数据“清洗”一下（归一化处理），AI 的成绩会突飞猛进。
• 数据深度：对于某些蛋白质，如果用来训练 AI 的“进化树”数据（MSA）不够多，AI 就猜不准。
• 谁最强？：在 9 种不同的 AI 模型中，MAVE-NN 和 GVP-Mut（一种结合结构信息的模型）表现最好。它们就像是最聪明的“教练”，能最准确地指导如何改造蛋白质。

5. 实战演练：从模拟到现实

CombinGym 不仅仅是纸上谈兵，它还进行了两次“实战”：

• 模拟战（In silico）：用 AI 预测一种叫 CreiLOV 的荧光蛋白，让它变得更亮。AI 成功设计出了比原来亮得多的新组合。
• 真实战（Wet lab）：用 AI 指导改造一种酶（RhlA）。科学家按照 AI 的建议，在实验室里真的造出了这些新酶，结果发现它们的工作效率（特定活性）大幅提升。这证明了 AI 真的能帮人类干实事，而不仅仅是玩数字游戏。

6. 总结：这是一个开放的“共享社区”

CombinGym 不仅仅是一个测试工具，它还是一个在线社区（网站：combingym.org）。

• 任何人都可以下载数据、上传自己的新实验结果。
• 它把“计算机预测”和“实验室实验”连接了起来，就像把“赛车模拟器”和“真实赛道”打通了。
• 它的最终目的是加速蛋白质工程的发展，帮助人类更快地制造出更好的药物、更高效的酶和更环保的生物材料。

一句话总结：
CombinGym 就像是为蛋白质改造量身定做的“高考题库”和“模拟考场”，它通过大量真实数据训练 AI，让 AI 学会如何同时修改蛋白质的多个部位，从而帮助科学家更聪明、更快速地设计出具有神奇功能的新蛋白质。

技术摘要

这是一份关于论文《CombinGym: a benchmark platform for machine learning-assisted design of combinatorial protein variants》（CombinGym：一种用于机器学习辅助组合蛋白变体设计的基准平台）的详细技术总结。

1. 研究背景与问题 (Problem)

• 核心挑战：蛋白质工程中的组合突变（Combinatorial Mutagenesis）对于探索蛋白质序列 - 功能景观至关重要。然而，氨基酸残基间的非线性相互作用（即上位效应/Epistasis）使得预测多重突变对蛋白质功能的影响极具挑战性。
• 现有局限：
  • 现有的机器学习基准（如 ProteinGym, FLIP 等）主要局限于单突变（Single-mutant）库，缺乏针对组合突变（多重突变）的评估标准。
  • 现有基准很少包含实验验证，难以评估模型的过拟合、数据泄露及外推能力。
  • 缺乏对实验测量噪声、数据预处理策略以及不同突变阶数（从单突变到高阶突变）对模型性能影响的系统性分析。

2. 方法论 (Methodology)

CombinGym 是一个专为组合蛋白变体功能预测和序列设计构建的基准平台，其核心方法论包括：

• 数据集构建：
  • 收集并整理了 14 个 深度突变扫描（DMS）数据集，涵盖 9 种 蛋白质。
  • 功能类别：包括蛋白质结合（Binding，如 GB1, CR6261, CR9114）、荧光（Fluorescence，如 CreiLOV, mTagBFP2）和酶活性（Enzymatic activity，如 SpCas9, SaCas9, HIV-1 蛋白酶, RhlA）。
  • 规模：包含超过 40 万 个已表征的变体，涵盖从单突变到多重突变（最高至 6 个突变）的复杂组合。
• 基准模型（Baselines）：
  • 评估了 9 种 机器学习算法，分为 5 类 方法论：
    1. 基于多序列比对（MSA-based）：EVmutation, DeepSequence。
    2. 蛋白质语言模型（Protein Language Models）：ESM-1b, ESM-1v。
    3. 基于结构（Structure-based）：GVP-Mut（利用 AlphaFold3 预测结构）。
    4. 序列标签（Sequence-label）：MAVE-NN, CNN, Ridge 回归。
    5. 基于替换（Substitution-based）：BLOSUM62。
• 评估策略（Hierarchical Splits）：
  • 设计了分层数据集划分策略，以评估模型从低阶突变数据外推至高阶突变的能力：
    • 0-vs-rest：零样本预测（无训练数据）。
    • 1-vs-rest：仅用野生型和单突变训练，预测双突变及以上。
    • 2-vs-rest：用 WT、单、双突变训练，预测三突变及以上。
    • 3-vs-rest：用 WT 至三突变训练，预测更高阶组合。
• 评估指标：
  • Spearman's ρ：评估整体排序的一致性。
  • NDCG (Normalized Discounted Cumulative Gain)：评估模型识别高适应性（Top-performing）变体的能力，这对蛋白质设计更具实际意义。
• 数据预处理分析：
  • 系统研究了测量噪声（生物重复间的相关性）和数据归一化（Min-max, Log 变换等）对模型性能的影响。

3. 关键贡献 (Key Contributions)

1. 首个组合突变基准：CombinGym 是首个专门针对组合突变（而非单突变）的蛋白质工程基准平台，填补了该领域的空白。
2. 全面的影响因素分析：首次系统量化了实验噪声、数据归一化策略以及 MSA（多序列比对）深度对不同类型模型性能的具体影响。
3. 干湿结合验证：不仅进行了大规模的计算模拟（In silico），还通过自动化生物工厂（Automated Biofoundry）进行了湿实验验证（针对 RhlA 酶），证明了模型指导设计的实际有效性。
4. 开源平台：提供了一个交互式网站（combingym.org），包含所有数据集、代码、基准分数和排行榜，支持社区协作扩展和模型开发。

4. 主要结果 (Results)

• 模型性能对比：
  • 预测任务（Spearman's ρ）：MAVE-NN 和 GVP-Mut 在所有任务场景中表现最佳。
  • 设计任务（NDCG）：GVP-Mut、MAVE-NN 和 Ridge 回归 在识别高适应性变体方面表现优异。
  • 监督学习优势：随着训练集中包含更高阶的突变数据（从 1-vs-rest 到 3-vs-rest），监督模型的性能显著提升，而零样本模型性能下降。这表明利用低阶突变数据训练是预测高阶突变的关键。
  • 功能差异：模型在蛋白质结合和荧光属性上的预测效果优于酶活性，表明酶催化过程的复杂性带来了更大的建模挑战。
• 关键发现：
  • 测量噪声：实验噪声（如 Cas9 编辑活性的生物重复间低相关性）显著降低了模型性能，使用生物重复的平均值作为标签能提升效果。
  • 归一化：Min-max 归一化通常能提高 Spearman's ρ，而结合 Log 变换能提升 NDCG。
  • MSA 深度：对于基于 MSA 的模型，只要 MSA 深度达到一定阈值（如 10L），进一步增加深度对性能提升不明显；但在低质量 MSA 下，DeepSequence 比 EVmutation 更不稳定。
• 实验验证成果：
  • CreiLOV 模拟：利用单/双突变数据训练模型，成功预测并筛选出亮度显著高于野生型的双/三/四突变体。
  • RhlA 实验：通过 MAVE-NN 模型指导，成功设计了具有更高比活性和底物特异性的 RhlA 高阶突变体，实现了产量的大幅提升。

5. 意义与展望 (Significance)

• 指导蛋白质工程实践：CombinGym 为研究人员提供了选择模型的实用指南（例如：针对酶活性设计，需优先尝试监督学习模型并纳入三阶突变数据）。
• 推动数据驱动设计：通过整合自动化生物工厂，CombinGym 建立了“计算预测 - 实验验证 - 数据反馈”的闭环，加速了下一代机器学习模型的开发。
• 社区资源：作为一个开放平台，它促进了数据集的共享和模型的公平比较，有助于解决蛋白质工程中“数据孤岛”和“模型黑盒”的问题。
• 未来方向：该基准为评估专门针对上位效应（Epistasis）设计的模型（如 Epistatic Net, ECNet）以及融合多模态数据（序列 + 结构 + 语言模型）的混合架构提供了标准测试环境。

总结：CombinGym 不仅是一个基准测试工具，更是一个连接计算预测与实验验证的桥梁，它通过系统性的评估揭示了当前机器学习模型在处理复杂组合突变时的能力边界，并为未来的蛋白质理性设计提供了关键的数据支持和方法论指导。