🧬 biology

Rethinking Benchmarks and Models for Enzyme Specificity Prediction

本文表明，当前的酶特异性预测模型往往无法在具有发现意义的基准测试中超越简单的基于序列的基线模型，但研究显示，通过使像 Boltz 这样具备结构感知能力的模型从完整的生物分子复合物中学习，可以显著提高酶优先级的排序性能。

原作者： Elizabeth H. Mahood, Natália Komorníková, Tomáš Pluskal, Pranam Chatterjee

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Elizabeth H. Mahood, Natália Komorníková, Tomáš Pluskal, Pranam Chatterjee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

想象一下你是一名正在寻找完美钥匙（一种酶）以开启特定锁具（一种化学反应）的侦探。在生物学的世界里，有数以百万计的钥匙，其中许多看起来几乎一模一样。你的目标是从成千上万个极其相似的候选者中，挑出那把正确的钥匙。

这篇论文是一份关于科学家们构建的新型“AI侦探”的成绩单，这些 AI 被用来协助完成这项任务。作者发现，虽然这些 AI 模型非常擅长区分“钥匙”和“螺丝刀”，但它们目前在区分两把非常相似的“钥匙”时表现得很糟糕。

以下是使用简单类比对他们研究结果的解读：

1. 问题所在：“相似物”的挑战

在药物研发或生物工程的现实世界中，科学家经常面临这样的情况：他们有一个想要发生的特定化学反应，并且需要找到引起该反应的酶。

旧方法： 科学家过去通过观察酶的“家族树”来工作。如果酶 A 与酶 B 有 90% 的相似度，他们就假设两者执行同样的工作。
新方法（AI）： 最近，强大的 AI 模型被训练用于预测哪种酶执行哪种工作。这些模型在测试简单的谜题时表现出色，而这些谜题中的钥匙彼此之间差异很大（比如寻找汽车钥匙与房屋钥匙的区别）。这些测试得分很高。

论文的观点： 作者问道：“如果谜题变难了会怎样？”如果钥匙都是同卵双胞胎呢？他们用这些“困难”的谜题测试了 AI 模型，发现这些模型的表现几乎和随机猜测一样。

2. 第一项测试：“随机猜测”的现实

研究人员选取了两个流行的 AI 模型（FusionESP 和 EZSpecificity），并用它们从未见过的酶进行了测试。

类比： 想象你训练了一只狗去捡红色的球。然后你用一个它从未见过的蓝色球来测试它。这只狗不知道该做什么。
结果： 当 AI 模型被要求从一系列非常相似的候选者中挑选出正确的酶时，它们的表现几乎和抛硬币一样差。它们无法将“真实”的酶与“伪造”的酶区分开来。

3. 大型数据库：“CYP”库

为了进行公平的测试，作者构建了一个涉及 细胞色素 P450 (CYP) 酶的大规模数据库。

规模： 他们收集了涉及 768 种不同酶的近 3,000 个化学反应。
测试： 他们创建了一个“排名挑战”。对于一个特定的反应，AI 必须在该生物体发现的所有 CYP 酶中选出正确的那一个。
结果： 即使在利用这些新数据对 AI 模型进行重新训练后，大多数模型仍然无法击败一种名为 BLAST 的传统老方法。
- 什么是 BLAST？ 可以把 BLAST 想象成一个“复印件匹配器”。它只是寻找看起来最像你已知酶的那个酶。它并不像 AI 那样“聪明”；它只是在比较形状。令人惊讶的是，这个简单的“复印”方法往往与高级 AI 一样出色。

4. 唯一的成功：“结构”方法

有一种方法实际上比简单的复印匹配器更有效。

方法： 他们使用了一个名为 Boltz 的模型，该模型旨在预测酶与化学底物如何物理性地契合在一起，就像手套贴合手部一样。
诀窍： 他们不仅仅观察酶本身，还观察了酶与化学物质之间的“握手”过程。他们利用 AI 对这种物理契合度的内在理解来进行预测。
结果： 这种方法始终优于简单的复印匹配器。这表明，要找到正确的钥匙，你需要理解钥匙如何在锁中物理性地转动，而不只是看钥匙外表看起来如何。

5. 警告：“作弊”测试

作者还发现了一些先前 AI 模型测试中的重大缺陷。

类比： 想象你在参加一场数学考试，但老师不小心把答案写在了学习指南里。你得了 100 分，但你并没有真正学会数学。
发现： 其中一个表现优异的模型（EnzymeCAGE）看起来很棒，但当作者仔细检查时，他们发现该模型在训练期间已经“见过”了测试题目。一旦他们移除了这些“作弊”的样本，该模型的性能就大幅下降。

总结

论文得出结论：虽然 AI 在生物学领域取得了巨大进步，但目前的“最先进”模型尚未准备好解决最困难的酶发现问题。它们擅长识别巨大的差异，但在面对非常相似的候选者时却显得力不从心。

为了向前迈进，作者提出了以下建议：

停止使用简单的测试： 我们需要针对“困难”的谜题来测试 AI，即那些候选者看起来非常相似的谜题，而不仅仅是简单的谜题。
关注“握手”： 理解酶与化学物质之间 3D 物理契合度的模型（如 Boltz 方法）似乎比那些仅仅孤立观察酶形状的模型更有前景。
谨慎对待数据： 我们必须确保 AI 模型不仅仅是在死记硬背训练数据中的答案。

简而言之：AI 侦探们很聪明，但目前他们在人群中面对双胞胎时会迷失方向。我们需要教会他们观察双胞胎如何与世界互动，而不仅仅是观察他们的外表。

技术摘要：重新思考酶特异性预测的基准测试与模型

问题陈述
在众多相似候选者中识别出真正的酶催化剂，是酶注释、生物合成途径阐明以及生物催化剂检索中的核心瓶颈。尽管最近蛋白质机器学习领域的进展已经产生了许多用于预测酶-底物或酶-反应兼容性的模型，但它们的性能通常是在“低同源性”机制（差异较大的候选者）下进行评估，或使用全局判别指标（如 AUROC、AUPR）。这些评估策略未能解决“高同源性”场景下的问题，即在这一场景中，主要挑战是从一群高度相似但具有不同底物特异性的相关酶（例如在同一个基因家族内）中优先筛选出极少数真阳性。现有的基准测试往往存在数据泄漏问题，或者缺乏足够的解析度来测试在实际发现场景中对未见酶和底物的泛化能力。

方法论
作者对四种最先进的酶预测模型进行了全面的基准测试研究，包括两个底物预测模型（FusionESP、EZSpecificity）和两个反应预测模型（CLIPZyme、EnzymeCAGE）。

初步基准测试（未见数据）： 作者首先在两个酶筛选实验（腈酶和 $\alpha$ -酮戊二酸/铁(II)依赖型酶）上评估了 FusionESP 和 EZSpecificity，其中所有的酶和底物都严格排除在模型的训练数据之外。他们使用了严苛的排序指标，包括微观/宏观 AUROC、AUPR 以及 $\Delta$ 归一化富集因子 ( $\Delta$ NEF)，以衡量在负样本中将真底物排在靠前位置的能力。
CYP 数据集构建： 为了实现跨所有四个模型的受控且具备泄漏感知能力的比较，作者组建了迄今为止最大的细胞色素 P450 (CYP) 反应数据集。该数据集包含来自 UniCrypt 和 RHEA 的 2,922 个反应，涉及 768 种酶和 616 种底物，并针对人工注释和单加氧反应进行了过滤。
CYP 排序基准： 构建了一个特定的评估集，其中酶和底物与训练数据在序列一致性（<40%）和 Tanimoto 相似度（<0.7）方面均不重叠。该任务要求在所有源自同一生物体的 CYP 酶中对正确的酶进行排序。评估重点在于 Top-K 检索（Top 10%、20%、50%）、富集因子 (EF)、BEDROC 和平均倒数排名 (MRR)。
微调与基准线： 所有四个模型都在 CYP 训练数据集上进行了重新训练（微调），以评估特定任务带来的性能提升。性能对比对象包括随机基准线以及基于序列的同源性搜索方法（BLAST-sequence 和 BLAST-substrate）。
Boltz 改编： 作者将 Boltz（一种双分子结构预测模型）改编用于酶-底物判别。作者并非仅仅依赖预测的复合物结构，而是从 Boltz 的内部表示中提取残基-配体对嵌入（即底物原子与蛋白质残基在 5Å 范围内的相互作用）。随后，利用监督分类器（随机森林和 MLP）在这些嵌入上进行训练，以区分正向和负向的 CYP-底物对。

关键结果

现有模型的泛化能力有限： 在针对未见酶家族的初步评估中，当被要求对真底物进行排序时，FusionESP 和 EZSpecificity 的表现接近随机基线。虽然它们在单酶层面表现出一定的区分正负样本的能力（宏观 AUROC > 0.5），但未能实现高早期富集 ( $\Delta$ NEF)，这表明它们学习到的是局部酶内信号，而非鲁棒的全局相互作用规则。
CYP 基准测试表现： 在 CYP 排序数据集上，大多数模型（包括经过微调的 FusionESP、EZSpecificity 和 CLIPZyme）并未持续优于基于序列的 BLAST 基准线。
- EnzymeCAGE 最初表现出优于 BLAST 基准线的趋势；然而，作者发现存在显著的数据重叠（45 个测试反应中有 39 个包含存在于 EnzymeCAGE 原始训练数据中的底物或酶）。当在剩余的非重叠反应上进行评估时，其优势便减弱了。
- 微调通常能提高相对于随机基准线的性能，但并不保证优于 BLAST，这表明在广泛训练中被各酶类共有的全局特征（例如血红素结合结构域）可能会主导表示，从而掩盖了特定的底物决定特征。
基于 Boltz 的方法： 在具备泄漏感知的 CYP 排序数据集上，利用 Boltz 残基-配体相互作用嵌入训练的监督分类器是唯一能够持续超越随机和 BLAST 基准线的方法。这种方法成功地利用了共折叠模型所“学习”到的结构和物理约束，来判别特定的酶-底物对。

意义与主张
本文认为，目前用于酶特异性预测的基准测试往往与实际发现需求不匹配，而实际需求需要从大量高度相似的候选者中优先筛选出真实的命中项。作者主张：

基准测试改革： 评估应从全局判别指标（AUROC/AUPR）转向基于排序的指标（BEDROC、EF、MRR），并执行严格的训练-测试拆分，确保酶和底物在不相似性上的分离，以防止数据泄漏。
表示形式转变： 源自完整生物分子复合物（特别是通过像 Boltz 这样的共折叠结构预测模型）的相互作用感知表示，为酶优先级排序提供了一个有前景的基础。这些嵌入似乎捕捉到了序列模型或独立的分子编码模型所缺失的生物物理定律和特定的相互作用约束。
当前局限性： 尽管基于 Boltz 的方法取得了成功，但作者保持了审慎态度，指出目前的模型在处理高候选者设置（例如 Top 10% 准确率仍然较低）时，仍达不到常规实验筛选所需的精度。他们强调，虽然基于 Boltz 的方法计算强度较大，但它提供了一个概念验证，证明结构相互作用嵌入可以比基于同源性的方法更好地进行酶特异性预测。