PoseBusters: AI-based docking methods fail to generate physically valid poses or generalise to novel sequences

本文介绍了 PoseBusters，这是一个验证工具，它证明了当前的基于深度学习的蛋白质-配体对接方法往往无法生成符合物理规律的结构，或无法泛化至新的序列，从而在表现上逊于能更好地结合基本物理原理的经典对接工具。

要点

想象一下，你正试图找到一把完美的钥匙，以适配一把非常特定且复杂的锁。在药物研发的世界里，“锁”是人体内的蛋白质，而“钥匙”则是潜在的药物分子。弄清楚这把钥匙究竟如何与锁匹配的过程被称为对接（docking）。

多年来，科学家们一直使用传统的、基于规则的计算机程序来进行这项工作。最近，一波新的“人工智能”（深度学习）程序涌现而来，承诺能做得更快、更好。这些 AI 模型就像是那些背下了数百万个钥匙与锁匹配案例的优秀学生。

然而，一项名为 PoseBusters 的新研究表明，虽然这些 AI 学生非常擅长记忆钥匙的“形状”，但它们却完全不懂得钥匙运作背后的“物理学原理”。

以下是该论文发现的简单拆解：

1. “RMSD”陷阱：看起来很美

科学家通常使用 RMSD 来衡量一个对接程序的表现。把 RMSD 想象成一把尺子。如果 AI 预测了钥匙的位置，并且这个预测与真实情况（晶体结构）中的位置误差在 2 毫米（埃）以内，那么 AI 就算通过了考试。

研究发现，许多 AI 程序在“尺子测试”中得分很高。它们会说：“看！我们的准确率达到了 90%！”

2. 现实检查：“不可能”的钥匙

问题在于，这些 AI 程序过于关注匹配尺子的测量值，以至于有时会创造出物理上不可能存在的钥匙。

想象一下，AI 预测出的钥匙具有以下特征：

• 它的化学键（原子间的连接）被拉伸得极细，就像干枯的树枝一样容易折断。
• 它的环状结构被扭曲成了麻花状，尽管化学理论告诉我们它应该是像煎饼一样平坦的。
• 钥匙的两个部分互相碰撞，就像两辆车试图同时穿过同一扇门一样。

论文将这些现象称为**“物理上不合理”**。这就像是 AI 画了一把钥匙，从远处看轮廓没错，但如果你真的尝试去制造它，它要么会散架，要么会损坏锁具。

3. 进入 PoseBusters：检查员

为了捕捉这些错误的预测，作者开发了一个名为 PoseBusters 的工具。你可以把 PoseBusters 想象成一名严格的建筑检查员或质量控制经理。

它不仅仅是测量尺子（RMSD），还会检查每一次预测是否符合“物理定律”：

• 化学有效性： 分子在化学上是否合理？（例如：电荷是否正确？原子是否连接妥当？）
• 几何结构： 环是平坦的吗？化学键长度是否正确？
• 碰撞： 钥匙是否撞到了锁或其他部件？

如果一个预测未能通过这些检查，无论其尺子测量值有多好，都会被标记为“无效”。

4. 大揭秘：新旧对比

研究人员将五种新型 AI 对接方法与两种传统的旧方法（AutoDock Vina 和 Gold）进行了对比测试。

• 在熟悉的锁上（训练数据）： 当 AI 在其训练阶段见过的“锁”上进行测试时，它在尺子测试中表现惊人。其中一种 AI（Diffock）似乎超越了旧方法。
• “物理”过滤器： 但是，当 PoseBusters 进行物理检查时，AI 的表现大幅下降。许多“完美”的预测实际上是物理上不可能存在的结构。而那些旧的传统方法虽然速度稍慢，但产生的钥匙既准确又符合物理规律。
• 在全新的、未知的锁上（泛化能力）： 当研究人员在 AI 从未见过的全新锁（基准集）上进行测试时，AI 表现得很挣扎。它无法实现泛化。那些依赖物理规则而非仅仅依靠模式记忆的旧方法，处理这些新锁的效果要好得多。

5. “微调”并不能解决所有问题

作者尝试通过在预测后添加一个“抛光”步骤（使用名为力场的物理引擎）来优化 AI 的结果，使形状变得更平滑。

• 结果： 这确实帮助 AI 修复了一些变形的钥匙，但并没有让它们变得比传统方法更好。传统方法本身就有一个坚实的基础，而 AI 则必须试图去修复一个破碎的基础。

核心结论

论文得出结论：基于 AI 的对接方法目前还不足以取代传统工具。

虽然它们很快，也能猜对位置，但它们经常忽略基本的化学和物理定律。要成为真正的“顶尖水平”，一种方法需要通过两项测试：

1. 尺子测试： 它是否在正确的位置？
2. 物理测试： 它是否是一个真实的、可制造的物体？

目前，传统方法通过了两项测试。而 AI 方法通过了第一项，却往往在第二项上栽了跟头。作者希望通过使用 PoseBusters 这个工具，开发者可以改进这些 AI 模型，让它们更好地理解物理学，从而在未来实现真正准确的药物预测。

技术摘要

问题描述
近年来，出现了许多基于深度学习（DL）的蛋白质-配体对接方法，这些方法有望显著提高基于结构的药物发现的速度和准确性。然而，一个关键缺陷被发现：尽管这些方法通常根据预测结合模式相对于晶体结构的均方根偏差（RMSD）来报告最先进的性能，但它们经常生成物理上不合理的分子结构。这些结构可能会违反基本的化学规则，例如错误的键长、扭曲的芳香环，或蛋白质与配体之间严重的位阻碰撞。因此，仅凭 RMSD 来评估对接方法是不充分的，特别是对于可能缺乏经典物理驱动方法中固有的“归纳偏置”（以确保化学一致性和物理真实性）的深度学习方法而言。

方法论
为了填补这一空白，作者引入了 PoseBusters，这是一个利用 RDKit 化学信息学工具包开发的 Python 软件包，用于对对接预测进行全面的质量检查。该测试套件验证了三类属性：

1. 化学有效性与一致性： 检查内容包括 RDKit 净化（sanitization）、分子式保留、键连接性、四面体手性以及相对于输入配体的双键立体化学。
2. 分子内有效性： 该组评估配体本身的物理合理性，包括键长和键角（在距离几何边界的 25% 范围内）、芳香环和双键的平面度（在 0.25 Å 范围内）、内部位阻碰撞以及构象能量比（使用通用力场 UFF）。
3. 分子间有效性： 该组评估配体与其环境之间的相互作用，检查基于范德华半径（阈值为 0.75）的蛋白质-配体及配体-辅因子碰撞，以及体积重叠（限制交集 <7.5%）。

作者应用 PoseBusters 评估了七种对接方法：五种基于深度学习的方法（DeepDock、DiffDock、EquiBind、TankBind 和 Uni-Mol）以及两种成熟的经典方法（AutoDock Vina 和 CCDC Gold）。评估在两个数据集上进行：

• Astex Diverse Set： 一个包含 85 个复合物的标准基准数据集，其中许多复合物与深度学习方法的训练数据存在重叠。
• PoseBusters Benchmark Set： 一个由作者提出的、包含 308 个高质量复合物的新颖且严格的测试集，这些复合物是在 2021 年之后发布的，确保与所测试深度学习方法的训练数据（PDBbind General Set v2020）没有重叠。该集合用于评估对新序列和新结构的泛化能力。

此外，作者在深度学习预测的基础上进行了基于分子力学力场（AMBER ff14sb 和 Sage）的对接后能量最小化，以确定物理合理性是否可以通过经典精修得到恢复。

核心贡献

• PoseBusters 测试套件： 开发了一个开源工具，能够系统地识别化学不一致和物理上不合理的配体姿态，从而超越了简单的 RMSD 指标。
• 严格基准测试： 通过对比分析表明，当前的深度学习对接方法在面对新颖序列时往往无法实现泛化，并且经常产生无效结构，即使其 RMSD 得分较低也是如此。
• 识别缺失的物理特性： 证据表明，深度学习方法在化学几何和位阻约束方面缺乏特定的归纳偏置，而这些特性在经典力场中是自然编码的。

结果

• 在 Astex Diverse Set 上的表现： 虽然仅基于 RMSD 时 DiffDock 表现优异（72% 的预测在 2 Å 以内），但当考虑物理有效性时，其性能显著下降（PB-valid 仅为 47%）。当同时要求 RMSD 和物理有效性时，经典方法（Gold 和 AutoDock Vina）的表现优于所有深度学习方法。
• 在 PoseBusters Benchmark Set 上的表现： 在这些未见数据上，差距进一步扩大。Gold 和 AutoDock Vina 仍然是表现最好的方法。表现最好的深度学习方法 DiffDock 仅实现了 12% 的 PB 有效性，而其他深度学习方法（EquiBind、Uni-Mol、TankBind）几乎无法生成物理有效的姿态。
• 泛化与过拟合： 深度学习方法在与训练集序列一致性较低（<30%）的蛋白质上表现明显变差，这表明存在严重的过拟合现象。
• 能量最小化的影响： 应用对接后能量最小化显著提高了深度学习预测的物理合理性（增加了有效姿态的数量），这表明力场包含了当前深度学习模型所缺失的与对接相关的物理特性。然而，即使经过这种精修，深度学习方法也未能超越经典工具。
• 特定失效模式： 研究识别了每种深度学习方法的不同失效模式，例如 TankBind 忽略了立体化学，Uni-Mol 预测了非标准键长，以及 EquiBind 产生了蛋白质-配体碰撞。

意义
本文认为，目前仅以 RMSD 作为评估对接方法的标准是不充分且具有误导性的。作者指出，要被称为“最先进的（state-of-the-art）”，一种方法不仅必须预测出类天然的结合模式，还必须生成化学一致且物理合理的结构。作者声称，PoseBusters 为识别深度学习模型中缺失的归纳偏置提供了一个必要的框架。通过强调当前的深度学习方法在考虑物理真实性时仍无法超越经典对接工具，这项工作旨在推动开发更准确、更真实的预测方法，将深度学习的速度与经典力场的物理严谨性相结合。