Assessing the Generalizability of Machine Learning and Physics Methods for DNA-Encoded Libraries

该研究通过系统评估机器学习、对接与共折叠方法在 DNA 编码库（DEL）数据上的表现，发现尽管机器学习在分布内预测中表现优异，但针对分布外（OOD）化合物的泛化能力高度依赖于靶点和配体，因此强调在虚拟筛选中必须进行严格的系统特异性试点测试，并为此开源了 DEL-iver 工具包。

要点

这篇论文讲述了一个关于**“如何从海量化学数据中预测新药”的有趣故事。为了让你更容易理解，我们可以把整个过程想象成“在巨大的乐高积木库里寻找能拼出完美城堡的积木”**。

1. 背景：DNA 编码库（DEL）—— 一个巨大的“乐高积木”仓库

想象一下，科学家手里有一个超级巨大的仓库，里面装着几十亿种不同的化学分子（就像几十亿种不同形状、颜色的乐高积木）。

• 传统方法：以前，科学家想找出哪种积木能拼出好城堡（也就是能治病的药），只能一个一个地试。这太慢了，就像大海捞针。
• DEL 技术：现在，他们给每一块积木都贴上了一个独特的“条形码”（DNA 标签）。这样，他们可以把所有积木倒进一个池子里，让目标蛋白（比如病毒或癌细胞）去“抓”它喜欢的积木。最后，通过读取条形码，就能知道哪些积木被抓住了。这就像是一秒钟内筛选了所有积木，效率极高。

2. 问题：AI 的“死记硬背”与“举一反三”的失败

科学家想：既然我们有这么多数据，能不能训练一个人工智能（AI），让它学会规律，然后去预测那些还没做过实验的新积木（非 DEL 化合物）能不能治病？

• 比赛结果：最近有一个著名的 AI 比赛（NeurIPS 2024），让全球最聪明的 AI 团队来挑战这个任务。结果让人大跌眼镜：所有团队都失败了！
• 为什么失败？ 这些 AI 就像**“死记硬背的学生”**。
  • 如果考试题目是它背过的（比如同样的积木块，只是拼法稍微变一下），它能考满分。
  • 但如果题目换成了它从未见过的积木块（比如全新的形状或核心结构），它就完全懵了，只能瞎猜。
  • 比喻：这就像教 AI 认“猫”，它看了几千张猫的照片，能认出所有的猫。但你给它看一只“猫头鹰”，它可能因为没背过，就完全认不出来了。

3. 研究者的探索：给 AI 装上“物理引擎”

为了解决这个问题，这篇论文的作者们（密歇根大学的团队）做了一系列实验，试图找到让 AI 真正“举一反三”的方法。他们测试了三种策略：

A. 纯数据派（机器学习 ML）

• 做法：只给 AI 看化学结构数据，让它自己找规律。
• 发现：
  • 数据量不是万能的：他们发现，训练数据里其实有 99% 都是“没用的废料”（非活性分子）。如果把 90% 的废料删掉，AI 学得反而更快、更好。这说明数据的质量比数量更重要。
  • 局限性：只要遇到没见过的新积木，AI 还是不行。

B. 物理模拟派（分子对接 Docking）

• 做法：不再只靠猜，而是用物理定律去模拟。想象把积木（药物）真的扔进城堡（蛋白质）的锁孔里，看它能不能卡住，或者会不会被弹出来。
• 发现：
  • 这种方法在某些特定目标上非常厉害。比如，对于 BRD4 这个目标，一种叫 Boltz-2 的“物理模拟 AI"表现极佳；对于 sEH 这个目标，另一种叫 GALigandDock 的方法更准。
  • 比喻：纯数据派 AI 像是在背“地图”，而物理模拟派像是在“实地勘探”。当遇到新地形时，实地勘探往往比背地图更靠谱。

C. 混合派（数据 + 物理）

• 做法：把物理模拟的结果（比如积木和锁孔接触了多少个点）作为新线索，喂给纯数据 AI。
• 发现：这有点像“锦上添花”，在某些情况下有帮助，但并不是万能药。如果物理模拟本身算错了（比如积木放错了位置），AI 也会跟着犯错。

4. 核心结论：没有“万能钥匙”

这篇论文最重要的结论是：世界上没有一种通用的方法能解决所有问题。

• 看人下菜碟：预测哪种药有效，取决于你要治什么病（目标蛋白）以及你手里有什么样的积木（化学结构）。
  • 对于 A 类目标，用物理模拟最好。
  • 对于 B 类目标，用纯数据模型可能就够了。
• 警惕“过度自信”：不能因为某个模型在公开测试集上分数高，就认为它什么都能预测。在真正的大规模应用前，必须针对具体的任务进行严格的“小范围试飞”（Pilot Testing）。

5. 成果：开源工具包 "DEL-iver"

为了帮助其他科学家不再重复造轮子，作者们把他们的所有代码、分析工具和最佳实践打包成了一个免费的开源软件包，叫 "DEL-iver"（听起来像 "Deliver"，意为“交付”）。

• 这就好比他们不仅自己修好了路，还把修路工具、地图和施工指南都免费发给了大家，让任何人都能更容易地利用 DNA 编码库来寻找新药。

总结

这篇论文告诉我们：虽然 AI 很强大，但在药物发现这个复杂领域，它还不能完全取代物理实验和科学直觉。最好的策略是“因地制宜”，结合数据智能和物理模拟，并且在大规模行动前先做小测试。作者们为此提供了工具箱，让未来的新药研发之路走得更稳、更聪明。

技术摘要

这是一份关于论文《评估机器学习和物理方法在 DNA 编码库（DEL）中的泛化能力》的详细技术总结。

1. 研究背景与问题 (Problem)

DNA 编码库 (DELs) 是一种能够同时筛选数十亿种分子的高通量筛选技术。尽管 DEL 数据量巨大，但其应用面临两个主要挑战：

1. 化学多样性受限：DEL 分子通常受限于特定的合成化学空间（如特定的核心骨架和构建块）。
2. 泛化能力不足：研究人员希望利用 DEL 数据训练机器学习 (ML) 模型，以预测库外（Out-of-Distribution, OOD）的可购买化合物（即非 DEL 分子）。然而，最近的 NeurIPS 2024 "BELKA" 竞赛表明，即使是最先进的 ML 模型，在从 DEL 数据泛化到 OOD 化学空间时也完全失败（最佳模型的平均平均精度 mAP 仅为 0.36）。

核心问题：现有的 ML 模型无法可靠地预测未见过的化学空间。本研究旨在探究：

• 数据划分策略和模型架构如何影响泛化能力？
• 引入基于结构的物理方法（如分子对接、共折叠）能否弥补纯配体 ML 模型的不足？
• 如何为不同的靶点和化学空间选择最佳策略？

2. 方法论 (Methodology)

研究团队使用了 BELKA 数据集（包含约 1.33 亿个分子，针对三个靶点：sEH, BRD4, HSA），并进行了以下系统性评估：

• 数据分布定义：
  • ID (In-Distribution)：训练集中见过的构建块 (BBs) 和核心骨架（三嗪）的组合。
  • ND (Near-Distribution)：训练集中见过的 BBs，但核心骨架不同。
  • OOD (Out-of-Distribution)：训练集中未见的 BBs 和核心骨架。
• 机器学习模型 (ML)：
  • 对比了多种分子编码（ECFP4, MACCS, APDP, 图神经网络等）和架构（随机森林、GCN、MLP）。
  • 最终采用固定的 MLP 架构，并引入了构建块 2 和 3 的排列不变性 (Permutation Invariance) 处理，以模拟 DNA 连接点的旋转自由度。
  • 测试了数据不平衡处理（下采样非命中分子）和不同的训练/测试集划分策略（随机划分 vs. 保持 OOD 分布）。
• 物理建模方法：
  • 分子对接：使用 Schrödinger Glide 和 Rosetta GALigandDock。
  • 共折叠 (Co-folding)：使用基础模型 Boltz-2 直接预测结合概率。
  • 特征融合：将物理建模生成的 PLIP (Protein-Ligand Interaction Profiler) 指纹与 ECFP4 指纹结合，重新训练 ML 模型。
• 工具开发：
  • 开发了开源 Python 包 DEL-iver，用于整合上述分析流程、数据可视化、富集度计算及模型训练。

3. 关键贡献 (Key Contributions)

1. 系统性基准测试：首次系统性地比较了纯配体 ML 模型、分子对接和共折叠模型在 DEL 数据上的泛化性能，揭示了不同方法在不同靶点和化学空间下的优劣。
2. 揭示 ML 泛化瓶颈：证实了纯配体 ML 模型在 ID 数据上表现优异，但在 OOD 数据上表现接近随机（AUROC ~0.5），且简单的模型架构（浅层网络）比复杂模型更能防止过拟合。
3. 物理方法的互补性：证明了物理建模方法（对接/共折叠）在特定情况下能显著优于纯 ML 模型，但效果高度依赖于靶点特性（Target-dependent）。
4. 开源工具 DEL-iver：提供了一个端到端的工具包，降低了 DEL 数据分析、建模和虚拟筛选的门槛，促进了该领域的可重复性。

4. 主要结果 (Results)

A. 机器学习模型的泛化能力

• ID 表现优异，OOD 表现糟糕：模型在 ID 数据集上的平均精度 (AP) 很高（例如 sEH 为 0.902），但在 OOD 数据集上 AP 降至 0.001-0.020，AUROC 接近 0.5（随机猜测）。
• 数据划分的影响：
  • 下采样：移除高达 99% 的非命中分子（将训练集从 1 亿降至 100 万）并未显著降低性能，表明数据质量比单纯的数量更重要。
  • 随机划分：将 OOD 分子混入训练集进行随机划分，对 BRD4 模型有显著提升，但对 sEH 和 HSA 模型反而导致性能大幅下降，说明不同靶点对数据分布的敏感性不同。
• 结论：仅靠增加数据量或改变 ML 架构无法解决 OOD 泛化问题。

B. 物理建模 vs. 机器学习

• 靶点依赖性：
  • BRD4：Boltz-2 (共折叠) 表现最佳，AUROC 达到 0.947，显著优于 MLP (0.619) 和对接方法。
  • sEH：Rosetta GALigandDock 表现最佳，AUROC 为 0.915，优于 Boltz-2 (0.629) 和 Glide (0.668)。
  • HSA：所有方法在 OOD 上表现均不佳。
• 富集因子 (Enrichment Factor)：Boltz-2 在 BRD4 的 OOD 数据上实现了 86.04 的 EF0.5%（前 0.5% 的富集度），远高于其他方法。
• 特征融合：将物理特征 (PLIP) 加入 ML 模型并未带来一致的改进。有时甚至因为对接构象不准确而降低了性能。这表明最佳打分方法并不一定产生最适合 ML 训练的特征。

C. 结构分析

• 不同方法生成的结合构象差异巨大（RMSD 范围 1-26 Å）。
• 表现最好的方法（如 Boltz-2 对 BRD4）通常能产生溶剂可及表面积 (SASA) 更大的构象，暗示其可能更好地捕捉了结合口袋的几何特征。

5. 意义与结论 (Significance & Conclusion)

• 重新定义最佳实践：研究指出，不存在一种通用的“最佳”方法。对于 DEL 数据的虚拟筛选，必须针对特定的靶点和化学类别进行严格的试点测试 (Rigorous Pilot Testing)。
• 混合策略的必要性：虽然纯 ML 在库内预测有效，但在探索新化学空间时，结合物理建模（对接或共折叠）是更可靠的选择，尽管这计算成本更高。
• 数据洞察：DEL 数据中非命中分子占比极高，但大部分是冗余的。通过智能下采样可以大幅降低计算成本而不损失性能。
• 社区资源：通过 DEL-iver 包，研究团队将复杂的分析流程标准化和开源化，为药物化学家和计算科学家提供了宝贵的工具，有助于加速从 DEL 筛选到可购买化合物发现的转化过程。

总结：该论文打破了“大数据自动带来好模型”的迷思，强调了在药物发现中理解数据分布、结合物理原理以及针对具体问题进行定制化验证的重要性。