🤖 AI

PGFS++: Molecular Property Improvement under Synthesis and Diversity Constraints

本文介绍了 PGFS++，这是一个具备合成感知能力的强化学习框架，它通过解决其前身 PGFS+ 中存在的反应物选择局限性和奖励黑客行为导致的多样性崩溃问题，在提升分子性质的同时，保持了输出的多样性并提供了明确的合成路线。

原作者： Boqiao Zhang, Godbless James, Sai Krishna Gottipati, Andrew Fitzgibbon

发布于 2026-08-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Boqiao Zhang, Godbless James, Sai Krishna Gottipati, Andrew Fitzgibbon

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在药物研发的早期阶段，科学家们面临着一种持续的平衡博弈。他们需要设计出既有足够效力来对抗疾病，又能确保这些分子在实验室中能够被实际制造出来的分子结构。多年来，人工智能一直致力于生成新的分子结构，并通常针对特定特征进行优化，例如它们与病毒结合的能力或对人体是否安全。然而，一个显著的差距一直存在：许多由计算机生成的方案在理论上是化学有效的，但在现实世界的实验室工具和原料条件下却无法实现制造。为了弥补这一差距，研究人员转向了一种被称为“正向合成”（forward synthesis）的方法，该方法将药物创造视为一个循序渐进的建筑工程，从一个已知的分子开始，利用成熟的化学反应逐一添加组件。其目标不仅是引导计算机生成一个更好的分子，而且是生成一个附带清晰、可行的构建说明书的更好分子。

剑桥大学和 Graphcore 的一个研究团队开发了一种名为 PGFS++ 的新系统，旨在解决尝试自动化这一过程时出现的一个特定问题。他们的工作建立在一种称为 PGFS 的早期方法之上，该方法使用了一种被称为“强化学习”的人工智能学习方式。在这种设置中，计算机作为一个智能体（agent），通过选择化学反应和构建模块来尝试改进起始分子。该系统的升级版本 PGFS+ 在寻找具有改良特性的分子方面表现良好，但却存在一个奇怪的缺陷。该系统变得过于高效地寻找单一的高回报解。它并没有为不同的起始材料创造出各种各样的改良版本，而是将数百个不同的输入分子都导向了完全相同的最终产物。研究人员称之为“磁铁”效应，即系统被吸引向一个高分结果，导致结果的多样性坍塌，从而使该工具无法为特定的药物进行定制化的改良。

为了解决这个问题，团队引入了 PGFS++，这是一个经过改进的框架，它强制要求计算机保持起始材料与最终结果之间的联系。该系统仍然通过从包含超过 118,000 种可用化学原料的海量库中选择反应模板和兼容的构建模块来运作。它使用预先计算好的映射图来快速识别哪些构建模块可以合法地与分子的特定部分发生反应，从而将数百万种可能性缩小到可控的范围内。其核心创新在于系统的奖励机制。在之前的版本中，计算机只有在最终分子具有更佳属性时才会获得奖励，这促使它完全忽略起始点。在 PGFS++ 中，奖励系统包含了一个维持与原始输入结构相似性的奖金。这意味着如果计算机偏离起始分子太远，就会受到惩罚，从而确保其改良过程是针对特定药物候选物的，而不是一种通用的、一刀切的解决方案。

这种新方法的测试结果基于衡量药物质量的两个常见指标：分子的“类药性”评分以及合成难易程度评分。当研究人员使用数千个不同的起始分子进行模拟运行时，新系统成功地在保持输出多样性的同时提升了目标属性。与产生几乎相同分子的早期版本不同，PGFS++ 生成了广泛且独特的改良结构。该系统还保持了较高的合成可及性得分，意味着它找到的路径对于化学家来说是切实可行的。通过防止坍塌为单一的“磁铁”解，研究人员证明了在优化分子属性以满足特定需求的同时，不必牺牲探索不同化学可能性所需的各种多样性。这项工作表明，未来的药物发现工具既可以高效地改善分子属性，又能尊重定义现实世界研究的独特起始点。

技术摘要：用于分子性质改进的 PGFS++

问题陈述

在早期药物研发阶段，提高分子性质（如类药性或结合亲和力）至关重要。然而，在无约束化学空间中优化的分子如果缺乏实际合成价值，则无法投入应用。虽然像 PGFS（用于前向合成的策略梯度）这样的强化学习（RL）方法通过将搜索限制在可合成路径内来解决这一问题，但它们存在特定的局限性：

间接反应物选择： PGFS 使用神经网络预测第二个反应物（ $R_2$ ）的连续嵌入，随后通过最近邻搜索检索离散分子。这导致优化的连续动作与执行的离散反应之间存在不匹配，可能限制学习效果。
“磁铁输出”失效模式： 即使是改进后的变体（如提出的 PGFS+）也会出现输出多样性崩溃的问题。策略学习将多样化的输入分子映射到单个高奖励的“磁铁分子”。虽然这最大化了目标性质得分（如 QED），但破坏了输出多样性，并且无法实现针对特定输入的分子改进。

方法论

本文提出了 PGFS++，这是一个旨在提高分子性质、同时保持多样性并确保明确合成路径的合成感知型强化学习框架。

1. 增强型动作空间与评分 (PGFS+)

为了解决 PGFS 的局限性，作者首先开发了 PGFS+：

学习型嵌入： PGFS+ 不再预测连续嵌入，而是使用可训练的嵌入查找表来处理反应模板和第二个反应物（ $R_2$ ）。
直接全局评分： 分子和模板被投影到一个学习到的反应空间中。通过一个类似注意力的机制，使用查询向量 $q = \text{concat}(\phi_1(R_1), \phi_T(T))$ 直接对所有兼容模板的 $R_2$ 候选对象进行评分。
算法转变： 将连续动作算法（TD3）替换为 PPO（近端策略优化），后者天然支持对索引化的 $R_2$ 动作空间进行分类策略建模。
预计算掩码： 为了处理庞大的动作空间，作者使用 RDKit 子结构匹配预计算兼容性掩码，将候选集减少到可处理的大小（每个模板的中位数约为 1,000 个候选对象）。

2. 缓解多样性崩溃 (PGFS++)

为了解决多样化的输入映射到相同高奖励输出的“磁铁输出”问题，PGFS++ 在奖励函数中引入了输入-输出相似性奖励。

奖励塑造： 对回合奖励 $r_{episode}$ 进行修改，使其包含一个基于输入分子（ $m_{in}$ ）与输出分子（ $m_{out}$ ）之间 Tanimoto 相似度的项：
$r_{episode} = r_{property}(m_{out}) \cdot (1 + c \cdot \text{sim}(m_{in}, m_{out}))$
奖励封顶： 如果相似度低于阈值 $\tau$ ，则对奖励进行封顶，以防止策略完全忽略输入结构。
理论依据： 作者推导得出，如果没有这种约束，策略会诱发“向内编辑偏差”（输入与编辑位移之间的负协方差），导致多样性崩溃（ $D_{out} \to 0$ ）。相似性奖励收紧了多样性下降的上界，鼓励模型生成针对特定输入的改进，而非收敛到单个磁铁分子。

核心贡献

PGFS++ 框架： 一个合成受限的强化学习框架，通过利用离散动作空间、预计算兼容性掩码以及用于反应物选择的全局注意力评分，扩展了 PGFS。
识别磁铁输出： 本文识别并表征了合成感知分子改进中的一种特定失效模式，即在高性质得分的同时以牺牲输出多样性为代价。
输入-输出相似性奖励： 提出了一种乘性相似性奖励作为有效机制，用以解决多样性崩溃问题，确保模型在实现针对特定输入改进的同时，保持高输出多样性。

实验结果

该框架在包含约 118,000 个分子和 102 个反应模板的数据集上进行了评估，重点关注 QED（定量类药性估计）和 SEH（合成可及性/健康度）的改进。

性能对比基准： PGFS++ 在性质改进和多样性指标方面均一致优于 PGFS 及其变体（PFSG-TAC, PGFS-MB）。它达到了与 REINVEΝT4（一种生成模型）和 SynFlowNet（一种基于 GFlowNet 的方法）相竞争的性能，并具有提供明确合成路径的独特优势。
多样性保持： 与导致多样性崩溃（对约 97.8% 的测试输入产生相同输出）的 PGFS+ 不同，PGFS++ 在实现高平均 QED 的同时保持了高输出多样性。
消融研究： 对加性与乘性相似性奖励的比较表明，乘性形式（PGFS++ 中使用的形式）能更好地保留目标性质（QED），同时有效缓解磁铁输出问题。
指标： 与缺乏合成约束或存在多样性崩溃问题的基准方法相比，该框架在路径感知合成能力（RAS）、输入-输出相似性以及结构多样性方面表现出卓越的性能。

意义与主张

本文声称 PGFS++ 代表了针对特定输入的分子改进迈出的重要一步。通过将输入分子视为前向合成轨迹的起点并强制执行结构相似性，该框架避免了模型为了优化全局最大值而牺牲多样性的“奖励黑客（reward hacking）”行为。

作者强调，尽管以往的方法要么忽略了合成约束，要么在这些约束下无法维持多样性，但 PGFS++ 成功平衡了三个相互竞争的目标：

性质改进： 最大化目标指标（如 QED）。
合成可行性： 提供明确、有效的合成路径。
多样性： 确保输出分子在结构上是多样化的，且针对其输入具有特异性，而不是坍缩到单个“磁铁”解。

这项工作表明，对于通常需要维持先导化合物骨架或特定结构特征的实际药物研发而言，合成感知方法必须通过显式惩罚失去输入-输出相关性的行为，才能真正发挥作用。