🤖 machine learning

Amortized Molecular Optimization via Group Relative Policy Optimization

本文介绍了 AMORTIX，这是一种摊销式图 Transformer 模型，它通过采用组相对策略优化来稳定训练以应对多样的结构约束和起始结构，从而实现了无需推理时调用预言机的高效单次分子优化。

原作者： Muhammad bin Javaid, Hasham Hussain, Ashima Khanna, Berke Kisin, Jonathan Pirnay, Alexander Mitsos, Dominik G. Grimm, Martin Grohe

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Muhammad bin Javaid, Hasham Hussain, Ashima Khanna, Berke Kisin, Jonathan Pirnay, Alexander Mitsos, Dominik G. Grimm, Martin Grohe

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位主厨，试图创造一道完美的新菜肴。你有一种特定且不可协商的基础食材（例如某种特定类型的面条或独特的香料混合物），它必须保留在最终食谱中。你的目标是添加其他食材使其味道惊艳，但你必须通过实际烹饪和品尝来测试每一种组合。

在药物发现领域，这种“品尝”是由一个名为Oracle（神谕）的计算机程序完成的。运行它极其昂贵且缓慢。

旧方法：“试错”主厨（实例优化）

目前，大多数科学家使用一种称为实例优化（Instance Optimization）的方法。想象一下，对于你想要改进的每一个新基础食材，你都要雇佣一支新厨师团队。

他们从零开始。
他们烹饪数千种变体。
他们品尝所有变体（调用昂贵的 Oracle），以找到最佳方案。
一旦找到获胜者，他们就解散整个团队。
如果你有 1,000 种不同的基础食材，你就必须雇佣 1,000 支不同的团队，并为 1,000 次独立的昂贵品尝付费。

这虽然有效，但如果你有许多不同的起点，这种方法既缓慢又耗资巨大。

新方法：“超级学习者”主厨（摊销优化）

这篇论文介绍了AMORTIX，一种称为摊销优化（Amortized Optimization）的新方法。这就像雇佣一位天才主厨，让他去“烹饪学校”（训练）学习一段时间。

训练：主厨研究数千个示例，学习通用规则，例如“如果基础食材辛辣，就添加甜味”或“如果基础食材厚重，就添加轻盈元素”。
回报：一旦主厨训练完成，你可以将任何新基础食材交给他，他就能在一秒钟内瞬间设计出完美的菜肴。他不需要再次烹饪和品尝数千种选项；他只需运用所学。
优势：成本在训练期间预先支付。此后，创造新食谱几乎免费且瞬间完成。

大问题：“难与易”的谜题

作者发现之前的“超级学习者”主厨存在一个重大缺陷。

有些基础食材容易改进（例如给寡淡的汤加盐）。几乎任何改变都能让它们变得更好。
有些基础食材很难（例如试图让一块石头变得美味）。即使最好的改变也只能让它们略微改善。

如果你通过比较主厨的所有菜肴来训练他，那些“容易”的菜肴（很容易获得高分）会淹没“困难”的菜肴。主厨会想：“好吧，我做了一锅好汤，所以我做得很棒！”从而忽略了他未能改善石头的事实。由于难度差异巨大，学习信号变得混乱。

解决方案：组相对策略优化（GRPO）

AMORTIX 通过一种称为组相对策略优化（Group Relative Policy Optimization, GRPO）的巧妙技巧解决了这个问题。

系统不再直接将主厨的“易做汤”与“难做石”进行比较，而是将它们分入不同的组：

A 组（易做基础）：主厨制作 10 种易做汤的变体。系统仅在它们之间进行比较。“这 10 种汤中哪一种最好？”
B 组（难做基础）：主厨制作 10 种石头的变体。系统仅在它们之间进行比较。“这 10 种石头中哪一种最不那么糟糕？”

通过在相同的“难度组”内让主厨与其同行进行比较，系统能够针对简单和困难的任务都学到正确的经验，而不会感到困惑。

他们证明了什么？

作者在三种主要场景中测试了 AMORTIX：

标准测试（PMO 基准）：他们与其他顶级方法玩了一场标准的“寻找最佳分子”游戏。AMORTIX 是最快且最高效的，在“超级学习者”方法中排名第一，总体排名第二。
“新食材”测试（骨架修饰）：他们向系统提供了从未见过的全新基础结构。AMORTIX 成功瞬间改进了它们，击败了其他必须为每个新基础重新烹饪数千次的方法。
“少样本”测试（前药设计）：他们向系统展示了四个将药物转化为“前药”（在体内激活的药物）的示例。系统学会了该规则，并成功将其应用于52 种完全不同的、从未见过的药物，瞬间生成了有效且可行的设计方案。

核心结论

AMORTIX 是一种新的人工智能工具，它通过一次性研究大量示例来学习设计药物，而不是为每个新问题从头开始。它利用一种聪明的分组技巧来处理简单和复杂的化学结构，使科学家能够瞬间生成优化的药物候选分子，而无需为每一个新的药物构想支付运行数千次计算机模拟的高昂成本。

注：论文明确指出，虽然人工智能设计了这些分子，但目前它仅适用于二维化学结构（平面绘图），尚未考虑对于现实世界药物结合至关重要的三维形状或立体化学。

技术摘要：基于组相对策略优化的摊销分子优化（AMORTIX）

1. 问题陈述

在药物发现中，分子设计通常需要对固定的起始结构进行修改（例如，骨架修饰、连接子设计），而不是从头生成分子。这些任务通常使用昂贵的“预言机”（评分函数）进行评估，范围从启发式代理到高精度模拟（如自由能微扰）。

当前最先进的方法主要遵循实例优化范式。遗传算法（Mol GA）和引导离散扩散模型（GenMol）等算法针对每一个新的输入结构执行迭代式的、基于搜索的优化。这种方法每个设计任务需要数千次预言机调用，导致计算成本高昂，且随起始结构数量呈线性增长。

虽然摊销优化（学习一个可迁移的策略，在单次前向传播中生成优化分子，无需推理时的预言机调用）提供了一个理论解决方案，但现有方法在实践中面临困难。它们难以泛化到多样化的结构约束，或者遭受训练不稳定的困扰。作者指出，根本原因在于优化难度的异质性：某些起始结构很容易产生高分衍生物，而另一些则受化学限制，无论如何修改，其得分都有限。使用全局基线（如 REINFORCE）或学习到的价值评论家（如 PPO）的标准强化学习（RL）方法无法在这种方差下稳定训练，因为奖励信号在不同起始结构之间变得不可比。

2. 方法论：AMORTIX

作者提出了AMORTIX，这是一种摊销图 Transformer 模型，旨在严格的结构约束下优化分子结构，且无需推理时的预言机调用。

2.1 策略架构

AMORTIX 采用仅解码器的图 Transformer，直接作用于分子图表示。生成过程被建模为具有分层动作空间的序贯马尔可夫决策过程（MDP）：

操作选择：选择添加新原子、修改现有原子或终止。
目标选择：选择当前图中要连接的具体原子。
键指定：确定键级（单键、双键、三键等）。

为确保化学有效性，在每一步应用有效性掩码，将违反原子价键规则的动作置零。这保证了所有生成的结构在构建上都是化学有效的。该模型首先在 ChEMBL 数据库上通过监督教师强制进行预训练，以学习化学合理性，随后进行 RL 微调。

2.2 基于组相对策略优化（GRPO）的训练

核心创新在于将组相对策略优化（GRPO） 适配到分子领域，以解决起始结构的异质性问题。

组构建：对于每个训练步骤，采样一批起始结构。对于每个起始结构 $S_i$ ，策略生成一组 $G$ 个完成的轨迹（分子）。
相对优势：不使用全局基线或价值评论家，轨迹 $j$ （来自结构 $i$ ）的优势 $A_{i,j}$ 是将其奖励 $R(O_{i,j})$ 与其特定组的平均奖励 $\mu_i$ 进行中心化计算得出的：
$A_{i,j} = R(O_{i,j}) - \mu_i, \quad \text{其中 } \mu_i = \frac{1}{G} \sum_{k=1}^{G} R(O_{i,k})$
归一化：作者省略了除以组标准差和轨迹长度归一化。这防止了所有完成项得分相似（无论是极其简单还是几乎不可能）的结构获得不成比例的梯度权重，并避免惩罚简洁的完成项。
更新：策略使用每个批次的一个梯度步进行更新，聚合所有生成步骤的贡献。这种方法将学习信号与跨结构难度变化解耦。

3. 主要贡献

失败模式识别：本文指出，由分子结构难度异质性引起的奖励信号高方差是结构约束优化中摊销 RL 的主要失败模式。消融研究表明，带有全局基线的 REINFORCE 或带有价值评论家的 PPO 都无法在此设置下有效稳定训练。
AMORTIX 框架：一种基于图 Transformer 的策略，通过组相对 RL 进行训练，能够泛化到分布外的骨架，且无需推理时的预言机调用。
性能优势：AMORTIX 在目标导向的骨架修饰任务上优于摊销和实例优化基线，同时在扩展到多个起始结构时，所需的总预言机调用次数显著减少。

4. 实验结果

作者在三个不同的任务上评估了 AMORTIX：

4.1 PMO 基准（样本效率）

在 PMO 基准（22 个任务，预算为 10,000 次预言机调用）上，AMORTIX 作为实例优化器运行（使用带有全局基线的标准 REINFORCE，因为单任务从头生成中不存在起始结构异质性）。

结果：AMORTIX 实现了 16.433 的累积前 10 名 AUC 分数，在摊销策略中排名第一，在所有范式中排名第二，仅次于离散扩散实例优化器 GenMol。

4.2 目标导向的骨架修饰

该评估测试了对未见骨架（分布外）的泛化能力，用于单靶点（GSK3 $\beta$ 、JNK3）和多靶点（Kinase MPO）优化。

设置：骨架通过 Murcko 分解和聚类进行划分，以确保测试骨架在拓扑上与训练数据不同。
结果：AMORTIX 在所有三个任务中取得了最高分数，优于摊销基线（LibINVENT、GraphXForm、DrugEx v3）和实例优化器（Mol GA、GenMol）。
- Kinase MPO：AMORTIX 得分为 0.619，显著优于 LibINVENT (0.455) 以及实例优化器 Mol GA (0.461) 和 GenMol (0.479)。
- 稳定性：消融研究证实，与稳定的 AMORTIX-GRPO 相比，AMORTIX-REINFORCE 和 AMORTIX-PPO 表现出严重的不稳定性（优势估计的标准差很高）。
成本效率：AMORTIX 固定的训练预算（约 50,000 次预言机调用）在处理约 100 个 测试骨架（对比 Mol GA）和 150 个（对比 GenMol）后即可收回成本。超过此盈亏平衡点后，AMORTIX 提供的累积预言机成本降低几个数量级。

4.3 案例研究：前药转移

该模型仅在四个示例药物上进行微调，以学习通过前药设计改善中枢神经系统（CNS）渗透的修饰规则。

结果：应用于 52 种未见亲本药物，AMORTIX 成功生成了结构清晰的前药。它在没有明确指令的情况下，恢复了三种不同的可裂解基序（烷基酯、烷基氨基甲酸酯、苄基酯）。
性能：31% 的生成结果是“纯”前药（仅含可裂解连接点），63% 的生成结果包含至少一个可裂解手柄，预测的血脑屏障（BBB）渗透提升均值为 +0.26。

5. 意义与主张

本文声称，AMORTIX 证明了分子优化的计算负担可以有效地从推理时的搜索转移到训练时的学习。通过将 GRPO 适配为在共享相同起始结构的完成项组内归一化奖励，该方法在存在异质性难度的情况下稳定了学习。

作者将 AMORTIX 定位为迭代搜索方法的可扩展替代方案，能够在不重复进行昂贵的预言机评估的情况下实现高通量设计。他们指出，虽然训练过程仍然需要大量的预言机调用，但该策略的摊销性质使其在处理涉及大量起始结构的场景时非常高效。

6. 局限性

作者明确承认了几个局限性：

2D 拓扑：该框架仅在 2D 分子拓扑上运行，未明确捕捉 3D 构象动力学或立体化学。
连通性：当前的动作掩码假设单个连接的起始骨架。扩展到不连通子图（例如，片段连接）需要架构修改。
加性动作：生成过程仅限于加性动作（添加原子/键）。它不支持原子删除或替换，而这些是骨架跃迁等任务所必需的。
训练成本：虽然推理成本低廉，但训练过程需要数万次预言机调用，需要进一步验证以精确量化特定用例的摊销权衡。