🧬 biology

Pushing Biomolecular Utility-Diversity Frontiers with Supergroup Relative Policy Optimization

本文介绍了超群相对策略优化（SGRPO），这是一个灵活的框架，它从候选超群中构建集合级多样性奖励，以在生物分子生成任务中有效解耦并同步优化效用与多样性，从而在各种分子和蛋白质设计基准上扩展效用 - 多样性帕累托前沿。

原作者： Xinwu Ye, He Cao, Hao Li, Bin Feng, Zijing Liu, Xiangru Tang, Yu Li, Shenghua Gao

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Xinwu Ye, He Cao, Hao Li, Bin Feng, Zijing Liu, Xiangru Tang, Yu Li, Shenghua Gao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

想象你是一位主厨，正试图发明一道新菜。你有两个主要目标：

口味（效用）：菜肴必须美味，并满足特定标准（例如“低卡路里”、“辛辣”或“无麸质”）。
多样性（多样性）：你不想制作 100 份完全相同的辣味意面。你希望菜单上有许多不同且独特的选择。

问题所在：
在人工智能生成分子（用于药物）或蛋白质（用于生物学）的领域中，当前的人工智能主厨擅长制作一道完美的菜肴。但如果你要求它们制作 100 道都“美味”的菜肴，它们往往会陷入僵局。它们可能会制作 100 份同一道意面菜肴的略微不同版本。由于过于专注于“完美口味”，它们失去了多样性。

现有方法试图通过告诉人工智能“不要制作你以前做过的任何东西”来解决这个问题。但这就像告诉一位厨师：“因为你昨天用过盐，所以今天不要用盐。”这是一种间接的修复，有时会让食物味道怪异，或者导致厨师去制作无法食用的胡言乱语。

解决方案：SGRPO（超级组相对策略优化）
这篇论文介绍了一种名为SGRPO的新训练方法。你可以将其视为一种“组别口味测试”策略。

SGRPO 不是逐一评判每一道菜肴，而是将人工智能的尝试组织成组（例如一个包含 100 道菜肴的“超级组”）。

以下是使用我们的厨房类比，分步解释其工作原理：

组别挑战：人工智能被要求针对特定请求制作一批 100 道菜肴（例如：“制作一道辛辣、低卡路里的餐食”）。
组别评分：系统查看整批菜肴，并问道：“这 100 道菜肴彼此之间有多大的差异？”
- 如果该批次包含 100 种独特的食谱（沙拉、咖喱、汤、塔可等），该组将获得高多样性评分。
- 如果该批次包含 100 份同一道意面的版本，该组将获得低多样性评分。
比较：人工智能制作多个这样的批次。它进行比较。“批次 A 非常多样；批次 B 很无聊。”
“留一法”技巧（秘密武器）：这是巧妙之处。系统不仅仅奖励整个组；它还要找出哪些特定菜肴使该组变得多样。
- 它会问：“如果我们从组中移除这道特定的塔可，该组是否仍然多样？”
- 如果移除塔可会让该组变得无聊，那么这道塔可因其独特性而获得巨额奖励。
- 如果移除塔可不会改变太多（因为还有 10 道塔可），那么这道塔可获得的奖励较小。
奖励：人工智能了解到，为了获得最佳评分，它需要制作既美味又真正为组别多样性做出贡献的独特菜肴。

为什么这更好？

不再有“回声室”：旧方法经常迫使人工智能仅仅为了不同而不同，导致结果糟糕。SGRPO 奖励有用的多样性。
“帕累托前沿”：用数学术语来说，这篇论文声称 SGRPO 将“前沿”向外推移。想象一个图表，X 轴是“口味”，Y 轴是“多样性”。
- 旧的人工智能可以获得高口味但低多样性，或者高多样性但低口味。
- SGRPO 允许人工智能同时获得高口味和高多样性。它扩展了可能选项的菜单。

他们在哪里测试了这一点？
作者们在三个现实世界的烹饪挑战中测试了这种“组别口味测试”：

发明新的小分子（例如从头开始为药物创建新的化学结构）。
设计契合特定口袋的分子（例如设计一把能契合特定锁的钥匙，如蛋白质结合位点）。
设计新蛋白质（创建新的生物序列）。

结果：
在所有三种情况下，SGRPO 都比以前的方法产生了更广泛的高质量选项。它不仅仅是让人工智能变得“随机”；它使人工智能更擅长平衡特定功能的需求与创造性多样性的需求。

简而言之：
SGRPO 是一种训练方法，教导人工智能停止自我复制。它不是孤立地评判每一次尝试，而是评判一组尝试，奖励人工智能创建这样的批次：其中每一个项目都为混合体增添了新的、有价值的东西。这导致了更广泛、更有用的科学发现选择。

技术摘要：利用超组相对策略优化推动生物分子效用 - 多样性前沿

1. 问题陈述

生物分子生成旨在产生满足特定化学或生物学目标的候选分子（小分子或蛋白质）。虽然强化学习（RL）是用于后训练预训练生成器以最大化效用（例如类药性、对接评分、稳定性）的标准框架，但仅针对效用进行优化往往会导致模式崩溃，即生成器将概率质量集中在狭窄的高分候选分子族上。相反，维持多样性具有挑战性，因为多样性是一种集合级属性（定义在样本集合之上），而标准的策略优化仅更新单个轨迹。

现有的促进多样性的 RL 方法通常依赖间接代理，例如相对于历史样本的新颖性惩罚或基于记忆的过滤器。这些方法可能会过度惩罚有用的高密度模式，或引起分布漂移。本文解决的核心挑战是：我们如何将样本集多样性直接优化为首要目标，同时仍为单个生成的候选分子分配有用的信用？

2. 方法论：超组相对策略优化（SGRPO）

作者提出了超组相对策略优化（SGRPO），这是一个受组相对策略优化（GRPO）启发的灵活框架，直接优化轨迹级效用与集合级多样性之间的权衡。

核心机制

SGRPO 通过在相同条件下采样多个候选集（组）并将它们进行比较以重新分配多样性奖励来运作。该过程包括四个关键步骤：

同条件超组采样：
对于给定条件 $C$ （例如特定的蛋白质口袋或无条件），策略采样 $M$ 个组，每个组包含 $K$ 个独立生成的轨迹。该集合 $S(C) = \{G_1, \dots, G_M\}$ 构成了一个包含 $N=MK$ 个候选分子的“超组”。比较被限制在该超组内，以避免将策略质量与不同条件的内在难度混淆。
组级多样性评分：
根据用户指定的指标（例如分子的内部 Tanimoto 距离、蛋白质的 Levenshtein 相似度），为每个组 $G_m$ 分配一个多样性分数 $R_m = D(G_m)$ 。组相对多样性信号通过超组中其他组的留一法比较计算得出：
$A_m^{grp} = R_m - \frac{1}{M-1}\sum_{h \neq m} R_h$
正的 $A_m^{grp}$ 表示该组比其替代组更具多样性。
集合感知重分配（留一法贡献）：
为了弥合集合级信号与个体策略更新之间的差距，SGRPO 根据个体轨迹对组多样性的贡献，将组多样性奖励重新分配给个体轨迹。
- 对于每个轨迹 $x_{m,i}$ ，计算留一法贡献： $c_{m,i} = D(G_m) - D(G_m \setminus \{x_{m,i}\})$ 。
- 这些贡献被标准化，并用于形成感知符号的 softmax 权重。
- 如果一个组具有高度多样性（ $A_m^{grp} > 0$ ），则正信号集中在具有高多样性贡献的候选分子上。如果一个组多样性较低（ $A_m^{grp} < 0$ ），则负信号集中在贡献较低的候选分子上。
- 这确保了平均组奖励得以保留，同时将信用分配给驱动多样性的特定分子。
超组相对策略更新：
轨迹的最终奖励结合了其个体效用 $r_{m,i}$ 和重新分配的多样性奖励 $\tilde{R}_{m,i}$ ：
$\bar{r}_{m,i} = (1-\lambda)r_{m,i} + \lambda \tilde{R}_{m,i}$
其中 $\lambda$ 控制效用 - 多样性权衡。优势函数作为超组中所有轨迹的留一法基线计算得出，策略使用带有 KL 正则化的截断 PPO 风格目标进行更新。

3. 主要贡献

直接集合级优化： SGRPO 是第一个在生物分子生成中将集合级多样性直接优化为主要目标的框架，而不是依赖间接的新颖性代理或依赖历史的惩罚。
解耦设计： 该方法与特定的生成器架构（自回归或扩散）、效用奖励或多样性指标解耦，允许使用各种 GRPO 风格的优化器进行实例化（例如，用于自回归模型的标准 GRPO，用于离散扩散的耦合 GRPO）。
信用分配机制： 引入留一法多样性贡献机制，使系统能够为真正支持集合多样性的个体候选分子分配信用，解决了用个体更新优化集合属性的问题。
对组大小的鲁棒性： 即使组大小较小，该方法仍然有效，使其适用于大规模生物分子设计的计算可行性。

4. 实验结果

作者在三个不同的生物分子生成场景中评估了 SGRPO：

从头小分子设计： 使用 GenMol（离散扩散）。
基于口袋的小分子设计： 使用 GenMol-P（基于口袋条件的扩散）。
从头蛋白质设计： 使用 ProGen2（自回归）。

性能指标：
评估侧重于效用 - 多样性帕累托前沿，通过以下指标衡量：

超体积（HV）： 由非支配操作点支配的面积。
到理想点的距离（DIP）： 到理论最佳效用和多样性的距离。
R2 指标： 平均加权最坏情况短缺。

发现：

前沿扩展： 在所有任务和解码扫描中，与预训练生成器、标准 GRPO 和内存辅助 GRPO 相比，SGRPO 一致地扩展了可达的效用 - 多样性帕累托前沿。
多样性保持： 在基线（尤其是 GRPO）遭受严重多样性崩溃的高效用区域，SGRPO 保持了显著更高的多样性。例如，在基于口袋的设计中，SGRPO 将操作点轨迹向外移动，在相当的效用水平下保留了明显更高的多样性。
消融研究： 移除多样性奖励使性能恢复到标准 GRPO 水平。移除留一法信用分配削弱了性能，证实了将多样性信号重新分配给特定贡献者的重要性。
分布动态： 序列分布的可视化显示，虽然 GRPO 和内存辅助 GRPO 收缩到狭窄区域或发生漂移，但 SGRPO 探索并保留了多个簇，表明对序列空间更广泛的覆盖。

5. 意义与主张

本文声称，SGRPO 提供了一种广泛适用的后训练原则，用于扩展生物分子生成模型可用的操作点。通过直接奖励多样化的生成集，该方法将效用 - 多样性前沿向外推动，使模型能够在固定多样性水平下实现更好的效用（反之亦然），而无需牺牲覆盖范围。

作者强调，这种方法解决了当前基于 RL 的生物分子设计中的一个根本局限性：在策略优化期间无法将多样性作为首要目标。结果表明，直接优化集合级多样性是缓解小分子和蛋白质生成任务中模式崩溃的一种实用且稳健的策略。代码已公开，以促进进一步的研究和在不同领域中的实例化。