📊 statistics

Proximal Policy Optimization for Amortized Discrete Sampling

本文建立了 GFlowNets 与熵正则化强化学习之间的理论联系，从而推导并证明了近端策略优化（PPO）在针对各种基准测试中训练用于从结构化离散分布进行采样的随机策略时，具有更优越的收敛性和数据效率。

原作者： Anna Zykova-Myzina, Timofei Gritsaev, Daniil Tiapkin, Nikita Morozov

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Anna Zykova-Myzina, Timofei Gritsaev, Daniil Tiapkin, Nikita Morozov

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位大厨，正试图重现一道特定的、复杂的食谱，以求让这道菜的味道与某道著名的获奖佳肴完全一致。然而，你并没有食谱卡，你只有一份关于食材的“奖励”清单（它会告诉你如果做对了，这道菜味道会有多好），但你不知道制作出完美菜肴所需的总可能组合数，也不知道精确的比例。

这就是这篇论文所解决的问题：如何教计算机随机生成项目（如分子或 DNA 序列），使其遵循特定的、理想的模式，而不仅仅是找到那一个“最佳”项目？

以下是使用简单类比对他们解决方案的拆解。

1. 问题所在：“最佳”陷阱 vs. “正确的比例”

在许多计算机任务中，算法被训练去寻找单个最佳解（就像寻找山脉上的最高峰）。但在化学或生物学领域，你通常需要的是一整套多样化的解，它们遵循特定的分布。你不仅仅想要一个能量最高的分子，你想要一组符合特定概率曲线的多样化分子。

作者使用了一个称为 GFlowNets（生成流网络）的框架。可以将 GFlowNet 想象成一条工厂组装线。机器一步步地构建一个物体（一次添加一个乐高积木）。目标是调整这台机器，使得如果你运行一百万次，最终产出的成品堆看起来正好符合你想要的那个目标分布。

2. 旧方法：“制图师”的挣扎

以前，训练这些工厂依赖于“基于价值”（Value-Based）的方法。

类比： 想象一下，你试图通过绘制一张包含每一条路径的完美地图，并计算每根管道中的精确“流量”来穿越迷宫。
问题： 要画出这张地图，你需要知道迷宫的总规模（一个被称为“归一化常数”或 $Z$ 的数值）。在复杂问题中，计算这个数字极其困难，就像为了估算沙滩上沙子的重量而去数清每一粒沙子一样。如果你的地图稍有偏差，整个训练过程就会陷入停滞或变得非常低效。

3. 新方法：“试错型”教练 (PPO)

作者决定尝试一种在强化学习（RL）中使用的不同方法，具体来说是一种名为 PPO（近端策略优化）的算法。

类比： 与其绘制一张完美的地图，不如想象一位站在工厂机器旁边的教练。教练观察机器构建物品的过程，观察它们的质量如何，然后说：“嘿，当你加入那个蓝色积木时，你有点太激进了。下次，请温柔一点。”
益处： 教练不需要知道沙滩的总规模，也不需要绘制完美的地图。他们只需要观察即时的结果，并引导机器向正确的方向迈进。这种方式的数据效率更高。

4. 转折点：为什么标准 PPO 会失败

作者尝试使用了标准的 PPO，但失败了。

失败原因： 标准 PPO 的设计初衷是寻找单个最佳结果（最高峰）。如果你只是告诉工厂“做出最美味的菜肴”，它就会停止制造多样性，而只会不断重复制作那一道味道最好的菜。它会坍缩到单一的模式中。
缺失的成分： 作者意识到，要让 Polo 在“采样”（创造多样性）任务中奏效，标准配方中缺少两个特定的东西：
1. “向后”的线索： 你不仅需要告诉机器最终的奖励，还需要告诉它到达那里的“历史过程”。这就像告诉厨师：“不仅是因为蛋糕好吃，你搅拌鸡蛋的方式也至关重要。”
2. “熵”奖励： 你必须明确奖励机器表现出“不确定性”或“探索性”。如果机器过于自信，你就惩罚它。这迫使它保持探索不同的路径，而不是安于现状。

5. 解决方案：“Ent-PPO”

论文引入了 Ent-PPO（熵近端策略优化）。这是一个经过专门调优的教练版本。

它是如何工作的： 它结合了标准 PPO 中的“裁剪”（clipping）机制（防止教练给出过于狂野且具有破坏性的建议，从而导致工厂失稳）与一种源自熵奖励的新数学“信任区域”。
结果： 这个新教练成功地教会了工厂生产出一系列高质量且多样化的项目，完美匹配目标分布。

6. 结果：更快、更好

作者在几个“游乐场”中测试了它：

合成网格： 简单的数字迷宫。
DNA 序列： 创建能与特定蛋白质结合的 DNA 链。
分子： 生成化学结构。

研究发现：

速度： Ent-PPO 比旧的“制图师”方法（如轨迹平衡或细节平衡）学习得更快。
效率： 它需要的尝试次数（样本）更少，就能完成任务。
稳定性： 旧方法如果数学模型不完美，往往会陷入停滞或产生错误结果。Ent-PPO 非常鲁棒且稳定，即使在处理非常庞大且复杂的任务（如生成完整的分子图）时也是如此。

总结

这篇论文的核心观点是：“我们采用了用于大型语言模型的强大训练工具（PPO），修复了两个导致它在‘采样’任务中失败的特定缺陷，并证明了它是目前教计算机生成像分子和 DNA 这样多样且复杂结构的最佳方式，击败了之前的最先进方法。”

他们不仅仅是找到了一种新方法；他们找到了一种更快、使用更少数据且更稳定的方法，这对于任何试图生成复杂离散数据的人来说都是一次重大的升级。

技术摘要：用于摊销离散采样的近端策略优化

问题陈述

本文研究了在有限离散空间 $\mathcal{X}$ 上从概率分布 $p(x) = R(x)/Z$ 中进行采样的任务，其中 $R(x)$ 是正奖励函数， $Z$ 是未知的归一化常数。该问题存在于统计物理学、贝叶斯统计学和计算生物学等领域。作者重点关注生成流网络（GFlowNets），这类网络通过有向无环图（DAG）上的序列过程来建模对象的生成。其目标是训练一个随机前向策略 $P_F$ ，以在 DAG 中导航，使得终端状态的分布与目标分布 $p(x)$ 相匹配。

虽然 GFlowNet 的训练一直由基于价值的目标（如轨迹平衡 Trajectory Balance, TB 和详细平衡 Detailed Balance, DB）所主导，但作者指出，尽管**近端策略优化（PPO）**在大型强化学习（RL）和扩散模型后训练中占据主导地位，但在该背景下的策略梯度方法仍未得到充分探索。

方法论

理论基础：将 GFlowNets 视为软强化学习（Soft RL）

本研究建立在先前文献 [42, 7] 所确立的 GFlowNets 与熵正则化强化学习之间的理论联系之上。通过设置折扣因子 $\gamma=1$ 和熵系数 $\alpha=1$ ，作者证明了 GFlowNet 采样问题等价于强化学习设定下最大化软价值函数（soft value function）。

奖励结构： 至关重要的是，中间步骤的奖励定义为对于非终端转移， $r(s_t, s_{t+1}) = \log P_B(s_t | s_{t+1})$ ，其中 $P_B$ 是后向策略；而在终端状态处， $r(s_T) = \log R(s_T)$ 。
软策略改进： 该软强化学习目标的最佳策略与目标采样分布 $R(x)/Z$ 一致。

Ent-PPO：一种新型策略梯度算法

本文推导出了 Ent-PPO（熵增近端策略优化），这是一种针对 GFlowNet 的软强化学习表述而适配的 PPO 变体。其推导强调了两个在将 PPO 朴素应用于 GFlowNets 时经常缺失的关键组件：

正确的奖励表述： 中间奖励必须是 $\log P_B$ （如上所述），以使软强化学习的最优解与采样目标对齐。若不如此，目标将退化为具有稀疏奖励的标准强化学习，从而优化 $\arg\max_x R(x)$ （模式崩塌），而非完整的分布。
解析 KL 信赖域： 与添加启发式熵奖励 $c_2 H(\pi)$ $c_{2} H (π)$ 的标准 PPO 不同，Ent-PPO 直接从软策略改进定理中推导出了一个解析 KL 惩罚项。
- 代理目标是通过结合交叉熵项（来自软优势定义）和熵项来推导的。
- 这产生了一个逐步损失函数： $\ell_t(\theta) = \text{PPOClip}(\rho_t, \hat{A}_t) - \text{KL}(\pi_\theta(\cdot|s_t) \parallel \pi_{\text{old}}(\cdot|s_t))$ 。
- KL 项作为一个信赖域，其本质上源于软强化学习的表述，取代了对独立、可调熵系数的需求。

方差缩减

作者系统地评估了该框架内 Vanilla 策略梯度（VPG）基准的方差缩减技术：

估计器： 他们比较了最简单的策略梯度、reward-to-go、带有学习价值基准的 reward-to-go、广义优势估计（GAE）以及子轨迹评估平衡（SubEB-GAE）。
结论： 带有学习价值基准的 GAE 被确定为最有效的策略，它提供了理想的偏差-方差权衡，并与更简单的估计器相比，显著提高了收敛速度和稳定性。

核心贡献

推导 GFlowNets 的标准策略梯度： 作者在熵正则化强化学习框架下，推导出了离散采样器的标准策略梯度目标，并通过实验验证了方差缩减技术（基准和优势估计）对于稳定训练的重要性。
Ent-PPO 算法： 他们提出了 Ent-PPO，这是首次成功将 PPO 应用于 GFlowNets。其推导明确指出了必要的中间奖励（ $\log P_B$ ）和解析 KL 信赖域。
实证验证： 本文通过一系列基准测试（从合成网格到复杂的分子图生成）证明了 Ent-PPO 优于已有的离策（off-policy）GFlowNet 目标（DB, TB, SubTB）以及朴素的 PPO 变体。

实验结果

作者在多个环境中评估了他们的方法：

合成/小规模环境： Hypergrid, TFBind8 (DNA 序列) 以及 String QM9。
大规模环境： sEH (基于碎片的分子图) 以及 QM9 (原子逐个构建的分子图)。

主要发现：

优于基准模型： 在小规模问题上，Ent-PPO 始终能获得更低的总体变差（Total Variation, TV）距离；在大型分子问题上，相比于 DB、TB 和 SubTB，Ent-PPO 具有更好的证据下界（ELBO）/ 证据上界（EUBO）。
样本效率： Ent-PPO 从每个批次的多次更新轮数（ $K > 1$ ）中显著受益，表现出更高的样本效率和收敛速度，这是大规模强化学习中常见但此前在 GFlowNets 中尚未被探索的特性。
修正的必要性：
- KL 惩罚： 去除 KL 项（回归为朴素 PPO）会导致训练崩塌或变得不稳定，尤其是在进行多次更新轮数时。KL 项对于防止策略偏离行为策略同时保持正确的软强化学习目标至关重要。
- 裁剪（Clipping）： 在保留 KL 项的同时移除 PPO 裁剪机制会导致发散，这表明仅靠解析 KL 并不足以限制重要性采样比率（importance ratio）的波动。
后向策略学习： 虽然 Ent-PPO 不像离策目标那样原生支持联合前向-后向学习，但作者展示了使用轨迹似然最大化（TLM）单独学习后向策略可以显著加速收敛。

意义与主张

本文声称 Ent-PPO 通过将现代、可扩展的策略梯度方法与离散采样的特定需求相结合，代表了 GFlowNet 训练的一次重大进步。

理论严谨性： 本研究通过从熵正则化强化学习的第一性原理出发，纠正了以往尝试将 PPO 应用于 GFlowNets 的做法，并严格推导了必要的奖励结构和信赖域。
实际影响： 结果表明，经过适当适配的策略梯度方法可以优于主流的基于价值的 GFlowNet 目标，特别是在收敛速度和数据效率方面。
可扩展性： Ent-PPO 利用多次更新轮数并扩展到复杂分子生成任务（QM9）的能力，表明了将 GFlowNets 应用于更大、更复杂问题的路径，在这些问题中，传统的基于价值的方法可能会在信用分配（credit assignment）或配分函数估计方面遇到困难。

作者总结道，虽然其方法目前侧重于离散领域，但软强化学习框架为未来将策略梯度方法适配到连续采样领域提供了一个充满希望的方向。