🤖 AI

Retry Policy Gradients in Continuous Action Spaces

本文通过引入路径导数估计器，将基于重试的 ReMax 目标函数扩展到了连续动作空间，从而得出了 ReMAC 算法，该算法通过重塑策略梯度景观，在无需显式熵正则化的情况下促进了随机探索，并实现了与 SAC 相当的性能。

原作者： Soichiro Nishimori, Paavo Parmas

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Soichiro Nishimori, Paavo Parmas

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人走路穿过房间。这个机器人被蒙上了眼睛，只能靠猜测来决定下一步往哪走。在人工智能领域，这被称为强化学习（Reinforcement Learning）。机器人尝试不同的动作，如果做得好就会得到一个“分数”（奖励），并从错误中学习。

这里有一个巨大的问题：探索（Exploration）。如何让机器人去尝试新事物，而不是仅仅重复那些安全、枯燥的步骤？

旧方法：添加“噪声”

传统上，为了让机器人进行探索，科学家会在它的脑中加入一点“噪声”或随机性。这就像是在告诉机器人：“嘿，有时候就随机扭动一下你的腿！”这确实有效，但就像是在做菜时加入一种你必须仔细测量并在最后将其去除的香料，否则菜的味道会变得很奇怪。

新思路：“重试”策略

这篇论文介绍了一种教导机器人的新方法，叫做 ReMax（意为“重试最大化”，Retry Maximum）。

与其告诉机器人要保持随机，ReMax 改变了游戏的规则。想象一下你在参加考试：

旧方法： 你只有一次回答问题的机会。你选出你认为最好的答案，那就是你的得分。
ReMax 方法： 对于同一个问题，你可以参加 M 次（比如 4 次或 8 次）考试。你写下所有 8 个答案，从中挑选出最好的那一个，那才是你的得分。

机器人会学到，如果它保持自己的选择空间是开放的（即具有一定的“随机性”或变动性），它就有更大的机会在多次尝试中偶然发现一个绝佳的答案。它不需要特殊的“噪声”指令；通过寻找多次尝试中的“最优解”这一渴望，自然而然地迫使它去探索。

在连续空间中会发生什么？

这篇论文关注的是连续动作空间（continuous action spaces），这是一个高级说法，指的是机器人的关节可以移动到任何角度，而不只是“左”或“右”。

作者发现这种“重试”策略如何改变了机器人的学习路径，其结果令人惊讶：

“推力”（方向）： 当机器人远离目标且动作僵硬（低随机性）时，“重试”策略的数学逻辑会自然地推动它变得更加随机。这就像机器人意识到：“我被困在角落里了；我需要更多地扭动才能找到出路。”
“刹车”（幅度）： 当机器人接近完美解决方案时，“重试”策略就像一个温柔的刹车。它减慢了学习速度。这很好，因为它防止了机器人冲过头，直接略过了那个完美的点。它让机器人在定型之前保持更长时间的探索。

“ReMAC”机器人

作者构建了一个特定的机器人大脑，称为 ReMAC（ReMax Actor-Critic），用来测试这一理论。他们采用了一个标准且非常成功的机器人大脑（称为 SAC），并简单地将“噪声”指令替换成了“重试”指令。

结果显示：

性能： ReMAC 机器人的学习效果与世界上最优秀的机器人（SAC）一样出色。
探索： 在不需要额外“噪声”香料的情况下，ReMAC 机器人自然地在更长时间内保持了更多样化的动作（更高的熵），这完全符合理论预测。
代价： “重试”方法需要机器人同时模拟多个结果，这会消耗更多的计算能力。

Adam 优化器的转折

论文还注意到，用于训练机器人的计算机工具（称为 Adam）有一个微小的设置（一个“稳定参数”），它就像一个音量旋钮。

如果旋钮调得较低，“重试”策略的“刹车”效应就会减弱，机器人学习得很快，但可能会过快地沉淀下来。
如果旋钮调得较高，刹车效应会更强，让机器人保持更长时间的探索。

总结

这篇论文表明，你不需要通过添加噪声来强迫 AI 变得随机。相反，如果你教导 AI 去针对多次尝试中的最优解进行优化，它自然会发现，保持一点点不可预测性是找到最佳解决方案的最聪明方式。这是一种巧妙的、内置的方法，可以在不需要额外规则的情况下激发好奇心。

技术摘要：连续动作空间中的重试策略梯度

问题陈述

探索仍然是强化学习（RL）中的一个核心挑战，尤其是在连续控制领域。标准方法通常依赖于随机策略结合显式的熵正则化（例如 Soft Actor-Critic, SAC）或噪声注入。虽然这些方法很有效，但它们引入了辅助熵奖励，这会使最优策略向高熵方向偏移，从而可能阻碍其收敛至真实的确定性最优解。

最近，“基于重试”的目标函数（例如 pass@K, max@K）在离散动作空间和大型语言模型（LLM）后训练中展现出了潜力。这些目标函数优化的是 $M$ 条采样轨迹中获得的最大回报，而非期望回报。先前的工作（ReMax）表明，在离散空间中，这种目标函数通过适应回报不确定性来自然地鼓励探索，而无需显式的熵奖励。然而，ReMax 在连续动作空间中的理论特性仍未得到探索，且现有的离散空间梯度估计器无法扩展到连续域。

方法论

理论框架

作者利用路径导数估计器将 ReMax 目标函数扩展到了连续动作空间。

目标函数： 给定 Q 函数 $Q(s, a)$ 和重试预算 $M$ ，目标函数定义为：
$J^M(\pi, Q) := \mathbb{E}_{s \sim p_0} \left[ \mathbb{E}_{a_{1:M} \sim \pi(\cdot|s)} \left[ \max_{m=1:M} Q(s, a_m) \right] \right]$
与熵正则化目标不同，该公式保留了确定性最优策略 ( $\pi^*$ ) 作为全局最优解，避免了熵奖励带来的向随机性偏移的偏差。
梯度估计： 由于在连续空间中精确计算是不可行的，作者采用了重参数化（RP）梯度估计器。动作通过 $a_i = \mu + \sigma \epsilon_i$ 进行采样（其中 $\epsilon_i \sim \mathcal{N}(0, I)$ ）。目标函数通过采样 $B$ 个动作、对它们的 Q 值进行排序并计算前 $M$ 个值的加权和来进行近似。这使得梯度可以通过 Q 网络和策略参数进行反向传播。

梯度动力学的理论分析

论文详细分析了对于二次奖励 $r(a) = -a^2$ 的高斯策略 $\mathcal{N}(\mu, \sigma^2)$ ，ReMax 梯度如何重塑优化景观。当 $M > 1$ 时，识别出两个关键机制：

熵增（方向效应）： 当策略均值远离最优值且尺度 $\sigma$ 较小时，梯度方向自然指向增加 $\sigma$ 。这是因为 $M$ 个样本中的“最大值（max）”算子创造了一个正向的预期回报向上波动（或成本向下波动），而这种波动只能通过增加策略的尺度来获得。这在没有显式奖励的情况下促进了随机探索。
梯度阻尼（幅度效应）： 当策略接近最优值时，梯度范数会减小。选择 $M$ 个样本中的最佳值会减少与最优值的偏差，有效地“宽容”了次优样本并减缓了收敛速度。这种阻尼效应有助于在训练期间维持较高的熵。

作者还分析了与 Adam 优化器 的交互作用。他们表明，Adam 的自适应归一化（特别是稳定参数 $\epsilon$ ）可以抵消梯度阻尼效应。较小的 $\epsilon$ （默认 $10^{-8}$ ）会归一化梯度，从而可能加速收敛并削弱维持熵的效果，而较大的 $\epsilon$ 则能恢复阻尼行为。

算法：ReMAC

作者在 ReMax Actor-Critic (ReMAC) 中实例化了这些发现，这是一种离策（off-policy）Actor-Critic 算法。

Critic（评论家）： 通过带有截断双 Q 学习（使用两个 Critic 以减少高估）的标准时序差分回归进行训练。
Actor（行动者）： 使用 ReMax 目标的路径导数进行优化。
实现： ReMAC 被呈现为对 SAC 的极简修改，它移除了 Critic 目标和温度调优中的熵奖励，并将 Actor 损失替换为 ReMax 损失。

关键结果

理论发现

向量场分析： 对 1D 高斯策略的梯度向量场可视化证实，对于 $M > 1$ ，梯度在远离最优值时会将策略推向更高的熵，而标准的 RL ( $M=1$ ) 总是将策略推向更低的熵。
收敛特性： ReMax 收敛至确定性最优解 ( $\mu=0, \sigma=0$ )，而熵正则化则收敛至随机最优解 ( $\mu=0, \sigma>0$ )。
Adam 交互： 通过对玩具问题的理论和实证分析证明，阻尼效应对 Adam 的 $\epsilon$ 参数具有敏感性。

实证评估

实验在 Brax 套件中的六个连续控制任务（Ant, HalfCheetah, Hopper, Reacher, Swimmer, Walker2d）上进行，共计 300 万步。

性能： $M > 1$ 的 ReMAC 取得了与 SAC 相当的性能，并且通常优于 PPO。在多个环境（Ant, Reacher, Swimmer, Walker2d）中，较大的重试预算（ $M=4, 8$ ）比 $M=1$ 带来了更高的平均回报。
熵动力学： 与理论预测一致，ReMAC 在 $M > 1$ 时在整个训练过程中保持了比 $M=1$ （标准 RL）更高的策略熵。熵通常随 $M$ 的增加而增加，特别是在 Ant 和 Swimmer 环境中。
与 SAC 的比较： 虽然 ReMAC 比标准 RL ( $M=1$ ) 实现了更高的熵，但其熵水平仍低于 SAC，这符合预期，因为 SAC 具有显式的熵最大化机制。

意义与主张

本文将其贡献定位如下：

理论扩展： 这是首个将 ReMax 扩展到连续动作空间，并通过路径导数提供关于其促进探索特性的严谨理论解释的工作。
内在探索： 它证明了基于重试的目标可以通过梯度景观的几何结构（方向和幅度）而非通过显式的熵奖励来诱导随机探索。这避免了将最优策略从确定性解处偏移的偏差。
实际可行性： ReMAC 的引入表明，这些理论特性可以转化为实际的深度强化学习设置，以极小的架构改动实现 SAC 级别的性能。
优化洞察： 该工作强调了优化器超参数（特别是 Adam 的 $\epsilon$ ）在调节基于重试目标的探索与利用权衡中的关键作用。

作者对研究范围保持谦逊，指出其理论分析假设了平滑性和强凸性，而这在所有实际的深度强化学习环境中可能并不成立。他们将 ReMAC 视为随机探索的一个概念验证，并建议未来的工作可以将 ReMax 与 Q 函数上的后验采样相结合，以实现稀疏奖励设置下的“深度探索”。