🤖 machine learning

Symmetric Behavior Regularized Policy Optimization

本文引入了一个对称行为正则化策略优化（SymBRPO）的通用框架，该框架通过使用 Pearson-Vajda 散度的有限级数近似，克服了对称散度中缺乏闭式解和数值不稳定的问题，从而实现了稳健的性能，并解决了离线强化学习中非对称正则化的局限性。

原作者： Lingwei Zhu, Haseeb Shah, Zheng Chen, Martha White

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Lingwei Zhu, Haseeb Shah, Zheng Chen, Martha White

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人玩电子游戏，但你不能让它在现实世界中尝试各种可能性。也许这个游戏太贵了，或者太危险了，又或者这个机器人已经坏掉了。相反，你必须仅通过一段人类玩家玩游戏的巨大视频录像来教它。这就是“离线强化学习”（offline reinforcement learning）的世界。机器人必须从这段静态的历史中学习，而不能做出任何新的尝试。

困难之处在于，机器人可能会变得过于贪婪。如果它在视频中看到一个看起来很棒的动作，它可能会试图完美地模仿它。但如果那个动作其实是人类的一个偶然或失误，机器人可能会坠毁或失败。为了防止这种情况，科学家们使用了一种“正则化器”（regularizer）。把它想象成一条温柔的牵引绳。它将机器人的新决策与人类旧有的风格联系在一起，防止它进入危险且未探索的领域。通常，这条牵引绳是“非对称的”（asymmetric），这意味着它在不同方向上的拉力是不一样的。这就像一位家长，对你往左走非常严格，但对你往右走则不太在意。

但如果这条牵引绳是“对称的”呢？也就是说，无论你试图向哪个方向游走，它的拉力都是相等的？这篇论文提出了一个大问题：对称的牵引绳真的更好吗？作者认为，虽然旧的非对称牵引绳一直是标准做法，但对称的牵绳在处理某些棘手情况（比如机器人正处于悬崖边缘，或者人类数据存在奇怪的空白）时，可能表现得更加出色。然而，使用对称牵绳在数学上非常混乱，且容易导致机器人的“大脑”崩溃（即数值不稳定）。这篇论文构建了一个全新的、稳固的框架，让这种对称的牵绳能够在不破坏任何东西的情况下发挥作用。

对称牵绳的故事

在机器人学习的世界里，存在着一种持续的拉锯战。一方面，你希望机器人变得聪明并找到最佳动作；另一方面，你希望它保持安全并遵循已知路径。这篇论文介绍了一种名为 对称行为正则化策略优化（Sf-AC） 的方法。这是一个高级的说法，意思就是：“让我们用一条平衡的双向牵绳，而不是单向的牵绳来教机器人。”

为什么旧的牵绳有点失衡
长期以来，科学家一直使用一种“非对称”的牵绳（具体来说是 KL 散度）。想象一下你正试图将一个新的形状放入一个旧的模具中。旧的牵绳在阻止机器人尝试人类从未做过的事情方面表现出色。但它有一个缺陷：它对于尝试人类很少做过的事情过于胆怯。

作者进行了一些简单的测试（比如一个只有两个按钮的机器人游戏），发现旧的牵绳过于保守。如果一个罕见的按键实际上是获胜的关键，非对称牵绳会因为害怕而不敢按下，它会想：“人类几乎没碰过这个，所以我也不应该碰它！”然而，新的对称牵绳对罕见的正确动作给予了更多的尊重。它不仅仅看人类做了某事的频率，它还观察机器人的想法与人类历史之间的平衡。在测试中，这让机器人能更快地找到更好的解决方案。

悬崖边缘问题
旧的牵绳还面临另一个难题：边界。在许多游戏中，你的角色只能在特定范围内移动，例如从 -1 到 1。如果机器人尝试移动到 -1.5，游戏只会将其强制截断回 -1。这会导致奇怪且扭曲的行为。

作者展示了旧的非对称牵绳倾向于将概率质量“溢出”到边缘。这就像试图把水倒入一个已经满出来的杯子；水会从侧面溢出，而当游戏将其截断回原位时，机器人就会感到困惑。新的对称牵绳则能更好地将“水”留在杯子里。它会从两侧惩罚溢出边缘的行为，确保机器人安全地留在允许的范围内。在模拟实验中，由于没有在非法动作上浪费时间，这种方法让机器人的奖励几乎达到了旧方法的两倍。

数学乱局与神奇修复
问题在于：对称牵绳极其难以使用。当你试图写出完美的对称牵绳数学公式时，方程会变得异常复杂，以至于无法轻易求解。这就像是在解一个拼图，而拼图的碎片一直在改变形状。此外，如果你尝试在计算机上计算它们，数字可能会变得极大或极小，导致计算机崩溃（即数值不稳定问题）。

这篇论文的重大突破是一个聪明的数学技巧。作者意识到，任何复杂的对称牵索都可以分解为一系列更简单的部分（称为 Pearson-Vajda 散度）。与其试图解决那个不可能完成的无限拼图，他们证明了你只需要使用前几个部分（一个有限级数），就能得到几乎完美的结论。

通过提前截断这个级数，他们成功实现了：

找到了清晰的公式： 他们推导出了一个简洁的、闭式解形式的机器人最优策略，这意味着机器人无需猜测就能明确知道该做什么。
防止计算机崩溃： 他们创建了一种新的、稳定的损失函数计算方式，避免了以往尝试中出现的数值爆炸问题。
证明了足够接近： 他们在数学上证明了他们的“简短版”与“完美的”无限版本极其接近，误差小到几乎可以忽略不计。

它真的有效吗？
作者并没有止步于数学。他们将这种被称为 对称 f-Actor-Critic (Sf-AC) 的新方法在名为 D4RL 的著名机器人学习基准测试集上进行了测试。这些基准测试包括诸如机器人狗学习走路、机械手学习捡起钢笔或迷宫寻路机器人等任务。

结果令人印象深刻。在大多数任务中，新的对称方法表现得与现有的最佳方法一样好，甚至更好。它在处理其他机器人感到困难的“边缘”案例时表现尤为出色。作者还检查了该方法对数学技巧中使用的“碎片数量”的敏感程度。他们发现，即使只使用 2 到 6 个碎片，机器人的表现依然稳定且优秀，这表明该方法具有鲁棒性，不需要过于复杂的计算也能奏效。

他们排除了什么
值得注意的是论文中提到的“行不通”的情况。作者明确反对目前流行的做法——即对机器人的目标使用对称牵绳，而对人类的历史使用非对称牵绳。他们通过数学和实例证明，混合使用这两类牵绳会产生“几何错配”。这就像试图把方榫头塞进圆孔里；机器人会对移动方向感到困惑，从而导致次优的表现。他们的论文证明，如果你想使用对称方法，那么在牵绳和目标上都必须使用对称方法。

他们有多确定？
作者对他们的数学证明非常有信心。他们不仅仅是猜测级数近似法有效，而是通过定理证明了误差到底有多小。在实验中，他们让机器人运行了数千个步骤，并在多次尝试（种子）中取平均值，以确保结果并非偶然。虽然他们并未声称已经“永久解决了”离线学习问题，但他们证明了他们的对称方法是一种强大、稳定且通常优于标准方法的替代方案，尤其是在处理棘手边界或有偏数据时。

简而言之，这篇论文通过一个聪明的数学捷径，驯服了一个复杂且困难的想法（对称正则化）。其结果是一种更平衡、更稳定、且通常比我们多年来使用的工具更聪明的机器人学习方法。

技术摘要：对称行为正则化策略优化

问题陈述

行为正则化策略优化（BRPO）是离线强化学习（RL）中的一种标准方法，旨在通过将学习到的策略（ $\pi$ ）向源自静态数据集的行为策略（ $\pi_D$ ）进行正则化，来缓解分布偏移问题。本文解决的核心挑战在于如何选择用于正则化（ $D_{Reg}$ ）和优化（ $D_{Opt}$ ）的散度度量。

现有文献主要使用非对称散度（如 KL 散度、 $\chi^2$ ），而近期在大型语言模型（LLM）中的观察表明，使用对称散度（如 Jensen-Shannon、Jeffreys）作为优化目标可以提升性能。然而，将对称散度应用于 BRPO 面临两个显著的理论与实践障碍：

缺乏闭式解： 当对称散度被用作正则化项（ $D_{Reg}$ ）时，通常无法推导出最优正则化策略（ $\pi^*$ ）的解析表达式，使得 BRPO 的第一步变得难以处理。
数值不稳定性： 直接优化对称散度（ $D_{Opt}$ ）会导致数值问题，特别是当策略具有有限支撑集或两者差异较大时，会导致梯度消失或爆炸。
几何失配： 现有的方法在利用对称散度进行优化（ $D_{Opt}$ ）的同时，保留了非对称 KL 用于正则化（ $D_{Reg}$ ），这导致了投影几何的不一致。这种不一致性会导致策略更新并非最优，因为对称损失的优化景观与非对称正则化定义的靶向策略并不对齐。

方法论

本文提出了一个新颖的框架，通过使用 Pearson-Vajda 散度的无穷级数来表示任何 $f$ -散度，从而实现对称 BRPO。

1. 基于 Pearson-Vajda 级数的通用 BRPO 框架

作者建立了一个理论，即任何 $f$ -散度正则化都可以等价地表示为 Pearson-Vajda $\chi$ -散度的无穷级数：
$D_f(\pi || \pi_D) = \sum_{n=0}^{\infty} \frac{f^{(n)}(1)}{n!} \chi_n(\pi || \pi_D)$
其中 $\chi_n$ 代表第 $n$ 阶 Pearson-Vajda 散度。

2. 用于处理复杂性的有限级数近似

为了克服缺乏闭式解的问题，作者将无穷级数截断为有限项数（ $N_{Reg}$ ）。

闭式策略： 通过将级数截断在 $N_{Reg} < 5$ （具体而言，为简化起见使用 $N_{Reg}=2$ ），正则化的最优策略 $\pi^*$ 拥有闭式表达式。对于 $N_{Reg}=2$ ，策略形式如下：
$\pi^*(a|s) = \mu(a|s) \left[ 1 + \frac{Q(s,a) - \alpha(s)}{2\tau} \right]_+$
该表达式通过 $[\cdot]_+$ 算子自然地过滤低价值动作，从而控制分布外（OOD）行为。
数值稳定的代理目标： 为了解决优化过程中的数值不稳定性，作者推导出了一个代理目标（ $\hat{D}_{Opt}$ ），它将对称散度解构为一个类 KL 项和一个条件对称项。对称项通过条件对称函数 $g(t)$ 的泰勒级数展开进行近似，从而避免了直接计算会导致不稳定的比例值。
$\hat{D}_{Opt}(\theta) = \mathbb{E} \left[ -\left[ 1 + \frac{Q(s,a) - V(s)}{\tau} \right]_+ \ln \pi_\theta(a|s) \right] + \mathbb{E} \left[ \sum_{n=2}^{N_{Loss}} \frac{f^{(n)}(1)}{n!} \left( \frac{\pi^*(a|s)}{\pi_\theta(a|s)} - 1 \right)^n \right]$

3. 对称 f-Actor-Critic (Sf-AC)

本文引入了 Sf-AC 算法，该算法实现了上述框架。它利用有限级数近似来计算最优策略目标，并最小化稳定的代理损失。该算法确保了正则化目标和优化目标均使用相同的对称散度，从而使投影几何保持一致。

核心贡献

对称 BRPO 的理论分析： 本文首次系统地研究了对称 BRPO。通过启发式示例证明，对称散度在以下方面优于非对称散度：
- 缓解支持集间隙（support gaps）中的单侧偏差。
- 改善剪切（clipping）机制下动作边界附近的策略行为（减少概率质量泄漏）。
- 确保 $D_{Reg}$ 与 $D_{Opt}$ 之间的投影几何一致性。
解决不可处理性问题： 作者证明，通过截断 Pearson-Vajda 级数可以得到闭式最优策略表达式（定理 4），解决了此前对称散度缺乏解析解的问题。
稳定的优化代理： 推导出了一个新的优化目标（定理 5），该目标避免了传统对称散度（如 Jensen-Shannon）相关的数值不稳定问题，同时保持了紧凑的近似误差上界（定理 6）。
实证验证： 在 D4RL 基准测试（MuJoCo, Adroit, Maze2D）上对所提出的 Sf-AC 算法进行了评估。

结果

基准测试表现： 在 D4RL MuJoCo 套件中，使用 Jensen-Shannon 散度的 Sf-AC 表现出顶尖性能，在各种难度等级（Medium, Medium-Expert, Medium-Replay）下通常优于 XQL、IQL 和 AWAC 等强基准模型。
挑战性环境： 在困难的 Adroit 和 Maze2D 基准测试中，Sf-AC 位居前列，展示了在高维连续控制和稀疏奖励设置下的鲁棒性。
边界行为： 实验证实，与 KL 正则化方法（如 AWACK，倾向于将质量“溢出”到边界之外，导致次优的剪切奖励）相比，Sf-AC 能更有效地将概率质量维持在允许的动作范围内。
超参数鲁棒性： 该方法在用于有限近似的项数（ $N_{Loss}$ ）方面表现出鲁棒性，在 $N_{Loss} \in \{2, \dots, 6\}$ 时均能观察到合理的性能。

意义与主张

本文声称是第一个成功推导并实现对称行为正则化策略优化的研究。其重要性在于：

纠正次优实践： 本文识别并解决了混合使用非对称正则化与对称优化的次优做法，证明了匹配散度类型对于几何一致性至关重要。
架起理论与实践的桥梁： 通过基于 Pearson-Vajda 级数的通用框架，本文使对称散度（此前被认为难以处理）在计算上变得可行且在数值上保持稳定。
性能提升： 结果表明，对称散度在行为策略与动作价值之间提供了更优的权衡，特别是在处理边界条件和支持集间隙方面，从而构建了更鲁棒的离线 RL 智能体。

作者指出一个局限性：无穷级数表示要求策略比例保持在收敛半径内近处（通过 PPO 式的剪切来强制执行），未来的工作需要研究如何完全避免计算策略比例。