🤖 machine learning

Generative Actor-Critic with Soft Bridge Policies

本文介绍了 SoftGAC，这是一种生成式演员 - 评论家算法，它利用随机桥接策略，通过单次前向传播实现可处理的最大熵优化，在连续控制基准测试中取得了具有竞争力的性能，同时与现有的扩散和流匹配基线相比显著降低了推理成本。

原作者： Ke He, Le He, Shunpu Tang, Yafei Wang, Lisheng Fan

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Ke He, Le He, Shunpu Tang, Yafei Wang, Lisheng Fan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一只机器狗穿越复杂的障碍赛道。目标是让这只狗学会最快、最高效的路径。在人工智能领域，这被称为强化学习。

长期以来，训练这些机器人的标准方法是让它们选择“安全”的动作，比如直线奔跑。但现实生活是混乱的。有时最佳举动是向左跳，有时向右跳，有时则需要之字形移动。为了应对这种情况，研究人员使用“生成式策略”——这是一种智能系统，能够构想许多不同的可能动作，而不仅仅是一个安全动作。这就像爵士乐手即兴演奏：他们不只演奏一个音符，而是探索一整段声音范围，以寻找完美的旋律。

然而，训练这些“爵士乐手”机器人存在两大难题，而本文提出的SoftGAC解决了这些问题。

两大难题

1. “黑箱”问题（熵问题）
为了有效训练机器人，计算机需要确切知道机器人表现得多么“惊讶”或“有创意”。用数学术语来说，这被称为熵。

问题所在：对于简单的机器人，我们可以轻松计算出这个数值。但对于复杂的“爵士”机器人（如扩散模型），数学变得如此复杂，以至于计算机无法得出最终答案。这就像试图仅通过嗅闻烹饪前的食材来猜测汤的确切味道。由于无法看到味道，它们不得不使用粗略的猜测或捷径，这使得学习效率降低。

2. “慢动作”问题（推理问题）
为了获得一个好的动作，这些复杂的机器人通常需要采取许多小步骤来完善它们的想法。

问题所在：想象机器人必须思考 50 秒才能决定是向左跳还是向右跳。它是通过连续运行 50 次相同的脑回路来实现的。这既缓慢又昂贵。这就像试图通过每移动一英寸就转动方向盘 50 次微小角度来驾驶汽车。这会浪费大量的能量和时间。

解决方案：“软桥”

本文作者提出了一种构建机器人脑的新颖巧妙方法，称为SoftGAC（软生成式演员 - 评论家）。他们使用了一个名为**“软桥”**的概念。

类比：建造桥梁
想象你需要从点 A（机器人起点）到达点 B（机器人需要采取行动的地方）。

旧方法（扩散）：机器人试图通过铺设一块砖，然后检查是否笔直，再铺设下一块，再次检查，并重复此过程 50 次来建造桥梁。这很精确，但极其缓慢。
SoftGAC 方法：机器人仅需6 个快速步骤即可建成桥梁。它不需要检查每一块砖，而是遵循一条预先规划的“高速公路”（参考路径），这条路径既安全又足够随机。

以下是其工作原理的简单说明：

高速公路（参考）：机器人被给予一条由随机、安全动作组成的“高速公路”。这就像一张预先画好的地图，上面写着：“如果你只是随机漫步，你最终会到达某个有趣的地方。”
绕行（演员）：机器人的任务是利用这条随机高速公路，进行几次经过计算的小绕行，以到达一个特定的高价值目的地（如终点线）。
成本（正则化项）：本文引入了一条新规则：“你可以绕行，但必须为你偏离高速公路的程度支付‘税款’。”由于高速公路很简单，这种税款很容易计算。
- 如果机器人进行微小的绕行，税款就很低。
- 如果它发疯般完全离开高速公路，税款就很高。
- 这种“税款”取代了旧“黑箱”问题中不可能的数学计算。它告诉机器人它究竟有多有创意，而无需看到最终的汤味。

为何这很重要

本文声称 SoftGAC 是速度与智能之间的“甜蜜点”。

速度快：因为机器人只需采取6 个快速步骤（一次通过）即可决定做什么，所以它几乎和简单、枯燥的机器人一样快。它不需要运行其脑回路 50 次。
智能高：因为它使用了“桥梁”结构，所以它仍然能够处理复杂的、多模态的情况（就像爵士乐手那样），而简单的机器人则会在此类情况下失败。
诚实可靠：数学是精确的。机器人确切知道它为了发挥创意付出了多少“努力”，因此它学得更快、更可靠。

结果

研究人员在非常困难的类视频游戏任务中测试了这种方法，在这些任务中，机器人必须奔跑、跳跃并爬楼梯（具体涉及人形机器人和机器狗）。

性能：SoftGAC 学会了比其他复杂“爵士”机器人更好地奔跑和跳跃。
速度：它在快得多的同时做到了这一点。它没有陷入“慢动作”问题。
效率：它获得了最佳的“性价比”。它不需要超级计算机来运行；它可以在标准硬件上高效运行，同时仍能击败重型方法。

一句话总结

本文指出：“不要试图建造一座完美的、50 步的桥梁来做决定。相反，建造一座短的、6 步的桥梁，遵循一条安全、随机的‘高速公路’。这样，你既可以富有创意和智能，又不会浪费时间和能量，并且你能确切知道自己在付出多少努力。”

这使得机器人能够更快、更高效地学习复杂技能，使它们准备好应对速度和适应性至关重要的现实世界任务。

技术摘要：基于软桥接策略的生成式演员 - 评论家

问题陈述

最大熵（MaxEnt）在线强化学习（RL）是离线策略连续控制的主导方法，它在价值最大化与显式随机性之间取得了平衡。虽然标准的软演员 - 评论家（SAC）依赖于可处理的高斯策略，但复杂的控制问题通常需要多模态或高度非高斯的行为分布。富有表现力的生成式策略（例如扩散模型和流模型）提供了解决方案，但在应用于 MaxEnt RL 时面临两个关键障碍：

不可处理的熵：MaxEnt 更新需要策略的终点密度或等价的正则化项。对于生成式演员而言，边际行为密度通常不可用或计算昂贵，因为行为是通过对潜在路径进行边缘化获得的。现有方法诉诸于熵界、启发式代理或近似值，从而与 MaxEnt 目标建立了间接联系。
计算成本：高性能生成式策略通常使用迭代采样器（例如具有许多去噪步骤的扩散模型），这些采样器重用共享的网络参数。这提高了部署时的推理成本，且关键的是增加了训练成本。在演员更新期间，随时间反向传播（BPTT）必须遍历每一个细化步骤，增加了内存使用量并破坏了优化的稳定性。减少函数评估次数（NFE）可以降低成本，但通常会导致性能急剧下降。

本文旨在寻找一种生成式演员，既能保留随机潜在生成的表现力，又能暴露可处理的 MaxEnt 目标，同时避免长参数共享采样器带来的计算负担。

方法：SoftGAC

作者提出了SoftGAC（软生成式演员 - 评论家），该方法将 MaxEnt 目标从终端行为分布提升到了完整的潜在生成路径。

1. 路径空间软目标

SoftGAC 不是优化最终行为 $a$ 的熵，而是优化潜在轨迹 $\tau = (z_0, \dots, z_K)$ 上的路径空间目标。该目标定义为：
$J_{path}(P_\theta | s) = \mathbb{E}_{\tau \sim P_\theta} [Q(s, T(z_K))] - \alpha D_{KL}(P_\theta(\cdot|s) \| R)$
其中 $R$ 是高熵参考路径律。

理论基础：作者证明了路径 KL 散度分解为终点 KL 项（恢复标准 MaxEnt 正则化项）和条件路径项。这种路径相对熵充当了更严格的正则化项，它控制演员如何到达终端行为，而不仅仅是行为本身的分布。
固定基约束：在实践中，演员从固定的基潜在分布 $p_0$ 开始。理论分析表明，虽然固定基相对于无限制最优解引入了一个常数间隙，但它并未破坏变分问题；它仅作为一种归纳偏置。

2. 软桥接策略

为了使路径 KL 可处理且计算高效，SoftGAC 采用软桥接策略：

架构：演员是预 tanh 潜在空间中的有限马尔可夫链。它从固定的基律（逻辑分布）开始，应用 $K$ 个轻量级、特定于步骤的高斯残差转移，以达到终端潜在 $z_K$ 。
单次通过设计：与在 $K$ 步中重用单个网络的扩散模型不同，SoftGAC 使用 $K$ 个不同的转移块。这允许通过单次采样前向传播生成行为，避免了迭代采样和长 BPTT 图。
参考过程：参考桥接 $R$ 使用逻辑基和欧拉高斯核定义，该核源自映射到均匀行为分布的预 tanh 密度的分数。
可处理正则化项：由于演员和参考转移都是高斯的，路径 KL 散度分解为局部 KL 项之和。该和记为控制能量 $C_\theta(s, \tau)$ ，是可解析计算的。
$D_{KL}(P_\theta \| R) = D_{KL}(p_0 \| r_0) + \mathbb{E}[C_\theta(s, \tau)]$
演员更新最小化 $\alpha C_\theta(s, \tau) - Q(s, a)$ ，有效地在价值与采样的转移控制能量之间进行权衡。

3. 训练算法

SoftGAC 遵循离线策略演员 - 评论家循环：

评论家：使用包含下一状态路径采样控制能量的目标更新软价值函数 $Q$ ： $y = r + \gamma(Q_{min}(s', a') - \alpha C_{\bar{\theta}}(s', \tau'))$ 。
演员：更新参数以最小化采样控制能量，同时最大化 Q 值。
温度调整：双重更新调整 $\alpha$ ，使平均控制能量保持在目标预算 $\rho_{ctrl} K d_a$ 附近。

主要贡献

路径空间公式：作者为生成式演员构建了路径空间软目标，证明了它包含作为边际组件的终点 KL 正则化项，并刻画了使用固定演员基的影响。
软桥接策略设计：他们设计了一种特定的策略架构，在预 tanh 空间中使用一系列局部高斯转移。这使得路径正则化项可精确计算为有限步控制能量，从而实现直接演员更新，并通过单次采样通过生成行为。
计算 - 回报权衡：实验表明，与强大的生成式基线（扩散和流匹配）相比，SoftGAC 实现了更高或具有竞争力的回报，同时保持了单次通过演员的低延迟机制。

实验结果

该方法在 DeepMind Control Suite（Humanoid, Dog）和 HumanoidBench（H1）的具有挑战性的连续控制基准上进行了评估。

性能：SoftGAC 在高维、长视野的 locomotion 任务（例如 Humanoid Run, Dog Run, H1 Hurdle）上取得了最强的整体性能，优于生成式基线（FLAC, DIME, FlowRL, QSM, QVPO）和单模态高斯基线（CrossQ-SAC）。
效率：
- 推理时间：SoftGAC 运行在低延迟机制（CPU 上每个行为约 61–75 $\mu$ s），与单步流基线相当，且显著快于高 NFE 扩散基线（需要 300–400+ $\mu$ s）。
- 参数预算：演员参数数量与强基线相当，避免了为了掩盖迭代采样成本而需要更大网络的需求。
消融实验：移除软路径空间正则化项（ $\alpha=0$ ）始终导致性能下降，证实了收益源于原则性的软目标，而不仅仅是桥接参数化。

意义与主张

本文声称 SoftGAC 解决了生成式策略的表现力与 MaxEnt RL 的计算/优化约束之间的张力。通过将演员视为轻量级的显式路径律而非终点分布，该方法：

提供了原则性的软正则化（采样的转移控制能量），它是可解析处理的，取代了启发式熵界。
避免了与迭代采样器相关的长 BPTT 链的优化负担，稳定了演员更新。
提供了优越的计算 - 回报权衡，在困难任务上实现了最先进的回报，同时避免了多步扩散采样器的高推理延迟。

作者得出结论，软桥接策略代表了一种高效的生成式演员 - 评论家学习的实用设计，为在线 RL 设置中的迭代扩散方法提供了可行的替代方案。