🤖 machine learning

Distributions as Actions: A Unified Framework for Diverse Action Spaces

本文提出了一种统一的强化学习框架，将动作重新定义为参数化分布以构建连续动作空间，从而实现了低方差梯度估计器和一种有效的演员 - 评论家算法（DA-AC），该算法在离散、连续及混合控制任务中均取得了具有竞争力的性能。

原作者： Jiamin He, A. Rupam Mahmood, Martha White

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiamin He, A. Rupam Mahmood, Martha White

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人玩电子游戏。在强化学习（RL）的世界里，机器人是“智能体”，而游戏世界是“环境”。每当机器人做出一个动作，它就会获得奖励（分数）或惩罚。其目标是学习如何做出最佳动作以获取最高分数。

通常，我们训练这些机器人的方式完全取决于它们能够做出的“动作类型”：

如果游戏包含离散动作（如按下“左”、“右”或“跳跃”），我们使用一种数学方法。
如果游戏包含连续动作（如以无限精度操控汽车转向），我们使用另一种数学方法。
如果游戏混合了两者，我们就必须为该特定游戏构建一个复杂的定制解决方案。

本文介绍了一种名为“将分布作为动作”（Distributions as Actions）的新思维方式。这就像找到了一种通用翻译器，让我们能够使用同一种简单的数学方法处理所有类型的游戏，无论是离散的、连续的还是混合的。

以下是其工作原理，借助一些日常类比来说明：

1. 重大转变：改变“握手”方式

在旧方法（经典强化学习）中，机器人决定具体做什么。

类比：想象一位厨师（机器人）告诉服务员（环境）具体端什么菜：“给我端红色的汤。”服务员照做端上来即可。

在这个新框架（将分布作为动作）中，机器人不再决定具体的动作，而是决定动作的“配方”。

类比：现在，厨师告诉服务员：“给我端一碗 70% 红色、30% 蓝色的汤。”服务员随后根据这些指示随机端上一碗汤。
神奇之处：即使最终端上来的汤要么是“红色”要么是“蓝色”（离散），厨师的指令（"70/30"）却是一个平滑的连续数值。这使得研究人员可以将所有问题都视为平滑的连续问题来处理，即使实际动作是生硬或离散的。

2. 新的梯度：更平滑的道路

为了学习，机器人需要知道应向哪个方向微调其“配方”以获得更高的分数。这被称为“梯度”。

问题：在旧方法中，如果机器人是在猜测离散动作，数学计算会非常“嘈杂”（就像试图在颠簸的土路上开车）。机器人会迈出巨大而不稳定的步伐，学习缓慢。
解决方案（DA-PG）：因为机器人现在是在调整平滑的数值（配方比例），而不是猜测具体动作，数学计算变得平滑得多（就像在铺设好的高速公路上开车）。
结果：机器人学得更快、更稳定，因为它行驶的“道路”颠簸更少。本文从数学上证明，这种新方法比旧方法具有更少的“噪声”（方差）。

3. 评论家的困境：法官需要地图

在这些系统中，有一个“评论家”（法官），它告诉机器人某个动作有多好。

挑战：由于机器人现在输出的是“配方”（分布）而不是具体动作，评论家必须一次性评估整个可能性范围。这对评论家来说更难学习。这就像一位法官过去只给单篇文章打分，现在却必须给整库潜在文章打分。
解决方法（ICL）：作者发明了一种称为“插值评论家学习”（Interpolated Critic Learning）的技巧。
- 类比：想象法官正在学习最佳配方。法官不仅查看机器人使用的确切配方，还查看“中间”的配方。如果机器人使用了"70/30"的混合，法官也会检查"60/40"和"80/20"的混合。
- 为何有效：这迫使法官学习景观的形状，而不仅仅是具体的点。它帮助法官理解“稍微向 80/20 移动可能会更好”，从而为机器人提供更清晰的改进地图。

4. 结果：一个算法统治所有

作者利用这些思想构建了一个名为DA-AC（将分布作为动作的演员 - 评论家）的机器人算法。他们在三个截然不同的世界中对其进行了测试：

连续：如以无限精度控制机械臂。
离散：如玩一个只有“上、下、左、右”的游戏。
混合：如一个你先选择武器（离散）然后瞄准（连续）的游戏。

主张：在所有这些不同的世界中，DA-AC 的表现与专门为这些特定世界设计的专用算法一样好，甚至更好。

总结

本文认为，通过重新定义“智能体”与“环境”之间的边界——将动作的概率设置视为动作本身——我们可以统一强化学习。

旧方法：不同的工作使用不同的工具（锤子敲钉子，螺丝刀拧螺丝）。
新方法：一把通用的多功能工具，能同样出色地处理钉子、螺丝和螺栓，因为它改变了与物体的交互方式，从而使工作更简单。

作者表明，这种“通用多功能工具”（DA-AC）不仅仅是一个理论概念；它在各种复杂任务的实践中实际上表现更好。

技术摘要：将分布视为动作：一种面向多样化动作空间的统一框架

问题陈述

强化学习（RL）算法传统上根据其适用的特定动作空间结构进行分类。基于价值的方法（例如 DQN）通过枚举动作值在离散空间中表现出色，而基于策略的方法（例如 DPG、SAC）则专为连续空间设计，利用动作价值函数的可微性。然而，当前的算法仍与动作空间的具体结构紧密耦合。设计能够泛化至离散、连续及混合动作空间的统一算法十分困难，因为不同领域往往需要不同的梯度估计器和架构。此外，现有的随机策略策略梯度估计器，如似然比（LR）和重参数化（RP）方法，通常存在高方差问题，或在离散设置中引入偏差。

方法论

将分布视为动作（DA）框架

本文提出了一种新颖的表述，重新定义了智能体与环境之间的边界。在经典的 RL 框架中，智能体的策略 $\pi_\theta$ 输出一个动作（或分布参数）并在内部采样该动作。在提出的**将分布视为动作（DA）**框架中：

智能体输出分布参数 $\bar{\pi}_\theta(s)$ （例如高斯分布的均值和方差，或分类分布的概率向量）作为其动作。
采样过程 $A \sim f(\cdot|\bar{\pi}_\theta(s))$ 被视为环境随机转移函数的一部分。

这一转换将原始动作空间 $\mathcal{A}$ （可能是离散的、连续的或混合的）转化为连续的分布参数空间 $\mathcal{U}$ 。因此，无论底层 $\mathcal{A}$ 的性质如何，智能体都在一个新的马尔可夫决策过程（DA-MDP）中运行，该过程具有连续动作空间 $\mathcal{U}$ 。

将分布视为动作策略梯度（DA-PG）

基于 DA-MDP，作者推导出了DA-PG估计器。通过对连续参数空间 $\mathcal{U}$ 应用确定性策略梯度（DPG）定理，他们获得了如下梯度估计器：
$\hat{\nabla}_\theta \hat{J}(\bar{\pi}_\theta; S_t) = \nabla_\theta \bar{\pi}_\theta(S_t)^\top \nabla_U \bar{Q}_w(S_t, U)|_{U=\bar{\pi}_\theta(S_t)}$
其中 $\bar{Q}_w$ 是一个评论家（critic），用于估计由参数 $U$ 定义的动作分布的期望回报。

理论性质：

方差降低：本文证明了 DA-PG 是 LR 和 RP 估计器的条件期望。根据全方差定律，只要动作条件方差或噪声诱导方差非零，这将导致比原始估计器严格更低的方差。
统一性：当分布为狄拉克δ函数时，DA-PG 精确退化为标准 DPG 估计器，从而确立了其作为严格推广的地位。

插值评论家学习（ICL）

DA 框架中的一个挑战是，评论家 $\bar{Q}_w$ 必须在更高维的输入空间（分布参数）上进行学习，这可能很困难，并且如果评论家不准确，会导致偏差增加。为了解决这个问题，作者提出了插值评论家学习（ICL）。

机制：ICL 不仅仅在采样的分布参数 $U_t$ 处更新评论家，而是利用观测到的动作 $A_t$ 来推断该转移可能由其他分布参数生成。
实现：评论家在插值点 $\hat{U}_t = \omega_t U_t + (1-\omega_t) U_{A_t}$ 处进行更新，其中 $U_{A_t}$ 代表对应于观测动作 $A_t$ 的确定性参数，且 $\omega_t \sim \text{Uniform}[0, 1]$ 。
目标：这鼓励评论家学习具有信息曲率的更平滑的价值景观，从而促进参数空间中更好的策略优化。

DA-AC 算法

作者基于 TD3 架构实现了一种实用的深度 RL 算法，即将分布视为动作演员 - 评论家（DA-AC）。DA-AC 将 DA-PG 估计器用于演员（actor），将 ICL 更新用于评论家，使得单一算法能够处理多样化的动作空间。

主要贡献

统一框架：对 RL 问题进行了重参数化，将分布参数视为动作，在单一连续动作算法下统一了离散、连续和混合控制。
DA-PG 估计器：一种通用的策略梯度估计器，理论上比标准 LR 和 RP 估计器具有更低的方差，适用于任意动作空间类型。
ICL 策略：一种简单而有效的技术，通过利用插值进行的分布外更新，改善 DA 框架中的评论家学习。
实证验证：全面的评估表明，与专用基线相比，DA-AC 在连续、离散和混合控制基准测试中实现了具有竞争力或更优越的性能。

实验结果

本文在四种不同的设置下评估了 DA-AC：

连续控制：在 MuJoCo 和 DeepMind Control Suite 任务上，DA-AC 实现了具有竞争力的性能，经常优于 TD3 和其他基线，特别是在高维环境中。
离散控制：在 Gym 经典控制和 MinAtar 环境中，DA-AC 的表现与 DQN 和其他强大的离散基线相当。
高维离散控制：在连续控制任务的离散化版本中（例如 Humanoid-v4，其 17 个维度被离散化为 7 个区间），DA-AC 显著优于 ST-AC、LR-AC 和 PPO 等基线，而其他方法在处理组合爆炸或高方差时往往表现不佳。
混合控制：在参数化动作 MDP（PAMDPs）上，DA-AC 取得了与 PATD3 和 PDQN 等专用算法具有竞争力的结果。

消融研究：
在老虎机设置和高维离散控制中的实验表明，移除 ICL（DA-AC w/o ICL）会导致性能显著下降，证实了 ICL 对于在 DA 框架中学习有效的评论家至关重要。

意义与主张

本文主张，将分布视为动作框架提供了一种原则性的方法，将学习算法与动作空间的具体结构解耦。通过转移智能体与环境的边界，它允许将低方差、确定性风格的梯度方法应用于离散和混合问题。作者强调，这种方法：

提供了首个针对离散分布的无偏、低方差重参数化风格估计器。
使得单一算法框架（DA-AC）能够处理各种控制设置，而无需针对特定领域的架构更改。
证明了将采样视为环境的一部分可以简化学习并开启新的算法视角，特别是对于复杂的混合动作空间。

这项工作表明，未来的研究可以将此框架扩展到基于模型的方法、分层控制以及更先进的评论家学习策略，但目前的贡献侧重于通过 DA-AC 算法及其实证成功来确立该框架的可行性。