💻 computer science

Benchmarking Action Spaces in Reinforcement Learning for Vision-based Robotic Manipulation

本文通过仿真到现实的实验，对基于视觉的机器人操控中的四种动作空间进行了基准测试，证明了关节速度在抓取和推动任务中能产生最平滑的运动和最佳的任务性能，同时也为强化学习从业者提供了实践指导。

原作者： Seyed Alireza Azimi, Homayoon Farrahi, Abhishek Naik, Colin Bellinger, A. Rupam Mahmood

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Seyed Alireza Azimi, Homayoon Farrahi, Abhishek Naik, Colin Bellinger, A. Rupam Mahmood

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机械臂执行任务，比如拿起一个方块或在桌面上推动它。为了做到这一点，你使用了一种叫做**强化学习（Reinforcement Learning）**的方法，这就像玩电子游戏一样，机械臂通过试错来学习：它尝试做一件事，如果做得好就会得到“分数”（奖励），并从错误中学习。

然而，有一个棘手的部分：你如何告诉机器人该做什么？ 这就是“动作空间”（Action Space）。这是你用来给机器人下达指令的语言。

这篇论文就像是一场烹饪比赛，四位不同的厨师（四种动作空间）试图教同一个机器人如何烹饪两道特定的菜肴：拿起方块和推动方块。研究人员在虚拟厨房（模拟器）中训练机器人，然后把它送到真实的厨房，看看这些教导是否能真正应用到现实中。

以下是这四位“厨师”（动作空间）尝试给出指令的方式：

“步进式”厨师（位姿增量 - Pose Increment）： “将你的手向前移动1英寸，再向上移动1英寸。”它告诉机器人下一步精确要移动到哪里。
“速度计”厨师（位姿速度 - Pose Velocity）： “以每秒1英寸的速度向前移动你的手。”它告诉机器人沿着特定方向移动的快慢。
“关节逐一”厨师（关节位置增量 - Joint Position Increment）： “把你的肘部弯曲一点点，然后旋转一下你的手腕。”它专注于移动机械臂的各个关节。
“流动式”厨师（关节速度 - Joint Velocity）： “让你的肘部以这个速度转动，同时让你的手腕以那个速度转动。”它告诉机器人的关节应该如何旋转以及旋转多快。

大考：虚拟世界 vs. 现实世界

研究人员在了一个完美、无摩擦的视频游戏世界（模拟器）中训练了所有四位厨师。在这个完美的世界里，四位厨师都表现出色。他们都很快学会了任务并获得了高分，很难分辨谁才是最优秀的。

但随后，他们把机器人送到了现实世界。在这里，情况变得混乱了。现实世界存在摩擦力、重力以及不完美的传感器。来自视频游戏的“完美”指令并不总能很好地转化到现实中。

结果

“步进式”和“速度计”厨师（笛卡尔空间/世界空间）： 这些厨师表现得最差。当他们试图在现实世界中移动机器人的手时，机器人经常会感到困惑。它可能会拖着方块走而不是提起它，或者漂移到不稳定的位置并彻底失败。
- 原因： 这些厨师依赖一个复杂的转换器（称为逆运动学，Inverse Kinematics）将“将手移动到此处”转化为“像这样移动关节”。在现实世界中，机器人测量中的微小误差会被这个转换器放大，导致机器人的动作变得突兀且不准确。
“关节逐一”厨师： 这位厨师在拿起方块的任务中表现得非常好（成功率100%），而且速度最快。然而，它需要对机器人的“肌肉刚度”进行大量的精细调节，以防止其发生抖动或震动。
“流动式”厨师（关节速度）：这是最终的赢家。
- 成功率： 它在拿起方块的任务中实现了100%的成功率。
- 平滑度： 它的动作最流畅。机器人的运动非常连贯，没有突兀感。
- 安全性： 它产生的“抖动”（力量的突然、剧烈变化）最少，碰撞也最少。
- 推动： 它推动方块前进的距离最远。

秘诀：为什么“关节速度”胜出

论文用一个简单的物理类比解释了这一点。

位置控制（其他厨师） 就像是告诉一辆车：“请精准地行驶到100米处。”如果你在计算上出了微小的差错，汽车就必须猛踩刹车或地板油来立即纠正。这会导致动作生硬、剧烈。
速度控制（赢家） 就像是告诉一辆车：“请以每小时50公里的速度行驶。”汽车会自然地滑行。如果你想改变方向，只需轻轻转向。机器人关节的物理特性会自然地平滑运动，起到类似减震器的作用。

总结

如果你正在构建一个需要通过摄像头观察世界并与物体交互（例如拿起杯子或推动箱子）的机器人，那么告诉机器人的关节移动速度有多快（关节速度），是让它在现实世界中运行得最可靠、最平稳的方法。

虽然其他方法在视频游戏中表现完美，但在面对混乱的现实世界时却过于敏感。相比之下，“关节速度”法足够鲁棒，能够应对现实生活中的各种缺陷，使机器人能够优雅地完成任务。

技术摘要：基于视觉的机器人操控中强化学习动作空间的基准测试

问题陈述

强化学习（RL）已成为机器人控制领域的一种强大框架，但在实际应用中，其在现实世界中的操控面临着关于安全性、运动平滑度和从模拟到现实（sim-to-real）迁移性能的重大障碍。在 RL 公式化设计中，一个关键但尚未得到充分探索的选择是动作空间（action space）。虽然先前的研究调查了不同的动作空间表示形式（例如，关节位置、转矩、速度），但它们大多依赖于仅在模拟环境中的基于状态的观测。这导致在利用基于视觉的观测（这类观测引入了部分可观测性和感知噪声）进行接触密集型任务（如抓取和推动）时，对于理解动作空间设计如何影响学习动态和迁移性能存在认知空白。

方法论

作者进行了一项全面的基准测试研究，在 Franka Emika Panda 机器人手臂上，对比了四种常见的动作空间表示形式在两个基于视觉的操控任务中的表现：

PandaPickCuboid（抓取长方体）： 一个预取任务，要求机器人到达、抓取并将红色长方体提升到目标高度。
PandaPushCuboid（推动长方体）： 一个非预取任务，要求机器人将长方体在表面上推动。

评估的动作空间

研究对比了以下表示形式：

位姿增量 ( $\delta x$ )： 笛卡尔坐标系下的位置和姿态增量。
位姿速度 ( $\dot{x}$ )： 笛卡尔坐标系下的速度指令。
关节位置增量 ( $\delta q$ )： 关节角度的增量。
关节速度 ( $v$ )： 目标关节速度。

系统架构

算法： 策略使用**近端策略优化算法（PPO）**进行训练，该算法因其与高维视觉输入的兼容性以及在 sim-to-real 迁移中的有效性而被选中。
模拟： 训练在 MuJoCo 中进行，利用领域随机化（视觉和动力学扰动）来弥合 sim-to-real 的差距。
现实世界部署： 策略通过 Franka ROS 接口进行部署。系统使用了特定的驱动接口：
- 基于位置的动作 ( $\delta x, \delta q$ ) 通过逆运动学（IK）映射到关节目标，并使用关节阻抗控制器执行。
- 基于速度的动作 ( $\dot{x}, v$ ) 直接映射到目标关节速度。
观测： 智能体接收 RGB 图像（64x64）、本体感受数据（关节位置/速度、抓取状态）、末端执行器高度以及前一次动作。

关键结果

1. 模拟与现实世界的差异

在模拟中，所有动作空间在抓取任务中都达到了相当高的成功率（0.98–1.00）。然而，这种性能并未线性地转化为现实世界的表现。动作空间的选择显著改变了 sim-to-real 迁移的鲁棒性。

2. PandaPickCuboid（抓取）的表现

关节速度 ( $v$ )： 实现了 100% 的成功率，中位完成时间为 3.58 秒。它表现出最低的测得加加速度（jerk），并始终避免了碰撞。
关节位置增量 ( $\delta q$ )： 也实现了 100% 的成功率，且中位时间最快（2.12 秒）。然而，稳定的部署需要仔细调节阻抗增益以防止振动。
位姿增量 ( $\delta x$ )： 表现较差（41.67% 成功率）。策略经常在提升物体之前将其向机器人底座方向拖拽，这种行为在模拟中并未观察到。
位姿速度 ( $\dot{x}$ )：完全失败（0% 成功率），经常陷入不稳定配置或超出工作空间。

3. PandaPushCuboid（推动）的表现

关节速度 ( $v$ )： 实现了最大的中位位移（0.405m），但与物体边缘的碰撞更为剧烈。
关节位置增量 ( $\delta q$ )： 实现了第二高的位移（0.104m），但由于使用了经过调优的阻抗控制器，其表现出更具顺应性的行为，碰撞事件较少且力度较轻。
笛卡尔动作 ( $\delta x, \dot{x}$ )：在位移方面表现较差。

4. 加加速度（Jerk）与安全性分析

研究分析了加加速度（jerk）（加速度的变化率）作为运动平滑度和转矩变化的指标。

关节速度在模拟和现实世界试验中均一致产生了最低的加加速度。
解释： 作者认为，基于位置的控制（使用高比例增益 $K_p$ ）会放大策略输出中的高频波动，导致巨大的转矩变化和高加加速度。相比之下，速度控制起到了低通滤波器的作用；将速度指令积分以生成位置的过程自然地平滑了高频噪声，从而产生了更平滑的轨迹。
IK 敏感性： 笛卡尔动作空间依赖于逆运动学（IK）。模拟与现实之间连杆参数的差异会通过 IK 映射传播，产生不准确的关节目标，导致现实世界的执行器难以追踪，尤其是在接近奇异点时。

核心贡献与意义

本文通过证明动作空间表示是 sim-to-real 迁移的关键因素（特别是对于基于视觉的任务），为 RL 从业者提供了实践指导。

关节速度的优越性： 作者得出结论，关节速度在基于视觉的抓取和推动任务中，提供了鲁棒性、平滑度和任务性能的最佳平衡。它实现了最高的成功率和最平滑的运动，且无需像基于位置的方法那样进行复杂的阻抗调优。
笛卡尔空间的局限性： 研究强调，笛卡尔动作空间（位姿增量/速度）对 sim-to-real 的差异高度敏感，特别是关于 IK 映射误差和执行器追踪能力方面。
安全性与顺应性： 虽然关节速度提供了最平滑的运动，但作者指出，基于位置的动作（通过调优阻抗）在接触过程中提供了更具顺应性的行为，减少了碰撞的严重程度。

这项工作强调，虽然模拟性能是一个必要的基准，但不足以预测现实世界的成功。动作空间的选择从根本上塑造了部署策略的学习动态和物理安全性。