🤖 machine learning

CRAX: Fast Safe Reinforcement Learning Benchmarking

CRAX 是一个基于 MuJoCo XLA 物理引擎构建的快速且安全的强化学习基准测试，它利用硬件加速实现了相比现有基于 CPU 的安全基准测试高达 100 倍的加速，从而能够在多样化的环境中对安全强化学习方法进行大规模评估，并揭示关于性能-安全性权衡以及课程学习益处的关键见解。

原作者： Tristan Tomilin, Mourad Boustani, Mickey Beurskens, Thiago D. Simão

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tristan Tomilin, Mourad Boustani, Mickey Beurskens, Thiago D. Simão

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何在雷区中行走。你的目标是让机器人尽可能快地到达终点（奖励/Reward），但你必须确保它永远不会踩到雷区（安全约束/Safety Constraint）。如果它踩到了雷，它会受到“代价”惩罚。挑战在于找到完美的平衡点：走得太快可能会踩到雷，但走得太慢则可能永远无法到达终点。

这就是**安全强化学习（Safe Reinforcement Learning）**的核心问题。

这篇论文介绍了一个名为 CRAX 的新工具，旨在帮助研究人员更快、更好地解决这个问题。以下是他们工作的详细分解，使用了简单的类比。

1. 问题所在：“慢动作”瓶颈

此前，研究人员在测试这些机器人时，必须使用标准的中央处理器（CPU）来模拟物理过程。

类比： 想象你在训练一名马拉松选手，但每当他迈出一步时，模拟过程就会为了计算物理特性而冻结一秒钟。要跑完一场完整的马拉松，你可能需要等待数年。
现实情况： 现有的安全基准测试虽然准确，但速度极其缓慢。这使得很难通过运行成千上und次实验来寻找最佳的训练方法。

2. 解决方案：CRAX（“涡轮增压”模拟器）

作者构建了 CRAX（基于 JAX 的受限强化学习加速工具）。

类比： 与其一次只训练一名跑者并在慢速跑道上进行，CRAX 构建了一个巨大的体育场，数千个机器人同时在由专用图形卡（GPU）驱动的超快速跑道上奔跑。
结果： 它比之前的工具快了大约 100 倍。论文声称，过去在旧电脑上需要模拟一年的任务，现在在他们的新系统上仅需两周即可完成。

3. 游乐场：六种不同的“雷区”

CRAX 不仅仅是一个游戏；它是六个不同的环境集合，每个环境都有不同类型的机器人和不同类型的危险。把它想象成一个带有不同关卡的电子游戏：

安全目标 (Safe Goal)： 机器人必须在避开漂浮障碍物的同时到达目标点。
安全推动 (Safe Push)： 机器人必须将重箱子推向目标，同时不撞到障碍物。
安全蜘蛛 (Safe Spider)： 一个六足机器人必须在保持特定腿部悬空的情况下向前行走（就像走钢丝一样）。
安全高度 (Safe Height)： 机器人必须向前行走，但要保持低姿态，就像在低矮的天花板下穿行。
安全路径 (Safe Pathway)： 机器人必须跳过一条路径，踩到“错误”的地方会产生惩罚。
安全速度 (Safe Velocity)： 机器人必须跑得快，但绝不能超过特定的速度限制。

每个游戏都有 三个难度等级：

简单： 障碍物较少，容错空间较大。
中等： 障碍物较多，空间较窄。
困难： 一个混乱的雷区，机器人必须极其精准。

4. 实验：谁能赢得比赛？

研究人员在这个全新的快速游乐场中测试了 六种流行的 AI 训练方法（算法），以观察哪一种在平衡速度与安全方面表现最好。

发现： 没有单一的“冠军”。
- 有些方法非常安全，但移动速度很慢（像一只谨慎的乌龟）。
- 有些移动很快，但经常发生碰撞（像一个鲁莽的赛车手）。
- P3O 和 FOCOPS 是整体表现最强的，它们能够在大多数场景中实现高分并保持安全。
- PPOLag 是最安全的（它几乎从不碰撞），但它往往无法获得最高分。

5. “训练营”的发现（课程学习）

研究人员测试了一种特定的训练策略，称为 课程学习 (Curriculum Learning)。

类比： 你不是直接把学生扔进期末考试，而是先教他们基础知识，然后是中等难度的题目，最后才是高难度考试。
结果： 这奏效了！对于许多机器人来说，从“简单”级别开始，逐渐过渡到“困难”级别，比直接被扔进最难的级别能让他们学得更好。这就像是在尝试骑着自行车下陡坡之前，先在平坦的空地上练习骑行。

6. 为什么这很重要（根据论文所述）

该论文并不声称这会立即解决自动驾驶汽车或拯救医院里的生命。相反，它声称这是一个 科学家的工具。

由于 CRAX 非常快，研究人员现在可以运行以前无法实现的规模宏大的实验。
它允许研究人员快速测试许多不同的想法，以找出如何让 AI 智能体在复杂的 3D 世界中更安全、更高效。

总结： CRAX 是一个专为教机器人如何在保持快速的同时不鲁莽而设计的、由 GPU 驱动的超快速视频游戏引擎。它证明了，虽然目前还没有单一的完美 AI 方法，但通过循序渐进地训练（从易到难）可以帮助它们学得更好，并且拥有一个快速的模拟器对于推动该领域的进步至关重要。

技术摘要：CRAX (基于 JAX 的约束强化学习加速基准)

问题陈述

安全性是将在强化学习（RL）智能体部署到机器人和自动驾驶等现实世界领域时的关键要求。虽然基准测试在推动 RL 进展方面发挥了重要作用（例如 CNN 的 ImageNet，DQN 的 ALE），但现有的具有高保真 3D 物理特性的安全基准测试计算速度仍然缓慢。目前大多数安全强化学习（SafeRL）研究依赖于基于 CPU 的模拟器（例如 Safety Gym、Safety Gymnasium），这限制了大规模实验、快速原型设计和严格统计分析的能力。缺乏硬件加速、基于 3D 物理的安全强化学习基准测试，为开发和评估约束强化学习算法制造了瓶颈。

方法论

为了填补这一空白，作者提出了 CRAX (Constrained RL Accelerated with JAX)，这是一个构建在 MuJoCo XLA (MJX) 物理引擎之上的新型基准测试。MJX 在提供真实的 3D 动力学特性的同时，利用 JAX 进行向量化操作和硬件加速（GPU）。

基准测试设计

CRAX 由 六个环境套件 和 三个针对特定智能体的任务 组成，每个套件涵盖三个难度等级：

安全导航 (Safe Navigation)： 包括目标 (Goal)、按钮 (Button)、圆圈 (Circle) 和推动 (Push) 任务，智能体必须在避开危险的同时到达目标或操纵物体。
安全速度 (Safe Velocity)： 具有严格速度限制的运动任务。
安全路径 (Safe Pathway)： 智能体穿越带有危险区域的路径，对足部放置误差进行惩罚。
安全触达 (Safe Reach)： 平面机械臂在避开障碍物的同时触达目标。
安全高度 (Safe Height)： 类人智能体在行走时保持较低的质心高度。
安全蜘蛛 (Safe Spider)： 六足智能体在行走时保持特定腿部处于悬空状态。

该基准测试支持多种智能体形态（Point, Ant, Humanoid, Spider, HalfCheetah, Walker2d, Hopper, Reacher），并通过 约束马尔可夫决策过程 (CMDPs) 定义安全性。其目标是在确保期望累积折扣代价 $C^\pi(s)$ 低于阈值 $d$ 的同时，最大化期望累积回报 $V^\pi(s)$ 。

实验设置

作者使用 JAX 重新实现了 七种流行的 SafeRL 算法 以评估其性能：

PPO： 无约束基准。
PPOCost： 将代价视为负回报。
PPOLag： 使用学习到的拉格朗日乘子的原对偶方法。
PPOPID： 使用 PID 控制器优化 PPOLag 的乘子。
PPOSauté： 通过增加安全预算来增强状态。
P3O： 逐步增加代价惩罚。
FOCOPS： 使用置信区域公式来限制期望代价。

实验在单块 NVIDIA H100 GPU 上进行，在 5 个随机种子下，每个配置运行 5 亿步环境步数。

核心贡献

硬件加速的 SafeRL 基准测试： CRAX 是第一个结合了高保真 3D 物理、显式安全约束和 GPU 加速的基准测试。它实现了高达 ~100 倍 于同类 CPU 基准测试的加速，并能通过数千个并行环境实现约 300,000 步/秒 (SPS) 的吞吐量。
全面的算法评估： 本文通过在多种智能体形态和难度等级下，将六种 SafeRL 方法与无约束基准进行系统性评估，识别了每种方法的具体优势与局限性。
训练策略分析： 研究调查了 课程学习（跨难度等级训练）和 安全迁移（使用无约束策略初始化安全策略）的有效性，发现这些策略可以在挑战性环境中提高性能，但高度依赖于具体环境。

结果

算法性能

无主导方法： 没有哪种算法在所有任务中都占据主导地位。P3O 和 FOCOPS 是整体表现最强的基准方法。
安全性与性能的权衡： PPOLag 实现了最高的安全性百分比（在等级 2 和等级 3 中满足所有代价边界），但往往无法获得高回报。PPOPID 提供了较不保守的权衡，通过牺牲部分严格的安全性遵循来换取更高的性能。
任务特异性： 不同方法对约束类型表现出不同的偏好。例如，FOCOPS 在导航和触达任务中表现良好，但在前向运动任务中表现挣扎。

计算效率

吞吐量： CRAX 在 8,192 个并行环境下的吞吐量约为 300K SPS，而 Safety-Gymnasium 在约 3K SPS 时达到饱和，并由于 CPU 和内存瓶颈无法扩展到 256 个以上的环境。
时间节省： 使用 CRAX 在单块 H100 GPU 上仅需两周即可完成整个评估套件（算法 × 环境 × 难度等级 × 种子），而该工作量在 Safety-Gymnasium 上完成则需要近一年。

课程学习与迁移

课程学习： 提高了 Safe Pathway 和 Safe Height 的性能，但在 Safe Goal 和 Safe Reacher 中结果不一。
安全迁移： 使用无约束 PPO 策略初始化安全算法在 Safe Reacher 中无效（导致违反约束），但在 Safe Pathway 中是有益的，因为它能帮助智能体比直接训练更有效地利用安全预算。

重要性与主张

本文声称 CRAX 是 SafeRL 领域的重要工具，它能够实现目前在 CPU 受限基准测试中难以实现的 大规模实验。通过提供具有真实 3D 动力学和硬件加速的平台，CRAX 促进了：

通过广泛的超参数调优和统计显著性分析，对算法进行更严谨的测试。
更快的算法开发迭代周期。
在多样化智能体形态下探索安全性与性能之间的权衡。

作者承认了局限性，指出 MJX 目前缺乏某些 CPU 版 MuJoCo 的功能（例如某些刚体碰撞类型），且评估仅限于在策略方法和基于状态的观测。他们将离策（off-policy）方法、基于模型的方法以及多智能体场景列为未来的重要研究方向。