技术摘要：SafeDojo

问题定义

在现实物理环境中部署视觉-语言-动作（VLA）模型面临着一个关键的安全挑战：接触密集型操控过程中的碰撞规避。与可以明确定义或紧凑学习安全约束的低维控制系统不同，VLA 策略必须从高维视觉观测中推断出安全边界，且需应对多样化且从未见过的障碍物配置。

现有的机器人安全操控方法存在显著局限性：

• 推理时干预（例如控制障碍函数，CBF）需要精确的几何建模和相机标定，这对于开放世界 VLA 的部署而言并不现实。
• 无模型约束强化学习（Model-free Constrained RL） 通过基于惩罚的优化来强制执行安全，但需要高昂且具有潜在危险性的现实世界探索。单次不安全接触就可能导致任务失败、不可逆的硬件损坏或环境破坏。
• 基于模型的安全强化学习（Model-based Safe RL） 通常在低维状态空间中运行，并依赖模拟器提供的代价函数，这使得其难以迁移到 VLA 模型上，因为在 VLA 中，安全信号必须从视觉数据中学习，而非通过解析定义获得。

核心待解决的问题是：如何在不依赖手工设计的安全函数或高风险现实世界探索的情况下，在障碍物丰富的环境中学习无碰撞的 VLA 策略。

方法论：SafeDojo

SafeDojo 被提议为首个专门为 VLA 策略设计的基于模型的安全强化学习框架。它通过在一个交互式视频世界模型中进行在线策略优化，从而避免了现实世界的风险。该框架由三个关键组件组成：

1. 分块式交互式世界模型展开（Chunk-wise Interactive World Model Rollouts）

SafeDojo 不在物理世界中收集数据，而是在交互式世界模型 $p_\phi$ 内部进行“模型在环”的展开。

• 架构： 世界模型被实例化为一个基于 Wan 2.2 的动作条件视频预测器，用于生成未来的视觉观测和潜空间动力学。
• 流程： 给定初始观测 $o_0$ 和语言指令 $l$，当前的 VLA 策略 $\pi_\theta$ 采样候选轨迹。世界模型递归地展开这些轨迹，以生成受动作块（action chunks）调控的未来帧 $\hat{o}_{i,k+1}$ 和潜状态 $\hat{z}_{i,k+1}$。
• 鲁棒性： 为了减轻长程展开中的训练-测试失配和曝光误差，训练过程中包含了静态视频增强，即偶尔冻结条件帧，使模型能够容忍不完美的中间预测。

2. 解耦的任务奖励与安全代价估计

SafeDojo 使用双分支评估器来评估想象中的轨迹，该评估器估计稠密的逐步信号，而不是将其压缩为单一标量奖励。

• 任务奖励 ($f_{task}$)：经过微调的 ResNet 成功分类器根据想象的未来帧预测每一步的任务进度。
• 安全代价 ($f_{safe}$)：轻量级安全头根据预测的潜上下文和所提议的动作块来估计每步的安全代价（障碍物接触概率）。
• 聚合：这些稠密信号被聚合为轨迹级奖励 ($r_i$) 和代价 ($c_i$)。安全代价特别聚合了前 $M$ 个高风险步骤，以强调关键时间间隔。

3. 基于拉格朗日的安全约束 GRPO

为了在显式安全约束下优化策略，SafeDojo 采用了带有拉格朗日形式的**组相对策略优化（GRPO）**变体。

• 优势计算：在采样的一组轨迹中分别对任务奖励和安全代价进行归一化，以计算相对优势 $\hat{A}^r_i$ 和 $\hat{A}^c_i$。
• 约束目标：最终优势计算为 $\hat{A}^{safe}_i = \hat{A}^r_i - \eta \hat{A}^c_i$，其中 $\eta$ 是一个非负拉格朗日乘子。
• 动态平衡：根据批次级约束违反情况（平均安全代价 vs. 允许预算 $d$）更新乘子 $\eta$。如果平均代价超过预算，$\eta$ 会增加以更强烈地惩罚不安全轨迹；否则，$\eta$ 会减小以允许面向任务的改进。
• 更新规则：使用带有安全约束优势的裁剪目标来更新策略，确保任务成功率和安全性得到协同提升，而不依赖固定的惩罚权重。

核心贡献

1. 基于世界模型的奖励-代价估计：开发了一种交互式视频世界模型，并结合双分支评估器，实现了任务进度与安全风险估计的解耦，消除了对手工设计安全函数的需求。
2. 安全约束强化学习：引入了基于拉格朗日的安全约束 GRPO 目标，能够显式执行安全预算，同时协调任务成功与碰撞规避，避免了固定惩罚权重带来的敏感性问题。
3. 实证性能：在 SafeLIBERO 基准测试和真实世界 Franka 机器人部署中展示了卓越的性能，在推理时安全、无模型 RL 和基于模型的 RL 等基线方法中，取得了最高的综合任务成功率、安全成功率和执行效率。

实验结果

该框架在 SafeLIBERO（一个基于 Robosuite 构建的安全关键基准测试）和 真实世界 Franka Emika Panda 机器人上进行了评估。

模拟实验结果 (SafeLIBERO)

• 安全成功率 (SSR)：SafeDojo 在 Level I (53.25%) 和 Level II (49.62%) 上均取得了最高的平均 SSR。在 Level I 上，相比于最强的基线（SafeVLA 为 45.00%），实现了 8.25 个百分点的提升。
• 执行效率：SafeDojo 实现了最低的平均执行步数（Level I 为 269.41），优于表现最好的基于模型的基线（WMPO 为 274.02），这表明安全感知优化并不会导致过度保守或低效的策略。
• 泛化能力：仅在 Level I 演示数据上进行训练，SafeDojo 在 Level II（障碍物放置在运动路径更远处）上仍保持顶尖性能，证明了通过想象展开学习到的安全信号可以迁移到未见的障碍物配置中。

真实世界结果

• 在五项真实世界操控任务中部署后，SafeDojo 取得了最佳的平均任务成功率 (76.00%) 和安全成功率 (70.00%)。
• 定性分析显示，SafeDojo 生成了直接且具备碰撞感知能力的轨迹，而基线方法要么撞击障碍物，要么过于保守，或者无法从不安全状态中恢复。

消融实验

• 组件重要性：移除安全头会导致 SSR 降至 38.0%；移除任务奖励分支则会导致性能几乎降为零。将约束 GRPO 替换为无约束优化会显著降低安全性。
• 输入来源：与仅使用未来预测相比，使用当前世界模型状态加上提议的动作块提供了最稳定的奖励-代价线索。
• 拉格朗日乘子 ($\eta$)：初始 $\eta$ 取 0.2 时效果最好；较高的值会导致过度约束、效率低下的策略，而较低的值则无法抑制危险动作。

意义与主张

本文将 SafeDojo 定位为一条通往安全具身智能的可扩展且通用的路径。通过利用世界模型在想象中进行“预判性展开”，SafeDojo 解决了策略探索需求与物理安全违规不可逆性之间的根本矛盾。

作者声称，SafeDojo 是第一个成功将基于模型的安全强化学习应用于 VLA 模型的框架，它实现了：

1. 无风险学习：策略改进完全在模拟的世界模型内进行，消除了进行高成本且危险的现实世界探索的需求。
2. 数据驱动的安全：安全信号是从高维视觉观测中学习到的，而非依赖于预定义的几何约束或手工设计的代价函数。
3. 平衡优化：基于拉格朗日的处理方式允许在维持高任务性能的同时，实现显式的约束满足。

结果表明，基于世界模型的安全强化学习是一种可行的范式，可用于在安全为前提条件的开放世界物理环境中部署 VLA 策略。