🤖 AI

SafeBranch: Branch-Pair Safety Alignment for Embodied Agents

SafeBranch 是一个通过在其自身不安全展开中衍生的分支对上对视觉-语言模型驱动的具身智能体进行训练，从而增强其安全性，使其能够可靠地处理安全关键步骤，且不损害任务成功率或在部署期间需要批判者的框架。

原作者： Hyunse Lee, Jiwoo Jeong, Haneul Lee, Kyochul Jang, Youngjae Yu, Woojin Lee

发布于 2026-08-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Hyunse Lee, Jiwoo Jeong, Haneul Lee, Kyochul Jang, Youngjae Yu, Woojin Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

能够看见、理解并能在我们家中移动的机器人不再仅仅是科幻小说中的梦想；它们正成为现实，由能够处理图像和语言的高级计算机模型所驱动。这些系统可以遵循诸如“把桃子放在盘子里”之类的指令，并在厨房中导航以寻找水果和餐具。然而，在单纯完成任务与安全完成任务之间存在着一个关键的差距。机器人可能会成功地将桃子放在盘子里，但如果它让冰箱门大开，或者将水果放在了脏的表面上，那么它就未能通过最重要的测试：保护家庭及其成员。这种被称为“交互式安全”的特定挑战在于，机器人的自身行为会改变环境，从而创造出此前并不存在的危险。如果机器人在烹饪后让炉灶燃烧器保持开启状态，或者用湿手触摸电源插座，那么这种危险是其自身选择的直接结果。核心难点在于，安全并不是机器人每一步动作都要满足的恒定要求；相反，安全是在几个关键时刻决定的，在这些时刻，机器人必须在一条安全的路径和一条危险的捷径之间做出选择。

长期以来，研究人员试图通过添加一个独立的安全性防护器来解决这个问题，该防护器会在机器人的每一步进行观察，就像一个人类监督员不断地介入并说“停下”或“修正那个”。虽然这种方法有效，但速度慢、成本高，并且使机器人本身保持不变且依赖于这个监督员。一种更困难但更有前景的方法是教会机器人自主实现安全，但标准的教学方法一直难以奏效。仅仅向机器人展示一段安全任务的视频并不能解释为什么某个特定的步骤是安全的，而将一条安全路径与一条完全不同的不安全路径进行比较，往往会令机器人感到困惑，因为这两条路径在太多方面都存在差异。开发名为 SafeBranch 的新框架的研究人员意识到，要真正学习安全性，机器人需要看到同一情境的两个版本：一个是它做出了安全选择的版本，另一个是它做出了危险选择的版本，且除此之外的一切都保持完全一致。

为了实现这一点，团队开发了一种巧妙的方法，利用机器人自身的错误来创造这些特定的教学时刻。他们并没有等待机器人失败后再寄希望于找到安全的替代方案，而是让机器人尝试一项任务，当它做出危险动作时，他们会将模拟过程回溯到错误发生的精确时刻。在那个精确的点上，他们要求机器人再次尝试，并在此次尝试中加入关于它刚刚制造的危险的提示。机器人随后生成一个安全的动作来替换那个危险的动作。通过将原始的不安全动作与这个新的安全动作配对，并确保两者都从完全相同的状态开始，研究人员创建了一个“分支对（branch pair）”。这一对组合隔离出了那个至关重要的决策，向机器人展示了在这一特定语境下，一种选择会导致安全，而另一种选择则会导致危害。随后，他们使用一种训练过程来教导机器人始终选择安全分支，从而有效地将安全性内化，使得外部监督员不再被需要。

当在涉及未知物体和新场景的各种家务任务中进行测试时，这种方法的成果令人瞩目。在标准测试中，未经过这种方法训练的机器人完成安全任务的成功率仅为 3% 左右。在使用 SafeBranch 方法训练后，机器人完成安全任务的成功率接近 28%，实现了十倍的提升。更重要的是，当机器人面对从未见过的全新物体时，未经训练的机器人安全率仅为 5%，而经过 SafeBranch 训练的机器人安全率接近 47%。至关重要的是，机器人并没有变得过度谨慎或拒绝工作；它们学会了在避免造成伤害的具体步骤的同时，承担必要的风险以完成任务。与其他需要在后台运行独立安全模块的方法不同，经过 SafeBranch 训练的机器人可以独立运行，将安全性知识融入到自身的决策过程中。

这项工作表明，机器人的安全性不是通过增加更多规则或外部检查来实现的，而是通过教导智能体识别决策产生影响的精确时刻。通过构建对比相同语境下安全与不安全动作的训练数据，研究人员证明了机器人可以在没有持续监督的情况下，学习如何应对复杂且不断变化的家庭环境。该方法在不同类型的危险（从电击和火灾风险到食物污染和绊倒危险）中均表现有效，这为部署能够被信任并能自主安全行动的得力机器人提供了一条稳健的路径。

技术摘要：SafeBranch

问题陈述

基于视觉语言模型（VLM）的具身智能体能够在交互式环境中执行多步任务，但经常在执行过程中违反安全约束。这一问题被称为交互式安全（interactive safety），其原因在于智能体自身的动作可能会产生突发性危险（例如：让炉灶保持开启状态、用湿手触摸插座）。与静态安全约束不同，交互式安全危险集中在轨迹中的极少数**安全关键步骤（safety-critical steps）**上。在这些特定的决策点上，智能体的选择决定了轨迹是向安全结果还是不安全结果的分支演化。

现有方法面临两个主要局限性：

推理时护栏（Inference-time Guardrails）： 使用外部安全检查器或基于搜索的规划器在每一步拦截或修正动作的方法，增加了部署开销，且并未改变底层的执行器。
标准监督：
- 模仿学习（SFT）： 在安全轨迹上进行训练可以教会智能体“做什么”，但无法解释为什么另一种选择是不安全的，导致安全行为的应用缺乏上下文关联。
- 轨迹级偏好学习（DPO）： 通过对比整个安全和不安全轨迹，会将安全性信号与许多步骤中无关的差异混淆，无法隔离出决定安全性的特定决策点。

核心挑战在于提供一种能够显式地在同一个安全关键步骤（相同的上下文，不同的动作）上对比安全与不安全动作的监督方式，从而教会智能体步骤级的安全性信号。

方法论：SafeBranch

作者提出了 SafeBranch，一个通过从执行器自身的不安全展开（rollouts）中构建分支对（branch pairs），并使用**分支偏好优化（BranchPO）**来对齐执行器的框架。

1. 通过环境回溯构建分支对

由于自然的交互式环境无法提供在单个步骤处发生分歧的两条轨迹，SafeBranch 对其进行了合成：

回溯（Rollback）： 当智能体展开过程中发生安全违规时，安全评论家（一个外部 LLM）会识别被违反的约束以及做出该决策的具体步骤（ $h_k$ ）。
修复（Repair）： 环境被回溯到 $h_k$ 。随后，在给定原始上下文 $h_k$ 加上评论家反馈（ $f_k$ ）的条件下，查询执行器以获取一个安全的替代方案（ $y^+$ ）。
事后重标记（Hindsight Relabeling）： 为了确保执行器是从上下文而非反馈线索中学习安全性，在训练提示词中移除了评论家的反馈（ $f_k$ ）。生成的分支对由原始的不安全动作（ $y^-$ ）和修复后的安全动作（ $y^+$ ）组成，两者都以相同的上下文 $h_k$ 为条件。
过滤（Filtering）： 由裁判 LLM 过滤这些对，以确保安全动作由上下文合理证明、可执行，并且解决了约束问题。

2. 分支偏好优化（BranchPO）

该框架使用为步骤级对齐定制的偏好学习目标来训练执行器。给定分支对数据集 $D_{branch}$ ，该目标最大化同一锚点步骤下安全动作与不安全动作之间的对数概率差值：
$\mathcal{L}_{BranchPO} = -\mathbb{E}_{D_{branch}} \left[ \log \sigma(\beta(r^+_\theta - r^-_\theta)) \right]$
其中 $r_\theta(h, y) = \log \pi_\theta(y|h) - \log \pi_{ref}(y|h)$ 。这使得评论家的安全性判断内化到了执行器本身。

3. 部署

与推理时方法不同，训练后的执行器是**无需评论家（critic-free）**的。它能够自主处理安全关键情况，在运行时不需要外部模块、回溯机制或反馈循环。

核心贡献

将交互式安全形式化为步骤级问题： 本文指出，安全对齐需要隔离在安全关键步骤上的决策，而非优化整个轨迹。
SafeBranch 框架： 一种通过回溯不安全展开并诱导安全替代方案来构建**同状态分支对（same-state branch pairs）**的新方法，解决了步骤级安全性监督的数据稀缺问题。
BranchPO 目标函数： 一种专门设计用于在这些分支对上训练执行器的偏好优化目标，实现了安全性约束的内化。
无需评论家的部署： 该方法将安全评论家的成本从运行时（推理）转移到了训练阶段，从而得到了一个无需外部干预即可安全行动的独立执行器。

实验结果

该方法在 IS-Bench、SafetyALFRED 以及涉及未见任务和物体的分布外（OOD）变体上进行了评估。

性能提升：
- 在 IS-Bench 上，SafeBranch 将安全成功率（SSR）从 0.031（未训练基准）提高到了 0.281。
- 在 OOD-ObjectShift 变体（未见物体）上，SSR 从 0.048 提高到了 0.355。
- 在 OOD-TaskShift 变体（未见任务）上，SSR 从 0.048 提高到了 0.469。
- 在 SafetyALFRED 上，危险准确率从 0.274 提高到了 0.438。
与基准方法的比较：
- SafeBranch 优于推理时基准方法（Self-Verification, Lookahead），后者无法泛化到 OOD 设置。
- 它显著优于标准的偏好学习变体（Trajectory DPO, SFT-only），后者难以将安全性信号集中在正确的决策点上。
效率： 在匹配的计算预算下，分支对构建流水线生成可用数据对的速度比自然 Best-of-N 采样快约 5.2 倍。
消融实验： 若移除事后重标记（保留训练中的反馈信息），会导致模型在反馈缺失时无法正常部署，这证实了内化安全性信号的必要性。

意义与主张

本文声称 SafeBranch 提供了一条内化交互式安全的低数据效率路径。通过将安全性建模为步骤级分支问题并构建特定的分支对，该方法使具身智能体能够在不牺牲任务成功率的前提下，学习何时以及如何安全地行动。

作者强调，这种方法将安全性对齐从一个外部的、依赖运行时的过程转变为执行器的内部能力。结果表明，在同状态分支对上进行训练对于学习步骤级安全性信号至关重要，而标准的轨迹级监督无法提供这种能力。该方法在分布内、分布外及跨模拟器设置中实现了最先进的安全性表现，同时消除了部署期间对外部安全模块的需求。