⚡ electrical engineering

Towards General Language-Conditioned Latent Safety Filters

本文提出了一种利用哈密顿-雅可比（Hamilton-Jacobi）执行器与评论器来实现语言调节的安全过滤框架，用于在各种机器人任务中动态强制执行多样化的安全约束，并证明了该框架能够减少违规情况，并实现对未见约束实例的部分迁移。

原作者： Ihab Tabbara, Yuxuan Yang, Hussein Sibai

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Ihab Tabbara, Yuxuan Yang, Hussein Sibai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个机器人不再仅仅是像只能烤面包的面包机那样，被程序设定为只能做一项特定工作的笨拙机器人的世界。相反，想象一个能像好朋友一样理解你的机器人。你可以说，“请把桌子清理干净，”或者“用这些积木搭一座塔，”它就会思考如何去实现。这就是“通用型”机器人学习的激动人心的前沿领域，在这里，人工智能将它所看到的（视觉）与你所说的（语言）结合起来，以决定它该做什么（动作）。但问题在于：仅仅因为机器人足够聪明，能够理解你的请求，并不意味着它足够聪明到知道“不该做什么”。如果你让它清理桌子，它可能会不小心撞倒一个珍贵的瓶子或洒掉一杯牛奶。

为了保持机器人的安全，科学家们使用了一种被称为“安全过滤器”（safety filter）的东西。把这个过滤器想象成一个站在机器人大脑旁边的严格且隐形的守护天使。在机器人移动手臂之前，守护者会检查计划。如果计划看起来可能会撞到花瓶，守护者就会介入，夺取控制权，并将机器人引离危险。传统上，这些守护者是非常僵化的；你必须专门教它们关于花瓶的知识，然后单独教它们关于高脚杯的知识，接着又是关于热咖啡的知识。如果你想让机器人避开某种新事物，你必须从头开始重新训练这个守护者。研究人员提出的重大问题是：我们能否通过让机器人的守护者听取我们的言语，来教会它理解“任何”安全规则，从而让它能够即时适应新情况，而不需要进行彻底的重启？

这篇题为《迈向通用语言调节的潜在安全过滤器》（Towards General Language-Conditioned Latent Safety Filters）的论文，正是对这一想法进行的探讨。作者 Ihab Tabbara、Yuxuan Yang 和 Hussein Sibai 提出了一种新型的安全过滤器，它不需要为每一条新规则进行重新训练。相反，他们构建了一个系统，使守护者可以聆听自然语言指令——例如“不要碰牛奶盒”——并立即将这条规则应用于机器人的动作中。他们在机器人执行捡起积木、擦拭桌面和堆叠物体等任务中测试了这一系统。

研究人员发现，这种“语言调节型”过滤器表现得非常出色。在实验中，当被告知要避开特定物体时，该新过滤器成功地阻止了机器人撞向这些物体，即使机器人的原始计划是直接撞上去。例如，在一个机器人需要按特定顺序堆叠彩色积木的任务中，即使指令发生变化，该过滤器也能帮助机器人大约 80% 的时间内正确遵循指令。该过滤器也具有一定程度的泛化能力；当他们在机器人从未见过的物体或颜色（如黄色的书而不是红色的书）上进行测试时，它仍然能比随机概率更好地遵循规则，尽管并不完美。

然而，论文谨慎地指出，这还不能被称为一个完美的解决方案。作者表明，虽然该过滤器是一个巨大的进步，但它仍然会犯错，尤其是在机器人通过摄像头（视觉）观察世界，而不是像拥有超能力一样精确掌握每个物体的确切位置时。他们还测试了使用先进的人工智能模型作为告诉过滤器什么是危险物的“眼睛”，但发现即使是最智能的当前模型，也还不足以可靠地独立承担起安全判断的角色。

这项研究表明，我们正朝着拥有一个通用的安全过滤器迈进，这个过滤器可以通过阅读规则来学习理解许多不同的规则，而不是需要为房间里的每一个物体都配备一个独特的过滤器。虽然目前的版本并非无懈可击，在面对完全陌生的场景时仍会遇到困难，但结果表明，这种方法是一个充满希望的前行方向。它暗示了一个未来：机器人可以随时接收复杂且多变的安全性指令，从而在无需工程师每次移动家具时都进行重新编程的情况下，使它们在我们的家庭和工作场所中变得更安全、更有用。

技术摘要：迈向通用语言调节的潜在安全过滤器

问题陈述

随着机器人策略从特定任务的控制器演变为能够执行多样化自然语言指令的通用视觉-语言-动作（VLA）模型，确保部署安全性仍然是一个关键挑战。安全要求随用户、环境和应用的不同而显著变化，即使是针对相同的任务也是如此。现有的安全过滤器大多是针对特定约束的；它们依赖于固定的安全概念（例如，针对预定义失败集的向前不变性），并且每当安全规范发生变化时都需要重新设计或重新训练。此外，当前的 VLA 策略往往无法从训练数据中隐式学习安全性，也无法可靠地遵循显式的基于语言的安全提示。本文研究了语言调节的安全过滤（language-conditioned safety filtering），旨在创建一个单一的学习型安全过滤器，该过滤器可以根据通过自然语言表达的部署时安全要求进行调整，从而支持通用机器人策略的安全部署。

方法论

作者提出了一个框架，将 Hamilton–Jacobi (HJ) 可达性分析扩展到以语言指定的约束为调节条件。核心方法涉及学习一个受约束调节的安全执行器（actor）和评论家（critic），它们作为标称策略（nominal policy）的运行时过滤器运行。

1. 公式化

系统在每个时间步 $t$ 运行，输入为观测值 $o_t$ 、任务指令 $\tau$ 和自然语言安全约束 $c$ （例如，“避开牛奶盒”）。标称策略 $\pi_{nom}$ 提议一个动作 $a^{nom}_t$ 。安全过滤器使用学习到的 HJ 评论家 $Q_\theta(z_t, a_t)$ 来评估该动作，其中状态表示 $z_t$ 同时编码了视觉观测和语言约束。

评论家（Critic）： 估计执行 $a^{nom}_t$ 随后执行最优安全策略的折扣最坏情况安全值。
执行器（Actor）： 一个旨在最大化安全性的学习策略。
过滤逻辑： 如果 $Q_\theta(z_t, a^{nom}_t) \geq \epsilon$ （其中 $\epsilon$ 是安全裕度），则执行标称动作。否则，过滤器介入，从 HJ 执行器和标称动作的扰动中采样候选动作，选择满足约束的最接近安全动作。

2. 表示与编码

论文评估了用于 HJ 执行器/评论家的两种输入表示：

特权先知（真值/Ground Truth）： 使用完整的系统状态 $s_t$ （物体姿态、机器人状态）和约束的多热编码（multi-hot encoding）。这作为上界，用于测试在没有感知误差的情况下 HJ 公式化的有效性。
视觉-语言（VL）： 使用原始 RGB 观测（第三人称视角和腕部视角）、机器人本体感受以及语言约束。为了对这些进行编码，作者利用了 $\pi0.5$ VLA 主干网络，该网络通过共享 Transformer 处理多视图观测和语言。生成的标记序列通过平均池化（mean pooling）进行聚合，以形成潜在表示 $z_t$ 。

3. 失败函数

一个关键组件是定义不安全集边界的失败函数 $h(z_t)$ 。

几何约束： 对于碰撞避免等任务， $h$ 由距离度量定义（例如，距离障碍物的距离减去一个阈值）。
语义约束： 对于复杂的语义失败（例如，撞倒物体），作者探索使用视觉-语言模型（VLMs）作为失败先知。他们查询了 11 个不同的 VLM 来判断状态是否违反了约束，并将输出映射为正或负常数。然而，他们发现目前的 VLM 由于在安全违规方面存在高假阴性率，不足以直接作为运行时使用的失败先知。

4. 训练

HJ 评论家和执行器使用软行动者-评论家算法（Soft Actor-Critic, SAC）进行训练，以最小化贝尔曼误差损失，从而逼近避免由约束定义的失败集的最优价值函数。训练数据包括 5,000 条操纵轨迹（源自修改后的 LIBERO 任务），并刻意丰富了安全违规样本（约 90%）。

核心贡献

公式化： 本文提出了语言调节的安全过滤，将 HJ 可达性从固定的失败集扩展到以自然语言约束为调节条件。
评估： 在三个操纵任务（安全抓取、安全擦拭、堆叠方块）中进行了全面评估，检查了约束满足度、分布外（OOD）泛化能力以及安全、任务成功率与干预率之间的权衡。
对比分析： 对比了所提出的通用语言调节过滤器与针对每个约束训练的专门非语言调节过滤器。
VLM 基准测试： 对 11 个 VLM 作为潜在失败函数的表现进行了评估，强调了它们在可靠性方面的当前局限性。
数据集发布： 作者承诺发布包含 5,000 条带有安全违规的 LIBERO 式操纵轨迹的数据集。

实验结果

实验在 RoboSuite 环境中使用真值（GT）和视觉-语言（VL）观测模态进行。

安全性 vs. 任务成功率： 与未经过滤的标称策略相比，通用（语言调节）和单一（特定约束）过滤器都显著降低了碰撞率。在 GT 设置下，过滤器很好地保持了任务性能。在 VL 设置下，碰撞率仍然较高，这归因于标记聚合（平均池化）过程中空间特征的丢失。
通用过滤器 vs. 专门过滤器：
- 在 堆叠方块（顺序约束）任务中，通用过滤器在顺序正确性（Order-Correctness, OC）方面优于单一过滤器，这表明共享一个过滤器允许在相关的约束之间进行知识迁移（例如，“抓取红色”与“抓取蓝色”）。
- 在 安全抓取 和 安全擦拭（碰撞避免）任务中，结果褒贬不一。在 VL 设置下，通用过滤器实现了比单一过滤器更低的碰撞率，但有时以较低的任务成功率为代价。在 GT 设置下，通用过滤器在保持相当安全性的同时，所需的干预次数（较低的 IR）明显少于单一过滤器。
约束特异性： 通用过滤器展示了区分指定障碍物与良性对象的能力。在包含两个物体的场景中，过滤器会对命名的障碍物进行干预，同时允许与未命名的对象进行交互，证明它不会无差别地避开所有物体。
分布外（OOD）泛化： 通用过滤器表现出对未见约束的部分迁移能力：
- 安全抓取/擦拭： 当在未见的物体类型（如摩卡壶、黄色书籍）上进行测试时，性能出现退化，碰撞率上升。
- 堆叠方块： 过滤器对未见的颜色（仅颜色偏移）泛化良好，但当形状和颜色同时未见时，性能下降。分析表明，过滤器依赖于颜色和形状线索；当提示词指定的形状在场景中不存在时（例如，场景中只有圆柱体，但提示词为“立方体”），过滤器仍能基于颜色识别目标，尽管准确度有所下降。
VLM 可靠性： 对 11 个 VLM 作为失败先知的评估显示，虽然某些模型（如 Gemini Robotics-ER 1.6）实现了较高的非失败准确率，但它们经常无法检测到真实的安全性违规（低失败准确率）。这表明目前的 VLM 还不足以直接作为运行时的失败先知，但可以作为学习失败函数的弱标注器。

重要性与主张

本文声称展示了通往通用安全过滤器的路径，这种过滤器可以适应多样化的、由语言指定的安全要求，而无需为每个规范开发单独的模型。作者认为，单一的学习型安全评论家可以表示多种约束，从单个指令中组合主动约束，并能泛化到属于同一家族的未见约束实例。

这项工作表明，安全过滤器可以经历与通用 VLA 策略类似的转型：从固定的、针对特定规范的监控器，转向通用的、以规范为调节的执行机制。这使得安全过滤器可以进行大规模训练，并能适配下游任务，类似于通用策略的发展。

然而，作者对当前技术现状保持谦逊。他们承认：

通用过滤器不能保证完全满足约束，特别是在 OOD 条件下。
当约束在训练期间未被观察到时，性能会下降。
目前的方法局限于特定类型的约束（避免/接近），尚未处理复杂的时序逻辑或完全任意的安全规范。
当前的 VLM 不足以作为直接的运行时先知来定义失败集。

论文总结道，虽然所提出的框架在部分迁移和泛化方面显示出潜力，但仍需进一步研究，以改进标记聚合策略、将 VLA 主干网络与安全评论家进行联合微调，并开发更鲁棒的方法来处理模糊或复杂的语言约束。