🤖 machine learning

Model-Based Proactive Cost Generation for Learning Safe Policies Offline with Limited Violation Data

本文介绍了 PROCO，这是一种基于模型的离线安全强化学习框架，它利用大语言模型将自然语言知识锚定到保守的成本函数中，从而能够生成反事实的不安全样本，并在训练数据缺乏已观测违规的情况下学习安全策略。

原作者： Ruiqi Xue, Lei Yuan, Kainuo Cheng, Jing-Wen Yang, Yang Yu

发布于 2026-05-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Ruiqi Xue, Lei Yuan, Kainuo Cheng, Jing-Wen Yang, Yang Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教机器人开车。通常教机器人的方法是让它四处行驶、犯错、撞向物体，并从这些碰撞中学习。但在现实世界中，你不能为了让机器人看看会发生什么，就让它撞墙或撞向行人。那太危险了。

因此，取而代之的是，你给机器人提供一个由人类驾驶员收集的驾驶日志数据集，这位人类驾驶员非常谨慎，并且从未发生过碰撞。机器人只看到“安全”的驾驶。

问题：“差点撞车”的陷阱
这里有个棘手之处：仅仅因为机器人在数据中从未见过碰撞，并不意味着它知道碰撞在发生前看起来是什么样。

想象一辆车正朝墙壁驶去。在数据集中，人类驾驶员总是在即将撞上墙壁前的那一刻踩下刹车。机器人看到的是汽车安全停下。但机器人没有意识到，如果它没有踩刹车，两秒钟后就会撞车。它会想：“哦，以这个速度开没问题！”因为它从未见过碰撞。

这就是本文要解决的核心问题：当你没有危险的例子，只有人们勉强避开危险的例子时，如何教授安全性？

解决方案：PROCO（“如果……会怎样”模拟器）
作者提出了一种名为PROCO的新方法。把它想象成一个安全教练，它使用两个主要工具：水晶球（一个描述世界如何运作的模型）和安全手册（由超级智能 AI 编写）。

以下是其工作原理，分步说明：

1. 水晶球（动力学模型）

首先，机器人从安全的驾驶日志中学习一个“水晶球”。这并非魔法；它是一个数学模型，用于预测：“如果我在这里，并以这种方式转动方向盘，下一秒我会在哪里？”

类比：这就像飞行模拟器。机器人学习汽车的物理特性，从而能够想象未来的场景，而无需实际驾驶它们。

2. 安全手册（大语言模型成本函数）

接下来，机器人需要知道什么是“不安全”。由于没有碰撞数据，研究人员请大语言模型（LLM）——一种能够阅读和理解人类语言的超级智能 AI——来编写一本“安全手册”。

提示词：他们告诉 LLM：“规则是：不要撞墙。但请务必格外谨慎。如果你靠近墙壁，就把它当作已经撞上了。”
结果：LLM 编写了一个计算机函数（一段代码），作为“成本函数”。它不仅对撞墙赋予高“惩罚分数”，对危险地靠近墙壁也赋予高惩罚分数。这就创建了一个“安全缓冲区”。

3. “如果……会怎样”游戏（主动推演）

现在到了巧妙之处。机器人利用其水晶球，从它拥有的安全数据出发模拟向前行驶。它会问：“如果我从这个安全点继续直行，会发生什么？”

由于安全手册的存在，模拟器知道靠近墙壁是危险的。
模拟器运行这些“如果……会怎样”的场景，并生成虚假的碰撞数据。它创建了成千上万个“差点撞车”和“碰撞”的示例，这些在现实中从未实际发生，但在数学上被预测为会发生。

4. 从虚假数据中学习

最后，机器人在这个新的混合数据集上进行训练：

原始的真实安全数据。
由水晶球生成并由安全手册标记的模拟“碰撞”数据。

通过在这些模拟的危险中进行训练，机器人学会了识别“危险区域”（即会导致碰撞的状态），并学会远离它们，即使它在现实生活中从未真正撞过车。

为什么这更好？

旧方法：如果你只向机器人展示安全数据，它可能会认为“在墙边快速行驶是安全的”，因为它从未见过碰撞。当部署时，它可能会漂入危险区域并发生碰撞。
PROCO 方法：它主动创建它需要从中学习的危险场景。它实际上是在说：“我知道我还没撞车，但我的水晶球告诉我，如果我现在不减速，我就会撞车。”

结果

作者在 17 个不同的机器人任务（如驾驶汽车、移动机械臂或游泳）上测试了这种方法。

他们将 PROCO 与其他试图从同样的“仅安全”数据中学习安全性的先进方法进行了比较。
结果：PROCO 的表现显著更好。在许多情况下，与其他方法相比，它将安全违规（碰撞）减少了超过400%。它学会了更可靠地保持安全，因为它能够“看到”其他方法无法看到的未来危险。

简而言之：PROCO 是一种通过让机器人利用模拟器和智能语言指南玩“如果……会怎样”游戏来教导机器人保持安全的方法，从而使它学会避免那些它从未真正经历过的灾难。

技术摘要：基于模型的主动成本生成，用于在有限违规数据下离线学习安全策略

1. 问题陈述

安全强化学习（RL）旨在推导满足预定义安全约束的策略，这对于自动驾驶和机器人等应用至关重要。虽然离线安全 RL 提供了一种从预收集数据集中学习而无需冒险在线探索的范式，但现有方法在高 stakes 场景中面临一个根本性局限：不安全样本的稀缺或完全缺失。

在许多实际的数据收集过程中（例如机器人操作），外部干预往往阻止智能体到达不安全状态，导致数据集几乎完全由安全轨迹组成。传统的离线安全 RL 方法依赖于从丰富的不安全样本中学习成本价值函数以定义安全边界，在此设定下会失效。它们倾向于将所有观测数据视为均匀安全，忽视了“安全但不可行”的状态——即当前满足约束但因动力学（例如惯性）而在几步内必然违反约束的状态。这一疏忽导致策略部署失败，智能体漂移至不安全区域。

核心挑战是：当不安全样本稀缺或完全缺失时，我们如何离线学习安全策略？

2. 方法论：PROCO

作者提出了PROCO（基于模型的主动成本生成），这是一个基于模型的离线安全 RL 框架，旨在识别不可行状态，并从几乎没有或完全没有不安全样本的数据集中学习安全策略。该方法整合了三个关键组件：

A. 大语言模型辅助的保守成本函数生成

为了弥补缺乏不安全数据造成的差距，PROCO 利用大语言模型（LLM）将自然语言知识融入学习过程。

输入：LLM 接收任务信息（ $L_{task}$ ）、安全约束的自然语言描述（ $L_{cost}$ ）以及明确的指令（ $L_{inst}$ ），以生成一个比严格约束定义更保守的成本函数。
输出：一个 Python 函数 $\bar{c}$ ，将状态标记为不安全（1）或安全（0）。
验证与反馈循环：由于 LLM 输出可能不可靠，PROCO 采用了一种验证机制：
1. 安全检查：生成的成本函数针对一小部分已知不安全样本（ $D_{unsafe}$ ， $\le 100$ 个样本）进行验证。它必须在此类样本上达到 100% 的准确率，以确保不遗漏任何已知的不安全状态。
2. 保守性检查：该函数在安全数据集（ $D$ ）上进行评估。测量被标记为不安全的安全样本比例。如果该比例落在超参数控制的范围 $[p_{min}, p_{max}]$ 内，则接受该函数。
3. 细化：如果函数过于保守或不够保守，则生成反馈描述（ $L_{feed}$ ）并反馈给 LLM 以细化成本函数。

B. 基于动力学模型的可行性识别

PROCO 从离线数据中学习一个集成动力学模型 $\hat{T}$ 。为了在不观测到违规的情况下识别不可行状态，它执行分支模型 rollout：

从离线数据样本开始，模型模拟未来轨迹。
引入一个保守可行 Bellman 算子（ $\bar{B}^*$ ）。与标准算子不同， $\bar{B}^*$ 考虑动力学模型集成中的最坏情况转换，以确保对模型不确定性的鲁棒性。
该过程主动生成多样化的反事实不安全样本。通过将靠近实际不安全状态的状态标记为不安全（通过保守成本函数），该方法有效地缩短了从不可行状态到不安全状态的转换步数，减少了模型误差对可行性识别的影响。

C. 策略学习流程

数据增强：利用学习到的动力学模型 $\hat{T}$ 和保守成本函数 $\bar{c}$ 执行模型 rollout。根据 $\bar{c}$ 包含安全违规的轨迹被添加到合成数据集 $D_{\hat{T}}$ 中。
重标记：使用 $\bar{c}$ 对离线数据集 $D$ 进行约束违规成本的重标记。
价值函数更新：算法使用组合数据集（ $D \cup D_{\hat{T}}$ ）更新约束违规价值函数（ $V_h$ ）和动作价值函数（ $Q_h$ ）。它采用反向期望回归来近似可行 Bellman 更新中的最小化算子。
策略优化：使用原始离线数据集 $D$ 更新策略，由从增强数据中学习到的成本评论家引导。

3. 主要贡献

问题形式化：本文识别并形式化了从“仅安全”数据集中学习安全策略的挑战，即在缺乏不安全样本的情况下，不可行状态与不可区分于安全状态。
知识与数据整合：它引入了一个新颖的框架（PROCO），将自然语言安全规范（通过 LLM）与实证离线数据相结合，以生成保守成本函数，从而在未见违规的情况下进行风险评估。
主动可行性识别：通过结合学习到的动力学模型与保守成本函数，PROCO 合成反事实不安全样本以识别不可行状态，解决了现有方法中“安全但不可行”的盲点。
理论保证：作者提供了理论分析（定理 4.8），证明将 PROCO 与任何基线离线安全 RL 算法集成，即使在不假设模型误差幅度的情况下，也不会因安全价值低估而降低安全性能。

4. 实验结果

作者在 Safety-Gymnasium 基准测试（导航和速度任务）的 17 个任务上评估了 PROCO，使用 OSRL 数据集，具体通过移除所有不安全数据来构建“仅安全”数据集。

性能：在仅安全数据集上，PROCO 显著优于原始离线安全 RL 算法（FISOR、LSPC、CAPS）和行为克隆基线（BC、CDT）。
- 它在各种算法中实现了**超过 400%**的安全性能提升，部分任务提升幅度超过 1000%。
- 在"Ant Circle"案例研究中，PROCO 成功识别了安全边界附近的不可行状态，并实现了零安全违规，而基线方法未能区分可行与不可行状态，导致了大量违规。
鲁棒性：即使可用不安全数据量极其有限（例如原始不安全数据集的 10%），该方法仍然有效。
消融研究：
- 移除动力学模型或保守成本函数生成会导致安全性能显著下降。
- LLM 生成成本函数的反馈机制对于达到所需的保守水平至关重要。
- 该方法在不同 LLM（GPT-o4-mini、Gemini 2.5 Pro）之间表现出稳定性，尽管性能略有差异。

5. 意义与主张

本文声称，PROCO 解决了在现实世界的高 stakes 环境中部署安全 RL 的关键瓶颈，在这些环境中收集不安全数据是不可行或危险的。通过利用 LLM 将自然语言安全约束转化为保守成本函数，并利用模型 rollout 主动探索潜在故障，PROCO 使得从原本不足以支持安全关键决策的数据集中学习安全策略成为可能。

作者强调，他们的方法不需要不安全样本即可学习安全策略，使其适用于通过人类遥操作或防止碰撞的外部干预收集数据的场景。他们得出结论，虽然该方法目前依赖于基于状态的观测和 LLM，但它代表了迈向知识驱动的离线安全 RL 的重要一步。建议未来的工作利用视觉 - 语言模型（VLM）将此扩展至视觉任务。