Learning to maintain safety through expert demonstrations in settings with unknown constraints: A Q-learning perspective

本文提出了一种名为 SafeQIL 的安全 Q 逆约束强化学习算法，通过在奖励与未知约束下的安全评估之间建立混合期望，利用 Q 值量化状态动作对的“潜力”，从而在未知约束环境中从专家演示中学习出既能最大化高回报轨迹概率又能确保安全性的策略。

要点

这篇论文介绍了一种名为 SafeQIL 的新方法，旨在教人工智能（AI）如何在不知道具体规则的情况下，通过观察“专家”的操作来学会安全地完成任务。

为了让你更容易理解，我们可以把这个问题想象成教一个新手司机开车，而这位新手司机从未拿过驾照，也没人告诉他具体的交通法规（比如哪里不能超速、哪里不能压线）。

1. 核心难题：看不见的“隐形墙”

想象一下，你给这位新手司机看了一段专家司机的行车录像（演示数据）。专家开得既快又稳，从未出过事故。

• 已知：你能看到专家怎么打方向盘、踩油门（动作），以及沿途的风景（状态）。
• 未知：你不知道具体的交通规则是什么。比如，专家为什么在那个路口突然减速？是因为前面有坑？还是因为那是限速区？这些“约束条件”是隐形的。

传统的 AI 学习方法有两种极端：

1. 太保守：新手只敢在专家走过的路上走，一步都不敢跨出去。一旦遇到新路，他就完全不敢动了。
2. 太激进：新手为了追求更快的速度（高奖励），可能会尝试走一些专家没走过的“捷径”。但这些捷径可能隐藏着巨大的危险（比如悬崖），因为 AI 不知道那里有“隐形墙”。

2. SafeQIL 的解决方案：给地图加上“安全滤镜”

SafeQIL 的核心思想是：不要试图去猜测具体的交通规则是什么，而是直接给 AI 的“大脑”（Q 值函数）装上一个“安全滤镜”。

我们可以用以下三个比喻来理解它的工作原理：

比喻一：Q 值 = “前途评分卡”

在 AI 的世界里，它每做一个动作，都会计算一个“前途评分”（Q 值）。这个分数通常代表“这样做能赚多少钱”。

• 传统做法：只算钱。如果前面有个悬崖，但悬崖边有宝藏，AI 可能会为了宝藏跳下去。
• SafeQIL 的做法：把“安全”也折算进分数里。
  • 如果专家走过这里，说明这里安全，分数就高。
  • 如果专家没走过，AI 会想：“这里我不确定安不安全，先打个低分，甚至扣分。”
  • 关键点：它不是简单地禁止 AI 去没走过的地方，而是给那些地方贴上“高风险、低分”的标签。如果 AI 发现有一条新路虽然没被专家走过，但能通向安全地带，它也会尝试，但会非常谨慎。

比喻二：判别器 = “老练的教练”

SafeQIL 训练了一个“老练的教练”（判别器 Discriminator）。

• 每当 AI 想做一个动作，教练就会看一眼：“嘿，这个动作像不像专家做过的？”
• 如果像，教练说：“好，继续，这是安全的。”
• 如果不像，教练会立刻发出警告：“停！这里很危险，你的得分要大打折扣！”
• 这个教练不需要知道具体的交通规则，它只需要认得专家的样子。只要 AI 的行为偏离了专家的“安全区”，教练就会通过降低分数来阻止它。

比喻三：动态的“安全天花板”

这是 SafeQIL 最巧妙的地方。

• 对于专家走过的路，AI 可以大胆地优化，追求更高的效率（就像在高速公路上加速）。
• 对于专家没走过的路（未知区域），SafeQIL 给 AI 设定了一个**“安全天花板”**。
  • 想象一下，AI 在未知区域探索时，头顶有一块板子。这块板子的高度，是由“离专家最近的那条安全路线”决定的。
  • 如果 AI 想飞得比这块板子还高（即获得比专家更高的奖励），它必须非常小心，因为板子会压下来，告诉它：“别太贪心，这里可能不安全。”
  • 这样，AI 既不会完全不敢动（因为它知道只要不超过天花板就是安全的），也不会盲目冒险（因为天花板限制了它的上限）。

3. 实验结果：它真的管用吗？

研究人员在四个模拟任务中测试了 SafeQIL，比如让小车在充满障碍物的迷宫里找目标，或者让机械臂推箱子。

• 对比对象：
  • 传统 ICRL：试图猜出所有规则，结果往往猜错了，导致要么太保守（动不了），要么太激进（撞车）。
  • SAC-GAIL：模仿专家，但缺乏对未知危险的警惕，容易在没见过的地方出事。
• SafeQIL 的表现：
  • 它在保持任务完成度（比如到达目的地）的同时，极大地减少了事故（撞墙、违规）。
  • 特别是在复杂的、充满障碍的任务中，SafeQIL 就像是一个**“既聪明又谨慎”的司机**：它知道什么时候该加速，什么时候该为了安全而减速，而且它不需要有人手把手教它具体的交通规则，它自己就学会了“哪里看起来像专家走过的路，哪里看起来像危险区”。

总结

这篇论文提出了一种**“不求甚解，但求安全”**的 AI 学习策略。

它不试图去破解人类专家脑子里复杂的规则（比如“红灯停”），而是通过观察专家的行为，给 AI 建立一个动态的安全边界。在这个边界内，AI 可以自由发挥、追求高效；一旦越界，它就会被“安全滤镜”拉回来。

一句话概括：SafeQIL 就像给 AI 装了一个**“基于经验的直觉雷达”**，让它能在不知道具体规则的情况下，也能像老司机一样，在充满未知的道路上安全行驶。

技术摘要

1. 研究背景与问题定义 (Problem Statement)

核心问题：
在约束马尔可夫决策过程（CMDP）中，智能体需要在执行任务时满足安全约束。然而，在许多现实场景中，约束条件（Cost functions）是未知的，且无法显式地提供给智能体。智能体只能通过观察专家的安全演示轨迹（Demonstrations）来学习。

现有挑战：

• 保守性与探索的权衡： 如果智能体过于保守，它可能只模仿演示轨迹，无法在未见过的状态中恢复安全或探索高奖励区域；如果过于激进，它可能会为了高奖励而进入安全性未知的区域，导致灾难性后果。
• 轨迹级评估的局限性： 现有的逆约束强化学习（ICRL）方法通常试图推断约束函数或评估整个轨迹的安全性。这种方法往往过于严格（只要轨迹中有一步不在演示分布内就被视为不安全），或者无法在轨迹的中间步骤提供细粒度的安全恢复指导。
• 奖励与安全的混合： 如何在最大化任务奖励的同时，确保在未知约束下的安全性，是一个未解决的难题。

本文目标：
提出一种方法，能够学习一个策略，在最大化演示轨迹似然性的同时，平衡保守性与高奖励探索。该方法不旨在显式恢复约束集，而是直接学习一个策略，使其在状态 - 动作对（State-Action Pairs） 的层面评估“承诺（Promise）”，即结合任务奖励和安全性的 Q 值。

---

2. 方法论：SafeQIL (Methodology)

作者提出了 SafeQIL (Safe Q-Inverse Constrained Reinforcement Learning) 算法。其核心思想是将逆约束学习问题转化为一种基于 Q 值的安全强化学习问题，结合了 Soft Actor-Critic (SAC) 和判别器（Discriminator）。

2.1 核心概念：混合奖励的 Q 函数

作者定义了一个混合了“任务奖励” ($r_d$) 和“安全奖励” ($r_s$) 的 Q 函数：

• 任务奖励 ($r_d$)： 环境提供的标准奖励。
• 安全奖励 ($r_s$)： 基于判别器对状态安全性的估计。如果状态在专家演示分布内（安全），则给予正奖励或零惩罚；如果在分布外（可能不安全），则给予负惩罚（$r_s(s) = \log(\phi_\omega(s))$，其中 $\phi_\omega$ 是判别器输出的概率）。
• Q 值定义： $Q^\pi(s, a)$ 是未来混合奖励的期望和。这使得 Q 值不仅反映任务性能，还反映状态的安全性。

2.2 关键约束：上界限制 (Upper Bound Constraint)

这是 SafeQIL 的核心创新。对于不在演示分布支持集（Support）内的状态 - 动作对 $(s, a)$，其 Q 值必须受到限制：
$$Q(s, a) \preceq \min_{(s', a') \in \text{supp}_E} \{Q(s', a')\}$$
即，未知状态下的 Q 值不应超过演示轨迹中“最保守”的安全状态 - 动作对的 Q 值。这防止了智能体对未知区域产生过高的乐观估计（Over-optimism），从而避免不安全行为。

2.3 算法架构

SafeQIL 基于 Soft Actor-Critic (SAC) 框架，并引入了以下组件：

1. 判别器 (Discriminator, $\phi_\omega$)： 估计当前状态属于专家演示分布的概率。用于计算安全奖励 $r_s$ 和判断状态是否在分布内。
2. 双 Critic 网络 ($Q_{\phi_1}, Q_{\phi_2}$)： 学习混合奖励的 Q 值。
3. Actor 网络 ($\pi_\theta$)： 策略网络，最大化熵正则化的目标。
4. 损失函数设计：
   • 分布内样本 (In-distribution)： 使用标准的 SAC 贝尔曼更新，最大化任务奖励。
   • 分布外样本 (Out-of-Distribution, OOD)：
     • 引入约束损失项：强制 OOD 状态的 Q 值不超过从演示缓冲区中找到的“最接近”的安全状态 - 动作对的 Q 值上界。
     • 引入安全惩罚项：直接对 OOD 状态施加基于判别器的负奖励。
   • 上界锚定 (Upper Bound Anchoring)： 对于 OOD 状态，算法会在演示缓冲区中通过余弦相似度寻找最接近的状态，将其 Q 值作为该 OOD 状态 Q 值的局部上界目标。

2.4 训练流程

1. 收集在线交互数据到回放缓冲区 $B$，专家演示数据存储在 $D$。
2. 采样 $B$ 和 $D$ 中的数据进行更新。
3. 更新判别器以区分 $B$ 和 $D$ 中的状态。
4. 更新 Critic：
   • 对于 $B$ 中的 OOD 状态，计算其 Q 值上界（基于 $D$ 中最近邻的 Q 值），并施加约束损失。
   • 对于 $B$ 中的 ID 状态和 $D$ 中的样本，进行标准更新。
5. 更新 Actor 以最大化软 Q 值。

---

3. 主要贡献 (Key Contributions)

1. 问题形式化： 将基于专家演示的安全策略学习形式化为一个逆约束强化学习问题，其目标函数严格基于包含安全性评估的 Q 值，而非显式恢复约束函数。
2. SafeQIL 算法： 提出了一种新的算法，通过状态级别（State-level）的悲观主义（Pessimism） 来约束 Q 值。它利用演示数据定义支持集，并通过判别器门控更新，同时利用上界限制防止对未知状态的过度乐观。
3. 理论保证： 证明了在特定假设下（安全状态奖励非正），该不等式约束能确保未知状态下的 Q 值不会超过已知安全状态的最小 Q 值，从而在理论上支持安全恢复。
4. 广泛的实验验证： 在 4 个 Safety-Gymnasium 基准任务（涵盖导航和物体交互）上进行了评估，证明了其在复杂约束下的有效性。

---

4. 实验结果 (Experimental Results)

作者在 Safety-Gymnasium 的四个任务上（SafetyPointGoal1, SafetyPointCircle2, SafetyCarButton1, SafetyCarPush2）将 SafeQIL 与以下基线进行了对比：

• ICRL / VICRL: 现有的逆约束强化学习算法（试图推断约束）。
• SAC-GAIL: 基于 GAIL 的对抗模仿学习（SAC + 判别器奖励）。
• SAC / PPO: 无约束的基线算法。

关键发现：

• 安全性显著提升： SafeQIL 在所有任务中均显著降低了安全成本（Safety Cost）。
  • 在 SafetyPointGoal1 中，相比无约束 SAC，成本降低了 30.4%，而 ICRL 和 VICRL 甚至导致成本增加。
  • 在 SafetyPointCircle2 中，SafeQIL 实现了 92% 的成本降低，接近 VICRL 的最佳安全表现（98%），但任务奖励远高于 VICRL（VICRL 为了安全牺牲了过多性能，甚至导致任务失败）。
• 鲁棒的权衡（Trade-off）：
  • 在复杂的交互任务（如 SafetyCarButton 和 SafetyCarPush）中，VICRL 往往因为过度保守导致任务完全失败（负奖励），而 SafeQIL 在保持严格安全边界的同时，维持了正的任务性能或最小的性能损失。
  • 相比 SAC-GAIL，SafeQIL 在极端安全要求下提供了更紧的安全边界（更低的 worst-case cost）。
• 消融实验： 证明了“余弦相似度锚定”、“约束项”和"OOD 惩罚项”对于算法的稳定性至关重要。移除约束项会导致成本方差剧增。
• 数据集敏感性： 有趣的是，随着演示数据量的增加（从 1x 到 8x），部分基线算法（特别是 ICRL/VICRL）性能反而下降，这归因于人类演示的多模态性和漂移（Drift）。SafeQIL 在小数据集上表现最佳，显示出对数据质量而非数量的依赖。

---

5. 意义与结论 (Significance & Conclusion)

学术意义：

• 范式转变： 本文提出了一种不依赖显式约束推断的 ICRL 新范式。通过直接在价值函数（Q 值）层面引入基于演示支持集的悲观约束，避免了约束推断中的模糊性和校准问题。
• 状态级安全： 与传统的轨迹级安全评估不同，SafeQIL 提供了细粒度的状态级安全指导，使智能体能够在偏离安全路径时“恢复”到安全状态，而不仅仅是避免偏离。

实际应用价值：

• 该方法适用于约束未知且安全至关重要的场景（如机器人操作、自动驾驶）。
• 它证明了在缺乏明确约束定义的情况下，利用少量高质量的人类演示，结合现代强化学习（SAC），可以训练出既安全又高效的策略。

局限性：

• 依赖于演示数据的覆盖度和质量。如果演示数据未能覆盖某些关键的安全区域，算法可能无法学习到正确的安全边界。
• 判别器在极度离分布（OOD）区域可能存在校准误差。
• 当前使用简单的最近邻搜索来锚定上界，未来可探索更鲁棒的嵌入表示。

总结：
SafeQIL 通过巧妙地将安全约束转化为 Q 值的局部上界限制，成功解决了未知约束下的安全强化学习难题。它在保证安全性的同时，避免了现有方法常见的过度保守或任务失败问题，为安全关键型 AI 系统的开发提供了强有力的工具。