技术摘要：TraCeS

问题陈述

在强化学习（RL）中，当安全约束是隐式的、无法测量的或在训练期间不可用时，确保行为安全性具有挑战性。在许多安全至上的领域（如机器人、自动驾驶），硬编码的约束和人工设计的代价函数往往过于脆弱，难以泛化到依赖上下文的情景中。此外，密集的每步监督通常是不可得的；相反，监督仅限于粗粒度的、稀疏的二元标签，用于指示整个轨迹（或其前缀）是否保持在未知的安全阈值之内。

核心难点在于信用分配问题（credit assignment problem）：轨迹级的标签（例如“拒绝”）表明发生了违规，但并未指明是何时或哪些具体行为导致了违规。标准的受限马尔可夫决策过程（CMDP）方法假设可以访问已知的每步代价函数及其阈值，而这在此场景下并不成立。本文研究的是这样一种设定：智能体必须从稀疏的轨迹级接受/拒绝标签中学习安全策略，且对底层的代价函数 $C$ 或约束阈值 $b$ 一无所知。

方法论：TraCeS

作者提出了 TraCeS（基于轨迹的约束估计用于安全性），该框架通过一个迭代循环来学习从稀疏轨迹级标签中提取的每步违规信用。该方法由三个主要部分组成：

1. 顺序违规估计器 (Sequential Violation Estimator)

TraCeS 训练一个顺序估计器，将稀疏的二元反馈分解为密集的每步违规信用。

• 单调违规抽象 (Monotone Violation Abstraction)： 该方法假设存在单调违规结构（假设 3.1）：一旦轨迹违反了约束，它在之后将持续处于违规状态。这意味着“尚未违规”的概率随时间推移是非增的。
• 因子分解 (Factorization)： 估计器预测轨迹前缀 $\tau_{0:t}$ 尚未违反约束的概率，记作 $\hat{P}(\psi_{0:t}=1 | \tau_{0:t})$。该概率被分解为每步乘性信用：
  $$\hat{P}(\psi_{0:T-1}=1 | \tau_{0:T-1}) = \prod_{t=0}^{T-1} \hat{P}^\Delta_t$$
  此处，$\hat{P}^\Delta_t$ 代表在通过增加一步来扩展前缀时，非违规概率的变化。显著小于 1 的值表示该步骤诱发了安全概率的剧烈下降，从而有效地定位了违规信用。
• 架构 (Architecture)： 估计器使用共享编码器 $f_w$ 来维护前缀的摘要向量 $h_t$，并使用解码器 $g_w$ 输出对数正态分布的参数。采样的对数信用被限制为非正值 ($\log \hat{P}^\Delta_t \le 0$)，以确保累积概率不会增加。
• 训练 (Training)： 估计器使用针对轨迹或前缀的稀疏二元标签（接受/拒绝）的二元交叉熵损失进行训练，将其视为对未知标注规则 $\Psi(\cdot)$ 的极大似然估计。

2. 受限策略优化 (Constrained Policy Optimization)

一旦估计器学习了每步信用，TraCeS 会将其集成到标准的 CMDP 求解器中。

• 代理代价 (Surrogate Cost)： 估计的对数信用被转化为代理代价：$\tilde{C}_t = -\log \hat{P}^\Delta_t \ge 0$。
• 约束重构 (Constraint Reformulation)： 原有的机会约束（要求合格轨迹的概率至少为 $d$）被近似处理。利用 Jensen 不等式，作者推导出了一个可处理的下界，将乘性约束转换为加性形式：
  $$\mathbb{E}_{\tau \sim \pi_\theta} \left[ \sum_{t} \tilde{C}_t \right] \le -\log d$$
  这种重构允许使用标准的受限 RL 算法（例如 PPO-Lagrangian）配合学习到的代理代价进行优化，即使真实的代价函数是未知的。
• 理论保证 (Theoretical Guarantee)： 论文提供了关于 Jensen 不等式引入的近似差距的界限，表明随着估计器变得更加稳定以及预测的非违规概率的方差减小，该差距会缩小。

3. 主动轨迹选择 (Active Trajectory Selection)

为了减少标注负担，TraCeS 采用基于不确定性的策略来选择哪些轨迹需要进行标注。

• 变异系数 (Coefficient of Variation, CV)： 该方法计算估计器采样噪声下的轨迹级代理代价的 CV。具有高 CV（表示估计器预测的高离散度或不确定性）的轨迹会被优先进行标注。这使得标注工作集中在估计器最不确定的展开路径上，从而提高了数据效率。

核心贡献

1. 问题形式化： 本文在单调违规抽象下，形式化了从稀疏轨迹级标签中学习安全策略的问题，解决了代价函数和阈值均未知的间隙问题。
2. 方法 (TraCeS)： 一种新型顺序估计器，通过将轨迹级可接受性分解为每步违规信用，实现了将粗粒度二元反馈转化为与标准 CMDP 求解器兼容的密集代理代价信号。
3. 理论与评估：
   • 对 Jensen 不等式下界引入的近似差距进行了理论分析。
   • 在 12 个连续控制任务（Safety Gymnasium, MuJoCo, Bullet Safety Gym）上进行了实证验证。
   • 展示了在低数据量、标签噪声以及人类反馈设置下的鲁棒性。

实验结果

作者将 TraCeS 与以下基准方法进行了对比：

• Oracle 方法： PPO-Lagrangian 和 CPPO-PID（假设已知代价和阈值）。
• 部分知识方法： RLSF（学习代价但假设已知阈值）。
• 零知识基准： 一个尝试从头开始学习代价和阈值的代价-阈值 (C-T) 基准。

主要发现：

• 约束满足： 尽管对代价或阈值一无所知，TraCeS 仍能可靠地学习满足安全约束（代价 $\le$ 阈值）的策略。
• 标签效率： TraCeS 比零知识 C-T 基准具有显著更高的标签效率，只需极少的标注轨迹即可收敛到安全策略。
• 性能： TraCeS 在多个任务上实现了与部分知识方法 (RLSF) 相当的奖励-安全性权衡，并在某些任务上接近 Oracle 方法的表现。
• 定位能力： 定性分析表明，学习到的每步信用能够准确地定位违规事件，即在 Oracle 累积代价跨越阈值的时刻附近达到峰值，而不是将代价均匀分布。
• 鲁棒性： 该方法在适度标签噪声（高达 10-20%）和低数据量（例如 1000 个标注轨迹）下依然有效。在 HalfCheetah 上的小规模研究中，它在人类反馈环境下也表现良好。

意义与主张

本文声称，TraCeS 为在缺乏形式化规范时，使 RL 智能体与隐式及依赖上下文的约束相对齐提供了一条切实可行的路径。通过将粗粒度的接受/拒绝监督转化为每步违规信用，TraCeS 能够在不需要手工设计代价函数或已知阈值的情况下，使用标准的受限优化机制。

作者强调，学习到的信用旨在作为控制相关的安全代理 (control-relevant safety surrogates)，而非旨在识别性地恢复隐藏的真实代价。该方法对于那些安全性由复杂、动态因素定义的场景尤为重要（例如，避开一个坑洞可能需要临时的车道偏移），因为这些因素很难编码为固定的代价函数，但人类或监控器可以根据整条轨迹判断其为“可接受”或“不可接受”。

这项工作表明，通过带有主动选择功能的顺序估计器处理稀疏的轨迹级反馈，可以有效地弥合高层安全判断与底层策略优化之间的鸿沟。