🤖 machine learning

Safe In-Context Reinforcement Learning

本文介绍了 SCARED，这是首个通过精确惩罚对偶方法使智能体在不更新参数的情况下适应分布外任务，同时严格遵循用户指定的安全预算，从而确保上下文强化学习安全性的方法。

原作者： Amir Moeini, Minjae Kwon, Alper Kamil Bozkurt, Yuichi Motai, Rohan Chandra, Lu Feng, Shangtong Zhang

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Amir Moeini, Minjae Kwon, Alper Kamil Bozkurt, Yuichi Motai, Rohan Chandra, Lu Feng, Shangtong Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位才华横溢的机器人学徒。你已在课堂上（预训练）花费数月时间，用成千上万种不同的谜题训练这位学徒。现在，你派遣这位学徒进入现实世界，去解决它从未见过的全新谜题。

问题：“测试时”陷阱
通常，当机器人遇到新谜题时，它会试图通过调整内部大脑设置（更新参数）来即时学习。但在现实世界中，这充满风险。想象一个机器人学习驾驶汽车；如果它试图通过撞几次墙来“学习”规则，那将是一场灾难。此外，有时机器人的硬件过于简单，无法在驾驶过程中执行复杂的数学更新。

现有方案：“上下文”学习
一种名为**上下文强化学习（ICRL）**的新方法解决了“学习”问题，而无需改变大脑。机器人无需更新其内部代码，只需查看其近期历史。这就像人类阅读手册：“哦，我刚才撞到了墙，所以下次我应该左转。”随着收集到更多历史，机器人会变得更聪明，而无需重写其自身软件。

缺失的一环：安全性
该论文指出了一个巨大的缺口：虽然这种“阅读手册”的方法很棒，但没有人弄清楚如何确保机器人在阅读手册时保持安全。如果机器人正在学习穿越一个新的迷宫，它可能在试图找出出口时，意外地走进火坑。我们需要一种方法来告诉机器人：“你可以探索，但必须将‘危险点数’控制在特定的预算内。”

解决方案：SCARED
作者提出了一种名为SCARED（基于精确惩罚对偶的安全上下文自适应强化）的新方法。将 SCARED 想象为一位严格但乐于助人的安全主管，它随机器人同行。

以下是 SCARED 的工作原理，使用简单的类比：

安全预算（钱包）：
想象机器人有一个装有固定数量“安全资金”（预算）的钱包。每次机器人做有风险的事情（例如靠近障碍物），它就会花掉一点钱。如果钱花光了，它就陷入困境。SCARED 教导机器人完美地管理这个钱包。
“剩余成本”（剩余预算）：
机器人不仅查看还剩多少钱，还查看为旅程的剩余部分需要节省多少钱。这被称为“剩余成本”。
- 高预算： 如果用户给机器人巨大的安全预算，SCARED 会告诉机器人：“去吧！大胆点！你可以冒险以更快获得奖励。”
- 低预算： 如果用户给的预算很小，SCARED 会低语：“非常小心。慢慢移动。不要冒险。”
  机器人学会根据此预算调整其性格，而无需更改其大脑代码。
训练（模拟）：
在派遣机器人外出之前，SCARED 在模拟器中对其进行训练。它不仅仅教导机器人获胜，还教导机器人在保持安全预算内的情况下获胜。它使用一种数学技巧（“精确惩罚”），就像一笔巨额罚款。如果机器人在训练期间试图违反规则，这笔“罚款”将高得惊人，迫使机器人立即学会避免它。

结果：发生了什么？
作者在极具挑战性的场景中测试了 SCARED，在这些场景中，机器人必须在从未见过的障碍物中导航迷宫（分布外任务）。

优于竞争对手： 其他方法要么过于鲁莽（违反安全规则），要么过于谨慎（未能获得奖励）。SCARED 找到了完美的平衡点。
可适应： 当研究人员改变安全预算时，SCARED 立即改变其行为。它无需重新训练；只需查看新预算并调整策略即可。
稳健： 即使环境混乱，障碍物以奇怪、意想不到的模式放置，SCARED 也能保持机器人的安全与高效。

简而言之
这篇论文提出了一种方法，使 AI 智能体能够通过查看过去的经历来即时学习新任务，但内置了一条“安全牵引绳”。它确保智能体在弄清楚如何完成新工作时，永远不会跨越危险界限，并且只需更改一个数字，就能将其设定为谨慎的探索者或大胆的冒险者。

技术摘要：安全上下文强化学习（SCARED）

1. 问题定义

本文解决了**上下文强化学习（ICRL）**中的一个关键缺口。虽然 ICRL 允许智能体在不更新神经网络参数的情况下适应测试时新的、分布外（OOD）的任务（转而依赖不断扩展的交互历史上下文），但这种适应过程的安全性尚未得到探索。在现实世界的部署中（例如具身智能），智能体不仅必须最大化奖励，还必须在探索和适应阶段（而不仅仅是在最终策略中）遵守安全约束。

作者将这一问题形式化为CMDP 框架下的安全 ICRL。其目标是预训练一个策略 $\pi_\theta$ ，使其在测试时部署于新的 CMDP 上时：

智能体最大化期望累积奖励。
每个测试回合 $k$ 的期望累积成本 $G_c(\tau_k)$ 保持在用户指定的预算 $\delta$ 以下。
智能体仅通过上下文（交互历史）进行适应，而不进行任何参数更新（ $\theta$ 保持固定）。

挑战在于，现有的 ICRL 方法缺乏整合成本信号的机制，而现有的安全元强化学习方法依赖于参数更新，这与 ICRL 的“无参数更新”前提相矛盾，并可能导致灾难性遗忘。

2. 方法论：SCARED

作者提出了SCARED（基于精确惩罚对偶的安全上下文自适应强化），这是第一种专为 CMDP 框架下的安全上下文自适应而设计的方法。

核心机制

SCARED 采用在线强化预训练方法。SCARED 并非蒸馏现有的安全强化学习算法（这需要离线数据和模仿），而是优化网络以在尊重一系列 CMDP 的安全约束的同时最大化回报。

关键技术组件：

上下文条件化： 策略 $\pi(\cdot | S_t, H_t, G_{c,t})$ 以交互历史 $H_t$ 和**剩余成本（CTG）**为条件，CTG 定义为当前回合的剩余成本预算（ $G_{c,t} = \delta - \sum_{i=1}^t C_i$ ）。这使得智能体能够根据剩余的安全预算调整其行为。
精确惩罚对偶优化： 为了解决约束优化问题，SCARED 将原始问题转化为对偶形式。与为每个回合分配乘子的标准拉格朗日方法（导致不稳定和不均匀的更新）不同，SCARED 为所有回合采用单个拉格朗日乘子 $\lambda$ 。
修正的代理目标： 为了防止过度惩罚那些已经满足约束的回合，作者引入了一个使用正部算子 $[x]_+ = \max\{x, 0\}$ 的修正拉格朗日函数：
$\mathcal{L}_\Sigma(\pi, \lambda) = \mathbb{E}_\pi \left[ \sum_{k=1}^K G(\tau_k) \right] - \lambda \sum_{k=1}^K [g_k(\pi)]_+$
其中 $g_k(\pi) = \mathbb{E}_\pi[G_c(\tau_k)] - \delta$ 。
迭代更新： 该方法采用演员 - 评论家架构（实验中通过 DDPG 实现），并对策略和乘子进行迭代更新：
$\lambda_{t+1} = [\lambda_t + \eta \max_k g_k(\pi_{t+1})]_+$
这种更新方案确保 $\lambda$ 仅在违反约束时增加，从而稳定优化过程。

理论保证

本文证明，在标准正则性假设（有界性、连续性和零对偶间隙）下，SCARED 优化方案的固定点精确对应于原始约束问题的最优可行策略。这确保了该方法在最大化奖励的同时满足安全约束。

3. 实验设置与基准

为了严格评估 OOD 泛化能力，作者引入了超越简单插值的具有挑战性的基准：

SafeDarkRoom 与 SafeDarkMujoco： 网格世界和连续控制环境，其中障碍物和目标在预训练期间呈中心导向分布，而在测试期间呈边缘导向分布。这造成了显著的分布偏移（通过总变差距离和 KL 散度证明），需要真正的泛化能力。
SafeVelocity： 一种元强化学习风格的基准，其中目标速度在训练期间被保留，并在测试时进行评估。

基线方法：

安全算法蒸馏（Safe AD）： 一种强大的 ICRL 基线，它使用 Transformer 模仿离线安全强化学习轨迹，以返回至目标（RTG）和剩余成本（CTG）为条件。
安全元强化学习： 包括带惩罚的 MAML和SafeMeta，它们在评估期间通过参数更新进行适应。

4. 关键结果

在各个基准测试中，SCARED 在安全上下文自适应方面表现出卓越的性能：

涌现的安全学习： 随着交互历史（上下文）的增长，SCARED 持续提高累积奖励并降低回合成本。它在 OOD 设置中优于所有基线。
- Safe AD 在较简单的环境（SafeDarkRoom）中表现出有竞争力的性能，但在复杂的连续领域（SafeDarkMujoco, SafeVelocity）中性能下降，未能有效降低成本。
- 安全元强化学习 方法尽管进行了参数更新，却未能实现安全学习行为，这表明仅靠参数适应而没有跨回合交互历史是不够的。
基于预算的自适应： SCARED 积极对安全预算（CTG）做出反应。
- 较高的 CTG 目标会引发更激进的探索和更高的回报。
- 较低的 CTG 目标会引发保守的、以安全为重点的行为。
- 基线方法（Safe AD 和元强化学习）未能表现出这种一致的预算调整行为；它们的性能无法随变化的成本预算进行适当缩放。
消融实验洞察：
- 上下文长度： SCARED 受益于更长的上下文序列，而 Safe AD 的性能随着上下文变长而下降。这表明在此设置中，在线学习比离线蒸馏能更好地处理长期信用分配。
- 模型规模： SCARED 对模型规模的变化具有鲁棒性，而 Safe AD 对此高度敏感。
- 数据集规模： Safe AD 对数据集规模高度敏感，在数据有限的 OOD 任务上无法学习，而 SCARED 直接从环境交互中学习。

5. 意义与主张

本文声称是第一项研究和解决 ICRL 安全性问题的工作。其主要贡献包括：

问题定义： 将安全 ICRL 形式化为一个 CMDP 问题，其中适应过程在不进行参数更新的情况下发生。
方法论： 引入 SCARED，使智能体能够纯粹通过上下文学习来平衡奖励和安全约束，并使用精确惩罚对偶方法稳定地处理约束。
基准测试： 提供严格的 OOD 基准，测试泛化能力而非简单的插值能力。
实际影响： 这项工作解决了 ICRL 在现实世界部署（例如机器人技术）中的关键障碍，在这些场景中，重新训练是不切实际的，而适应期间的不安全探索是不可接受的。

作者保持了谦逊的态度，承认虽然 SCARED 在 CMDP 框架下满足约束，但它并未消除存在未建模危害或对抗性条件环境中的风险，并且应辅以人工监督。