🤖 AI

From Refusal to Recovery: A Control-Theoretic Approach to Generative AI Guardrails

本文提出了一种生成式人工智能安全的控制理论框架，该框架从脆弱、基于标记与阻断的机制转向与模型无关的实时预测护栏，能够主动将高风险行为修正为安全行为，从而在保持任务性能的同时防止灾难性的下游后果。

原作者： Ravi Pandya, Madison Bland, Duy P. Nguyen, Changliu Liu, Jaime Fernández Fisac, Andrea Bajcsy

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Ravi Pandya, Madison Bland, Duy P. Nguyen, Changliu Liu, Jaime Fernández Fisac, Andrea Bajcsy

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位非常聪明、富有创造力的助手（人工智能），它正试图帮助你驾驶汽车、在线购物或提供建议。问题在于，这位助手过于热心，以至于有时会提出可能导致车祸、财务灾难或危险局面的建议。

目前，大多数针对这些人工智能的安全系统运作方式就像夜店门口的保安。如果保安看到人工智能即将说出某些“不安全”的内容（例如“撞向那堵墙”），保安就会直接关上门说：“不行！停下！”人工智能被阻断，什么也不会发生。

“保安”式方法的弊端：
有时，仅仅说“不”并不足以确保安全。想象一下，汽车已经加速冲向墙壁。如果人工智能说“向左转！”，而保安只是阻断了这条信息，汽车就会继续直行并发生碰撞。保安拒绝采取行动，但碰撞依然发生了，因为人工智能没有机会去解决问题。

新方案：“副驾驶”式方法
这篇论文提出了一种思考人工智能安全的新方式。安全系统不应仅仅充当保安，而应像一位智能副驾驶。

以下是其工作原理，通过简单的类比来说明：

1. 思考“未来后果”（水晶球）

当前的安全系统只查看人工智能此刻正在说什么，并核对一份不良词汇清单。而本文提出的系统则着眼于未来。

类比： 想象你在玩电子游戏。一个糟糕的玩家看着屏幕看到坑洞，会想：“我不该跳。”而一个聪明的玩家看着屏幕会想：“如果我现在跳，三秒后我就会掉进坑里。”
论文的方法： 该系统不仅读取人工智能的文本，还会模拟文本被执行后会发生什么。它会问：“如果人工智能说‘向左转向’，这是否会在 10 秒后导致车祸？”它在灾难发生前就预测到了灾难。

2. “安全过滤器”（无形之手）

论文将这一机制称为“控制理论护栏”。你可以把它想象成一只无形的手，温柔地将人工智能从麻烦中引导开。

类比： 想象一个带着辅助轮学骑自行车的孩子。如果孩子向左倾斜得太厉害，辅助轮不会只是让自行车停下；它们会温柔地将自行车推回中心，让孩子能够继续安全骑行。
论文的方法： 当人工智能提出一个冒险的举动时，护栏不会只是将其阻断，而是对其进行修正。如果人工智能说“向左转撞向墙壁”，护栏可能会将信息改为“向右转以避开墙壁”。它修正了错误，使任务仍能在安全的前提下完成。

3. 从经验中学习（训练营）

这个护栏是如何变得如此聪明的？作者们使用了一种名为以安全为中心强化学习的方法对其进行训练。

类比： 想象一位训狗师。如果狗坐下，它就会得到奖励；如果狗跳上沙发，它就会受到“不”的斥责。久而久之，狗就会确切地知道哪些行为会带来奖励，哪些会导致责骂。
论文的方法： 他们将人工智能置于一个模拟世界（如驾驶或购物的电子游戏）中，让其尝试各种操作。如果人工智能导致车祸或超出预算，系统就会将其标记为“坏”；如果人工智能避免了车祸，系统就会将其标记为“好”。最终，人工智能（及其护栏）学会了准确预测哪些行动会带来安全，哪些会导致灾难。

4. 结果：优于单纯说“不”

研究人员在三个类似现实世界的场景中测试了这一方法：

驾驶： 人工智能试图驾驶汽车穿越障碍物。
购物： 人工智能试图购买商品，但不超过用户的预算。
建议： 人工智能向人类驾驶员提供驾驶建议。

他们的发现：

旧护栏（保安）： 即使在人工智能可以安全行动时，也常常将其阻断；或者在人工智能已经陷入困境时，未能阻止灾难发生。它们非常“脆弱”（容易被新情况击垮）。
新护栏（副驾驶）： 这些护栏在危险发生前就能更好地识别风险。当它们确实进行干预时，不仅仅是阻止人工智能，而是为其提供一个安全的替代方案。
- 示例： 在购物测试中，旧的人工智能不断添加商品，直到超出预算。新系统看到了未来的总金额，意识到人工智能即将突破预算，便在结账前温柔地引导其移除昂贵的商品。任务完成了，预算也得到了保障。

核心结论

这篇论文认为，我们需要停止将人工智能安全视为一个简单的“停止标志”，而应将其视为一个导航系统。

新系统不再只是说：“那很危险，停下。”而是说：“那条路通向悬崖。让我们走另一条路吧。”它允许人工智能继续工作并保持帮助性，同时确保它永远不会驶下悬崖、耗尽资金或伤害任何人。它将安全从一场“阻断与拒绝”的游戏，转变为一种“预测与修正”的伙伴关系。

技术摘要：从拒绝到恢复：生成式 AI 护栏的控制理论方法

问题陈述

当前针对生成式模型（特别是大型语言模型 LLM 智能体）的 AI 护栏，主要依赖于基于标注数据集和人工指定标准的输出分类。这些“标记并阻断”机制对新颖的危险情况脆弱，且缺乏恢复路径。当检测到不安全条件时，标准响应是拒绝（阻断输出）。然而，在 AI 与物理世界或复杂数字环境（如自动驾驶、电子商务）交互的智能体场景中，拒绝本身可能是危险的。例如，一个 AI 智能体拒绝转向一辆高速接近障碍物的自动驾驶汽车，可能会因不作为而导致事故。

作者认为，生成式 AI 安全本质上是一个序列决策问题。有害结果并非源于孤立的文本输出，而是源于 AI 智能体与其环境之间不断演变的交互及其下游后果（如经济损失、物理碰撞）。现有的护栏未能考虑这些长期的、多步骤的后果，往往依赖于文本代理或单步模拟标签，无法捕捉世界的真实状态。

方法论

本文提出了一种 AI 安全的控制理论方法，将护栏形式化为在 AI 智能体对世界的潜在（基于文本的）表示中运行的预测性安全过滤器。

1. 形式化为序列决策问题

作者将 LLM 智能体与其环境之间的交互建模为部分可观测马尔可夫决策过程（POMDP）：

状态（ $s$ ）： 真实世界状态（如物理几何结构、银行账户余额）。
动作（ $a_{AI}$ ）： 智能体的输出，表示为 token 序列。
观测（ $o_{AI}$ ）： 智能体基于文本的世界视图（如 HTML、场景描述）。
失败裕度（ $\ell_F$ ）： 一个函数，编码结果空间中到失败集 $\mathcal{F}$ （如碰撞、破产）的距离，而非 token 空间。

目标是定义最大潜在安全集（ $\Omega^*$ ），即存在策略可无限期避免失败的潜在状态集合。这由**安全价值函数（ $V^\star$ ）**表征，该函数代表了智能体从给定状态出发所能达到的最佳安全裕度。

2. 预测性护栏作为安全过滤器

所提出的护栏称为ReGuard，作为一个安全过滤器元组 $(\pi_{\text{rec}}, \Delta, \phi)$ 运行：

安全监控器（ $\Delta$ ）： 一种预测机制，评估候选动作是否会导致未来的安全违规。它源自安全价值函数 $Q^\star$ 。
回退策略（ $\pi_{\text{rec}}$ ）： 当监控器检测到不安全的候选动作时，规定安全替代动作的校正策略。
干预方案（ $\phi$ ）： 在基础智能体策略与回退策略之间进行切换的机制。

关键在于，该框架在 LLM 的潜在空间中运行，使其具有模型无关性。它不需要访问基础模型的权重或训练数据，允许同一护栏应用于不同的 LLM。

3. 通过以安全为中心的强化学习进行训练

为了大规模计算这些护栏，作者提出了一种使用**双深度 Q 网络（DDQN）的以安全为中心的强化学习（RL）**框架：

目标： 训练模型最小化时间折扣的安全贝尔曼方程，以逼近最优安全价值函数。
训练与推理：
- 训练： 模型直接从以安全为中心的 Q 函数生成 token，以最大化安全目标。
- 推理： 系统将基础模型的 logits（用于连贯性）与学习到的安全 Q 值（用于安全性）相结合。这确保智能体在遵守安全约束的同时生成多样且连贯的文本。
后果感知： 奖励信号源自下游结果（如实际碰撞或预算超支），而非即时文本分类，使护栏能够学习长视野的安全策略。

主要贡献

形式化： 本文将生成式 AI 安全形式化为序列决策问题，并将预测性护栏作为控制理论安全过滤器向基于 LLM 表示的推广。
可扩展的训练方案： 提出了一种通过以安全为中心的 RL 训练 LLM 护栏的实用方法，产生单一的安全机制，可部署于多个基础 LLM 智能体而无需重新训练。
实证验证： 通过在模拟自动驾驶、智能体电子商务和 AI 驾驶辅助中的实验，作者证明了后果感知的护栏在安全执行和任务性能方面均优于现有的“标记并阻断”基线。

实验结果

作者在三个领域评估了 ReGuard：

1. 智能体驾驶

设置： LLM 智能体控制平面车辆以避开障碍物。
结果： ReGuard 实现了77.3% 的成功率和18.8% 的失败率，显著优于零样本基线（例如 GPT-4o：31.7% 成功，68.2% 失败）和短视基线。
关键发现： ReGuard 的监控器比基线更准确（价值 F1：0.99）且更不保守，正确识别了其他模型遗漏的可恢复的不安全状态。

2. 智能体商务

设置： LLM 智能体管理购物车以保持预算在 50 美元以下。
结果： ReGuard 实现了87.5% 的成功率，与 GPT-4o 的表现相当，并显著优于较小的 Llama 模型（62.5%）。
关键发现： ReGuard 成功学会了移除特定高成本物品以保持在预算内，而基础模型往往在不考虑最终总额的情况下移除物品，导致预算违规。

3. 后座 AI 司机

设置： LLM 智能体充当由另一个 LLM 模拟的人类控制汽车的顾问。智能体必须提供文本建议以确保安全。
结果： 当作为防护盾时，ReGuard 将“无”人设的成功率从 44.9% 提升至64.2%，将“紧急”人设的成功率从 26.4% 提升至41.6%。
关键发现： ReGuard 学会了生成情境感知的恢复建议（例如，向持怀疑态度的人强调紧迫性），而不是简单地拒绝行动。

意义与主张

本文主张，控制理论护栏为当前在 AI 安全中占主导地位的静态“标记并阻断”范式提供了一种原则性的动态替代方案。通过将焦点从阻断不安全文本转移到预测和校正不安全轨迹，所提出的方法：

实现恢复： 即使智能体已进入危险状态，它也能提供通往安全的路径，而不是强制进行可能不可行或危险的拒绝。
保持性能： 与通常降低任务性能的基于拒绝的系统不同，ReGuard 在确保安全的同时保持了高任务成功率。
泛化能力： 护栏的模型无关性使其能够应用于各种 LLM 架构和任务，而无需重新训练基础模型。

作者总结道，虽然他们的方法依赖于模拟器进行训练（这是当前的局限性），但它建立了一个新的 AI 安全框架，将安全视为序列决策中连续且可恢复的属性，而非输出的二元分类。