🤖 AI

BarrierSteer: LLM Safety via Learning Barrier Steering

BarrierSteer 是一种新颖的、无需参数的推理时框架，它通过将学到的非线性安全约束作为控制障碍函数嵌入到潜在空间中，引导大语言模型避开不安全轨迹，同时保持模型效用，从而提升其安全性。

原作者： Thanh Q. Tran, Arun Verma, Kiwan Wong, Bryan Kian Hsiang Low, Daniela Rus, Wei Xiao

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Thanh Q. Tran, Arun Verma, Kiwan Wong, Bryan Kian Hsiang Low, Daniela Rus, Wei Xiao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个大型语言模型（LLM）就像一位才华横溢、语速极快的厨师，几乎能烹饪你要求的任何菜肴。然而，有时这位厨师会被一位狡猾的顾客（即“对抗性攻击”）欺骗，从而烹饪出危险或有害的东西，比如一道“毒菜”，尽管这位厨师本是被训练为安全的。

本文介绍了一种名为BarrierSteer的新型安全系统。以下是其工作原理，使用简单的类比来说明：

1. 问题：厨师的“隐藏思绪”

当厨师烹饪时，他们并不会立即吐出最终的菜肴。他们会经历一系列内部步骤（思考食材、混合、加热）。在人工智能术语中，这些被称为隐藏状态或潜在表示。

以往的安全方法试图在菜肴端上桌后阻止厨师（检查最终文本），或试图从头重新训练厨师（这既缓慢又昂贵）。其他方法则试图将厨师推向单一、固定的方向（例如“始终保持友善”），但这过于生硬。它可能会阻止有害菜肴，但也会毁掉好菜，导致厨师为了安全而拒绝烹饪无害的请求（例如蛋糕食谱）。

2. 解决方案：“隐形安全围栏”

BarrierSteer 就像一道存在于厨师烹饪过程中、位于其思维内部的智能隐形围栏。

学习围栏：首先，系统观察厨师烹饪数千个示例。它学会了识别危险思维与安全思维之间特定的“思维形态”。它不仅仅寻找坏词，而是审视烹饪过程内部的“氛围”。
围栏是灵活的：与刚性墙壁不同，这道围栏由非线性屏障构成。想象一张可以拉伸和弯曲以适应复杂形状的柔性网。即使危险每次看起来都不同，它也能准确知道“危险区域”在哪里。

3. 魔法：“引导”而不破坏厨师

这是最关键的部分。当厨师开始向危险区域（隐形围栏）漂移时，BarrierSteer 不会阻止厨师或重启过程。相反，它会施加一个微小而精确的推动。

控制理论类比：本文使用了工程学中的一个概念，称为控制屏障函数（CBFs）。想象一辆自动驾驶汽车正驶向悬崖。汽车不会只是猛踩刹车；它会计算出所需的精确转向量，以便保持在道路上而不剧烈摇摆。
结果：BarrierSteer 计算出将厨师的思维过程推回围栏安全一侧所需的精确数学“推动”。它对厨师生成的每一个字都即时（在毫秒级）执行此操作。

4. 为何它优于竞争对手

本文将 BarrierSteer 与其他方法进行了比较：

旧方法（固定方向）：就像试图只向左转动方向盘来驾驶汽车。有时有效，但经常会导致你撞向道路右侧。
竞争对手（SaP）：一种类似的方法，试图通过为每个字运行缓慢复杂的计算来解决问题。这就像在开车时试图在脑海中解数学方程；它太慢了，会导致汽车滞后。
BarrierSteer：因为它使用了一个巧妙的数学捷径（“闭式解”），所以几乎可以瞬间计算出推动力。它比最接近的竞争对手快 58 到 79 倍。

5. 结果：安全、快速且有用

本文在四种不同的 AI 模型和许多不同类型的“狡猾”攻击上测试了该系统。

安全性：它成功阻止了模型生成有害内容，将攻击成功率降低至接近零。
实用性：由于推动力非常精确，模型并未失去做好事的能力。它们仍然能像以前一样回答数学问题和撰写故事。
无“过度拒绝”：与某些为了安全而对一切都说“不”的安全系统不同，BarrierSteer 只阻止坏东西，让好东西顺利通过。

总结

BarrierSteer 就像一位技艺高超的副驾驶坐在 AI 厨师身旁。它不会夺走方向盘，也不会对厨师大喊大叫。相反，它在厨师的思维开始偏离危险的那一刻，轻柔地将其引导回安全方向，确保最终菜肴安全可食，同时不会减慢烹饪过程或破坏风味。

技术摘要：BarrierSteer：通过障碍函数引导实现大语言模型安全

问题陈述

尽管大语言模型（LLM）在多样化任务中表现出色，但其易受对抗性攻击以及生成不安全内容的问题，仍是部署的重大障碍，尤其是在高风险场景中。现有的安全机制在有效性与效率之间面临权衡：

训练时防御（如 RLHF、DPO）会更新模型参数，但仍易受对抗性提示攻击。
推理时防御通常依赖事后文本过滤（对改写脆弱）或运行额外的分类器（计算开销高）。
潜在空间引导方法（如 SaP）展现出潜力，但受限于线性约束假设，且基于优化的引导过程成本高昂，增加了推理延迟。

因此，亟需一种推理时框架，该框架需具备坚实的理论基础，能够处理非线性安全边界，且计算效率足以支持实时部署，同时无需修改底层大语言模型的参数。

方法论：BarrierSteer

BarrierSteer 是一种新颖的推理时框架，它将学习到的非线性安全约束直接嵌入模型的潜在表示空间。它将隐藏状态安全分类器视为控制障碍函数（CBF），这是控制理论中用于将动态状态维持在安全区域内的标准工具。

该框架通过三阶段流程运行：

潜在安全分类：
- 系统在生成过程中从预训练的大语言模型中提取中间隐藏状态。
- 利用包含安全和不安全响应（在响应级别标注）的数据集，构建潜在训练集，其中每个 token 的隐藏状态继承其对应响应的安全标签。
- 与以往使用线性边界的工作不同，BarrierSteer 训练非线性神经网络（MLP）以学习定义潜在空间中安全集的障碍函数 $\{b_k\}$ 。
控制障碍函数（CBF）公式化：
- 自回归生成被建模为潜在动态系统，其中隐藏状态 $h_t$ 随时间演化。
- 学习到的分类器被视为 CBF。若函数 $b(h)$ 能确保系统状态保持在安全集 $C = \{h \mid b(h) \ge 0\}$ 内，则该函数为 CBF。
- 目标是寻找控制输入 $u$ （对隐藏状态的修正），使其满足 CBF 条件 $\dot{b}(h, u) \ge -\beta(b(h))$ ，同时最小化与原始轨迹的偏差。
闭式引导与组合：
- 引导规则： BarrierSteer 将引导问题表述为二次规划（QP），以寻找满足安全约束的最优控制 $u^*$ 。
- 效率： 为避免在每个 token 处求解 QP 的高昂成本，作者推导了引导更新的闭式解。
- 约束组合： 为了处理多个安全约束（例如“避免伤害”和“保护隐私”），该框架使用Log-Sum-Exp (LSE) 公式将多个障碍组合成一个单一、平滑且可微的障碍函数。这使得能够高效地同时执行多个约束。
- 实现： 该方法在采样下一个 token 之前，对隐藏状态 $h_t$ 应用轻量级的闭式更新，从而在不改变模型权重的情况下，有效地将轨迹引导至学习到的安全区域。

主要贡献

非线性潜在安全约束： 引入 BarrierSteer，它学习非线性隐藏状态安全分类器并将其视为 CBF，弥合了潜在安全检测与基于约束的引导之间的差距。
闭式 CBF 引导与组合： 推导了针对单一及组合 CBF 约束的高效闭式引导更新。其中包括 Log-Sum-Exp 组合规则，使得在自回归解码过程中无需昂贵优化即可联合执行多个安全约束。
有效的低延迟越狱防御： 实证表明，BarrierSteer 大幅降低了攻击成功率，同时保持了模型效用（MMLU、GSM8K），并避免了固定方向引导中常见的过度拒绝问题。值得注意的是，其引导延迟比最接近的基线（SaP）快58–79 倍。

实验结果

作者在四个模型系列（Gemma-2-9B、Ministral-8B、Llama-2-7B、Qwen2-1.5B）和十种对抗攻击方法（包括 GCG、AutoDAN 和自适应攻击）上评估了 BarrierSteer。

对抗防御： BarrierSteer（LSE 变体）在所有模型上的静态 HarmBench 基准测试中实现了接近零的攻击成功率（ASR），显著优于 SaP、Activation Addition 和 Circuit Breakers 等基线。例如，在 Ministral-8B 上，它将 ASR 降低至 $0.83\%$ ，而 SaP 为 $23.91\%$ 。
对自适应攻击的鲁棒性： 该方法在面对专门针对防御进行优化的自适应攻击时，仍保持了强大的鲁棒性，与其他推理时方法相比，显著降低了自适应 ASR。
效用保持： 与通常会在良性任务上降低性能的固定方向引导方法（如 Directional Ablation）不同，BarrierSteer 保持了接近基础模型的 MMLU 和 GSM8K 分数。
过度拒绝： 该方法避免了某些基线中观察到的严重过度拒绝（拒绝良性提示）现象，尽管存在一种权衡：更高的引导强度（ $\alpha$ ）会提高安全性，但会略微增加过度拒绝率。
模块化： 在组合 14 个独立训练的安全障碍（涵盖 WildGuard 风险类别）的实验中，LSE 组合将有害生成率降低至 $0.86\%$ ，证明了有效结合不同安全概念的能力。
效率： BarrierSteer（LSE）的每 token 引导延迟约为2.40 毫秒，而 SaP（需要迭代梯度下降）的延迟为139–190 毫秒。

意义与主张

论文声称，BarrierSteer 提供了一种原则性强、模块化且计算高效的大语言模型安全方法。通过利用控制障碍函数，它提供了理论保证（前提是学习到的障碍能准确捕捉安全属性），即潜在轨迹将保持在安全区域内。

作者强调，他们的方法：

无需重新训练底层大语言模型，使其成为部署的灵活层。
克服了以往潜在引导方法的线性限制，允许更具表达力的安全边界。
通过推导闭式更新解决了基于约束的引导的延迟瓶颈，使其适用于实时应用。

论文最后适度承认了局限性：安全保证取决于学习到的障碍的质量，且适用于潜在表示，而非为生成的文本提供严格的 worst-case 保证。未来的工作建议提高学习到的障碍的鲁棒性，并将该方法扩展到前沿模型。