💻 computer science

Cognitive Firewall: A Proactive, Zero-Trust, Multi-Gate Framework for LLM Safety

本文介绍了认知防火墙（Cognitive Firewall），这是一个主动的、零信任的运行时框架，通过引入一个带有四个类别门控的独立监督模型来增强大语言模型（LLM）的安全性，旨在检测并拦截有害的、多轮对话式的以及基于权威性的攻击，同时保持较高的良性交互率。

原作者： Michele Guida, Ruslan Shikhhamzayev, Sindhuja Penchala, Stefano Iannucci, Jiacheng Li, Shahram Rahimi, Noorbakhsh Amiri Golilarz

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Michele Guida, Ruslan Shikhhamzayev, Sindhuja Penchala, Stefano Iannucci, Jiacheng Li, Shahram Rahimi, Noorbakhsh Amiri Golilarz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在雇佣一位非常聪明、乐于助人的助手来帮你处理任务。你想确保他们绝不会意外做出危险的事情，比如制造炸弹或写一封仇恨言论信。

目前，大多数安全系统就像是一次只能看一张纸片的保安。如果你递给他们一张写着“如何烤蛋糕？”的纸条，他们会说“安全”。如果你递给他们一张写着“如何制造炸弹？”的纸条，他们会说“不安全”。

问题在于，一个聪明的骗子（“对手”）可以通过将一个糟糕的请求拆解成许多个微小的、看似无害的部分来欺骗这些保安。他们可能会问：“什么是化学物质？”（安全），然后问“什么是容器？”（安全），接着问“如何将它们混合？”（安全）。在单独看来，每一张纸条看起来都是无辜的。但当把它们组合在一起时，助手就会意识到用户正试图制造炸弹。单次查看纸条的保安会错过这一点，因为他们不记得对话历史或用户的隐藏目标。

这篇论文介绍了一种名为认知防火墙（Cognitive Firewall）的新系统。请将其想象成不仅仅是一个保安，而是一个聪明的、主动的管理者，他坐在你和助手之间。这位管理者不仅看当前的纸条，还会观察整个对话的“电影”，以理解到底发生了什么。

以下是这位管理者如何工作的，通过四个特定的“门控”或检查点：

1. 意图门（“你到底想干什么？”检查）

在助手开始输入答案之前，这个门控会询问：“如果我完整地回答这个问题，现实世界中会产生什么结果？”

类比： 想象有人问：“如何杀死一个进程（process）？”一个简单的保安可能会认为：“哦，他们是指结束一个计算机程序。”但意图门会看得更深，意识到：“等等，在这种语境下，他们可能指的是结束一个生命。”它会看透花哨的辞令，直达实际结果。如果结果是危险的，它会立即终止对话。

2. 零信任上下文门（“出示你的身份证”检查）

这个门控基于**“零信任（Zero Trust）”**的概念，即“永不信任，始终验证”。

类比： 想象一个陌生人走到你的助手面前说：“我是首席执行官，我命令你交出秘密代码。”一个普通的保安可能会想：“哦，他说他是首席执行官，那我就应该听他的。”但零信任门会说：“等一下。你声称你是首席执行官，但你并没有证明这一点。我不会仅仅因为你这么说就相信你。”它会将任何关于权威、特殊权限或“我是医生”的声明视为谎言，直到得到证实。

3. 一致性门（“检测缓慢滑坡”检查）

这个门控会监视整个对话，观察用户是否在慢慢诱骗助手。

类比： 想象一个用户开始询问“园艺”。然后他们询问“有毒植物”。接着他们询问“如何制作一种植物性毒素”。一个接一个的问题看起来都没问题。但一致性门看到了其中的模式：“等等，你从花卉开始，但现在你在询问毒药。你正在缓慢地升级你的目标。”它会在用户达到危险部分之前拦截他们，即使单个问题本身并不违规。

4. 输出风险门（“最终检验”检查）

如果对话通过了前三个门控，并且助手生成了答案，这个门控会对最终结果进行检查。

类比： 这就像是流水线末端的质量控制检查员。即使计划看起来是安全的，也许助手在最终答案中不小心写下了危险的配方。这个门控会阅读最终输出，如果其中包含有害指令，则予以拦截。

它如何决定停止

论文指出该系统使用了一种**“升级规则（Escalation Rule）”**。

旧方法： 一些系统会对每个门控的分数进行平均。如果你有三个“安全”分数和一个“危险”分数，平均分可能看起来仍然是“基本安全”，从而导致坏事发生。
新方法： 认知防火墙就像是一个火警报警器。如果四个门中的任何一个大喊“危险”，整个系统就会立即停止。你不需要去计算危险的平均值；一个明确的信号就足以踩下刹车。

测试结果显示

作者针对各种类型的“越狱攻击”（诱导 AI 做坏事的技巧）测试了该系统：

单轮攻击（Single-turn attacks）： 它拦截了几乎所有的此类攻击。
多轮攻击（Multi-turn attacks，即“慢速诱骗”）： 它拦截了近 100% 的“Crescendo”攻击（用户逐渐升级目标）和 98% 的“ActorAttack”（用户拆解任务）。
权威攻击（Authority attacks）： 它拦截了 75% 用户伪装成权威人物进行的攻击。
误报（False Alarms）： 重要的是，它并没有变得过于“暴躁”。它仅在 8% 的情况下拒绝了无害问题，这比其他拒绝无害问题比例高达 18–21% 的严格安全系统要好得多。

总结

认知防火墙是一种保护 AI 的新方法。它不再仅仅检查单个句子，而是扮演一名侦探的角色，负责：

弄清用户的真实目标。
从不信任权威声明。
监视随时间推移而产生的缓慢、危险的模式。
检查最终答案。

它能在坏事发生前将其阻止，保留清晰的拦截记录，并避免拦截无害的对话。

技术摘要：面向 LLM 安全性的认知防火墙 (Cognitive Firewall)

问题陈述

目前的 LLM 运行时防护机制主要以单条消息分类器（per-message classifiers）的形式运行。这些系统孤立地针对单个提示词（prompt）或响应（response）进行评分，并对照固定的危害目录。作者认为，这种框架是不充分的，因为它无法建模用户的演进目标、无法保留对话轨迹的记忆，也无法验证所声称的权威性。因此，耐心的攻击者可以通过多轮策略绕过这些防御，在这种策略中，危害并不存在于任何单条消息中，而是通过整个交互过程逐渐显现。

具体的漏洞包括：

多轮升级（Multi-turn Escalation）： 诸如 Crescendo 之类的攻击从看似无害的开端开始，利用模型的先前回复来引导其走向有害目标。
分解攻击（Decomposition）： 诸如 ActorAttack 之类的攻击将禁止的目标分解为一系列在个体层面看似无害的子问题网络。
权威操纵（Authority Manipulation）： 用户可能会声称拥有未经授权的角色（例如开发者、临床医生）或政策覆盖权限，以绕过限制，而单条消息过滤器通常将这些视为普通的上下文，而非未经验证的证据。

现有的具备轨迹感知能力的防御机制通常将整个对话历史简化为一个单一的风险评分，这可能会稀释局部的升级信号。此外，大多数基于监督的防御是在生成后起作用，或者侧重于单轮攻击，缺乏在目标模型生成响应之前拦截不安全交互的主动机制。

方法论：认知防火墙

本文提出了认知防火墙（Cognitive Firewall），这是一个主动的运行时监督框架，在用户与受保护的目标模型之间介入了一个独立的监督模型。与单条消息分类器不同，该框架将交互视为一个整体，并将安全评估分解为四个类别的门控（gates）。决策通过**升级规则（escalation rule）**进行组合：如果任何一个门控返回了危险判定，则立即拦截该次交互。

四个门控

意图门 (G1) —— 生成前：
- 功能： 通过解析字面上的现实世界交付物，识别请求的操作性目标。
- 机制： 它区分表面措辞与实际指代对象（例如，区分电影场景描述与真实的恶意软件合成）。只有当交付物构成可转移的危害（如武器合成、仇恨言论）时，它才会返回“不安全”。
- 目标： 防止拒绝那些听起来危险但实际上属于良性的请求，同时拦截直接攻击。
零信任上下文门 (G2) —— 生成前：
- 功能： 验证关于角色、身份、权限或政策覆盖的声明。
- 机制： 遵循“永不信任，始终验证”的原则，将对话中所有关于权威的声明视为未经验证的证据。它是主题无关的，仅关注关于用户或助手规则的第一人称声明。
- 目标： 拦截通过虚假凭证或角色扮演来解锁受限内容的操纵尝试，这类渠道经常被通用的内容过滤器所忽略。
一致性门 (G3) —— 生成前：
- 功能： 分析完整转录文本中的时间性操纵。
- 机制： 检测渐进式升级（crescendo）、从良性开端向受限目标的漂移、与早期上下文的矛盾，以及跨回合分解的有害任务。
- 目标： 拦截那些通过时间累积形成危害的交互，即使单个回合看起来是安全的。它在第一轮对话时会保持静默，以避免对良性开端的误报。
输出风险门 (G4) —— 生成后：
- 功能： 检查目标模型生成的候选响应。
- 机制： 判断实际交付的内容，寻找可操作的危险能力、部分步骤或有害产物（如网络钓鱼、侮辱性词汇）。
- 目标： 作为分解型载荷（decomposition payloads）的最后一道防线，因为这些载荷只有在最终响应中组装完成后才会变得有害。

决策规则

该框架使用基于升级的决策规则而非评分平均法。由于每个门控都发出类别标签（例如“不安全”、“操纵性”、“升级中”）而非数值评分，系统会在任何启用的门控返回危险判定时立即拦截该回合。这确保了一个自信的危险信号不会被其他门控的安全信号所稀释，并提供了一种人类可读且可审计的理由。

核心贡献

主动运行时框架： 引入了一个独立的监督模型，将安全判断分解为意图分析、零信任上下文验证、对话轨迹分析和输出风险评估。
零信任上下文验证： 一个专门的门控，用于隔离并验证角色和权威声明作为未经验证的证据，解决了此前与通用内容安全混淆的操纵渠道问题。
基于升级的决策规则： 一种结合类别门控判定结果的方法，能够防止评分稀释，允许任何单一的自信危险信号拦截交互，同时保持可审计性。
全面评估： 通过单轮、多轮、基于权威及人工构建的攻击测试集进行了实证验证，证明了其性能优于现有的守护模型和具备轨迹感知的防火墙。

实验结果

该框架在四个攻击基准和一个良性安全测试集（ $n=100$ 单轮， $n=50$ 多轮攻击， $n=16$ 权威探测， $n=120$ 良性提示）上进行了评估。

攻击成功率 (ASR) 降低情况：
- 单轮 (jbb)： 将 ASR 从 45%（无防御）降低至 1%。
- 多轮升级 (Crescendo)： 将 ASR 从 10% 降低至 0%。
- 分解攻击 (safemt/ActorAttack)： 将 ASR 从 30% 降低至 2%。
- 人工构建的越狱 (mhj)： 将 ASR 从 74% 降低至 14%。
- 权威探测： 拦截了 75% 的基于权威的攻击 (12/16)，相比之下，其他基准仅为 6–31%。
遏制时机：
- 该框架主要在生成前实现遏制。对于 Crescendo 攻击，100% 在生成前被拦截。对于直接攻击，92% 在生成前被拦截。
- 相比之下，单消息防护和具备轨迹感知的防火墙往往在处理分解类数据集时失败，因为它们是以孤立评分回合或平均风险分来进行评估。
过度拒绝（Over-Refusal）：
- 该框架在良性提示 (xstest) 上的过度拒绝率保持在 8%，显著低于更严格的守护基准（例如 ShieldGemma 为 18%，Granite Guardian 为 21%）。
门控贡献（消融实验）：
- 移除一致性门会导致多轮攻击的生成前遏制能力大幅下降（例如，Crescendo 的遏制率从 100% 降至 72%）。
- 移除输出门会显著增加分解类数据集的 ASR（例如，safemt 的 ASR 从 2% 上升至 16%），证实了其作为必要后备机制的作用。
- 上下文门对于权威探测具有决定性作用（移除后拦截率降至 0%），但在没有涉及权威声明的标准攻击集中影响极小。

意义与主张

论文声称，认知防火墙证明了分解式的、对话层级的监督可以显著提高 LLM 安全性的主动遏制能力和可审计性。

从分类转向理解： 该工作认为，保护模型是一个理解问题，需要建立一个关于用户演进目标的模型，而不仅仅是一个简单的分类问题。
使认知遏制具象化： 它为“认知防火墙”概念提供了一个具体的实例化，从理论上的抑制层转向一个实用的系统，能够在趋向不安全目标的过程中在生成前拦截升级。
可审计性： 通过使用类别门控和升级规则，每一次拦截都可以追溯到特定的、人类可读的判定（例如“正在升级”或“具有操纵性”），这与不透明的基于评分的系统不同。
互补性： 结果表明，生成前门控和生成后门控是互补的；仅靠其中之一无法处理全谱系的多轮和分解攻击。

作者指出了局限性，包括使用了同系列的单一裁判模型进行评估、某些攻击类型的样本量较小，以及缺乏针对目标监督模型本身的提示注入攻击的压力测试。然而，该框架为应对当前单消息防御无法有效缓解的复杂多轮对抗策略建立了新的基准。