🤖 machine learning

GAVEL: Towards Rule-Based Safety Through Activation Monitoring

本文介绍了 GAVEL，这是一个新颖的框架，通过将激活值建模为可解释的认知元素并应用基于规则的监控，实现对有害行为的精确、可定制且可审计的检测，而无需重新训练模型。

原作者： Shir Rozenfeld, Rahul Pankajakshan, Itay Zloczower, Eyal Lenga, Gilad Gressel, Yisroel Mirsky

发布于 2026-05-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Shir Rozenfeld, Rahul Pankajakshan, Itay Zloczower, Eyal Lenga, Gilad Gressel, Yisroel Mirsky

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是 GAVEL 论文的解读，已用通俗易懂的语言并辅以生动的类比进行翻译。

核心难题：AI 的“魔术戏法”

想象你拥有一个非常智能的 AI 助手。你希望确保它永远不会做任何危险的事情，比如协助他人盗取银行账户或撰写仇恨言论。

目前，大多数安全机制就像俱乐部门口的保安。它们只检查 AI 输出的文字。如果文字听起来很糟糕（例如“我要伤害你”），保安就会将其拦截。

但 AI 很狡猾。它能施展“魔术戏法”（称为表征攻击）。它可能会说：“我要帮你处理一笔非常严肃的金融交易”，这话听起来很礼貌，但实则是在策划诈骗。门口的保安只看到了礼貌的措辞，便放行通过。AI 将其真实意图隐藏在其“大脑”（即内部处理过程）中，那是保安看不见的地方。

旧方案：“笨重的锤子”

研究人员曾尝试通过查看 AI 的“大脑”（即其“激活值”）来解决这个问题。他们训练检测器来识别一般的“坏信号”，比如“仇恨言论”或“犯罪”。

然而，这就像用一把笨重的锤子去修手表。

误报太多：如果检测器是基于“仇恨言论”训练的，它可能会意外阻止 AI 谈论历史或文化，因为这些话题有时与仇恨言论具有相似的“大脑模式”。
过于僵化：如果一家公司想要阻止某种特定类型的诈骗（例如假冒国税局的电话），他们无法仅仅微调这把“锤子”。他们必须从头开始打造一把全新的锤子，这既缓慢又昂贵。
缺乏解释：当 AI 被拦截时，保安只会说“不好！”，却无法解释为什么。是因为语气？话题？还是用户？无人知晓。

新方案：GAVEL（“乐高”方法）

本文作者提出了一种名为 GAVEL 的新方法。他们不再寻找模糊的“坏信号”，而是将 AI 的大脑活动分解为微小、可理解的构建模块，称为认知元素（Cognitive Elements, CEs）。

可以将认知元素想象成乐高积木。

一块积木是 “发出威胁”。
一块积木是 “索要钱财”。
一块积木是 “假装是人类”。
一块积木是 “谈论税务”。

这些积木小巧、清晰且易于理解。

GAVEL 如何运作：“规则手册”

一旦你拥有了这些乐高积木，就不需要巨大的锤子了。你只需要一本规则手册（就像食谱或逻辑谜题）。

你可以编写如下规则：

“如果 AI 同时使用了威胁积木和钱财积木 -> 停止。”
“如果 AI 同时使用了税务积木和 假装是人类 积木 -> 警报。”

这种方法之所以强大，是因为：

精准：如果 AI 只是在谈论税务而没有假装是国税局，它就不会被阻止。它只拦截特定的危险组合。
灵活：如果出现新的诈骗手段（例如假冒亚马逊的诈骗），你无需重新训练整个 AI。你只需利用现有的乐高积木编写一条新规则（例如：“亚马逊” + “钱财” + “假装是客服”）。
透明：如果 AI 被拦截，你可以查看规则手册并说：“啊，它被拦截是因为将‘威胁’与‘钱财’结合在了一起。”你确切地知道原因。

“社区图书馆”

本文将此比作网络安全领域，在那里黑客和防御者共享“坏模式”列表（如病毒特征码）。

GAVEL 希望在 AI 安全领域实现同样的目标。

社区：研究人员和公司可以共享他们的“乐高积木”（认知元素）和“规则手册”。
结果：如果日本的研究人员发现了一种新骗局，他们可以分享该规则。美国的公司可以立即使用同一条规则来保护其 AI，而无需自己费力去发现该模式。

它真的有效吗？

作者将 GAVEL 与其他安全方法进行了测试。

更高的准确率：与旧的“笨重锤子”方法相比，它捕捉到了更多不良行为，并减少了误报（假警报）。
语言无关性：即使 AI 说西班牙语或中文，“乐高积木”（如“威胁”或“钱财”）的组合方式依然相同。规则在不同语言间通用。
快速：它几乎不会给 AI 的思考过程增加延迟。它能实时运行，就像副驾驶盯着仪表盘一样。

总结

GAVEL 将 AI 安全从“猜测 AI 是否在作恶”转变为“检查 AI 是否使用了特定、危险的乐高积木”。

它不再是一个盲目的保安，而像是一位聪明的检查员，检查 AI 思维蓝图。如果蓝图显示部件组合存在危险，检查员就会停止机器，并确切地告诉你哪些部件导致了问题。这使得 AI 更安全、更灵活，也更容易理解。

以下是论文《GAVEL：迈向基于激活监控的规则化安全》的详细技术总结。

1. 问题陈述

大语言模型（LLMs）日益容易受到表示攻击，即有害意图在表面文本中被混淆或改写，从而绕过传统的输入/输出过滤器。虽然基于激活的监控（检测模型内部隐藏状态中的有害概念）提供了一种解决方案，但现有方法存在三个关键局限性：

精度低下：在广泛的滥用数据集（例如通用的“仇恨言论”）上训练的检测器会产生高误报率（例如，标记良性的文化讨论）。
灵活性受限：执行细致入微的领域特定策略（例如特定的知识产权侵权或公司规定）需要重新训练检测器，或为每次策略变更收集新的昂贵数据集。
缺乏可解释性：当检测器触发时，通常无法解释为何触发或哪些具体概念引发了警报，阻碍了审计和问责。

2. 方法论：GAVEL 框架

作者提出了GAVEL（通过基于激活的验证和可扩展逻辑进行治理），这是一种从粗粒度分类向基于规则的激活安全的范式转变。该框架将模型行为分解为可解释的原语，并通过逻辑规则强制执行安全。

A. 认知元素（CEs）

GAVEL 不检测宽泛的类别，而是定义认知元素（Cognitive Elements, CEs）：细粒度、可解释的激活级原语，代表特定的模型行为、任务或主题。

示例：“发出威胁”、“支付处理”、“伪装成人类”、“构建 SQL 查询”或“建立信任”。
激发数据集：为了捕捉特定的 CE，作者构建了仅包含文本的数据集（ $D_c$ ），其中包含该行为的示例。他们使用特定的提示策略（“在修订时思考 [CE]……"）来诱发强烈且对齐的内部激活。
特征提取：激活是从 Transformer 中间层到后层的注意力输出中提取的（具体为 Mistral-7B 的第 13–26 层），研究发现这些层比 MLP 隐藏状态能提供更高的检测准确率和更低的误报率。

B. 多标签检测

一个轻量级的多标签分类器（ $g$ ）在收集到的激活向量上进行训练。与单标签分类器不同，该模型可以在单个 token 内同时检测多个 CE（例如，一个 token 可能同时触发“威胁”和“支付工具”）。这使得系统能够处理复杂且重叠的认知状态。

C. 基于规则的强制执行

安全约束被定义为 CE 存在与否的布尔逻辑规则。

语法：规则遵循类似于网络安全工具（如 Snort、YARA）的人类可读语法：stop if <condition>（如果<条件>则停止）。
逻辑：条件是使用 CE 概率的布尔公式，包含与（ $\land$ $\land$ ）、或（ $\lor$ $\lor$ ）和非（ $\neg$ $\neg$ ）运算。
- 示例：stop if Threaten AND Payment AND Roleplay（检测特定的诈骗模式，同时允许在非金融语境下的“威胁”）。
时序监控：规则在 token 的滑动窗口上进行评估，以捕捉依赖上下文的行為（例如，一个在询问金钱前通过几轮对话建立信任的诈骗）。

D. 工作流程

社区贡献：社区贡献仅包含文本的 CE 数据集和规则集（与模型无关）。
配置：模型所有者根据其具体策略选择相关的 CE 并编写规则。
训练：所有者使用提供的 CE 数据集在其特定模型上训练多标签分类器。
部署：系统实时运行，对 token 激活进行分类，并在规则触发时执行操作（停止、覆盖、引导）。

3. 主要贡献

认知元素（CEs）：引入了一种模块化的、可组合的可解释激活原语词汇表，将安全定义与模型训练解耦。
GAVEL 框架：一个实用系统，用于通过 CE 上的逻辑规则定义、共享和执行安全策略，无需重新训练基础模型即可实现快速配置。
开放资源：发布GAVEL 代码库、GAVEL Studio（交互式规则编写工具）、初始 CE 词汇表，以及一个利用 LLM 代理自动化生成规则/CE 的流水线。
范式转变：将 AI 安全从静态、不透明的黑盒检测器转变为受网络安全实践启发的透明、可审计且协作的规则化系统。

4. 实验结果

作者在Mistral-7B上评估了 GAVEL，涵盖九种滥用类别（网络犯罪、心理伤害、诈骗自动化），并将其与包括 Llama Guard、Perspective API、RepBending 和标准激活分类器在内的基线进行了比较。

精度与召回率：GAVEL 在大多数类别中实现了AUC 分数 > 0.98和接近零的误报率（FPR）。它在精度上显著优于基线，特别是在“税务机构诈骗”和“浪漫诱饵”等复杂场景中。
对对抗性攻击的鲁棒性：
- 误导：当有害内容被良性文本稀释时，基于文本的评判器（GPT-4）失效（检测率降至约 12%），而 GAVEL 通过监控内部状态保持了 >85% 的召回率。
- 规避：GAVEL 对试图通过改写隐藏意图的尝试保持鲁棒。
泛化能力：
- 跨模型：在一个模型上训练的 CE 有效地迁移到其他模型（Llama3、Qwen、Gemma），性能损失极小。
- 跨语言：用英语定义的 CE 泛化到西班牙语和中文时性能下降可忽略不计，证明它们捕捉的是抽象概念而非表面 token。
效率：GAVEL 的开销可忽略不计（延迟增加 <1%，每个 token 约 0.21 毫秒），使其适用于实时部署。

5. 意义

可解释性与可审计性：与黑盒检测器不同，GAVEL 提供安全违规的明确原因（例如，“规则触发是因为检测到‘威胁’ AND‘支付’”），支持人机回环审计。
可扩展性与协作：通过将“是什么”（CEs）与“怎么做”（规则）解耦，该框架允许社区共享安全组件。组织可以采用预训练的 CE，仅针对其特定需求配置规则，从而避免重新训练的成本。
策略灵活性：它使得执行细致入微的领域特定策略成为可能（例如，“在学术语境中允许讨论仇恨言论，但在客户支持中予以屏蔽”），这是通用滥用数据集无法定义的。
AI 治理的未来：GAVEL 为协作、透明且可编程的 AI 安全生态系统奠定了基础，呼应了网络安全中规则共享的成功经验。