🤖 machine learning

Robust Safety Monitoring of Language Models via Activation Watermarking

该论文指出大语言模型现有的安全监控机制易受自适应攻击者规避，并提出了一种通过引入推理不确定性来增强防御的“激活水印”方法，该方法在对抗已知监控算法但不知密钥的攻击者时，表现优于现有基线高达 52%。

原作者： Toluwani Aremu, Daniil Ognev, Samuele Poppi, Nils Lukas

发布于 2026-03-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Toluwani Aremu, Daniil Ognev, Samuele Poppi, Nils Lukas

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于**如何给大型人工智能（LLM）装上“隐形防盗门”**的故事。

想象一下，大型语言模型（比如现在的各种聊天机器人）就像是一个超级聪明的图书馆管理员。这个管理员知识渊博，能帮你写代码、做蛋糕，甚至写小说。但是，如果坏人（黑客）想让他教制造炸弹或者写病毒，管理员可能会因为被“忽悠”而犯错。

为了阻止这种情况，现在的做法通常是在管理员外面再派一个保安（Guard Model）。保安会检查管理员说的话，如果发现有危险，就立刻叫停。

1. 现在的困境：保安会被“骗”

这篇论文指出了一个大问题：保安是可以被“策反”或“骗过”的。

场景：坏人发现保安的“检查规则”是公开的（或者可以猜到的）。于是，坏人开始玩“猫鼠游戏”。他们不断尝试不同的说话方式（比如把“炸弹”写成"b0mb"，或者用角色扮演的方式），直到找到一种保安查不出、但管理员却会说出危险内容的方法。
比喻：这就像小偷发现保安只检查穿红衣服的人。于是小偷换上了蓝衣服，保安就放行了，但小偷其实还是那个小偷。
后果：一旦保安被绕过，管理员就会泄露敏感信息，而管理员自己可能根本不知道刚才说了什么不该说的话。

2. 论文的新方案：给管理员植入“隐形墨水”

作者提出了一种叫**“激活水印”（Activation Watermarking）的新方法。这不再是派一个外部保安，而是给管理员的大脑内部**植入一种特殊的“隐形墨水”。

核心概念：
- 秘密钥匙：管理员的大脑里有一个只有老板（模型提供商）知道的秘密钥匙（Secret Key）。
- 隐形墨水：当管理员准备说一些危险的话（比如教人制造武器）时，他大脑深处的神经元活动（激活值）会不由自主地带上一种特殊的“数学印记”。
- 只有老板能看见：这种印记就像用隐形墨水写的字。坏人（黑客）虽然能看到管理员说的话，但他没有“秘密钥匙”，所以完全看不见这个印记，也就无法通过调整说话方式来消除它。

3. 它是如何工作的？（三个步骤）

训练（植入墨水）：
在训练阶段，老板给管理员看很多危险案例。每当管理员要开始说危险内容时，就强迫他的大脑活动向一个特定的方向“倾斜”（就像给他的思维加了一个看不见的磁铁）。同时，保证他说安全的话（比如做蛋糕）时，大脑活动保持正常，不倾斜。
- 比喻：就像训练一只警犬，只有当它闻到“毒品”味时，它的耳朵才会微微抖动。这种抖动是它生理上的本能反应，坏人无法通过改变毒品的包装来阻止它抖动。
推理（使用过程）：
当用户提问时，管理员正常回答。如果用户问的是“怎么做蛋糕”，管理员的大脑活动很平稳。如果用户问“怎么造炸弹”，管理员虽然可能还是回答了（因为被黑客骗了），但他大脑深处的“耳朵”（激活值）开始剧烈抖动。
检测（老板检查）：
老板手里有“秘密钥匙”。在后台，老板只需要看一眼管理员大脑活动的“抖动”情况。
- 如果抖动符合“造炸弹”的特征，老板立刻报警：“刚才那段对话有风险！”
- 因为坏人没有钥匙，他无法预测或消除这种抖动，所以无论他怎么变着花样提问，只要触发了危险内容，就一定会留下痕迹。

4. 为什么这个方法很厉害？

防得住“聪明”的坏人：坏人即使知道检测算法，只要没有“秘密钥匙”，他就无法消除这个印记。这就好比小偷知道警犬的鼻子很灵，但他无法让警犬在闻到毒品时不抖动耳朵。
速度快、成本低：以前的保安（外部模型）需要把管理员说的话读一遍，再自己思考一遍，很慢。而“隐形墨水”是直接读取管理员大脑里的数据，不需要额外的思考时间，就像直接看心跳一样快。
不影响正常功能：管理员在回答“怎么做蛋糕”时，依然很聪明、很准确，不会因为装了“防盗门”就变笨了。

5. 总结

这就好比给一个可能失言的超级天才，穿上了一件只有老板能看见的“报警背心”。

以前：靠外面的保安盯着，保安容易被骗，一旦被骗，天才就闯祸了。
现在：天才自己穿着报警背心。只要他脑子里冒出危险念头并付诸行动，背心就会自动向老板发信号。坏人就算把天才骗得团团转，也脱不掉这件背心。

这篇论文证明了，即使我们无法 100% 防止大模型被“黑”（被诱导说坏话），我们至少可以100% 精准地发现它什么时候说了坏话，从而在事后追责、修补漏洞，保护大家的安全。

论文技术总结：基于激活水印的大语言模型鲁棒安全监控

1. 研究背景与问题定义

背景：
随着大语言模型（LLM）能力的提升，其被恶意利用的风险日益增加（如生成武器制造指南、恶意代码或泄露敏感信息）。尽管模型经过对齐（Alignment）和红队测试（Red-teaming），但面对**自适应攻击者（Adaptive Attackers）**时，现有的安全监控机制仍显得脆弱。自适应攻击者能够迭代优化提示词（Prompt），在绕过检测的同时成功诱导模型输出有害内容。

核心挑战：

现有监控的脆弱性：目前主流的安全监控通常依赖外部“守卫模型”（Guard Models，如 LlamaGuard、Qwen Guard）或文本分类器。这些模型通常是静态的，且攻击者可以获取其架构或参数（开源模型），从而针对特定的监控机制进行优化，实现“对抗性逃逸”。
检测与响应的矛盾：提供商无法在未知攻击模式的情况下修补安全机制。如果攻击者知道监控算法但不知道秘密密钥，他们仍能通过代理模型（Surrogate Model）训练出能同时诱导有害输出并逃避检测的查询。
低误报率要求：监控必须在保持极低误报率（False Positive Rate, FPR）的前提下工作，以免干扰正常用户，这进一步增加了防御难度。

目标：
设计一种鲁棒的监控机制，能够抵抗自适应攻击，即在攻击者知晓监控算法但不知道秘密密钥的情况下，依然能准确检测出有害行为，同时保持模型在良性任务上的效用。

2. 方法论：激活水印（Activation Watermarking）

作者提出了一种名为**激活水印（Activation Watermarking）**的新方法，将检测信号直接嵌入到模型内部的隐藏状态（Hidden Activations）中，而非依赖外部文本分类。

2.1 核心思想

该方法通过在模型训练阶段引入受控的随机化，将特定的“水印方向”与有害行为绑定。

秘密密钥（Secret Key）：用于生成随机的检测向量（高斯向量 $w$ ）。
嵌入机制：微调模型，使其在生成有害内容时，内部激活状态倾向于对齐该秘密向量；而在生成良性内容时，激活状态则与该向量正交。
检测机制：推理时，计算模型激活状态与秘密向量的余弦相似度。如果相似度超过阈值，则触发警报。

2.2 具体流程

密钥生成：
- 为每个目标层 $\ell$ 采样一个高斯向量 $w_\ell \sim \mathcal{N}(0, I_d)$ ，种子由秘密密钥 $k$ 决定。
训练阶段（微调）：
- 数据标注：使用带有“有害起始偏移量（Onset Offset, $\Delta$ ）”的数据集，标记有害内容开始的位置。
- 损失函数设计：
  - KL 散度约束：保持模型在良性任务上的原始分布，防止效用大幅下降。
  - 水印损失：
    - 对于有害样本：在有害内容开始后的 token 上，最小化激活向量与 $w_\ell$ 的负余弦相似度（即强制对齐）。
    - 对于良性样本：强制激活向量与 $w_\ell$ 正交（即远离）。
  - 线性加权：水印强度随 token 位置线性增加（从 $\Delta$ 到序列末尾），因为有害意图通常在回答的后半部分更明显，这有助于减少早期模糊 token 的误报。
检测阶段（推理）：
- 在推理过程中，记录目标层的隐藏状态 $h_t$ 。
- 计算加权平均的余弦相似度统计量 $T_k(\pi, x)$ 。
- 若 $T_k > \tau$ （阈值），则判定为有害并触发警报。
- 优势：仅需一次前向传播，无需额外的外部模型调用。

2.3 秘密提取安全博弈（Secret Extraction Security Game）

为了验证方法的有效性，作者构建了一个安全博弈：

设定：提供商在模型中注入特定的敏感实体（如虚构人物的隐私数据），并赋予每个实体独特的水印向量。
攻击者目标：通过自适应查询诱导模型泄露特定实体的秘密，同时不被检测。
获胜条件：攻击者成功提取秘密且未被检测（ $D_k=0$ ）。
防御效果：由于攻击者不知道具体的密钥 $k$ （即不知道 $w$ 的方向），他们无法针对特定的水印向量进行优化，从而无法可靠地逃避检测。

3. 关键贡献

提出激活水印机制：首次将水印技术应用于 LLM 安全监控，将秘密检测信号嵌入模型内部表示，而非依赖外部文本分类。
对抗自适应攻击：证明了现有基于文本的守卫模型在面对自适应攻击（如 Jailbroken, DeepInception, AutoDAN）时极易失效，而激活水印在攻击者知晓算法但不知密钥的情况下，仍能保持高检测率。
高效与通用性：
- 计算开销极低：推理时仅需计算激活向量与水印向量的点积，无需额外的模型前向传播（相比 Guard Model 节省约 50% 的推理延迟）。
- 通用性：可应用于任何 LLM，支持流式场景。
细粒度审计能力：通过为不同实体分配不同水印向量，实现了对特定敏感信息泄露的归因（Attribution），不仅能检测“是否泄露”，还能识别“泄露了谁的信息”。

4. 实验结果

4.1 对抗自适应攻击的性能

在 BeaverTails 数据集及多种攻击策略（Jailbroken, DeepInception, Multilingual, AutoDAN）下的测试表明：

ASR（攻击成功率）：在 1% 误报率下，激活水印（ActWM）将有害响应的逃逸率显著降低。例如，在 AutoDAN 攻击下，LlamaGuard 的逃逸率高达 89.88%，而 ActWM 仅为 67.86%；在 Multilingual 攻击下，ActWM 表现尤为突出（逃逸率 34.15% vs Guard 模型的 65%+）。
AUROC（检测性能）：ActWM 在所有攻击场景下的 AUROC 均优于或持平于最强的 Guard 模型（QwenGuard, LlamaGuard）。特别是在复杂的自适应攻击中，Guard 模型性能急剧下降，而 ActWM 保持稳健（AUROC 普遍在 0.90 以上）。

4.2 跨模型泛化与密钥依赖性

跨模型攻击：使用 Mistral-7B 训练的自适应攻击在 Qwen2.5-7B 水印模型上测试，逃逸率依然很低，证明了水印的鲁棒性。
密钥不匹配：攻击者针对密钥 $k_1$ 优化的攻击，在检测器使用密钥 $k_2$ ( $k_1 \neq k_2$ ) 时，逃逸率显著下降。这表明攻击难以在不同密钥间迁移。

4.3 效用影响（Utility）

在 BBH、IFEval、MMLU-pro 等基准测试中，水印模型的得分与基线模型基本持平（差异在 2% 以内），甚至在部分任务（BBH, MMLU-pro）上有轻微提升。
在数学推理任务（GSM8K, MATH-Hard）上观察到一定程度的性能下降（约 2.6%-7.1%），这被认为是为了换取强安全监控所付出的合理代价。

4.4 秘密提取游戏

在 20 个合成实体的测试中，水印检测器能够以约 80% 的准确率识别出具体是哪个实体的秘密被泄露（混淆矩阵对角线显著）。
在极低误报率（ $10^{-4}$ ）下，仍能保持约 80% 的召回率，证明了其在生产环境中的可行性。

5. 意义与结论

技术意义：

范式转变：将安全监控从“外部文本过滤”转向“内部状态感知”，利用模型自身的表示空间作为防御阵地。
解决自适应攻击：通过引入基于秘密密钥的随机化，打破了攻击者“针对特定监控器优化”的假设，使得攻击者无法在不破坏模型行为的前提下完美逃逸。
效率优势：消除了 Guard Model 带来的额外推理延迟和内存开销，适合高并发部署。

实际应用价值：

为 LLM 提供商提供了一种在模型被越狱（Jailbreak）后仍能进行事后审计（Post-hoc Auditing）和事件响应（Incident Response）的手段。
特别适用于开源权重模型或公开 API 场景，这些场景下攻击者更容易获取模型信息并构建代理模型进行攻击。

局限性：

黑盒假设：当前威胁模型假设攻击者无法访问梯度或内部激活（白盒攻击），若攻击者拥有白盒权限，防御效果可能减弱。
无理论保证：目前主要基于实证评估，缺乏严格的数学证明来保证不存在更强的攻击策略。
标签依赖：训练数据依赖于 GPT 等自动标注，可能继承上游模型的偏见或盲点。

总结：
该论文提出的“激活水印”技术为大语言模型的安全监控提供了一条新的、鲁棒的且高效的途径。它证明了即使预防机制（Prevention）失效，通过内部嵌入的秘密检测信号，依然可以实现对滥用行为的高精度、低误报检测，为构建更安全的 AI 生态系统提供了重要的技术支撑。