🤖 AI

Exploring and Developing a Pre-Model Safeguard with Draft Models

本文提出一种预模型防护机制，该机制利用越狱攻击从大型语言模型向小型草稿模型的迁移性来生成草稿响应，从而使现有防护机制能够在目标模型推理前更准确地检测不安全提示，同时避免后模型审计的高昂计算成本。

原作者： Hongyu Cai, Arjun Arunasalam, Yiming Liang, Antonio Bianchi, Z. Berkay Celik

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Hongyu Cai, Arjun Arunasalam, Yiming Liang, Antonio Bianchi, Z. Berkay Celik

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创意类比对这篇论文的解读。

问题：“保安”vs“伪装大师”

想象你有一个非常强大、智能的机器人（大型语言模型，或LLM），它能写故事、解数学题并回答问题。你希望这个机器人既乐于助人又安全可靠——它不应该撰写仇恨言论、提供制造炸弹的指令或散布谎言。

为了确保安全，你雇佣了一名保安（“模型前守卫”）站在门口。保安会查看用户提出的每一个问题（提示词），在让机器人看到之前进行审查。如果问题看起来危险，保安就会将其拦截。

缺陷：
恶意行为者（黑客）已经学会将危险问题伪装成看似无害的样子。他们使用一种称为**“越狱”**的巧妙技巧来欺骗保安。

类比： 想象一名罪犯试图将武器偷偷带入银行。他们不再直接携带枪支，而是将其藏在一个标有“生日蛋糕”的盒子里。保安看到“生日蛋糕”，认为它是安全的，便放行。一旦进入，机器人打开盒子，发现武器，并做出有害行为。

论文指出，这些“模型前守卫”往往漏掉这些伪装攻击，因为它们只查看问题，而没有查看机器人可能给出的答案。

替代方案：“缓慢且昂贵”的检查

还有另一种检查安全性的方法：让机器人先回答问题，然后由第二名守卫检查答案。

类比： 让机器人先烤好蛋糕，然后由第二名守卫品尝，看看里面是否有毒。
问题： 这非常缓慢且昂贵。如果机器人非常庞大（例如一个拥有 700 亿参数的模型），烤蛋糕需要很长时间并消耗大量电力。即使第二名守卫说“停！这是毒药”，你也已经浪费了烤蛋糕所花费的所有时间和金钱。

新方案：“小型草稿模型”

作者提出了一种巧妙的折中方案。他们建议使用一个微小、快速的机器人（“小型语言模型”或SLM）作为“草稿”或“试运行”，在大型机器人看到问题之前先进行审查。

以下是他们新系统的逐步工作原理：

1. “影子”测试

当用户提出问题时，系统不是直接将其发送给大型机器人，而是首先将其发送给微型机器人。

类比： 在大型厨师烹饪复杂菜肴之前，一名微小、快速的副厨师会在测试厨房里尝试制作一个微小、粗糙的版本。

2. “可迁移性”的魔力

论文发现了一个令人惊讶的事实：能欺骗大型机器人的恶意问题，往往也能欺骗微型机器人。

发现： 如果黑客编写了一个旨在让大型机器人说出邪恶内容的问题，同一个问题通常也会让微型机器人说出邪恶内容。
类比： 如果某种特定的开锁工具能打开银行厚重、昂贵的前门，那么它很可能也能打开同一栋建筑上那扇脆弱、廉价的后门。这种“弱点”会从大门“迁移”到小门上。

3. “批量”策略

系统不只是询问微型机器人一次，而是多次询问（例如让 20 个不同的微型机器人尝试同一个问题）。

类比： 想象让 20 个不同的副厨师尝试烤那个“生日蛋糕”。即使蛋糕看起来无害，如果 20 个微型厨师中有 5 个在尝试烤制时不小心洒出了毒药，你就知道这个食谱是危险的。

4. 决策

系统查看微型机器人生成的答案。

如果微型机器人生成的是安全答案，系统就假设问题是安全的，并允许大型机器人进行回答。
如果微型机器人生成了不安全的答案（甚至只是众多答案中一个不安全的答案），系统会立即拦截该问题。大型机器人永远不会看到它，从而节省了时间和金钱。

为什么这更好

论文将这一想法与旧方法进行了测试，发现：

它能抓住更多坏人： 旧的“保安”（模型前守卫）漏掉了约 32% 的伪装攻击。这种新的“微型机器人”方法几乎能抓住所有攻击，因为微型机器人揭示了问题中隐藏的危险。
它快得多： “缓慢且昂贵”的方法（模型后检查）需要很长时间，因为它要等待大型机器人完成。这种新方法几乎和旧的保安一样快，因为微型机器人超级迅速。
- 结果： 与缓慢的方法相比，它将获得安全答案所需的时间减少了97%。
它不会阻挡好人： 对于正常、安全的问题（例如“怎么做三明治？”），微型机器人的表现与大型机器人一样。该系统几乎不拦截任何无辜的问题，为普通用户保持了流畅的体验。

总结

这篇论文介绍了一种安全系统，它利用一个**小型、快速的“测试机器人”**来预测问题是否危险。由于恶意问题往往既能破坏小型机器人也能破坏大型机器人，因此小型机器人充当了敏感的“煤矿中的金丝雀”。如果小型机器人感到困惑或说出了坏话，我们就知道这是一个陷阱，并在昂贵的大型机器人尝试之前将其拦截。这使得人工智能更安全，而不会降低其速度。

技术摘要：利用草稿模型探索与开发预模型防护机制

问题陈述

大型语言模型（LLMs）仍易受越狱攻击，此类攻击旨在诱导出违反伦理和操作指南的不安全或有害响应。当前的防御机制通常分为两类，且各自存在显著局限：

预模型防护：在提示词到达目标大语言模型之前对其进行审计。虽然计算效率高，但由于缺乏模型生成响应的上下文，其假阴性率较高。例如，LlamaGuard 2 在预模型模式下，针对针对 Llama-3-70B 的 AutoDAN 攻击生成的对抗性提示词，仅能检测到 71.6%。
后模型防护：同时审计提示词和生成的响应。虽然通过利用响应上下文提供了更高的检测准确率，但由于需要目标模型完全生成响应后防护机制才能介入，因此计算成本高昂（增加了 token 使用量和延迟）。

核心挑战在于设计一种防御系统，既能达到后模型防护的高检测率，又无需承担其计算开销，同时提升预模型防护的检测率。

方法论

作者提出了一种利用越狱攻击从大型语言模型（LLMs）到小型语言模型（SLMs）的可迁移性的防护设计。核心假设是：为大型目标模型精心设计的越狱提示词，往往也会诱导较小的“草稿”模型产生不安全响应。通过利用这些草稿模型生成推测性响应，系统可以在调用昂贵的目标模型之前评估提示词的安全性。

设计的关键组件

可迁移性的系统研究：
- 作者对越狱提示词从大型语言模型（如 Llama-3-70B、Qwen1.5-72B、Phi-3）到小型语言模型（如 OPT-125M、SmolLM-135M、Qwen2.5-0.5B）的可迁移性进行了实证调查。
- 他们评估了三种越狱生成系统：GCG、AutoDAN 和 PAIR。
- 关键发现：虽然原始可迁移率各不相同，但不安全响应比例的分布是可区分的。良性提示词在小型语言模型中产生的不安全响应比例接近零，而恶意提示词则诱导出一个具有非零不安全比例的“长尾”分布。这一统计差异可作为防御信号。
推测性推理防护：
proposed 系统分两个阶段运行：
- 阶段 A：推测性推理（目标模型之前）：
  - 响应生成：收到提示词后，一个小规模草稿模型使用随机采样（束搜索和 top-p）生成一批 $b$ 个草稿响应（例如 $b=20$ ）。
  - 分类：将这些草稿响应与原始提示词一起输入现有的安全分类器（例如后模型模式下的 LlamaGuard）。
  - 聚合：系统聚合分类标签。如果被标记为不安全的草稿响应比例超过阈值 $\tau$ ，则判定该提示词为恶意，并返回拒绝响应。
- 阶段 B：目标模型推理：
  - 如果提示词通过推测性检查，则将其转发给目标大语言模型进行最终生成。对于这些通过的提示词，无需后模型防护。

主要贡献

实证调查：本文提供了关于从大型语言模型到小型语言模型的越狱可迁移性的系统研究，指出虽然可迁移性并非完美，但恶意提示词的不安全响应分布与良性提示词在统计上是可区分的。
新颖的防御架构：作者引入了一种利用小型语言模型进行推测性推理的预模型防御机制。这种方法将可迁移性从攻击向量转化为防御资产。
性能优化：该设计实现了较低的防御失败率（DFR），与现有的后模型防护相比显著缩短了从提示词到响应的时间，同时在良性提示词上保持了高准确率。
开源：防护设计及代码已公开，供公众验证。

实验结果

评估针对三种越狱系统（GCG、AutoDAN、PAIR）和三种目标模型（Llama-3-70B、Qwen1.5-72B、Phi-3）进行，将 proposed 设计（使用 OPT-125M 或 SmolLM-135M 作为草稿模型）与 LlamaGuard 2（预模型和后模型模式）及 PerplexityGuard 进行了比较。

防御失败率（DFR）：
- 与预模型防护相比，proposed 设计将 DFR 平均降低了32.4%（基于 OPT 的版本具体降低了 32.37%）。
- 与后模型防护相比，proposed 设计将 DFR 平均降低了17.38%。
效率（从提示词到响应的时间）：
- 相对于后模型防护，proposed 设计将检测和阻断攻击所需的时间减少了97.07%（例如，将对 Llama-3 的 AutoDAN 攻击的检测时间从约 101 秒减少到 1 秒以内）。
- 与预模型防护相比，时间开销微乎其微，仅增加了0.59%。
良性准确率：
- 该防护机制在良性提示词上保持了**98%**的准确率，与预模型和后模型防护基线的表现相当。
- 相比之下，PerplexityGuard 在良性提示词上的准确率较低（0.88）。

意义与主张

本文主张，越狱攻击的可迁移性传统上被视为一种漏洞，允许攻击者绕过不同模型间的安全过滤器，但它可以被有效地重新利用为一种防御机制。通过利用更小、更快的模型，通过推测性推理来“探测”提示词的安全性，proposed 防护机制提供了一种实用解决方案，弥合了预模型防护的效率与后模型防护的准确率之间的差距。

作者强调，他们的方法并不要求草稿模型成为完美的检测器；相反，它依赖于不安全响应分布的统计可区分性。这使得构建一个稳健的防御系统成为可能，该系统在无需为每个请求进行完整的目标模型推理所带来的高昂计算成本的情况下，显著降低了生成有害内容的风险。这项工作表明，未来的防御策略可以超越简单的提示词分析，转而包含轻量级的推测性响应生成，以增强安全对齐。