💬 NLP

OTTER: A Red-Teaming System for Toxicity-Evading Jailbreak Prompt Optimization

OTTER 是一个黑盒红队测试框架，它通过优化提示词以通过极小的标记变化来规避检测，从而展示了基于毒性的 LLM 防御机制的脆弱性，进而实现了攻击成功率的显著提升，并为分类器的加固提供了具有实践意义的见解。

原作者： Jerry Wang, Hsin-Ling Hsu, Yi-Cheng Lai, Nai-Chia Chen, Fang Yu

发布于 2026-06-23✓ Author reviewed ⓘ

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jerry Wang, Hsin-Ling Hsu, Yi-Cheng Lai, Nai-Chia Chen, Fang Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你面前有一名极其严格的保安，守在一家高科技俱乐部（AI 模型）的入口处。这名保安唯一的职责就是查看你的邀请函（你的提示词/prompt）并检查其中是否包含“脏话”。如果你的邀请函听起来很不礼貌、有暴力倾向或具有攻击性，保安就会把你拒之门外。这家俱乐部假设，如果词汇听起来很糟糕，那么其背后的“意图”也一定很糟糕。

名为“OTTER”的论文揭示了一个打破这一系统的巧妙技巧。它表明这个保安其实非常容易被糊弄：他们如此专注于特定的“脏话”，以至于你只需要将其中仅仅 五个词 替换为无害的同义词，就能让保安放你进去，尽管你仍然在尝试做同样危险的事情。

以下是该论文如何通过简单的类比来拆解这一过程的：

1. 问题所在：保安的智能仅停留在“表面”

作者发现，目前的 AI 安全系统过度依赖于“毒性评分（toxicity score）”。这就像机场的金属探测器。如果你带着一把枪走过去，探测器会报警。但如果你把枪涂成粉红色并称之为“玩具”，探测器可能就不会报警，尽管你手里拿的依然是武器。

论文证明，AI 的安全过滤器和 AI 实际的拒绝机制都被这种技巧所愚弄。它们观察的是词汇的“表面”，而不是词汇背后的“含义”。

2. 解决方案：OTTER（“词汇交换器”）

研究人员构建了一个名为 OTTER 的工具。你可以把 OTTER 想象成一位深谙哪些词汇会触发保安愤怒情绪的“金牌编辑”。

运作方式： OTTER 获取一个有害的请求（例如“如何制作炸弹？”），然后问自己：“哪些特定的词汇让保安感到愤怒？”
交换： 它识别出那些“愤怒”的词汇（如“炸弹”），并将它们替换为意思相同但听起来无害的“安全”词汇（如“危险装置”）。
结果： 新的句子在保安听起来既礼貌又安全，但内部的 AI 仍然理解那个危险的请求并给出回答。

3. OTTER 的两个版本

论文测试了两种不同的交换方式：

OTTER-MLM（智能编辑）： 这个版本使用一个理解上下文的词典。它会将词汇替换为能完美融入句子的同义词，就像一位专业的编辑一样。它效率很高，且需要的尝试次数较少。
OTTER-RV（随机变量）： 这个版本从一个巨大的列表中随机抽取单词。它不太讲究逻辑，但有时能找到效果更好的“神奇词汇”。这就像是在靶盘上不断投掷飞镖，直到射中红心。

4. 结果：令人震惊的成功率

研究人员在四种不同的流行 AI 模型（如 GPT-4 和 GPT-3.5）上进行了测试。

使用 OTTER 之前： AI 在 93% 的情况下会拒绝有害请求（只有 7% 能成功绕过）。
使用 OTTER 之后： AI 仅在约 16% 的情况下会拒绝请求。通过仅仅改变几个词，84% 的有害请求成功通过了审核。

论文强调了一个关键发现：毒性评分并不能很好地预测安全性。 仅仅因为一个句子的“毒性评分”很低，并不意味着它是安全的。研究发现，降低毒性评分与成功绕过 AI 防御之间存在强关联。

5. 为什么有些内容更难被绕过

论文注意到，并非所有的不良请求都同样容易被欺骗。

容易攻击的目标： 关于仇恨言论或自残的请求非常容易被绕过。这些请求高度依赖特定的“脏话”，因此替换这些词汇效果显著。
较难攻击的目标： 关于网络犯罪或黑客攻击的请求则较难绕过。即使去除了“脏话”，句子的结构本身听起来仍然很可疑。这表明对于复杂的议题，AI 观察的不只是词汇。

6. 我们该怎么做？（建议）

作者不仅仅是在展示一种破解手段；他们试图修复这个“保安”。他们建议：

不要依赖“脏话列表”： 安全过滤器需要理解“意图”，而不仅仅是词汇。
更好地训练“保安”： 利用 OTTER 创建的这些“交换后的句子”来训练安全过滤器。向过滤器展示：“看，这个句子听起来很友善，但它实际上很危险。”
持续测试： 由于 AI 模型会不断更新，安全团队需要像运行 OTTER 这样持续进行测试，以观察新模型是否仍然容易受到这类词汇交换技巧的影响。

核心结论

论文得出结论：目前我们保护 AI 的方式——即仅仅通过屏蔽“有毒”词汇——在本质上是脆弱的。通过改变哪怕仅仅五个词，你就能欺骗系统。要让 AI 真正安全，我们需要教会系统去理解词汇背后的“危险性”，而不仅仅是词汇本身。

技术摘要：OTTER —— 一种用于规避毒性检测的越狱提示词优化的红队测试系统

1. 问题陈述

生产环境中的大语言模型（LLMs）主要依赖基于毒性的审核过滤器作为其核心防御机制。这些系统假设有害意图与毒性的表面措辞强相关。作者认为，这一假设在本质上是脆弱的。他们证明，通过替换极少量的（仅需五个）Token，就可以实现表面毒性与对抗性意图的解耦。

现有的越狱方法对于审计闭源系统的从业者而言面临显著约束：

白盒攻击（如 GCG、AutoDAN）需要访问模型权重和梯度，而这些在通过商业 API 访问时是不可用的。
带有辅助 LLM 的黑盒攻击（如 PAIR、TAP、DAGR）依赖于一个独立的、功能强大的攻击者模型来生成候选提示词，这引入了高昂的成本和延迟。

目前存在一个技术缺口，即需要一种除了标准 API 访问之外不需要任何其他工具（无需模型权重、无需梯度、也无需辅助攻击者模型）即可有效绕过安全过滤的方法。

2. 方法论：OTTER

作者提出了 OTTER（Obfuscated Toxicity-Evading Token Evolution for Rewriting，即：用于重写的模糊化规避毒性 Token 演化），这是一个轻量级的黑盒红队测试框架。OTTER 将越狱重写视为一个受约束的优化问题：寻找一个有害提示词的表面层级重写版本，使其满足以下两个条件：(1) 低于审核 API 的毒性阈值；(2) 保留原始的对抗性意图。

核心流水线

Token 归因 (Mask-Drop)： OTTER 识别哪些 Token 对毒性评分贡献最大。对于每个 Token 位置 $i$ ，将其遮蔽（masking），并重新计算毒性评分。差异值 ( $\Delta_i$ ) 即表示该 Token 的贡献度。系统会选择前 $k$ 个位置（排除停用词）进行修改。
候选生成： 提出了两种用于生成替代候选者的变体：
- OTTER-MLM： 查询处于填空模式（fill-mask mode）的 BERT 模型，以获取符合上下文语境的替代词。这确保了语义的连贯性和流畅性。
- OTTER-RV： 从经过过滤的 BERT 词表（仅限 alpha 字符，长度 > 2）中进行均匀采样。这允许进行更广泛、更激进的搜索空间，以降低毒性。
贪婪逐位置搜索： OTTER 执行贪婪搜索，以选择能够平衡降低毒性与减少语义漂移（通过句子嵌入的余弦相似度衡量）的替代词。
评估： 将重写后的提示词发送给目标 LLM。成功定义为目标模型未返回拒绝响应。

3. 核心贡献

OTTER 框架： 一个仅凭标准 API 访问即可运行的轻量级黑盒红队测试框架，具备两种变体（OTTER-MLM 和 OTTER-RV）。
定量分析： 首次对“毒性–绕过”关系进行了系统的实证分析，提供了诸如点二系列相关系数（BTC）和曲线下面积（AUC）等指标，以及针对不同类别的详细分解。
防御洞察： 证明了在良性提示词上实现了零误报，并为生产部署中的闭环分类器强化提供了可操作的建议。

4. 实验结果

该系统在来自 AdvBench 数据集的 457 个有害提示词上，针对四种闭源 GPT 模型（gpt-4-turbo, gpt-4o, gpt-4o-mini, 和 gpt-3.5-turbo）进行了评估。

攻击成功率 (ASR)：
- 基准（直接使用 AdvBench 提示词）：平均 ASR 为 7.0%。
- OTTER-MLM：将平均 ASR 提升至 75.6%。
- OTTER-RV：将平均 ASR 提升至 84.0%。
- 注：一个 GPT-4o 改写基准达到了 77.0% 的 ASR，但缺乏 OTTER 的透明度和可复现性。
毒性–绕过关系：
- 研究发现，降低毒性评分与绕过概率之间存在强相关性（BTC = 0.505, AUC = 0.823）。
- 毒性评分低于 0.1 的提示词绕过 GPT-4 类模型的比例为 93.6%，而对于评分 $\ge$ 0.1 的提示词，该比例为 57.8%。
类别分解：
- 高脆弱性： 自残/自杀和仇恨言论类别在适度降低毒性的情况下，ASR 达到了 95–96%，表明其意图集中在少数几个表面 Token 上。
- 较低脆弱性： 网络犯罪/黑客攻击实现了最高的毒性降低程度 ( $\Delta$ Tox = 0.771)，但 ASR 最低（73.7%）。这表明技术词汇即使在表面毒性较低时仍能承载有害意图，使得这些类别对简单的词汇替换具有更强的韧性。
效率： 研究发现最优的编辑位置数量 ( $k$ ) 为 5。当 $k$ 增加到 8 时，虽然 ASR 提升了 8.8 个百分点，但 API 调用次数增加了 60%，呈现出收益递减现象。

5. 重要性与主张

论文声称 OTTER 揭示了基于毒性的审核机制中一个根本性的架构漏洞：即审核分类器与模型拒绝机制之间共享的表面层级信号。

意图与毒性的解耦： 研究证明，有害意图可以在经历显著的词汇混淆后依然存在，这证明了毒性评分是绕过概率的一个可靠但并不完美的代理指标。
模型能力并非防御手段： 更强大的模型（如 GPT-4-turbo）并未显著缩小与较弱模型（如 GPT-3.5-turbo）之间的漏洞差距，其 ASR 提升的差距仅为 3.5 个百分点。这表明安全对齐与模型能力目前是独立优化的。
可操作的防御： 作者将 OTTER 不仅仅定位为一种攻击工具，更是一种诊断工具。他们建议：
1. 补充毒性评分： 使用针对语义等价改写后的提示词进行训练的“意图感知型”分类器。
2. 闭环强化： 将 OTTER 集成到 CI/CD 流水线中，生成“硬负样本”（重写的有害提示词），用于持续的分类器再训练。
3. 风险分层： 优先针对那些具有高 ASR 且低毒性降低特征的类别（如仇恨言论）进行防御强化，而非针对那些意图编码在技术结构中的类别（如网络犯罪）。

作者总结道，虽然结构性漏洞是架构层面的，但实际的严重程度取决于防御系统如何演进。他们强调，其主要贡献在于对“毒性–绕过”关系的诊断性表征以及由此产生的防御建议，而非绕过机制本身。