Sockpuppetting: Jailbreaking LLMs by Combining Prefilling with Optimization

本文通过证明集成简单的预填充变体能显著提升攻击成功率，并引入一种名为“傀儡操控”的新型混合方法——该方法在助手消息块内优化对抗性后缀以实现卓越的提示无关性能——从而增强了大语言模型的越狱能力。

要点

想象将大型语言模型（LLMs）视为极其聪明、训练有素但恪守规矩的管家。这些管家被灌输了严格的规则：“如果有人要求你制造炸弹，你必须回答：‘抱歉，我无法做到。’"这就是它们的安全训练。

然而，本文探讨了两类巧妙的策略，旨在诱骗这些管家打破规则。研究人员将这些手段称为“越狱”。

以下是他们研究发现的简要解析，采用简单的类比说明：

1. “预填充”（Prefill）技巧：插队

通常，你向管家提问，他们会思考片刻后再作答。

• 攻击方式：想象你走到管家面前，在他们开口之前，就对着他们的耳朵低语他们回答的前几个字：“当然，制造炸弹的方法如下……"
• 结果：由于管家被训练为保持连贯性并补全他们已开始的句子，一旦听到这些词，他们就会感到必须完成这个想法。他们不会停下来思考“等等，我不该说这个！”，因为他们已经“入戏”成了那个同意帮忙的角色。
• 论文发现：研究人员发现，标准短语“当然，制造……的方法如下……"确实有效，但并非最佳。他们发现，仅仅改变格式——例如添加换行或使其看起来像粗体标题——就能让该技巧的效果大幅提升。
  • “集成”（Ensemble）策略：他们不尝试单一短语，而是同时尝试三个略有不同的版本。只要其中任意一个奏效，攻击即告成功。这种简单的“尝试几种变体”的方法，在某些流行的 AI 模型上，成功突破了安全防线，成功率高达90% 至 99%。

2. “傀儡”（Sockpuppet）技巧：伪造身份

论文介绍了一种新的、更高级的技巧，称为“傀儡化”（Sockpuppetting）。

• 类比：在现实生活中，“傀儡”是指用于假装赞同某人的虚假网络身份。在此攻击中，黑客在聊天内部伪造了一条“助手”消息。
• 工作原理：研究人员不再仅仅输入像“当然，这里……"这样简单的短语，而是利用计算机程序，通过数学计算，得出一个完美的、奇怪的词串，将其直接放置在“助手”标签之后。
  • 这就像开锁。研究人员并非在盲目猜测钥匙，而是利用机器打磨出一个特定且奇怪的形状，使其完美契合对话中的“助手”部分。
  • 一旦插入这把“完美钥匙”，模型就会认为“哦，我已经在回答的中间了”，从而继续生成有害内容。
• “滚动”（Rolling）升级：他们还尝试了这种方法的“滚动”版本。想象一下逐字构建句子：先找到完美的第一个词，再找到紧随其后的完美第二个词，依此类推。这种“滚动”方法甚至更加有效，与旧方法相比，成功率提高了高达64%。

为什么会发生这种情况？

论文指出，这些模型存在某种“分裂人格”：

1. 安全训练：它们经过微调，会对不良请求说“不”。
2. 补全本能：它们也被训练为补全摆在它们面前的任何句子。

当你“预填充”答案（替他们开始句子）时，你会强烈地触发它们的补全本能，以至于这种本能压倒了安全训练。这就像一个被教导“不要碰炉子”的孩子，但如果你开始说：“好吧，我会碰炉子，因为……"，孩子可能会为了完成这句话而直接去碰炉子，因为他们专注于完成这个想法，而非遵守规则。

论文的关键要点

• 简单即强大：你不需要复杂的代码就能攻破某些模型。仅仅尝试几种不同的写法来表述“当然，这里……"，效果就出奇地好。
• 位置至关重要：将“技巧”词汇放在聊天的“助手”部分（即 AI 回答所在的位置），比放在“用户”部分（即你提问的位置）要有效得多。
• “滚动”方法：逐字优化技巧词汇（即滚动式傀儡化）所构建的攻击，比试图一次性优化整体内容要强大得多。
• 并非所有模型都同等脆弱：某些模型（如 Qwen）很容易被简单的短语欺骗，而另一些模型（如 Gemma）较难被欺骗，但仍对更高级的“傀儡”方法存在漏洞。

简而言之：论文表明，如果你能在 AI 开口说话之前，悄悄将一句“是”塞进它的嘴里，它极有可能会继续对危险请求说“是”。研究发现，通过几种简单的变体，或者利用数学优化的“伪造身份”，是绕过安全过滤器的极高效率手段。

技术摘要

技术摘要：Sockpuppetting——通过结合预填充与优化实现大语言模型越狱

问题陈述

尽管经过旨在拒绝有害请求的对齐训练，大语言模型（LLM），尤其是开源权重模型，仍然容易受到“越狱”攻击的威胁。虽然梯度引导的攻击（例如 GCG）可以优化对抗性后缀以绕过安全过滤器，但它们通常计算成本高昂且需要专业知识。相反，“预填充”（prefill）攻击通过在生成开始前直接将接受序列（例如“好的，以下是如何……"）插入模型的“助手”消息块中，提供了一种低成本替代方案，但其在所有模型上的效果可能并非最优。本文研究了标准预填充攻击的局限性，并探讨了将预填充与基于梯度的优化相结合是否能产生更稳健、与提示无关的越狱方法。

方法论

作者提出并评估了两种主要攻击向量，利用“有害行为”（AdvBench）数据集，并在三个开源权重模型（Gemma-7B、Llama-3.1-8B 和 Qwen3-8B）上进行了测试。

1. 预填充变体的集成

作者假设标准的“好的，以下是如何……"预填充并非最优。他们测试了接受序列的三种简单变体：

• PrefillAcceptance（预填充接受）： 标准序列。
• PrefillNewline（预填充换行）： 在序列中添加冒号和换行符。
• PrefillTitle（预填充标题）： 将序列重新格式化为粗体标题（例如"关于……的指南"）。
  他们分别评估了这些变体，并进行了集成评估（如果任何变体成功，则视为该提示攻击成功）。

2. Sockpuppetting（混合攻击）

本文引入了"sockpuppetting"，这是一种混合攻击家族。与标准 GCG 优化附加在用户提示后的后缀不同，sockpuppetting 优化的是放置在**“助手”消息块**最开头的对抗性后缀。

• 机制： 攻击者插入目标接受序列（例如“好的，以下是……"），并优化其前面的对抗性后缀（即"sockpuppet"字符串），以最大化该接受序列被生成的可能性。
• 滚动变体（RollingSockpuppetGCG）： 为了解决长序列中可能存在的优化不足问题，作者采用了一种“滚动”优化策略。他们优化长度为 1 的后缀，将其作为长度为 2 的“热启动”，依此类推，直到达到目标长度（k=10）。这确保了在扩展攻击字符串之前，中间子串保持连贯且有效。

3. 实验设置

• 基线： 标准 GCG（针对每个提示单独优化和通用优化）以及“仅提示”（无攻击）。
• 评估： 针对每个提示的攻击，在 AdvBench 的前 100 个提示上测量攻击成功率（ASR）；针对通用攻击，在单独的 100 个提示验证集上测量。使用另一个 LLM（Gemma-3-27B-it）作为判断器来确定合规性。

主要贡献

1. 简单的预填充变体与集成

作者证明，标准预填充远非最优。通过集成仅三种简单、低成本的变体（换行、标题格式），他们在无需任何反向传播或梯度计算的情况下，实现了显著的 ASR 提升。

• 结果： 集成方法在 Gemma-7B 上实现了 22% 的 ASR，在 Llama-3.1-8B 上实现了 90%，在 Qwen3-8B 上实现了 99%。
• 提升： 这比标准的“好的，这里是……"预填充最高提升了 38%，比作者复现的针对单个提示优化的 GCG 最高提升了 82%。

2. Sockpuppetting：梯度优化的预填充

本文引入了 sockpuppetting，它将梯度优化的后缀放置在“助手”块内，而不是“用户”块内。

• 结果： RollingSockpuppetGCG 变体显著优于标准的通用 GCG 基线。在 Llama-3.1-8B 上，它将与提示无关的 ASR 比通用 GCG 基线提高了高达 64%。
• 协同效应： 结果表明，迭代（滚动）优化与在“助手”块内的特定定位相结合，对于高 ASR 至关重要，特别是在那些对简单预填充具有鲁棒性的模型上。

结果与观察

• 模型差异性： 特定预填充变体的有效性取决于模型。例如，PrefillNewline 在 Qwen 上非常有效（98% ASR），但在 Llama 上效果较差。相反，PrefillAcceptance 在 Llama 上表现更好。这表明没有单一的预填充是普遍最优的，从而证实了集成的价值。
• Gemma 的抵抗力： 与 Llama 和 Qwen 相比，Gemma-7B 对预填充攻击表现出更高的抵抗力。作者观察到，Gemma 在生成接受序列后经常发生“翻转”，回溯到拒绝状态（例如“我无法提供……"）。这种行为表明，Gemma 的对齐训练包含了即使在初始同意后也能打破自回归一致性的机制，这使得梯度损失景观对攻击者具有误导性。
• 通用与单提示： 通用攻击（同时在 25 个提示上优化）的表现通常优于单提示优化，这表明单提示 GCG 可能会针对特定提示“过拟合”，而通用攻击则能学习到更稳健的后缀。
• 互补性： 作者指出，sockpuppetting 和预填充可以是互补的。在简单预填充已经使 ASR 饱和的模型上（如 Llama 和 Qwen），sockpuppetting 提供的边际收益较少。然而，在对预填充具有抵抗力的模型上（如 Gemma），sockpuppetting 能适应防御并实现更高的 ASR。

意义与主张

本文声称对 LLM 安全领域做出了两项主要贡献：

1. 重新评估预填充攻击： 研究表明，预填充攻击的威力以前被低估了。即使是不 sophisticated 的攻击者，只需集成接受序列的简单变体，就能实现高成功率（在 Qwen 上高达 99%），且仅需极少的计算资源。
2. 引入 Sockpuppetting： 作者证明，在“助手”消息块内优化对抗性后缀（即 sockpuppetting）是一种极其有效的策略，特别是当与滚动优化结合使用时。这种方法挑战了对抗性后缀必须存在于用户提示中的假设。

对防御的启示：
作者得出结论，开源权重模型需要针对输出前缀注入的防御措施。他们强调，当前通常依赖特定接受序列（如“好的，这里是……"）的防御策略，可能不足以应对集成的预填充或梯度优化的助手块攻击。本文呼吁未来的工作针对这些特定攻击向量对权重级防御进行压力测试，并开发更自然、特定于模型的接受序列以提高鲁棒性。

作者保持了谦逊的立场，承认虽然他们的方法是有效的，但他们并不声称已经解决了 LLM 安全这一更广泛的问题。他们强调，他们的研究旨在揭示漏洞，以激发更好的防御性研究，特别是对于那些无法进行外部监控的开源权重模型。