Breaking Safety at the Token Boundary: How BPE Tokenization Creates Exploitable Gaps in LLM Alignment
本文证明了字节对编码（BPE）分词通过将关键单词拆分为子词片段，制造了可被利用的大语言模型安全对齐漏洞，这种漏洞能够绕过多种模型家族的拒绝机制，且在不导致全局性能崩溃的情况下，无法通过当前的对齐数据集或标准训练配置进行稳健修复。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
以下是使用简单语言和日常类比对该论文进行的解释。
核心理念：安全系统中的一个“故障”
想象一下，大型语言模型（LLM）就像是非常聪明但有些刻板的机器人。为了确保它们的安全，工程师们教会它们对危险请求说“不”（例如“如何制作炸弹？”）。
这篇论文发现，这些安全机器人有一个特定的弱点：当单词被拆分成奇怪的碎片时，它们会感到困惑。 即便人类可以轻松读懂那个请求，机器人的内部“安全开关”也会失效，导致它意外地回答了那个危险问题。
作者们将此称为**“在 Token 边界处破坏安全性” (Breaking Safety at the Token Boundary)**。
1. “乐高”问题 (BPE 分词技术)
要理解这个故障，你需要了解这些机器人是如何“阅读”的。它们并不像人类那样阅读完整的单词。它们使用一种叫做 BPE (字节对编码) 的系统，将单词分解成更小的块，就像乐高积木一样。
- 正常单词： “methamphetamine” 可能是一个大的乐高积木。
- 攻击手段： 如果你在中间加入一个空格——“meth amphetamine”，机器人就必须把这个大积木拆分成两个较小的、不熟悉的碎片：“meth” 和 “amphetamine”。
类比： 想象一名保安，受过训练去拦截任何拿着特定红色箱子的人。如果你用胶带把两个较小的蓝色盒子粘在一起，看起来像那个红色的箱子，保安会拦住你。但如果你把一个红色的箱子切成两半，然后分别把这两半交给保安，保安可能就认不出它们是那个“危险的红箱子”了。他们看到的只是两块无害的纸板。
论文证明，仅仅通过添加空格或改变几个字母（比如用 “b0mb” 代替 “bomb”）就能将“红箱子”拆解开，让安全保安无法识别。
2. 大脑的“最后 30%”
研究人员使用了一种特殊的工具（激活补丁/activation patching）来观察机器人“大脑”（其处理层）内部，以查看安全信号存在于何处。
- 发现： “不！”这个信号主要发生在机器人思考层的最后 30%。
- 故障： 当单词被拆分（碎片化）时，信号会在这些最后的层级中丢失。机器人理解其含义（它知道“bomb”是什么意思），但无法触发拒绝机制，因为其安全机制依赖于将该单词作为一个整体单元来识别。
3. 训练差距：为什么它们没有学会应对？
你可能会问：“为什么工程师没有训练机器人去处理破碎的单词呢？”
论文扫描了 3 万个安全训练示例，发现其中零个示例是故意将危险单词拆分的。
- 类比： 想象你只针对在整洁、有序的厨房里发生的火灾训练消防员。如果火灾发生在了一个杂乱、堆满碎家具的地下室，消防员会陷入恐慌，因为他们从未见过这种特定的混乱情况。
- 结果： 机器人学会了拒绝“干净”的危险单词，但从未学会拒绝“凌乱”的破碎单词。
4. 测试修复方案：为什么现有的解决方案会失败
研究人员尝试通过使用包含破碎单词的示例来重新训练机器人（使用称为 SFT 和 DPO 的方法）来修复这个问题。
- 结果：
- DPO (直接偏好优化)： 这种方法试图变得聪明且具有选择性，但它未能持续修复该问题。
- SFT (监督微调)： 这种方法确实阻止了机器人回答破碎单词的请求，但是它破坏了其他东西。它让机器人开始拒绝所有内容，即使是像“我该如何烤蛋糕？”这样无害的问题，如果蛋糕配方里有一个奇怪的拼写错误，它也会拒绝。
- 类比： 为了修复机器人的“盲视”问题，工程师试图让机器人变得“疑神疑鬼”。现在，机器人不仅会忽略破碎的危险单词，还会忽略所有破碎的单词，甚至是安全的单词。这就像一名保安在被骗过一次后，开始逮捕所有戴帽子的人，哪怕他们只是个面包师。
5. 这意味着什么（根据论文观点）
论文得出结论：
- 原因： 安全失效是结构性的。并不是机器人“邪恶”或“愚蠢”；而是因为其安全训练数据太“干净”了，没有包含黑客使用的那些凌乱、破碎的单词变体。
- 防御： 如果只是通过训练让机器人变得“更严格”，那么仅仅增加数据是不够的。你需要一种方法，既能教机器人识别破碎单词的含义，又不会让它拒绝处理其他一切事物。
- 未来： 作者建议，修复这个问题可能需要改变机器人阅读单词的方式（修复“乐高”系统），或者使用“思维链”（Chain of Thought，让机器人通过逐步思考来重构破碎的单词，然后再进行回答）。
简而言之： 这个安全系统就像一个只认识完美拼写的拼写检查器。如果你输入带有错别字的单词，拼写检查器就不会标记错误，机器人就会意外地让危险信息通过。要修复它，需要教机器人处理错别字，同时又不至于让它拒绝阅读任何带有错别字的文本。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。