D-Judge: Disrupting Multi-Turn Jailbreaks using Semantics-Preserving Output Rewriting
该论文介绍了 D-Judge，这是一种通过重写大语言模型（LLM）的响应来破坏多轮越狱攻击的防御机制，该机制在保留原始含义的同时，刻意使攻击者控制的判别模型的反馈信号发生失真，从而使迭代式的提示词优化过程脱轨。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
以下是关于论文《D-Judge：通过语义保持的输出重写来瓦解多轮越狱攻击》的解释，使用了简单的语言和富有创意的类比。
问题所在：“反馈循环”陷阱
想象一下，你正试图教一个非常严格的机器人（受害者 LLM）去做一些它不该做的事情，比如编写一份制造炸弹的指南。
在过去，黑客只会对着机器人大喊一声非常响亮且明显的指令。如果机器人说“不行”，黑客就会放弃。
但现在，黑除了发现了一种更聪明的手段，叫做多轮越狱（Multi-Turn Jailbreak）。他们不再是喊一嗓子，而是进行一场漫长而缓慢的对话：
- 他们向机器人提一个无害的问题。
- 机器人给出回答。
- 黑客有一个裁判（Judge）（另一个 AI）在听机器人的回答，并说：“刚才很接近了，但下次你需要再具体一点。”
- 黑客利用这个反馈来微调他们的下一个问题。
- 他们不断重复这个循环，慢慢地将机器人引向那个被禁止的目标。
这篇论文指出，裁判的反馈是维持这个引擎运转的燃料。只要黑客能获得关于他们距离目标有多近的准确反馈，他们最终就能成功诱骗机器人。
解决方案：“神奇翻译官”（D-Judge）
作者引入了一种新的防御机制，叫做 D-Judge。它并不试图去拦截黑客或审查机器人的回答，而是像一个坐在机器人和黑客之间的神奇翻译官。
它是这样工作的：
- 设置： 机器人给出一个回答。
- 翻译： 在黑客（及其裁判）看到回答之前，D-Judge 会对其进行重写。
- 诀窍： 这个重写是*语义保持（Semantics-preserving）*的。这意味着回答的含义*保持完全一致。如果机器人说“我不能告诉你那个”，重写后的版本可能会说“分享该信息违反了我的规则”。含义是相同的，但措辞*不同了。
- 迷惑： 黑客的裁判阅读重写后的版本。由于词汇发生了细微变化，裁判会感到困惑。它可能会认为这个回答比实际情况更危险，或者更不危险。
- 结果： 裁判给了黑客错误的反馈。黑客会想：“噢，我离目标更近了！”其实并没有；或者想：“我失败了！”其实他们原本是成功的。
因为黑客是基于错误数据来优化他们的下一个问题，所以他们会迷失方向。他们停止了进展，攻击也随之失败。
他们是如何训练这个“神奇翻译官”的
为了教会 D-Judge 如何做到这一点，研究人员并没有只是告诉它“去迷惑裁判”，而是建立了一个特殊的训练健身房：
- 数据集： 他们提取了数千个机器人的回答，并创建了它们的“孪生版本”。其中一个孪生版本被重写得在裁判看来稍微更危险一点，另一个则看起来稍微没那么危险，尽管这两个孪生版本的意思完全一样。
- 训练（两个步骤）：
- 第一步（学习规则）： 他们教翻译官如何在不改变意思的情况下制作这些孪生版本（就像一个严厉的编辑）。
- 第二步（学习诀窍）： 他们使用了一种叫做**直接偏好优化（DPO）**的技术。他们向翻译官展示：“当你看到这对孪生版本时，始终选择那个能让裁判更惊慌（或更困惑）的版本。”
这教会了翻译官如何成为一名“文字杂耍”大师——在不改变配方的前提下，仅仅通过改变句子的“风味”来干扰裁判的分数。
结果：打破循环
研究人员使用最聪明的黑客方法（如 Crescendo、X-Teaming 和 Foot-in-the-Door）对 D-Judge 进行了测试。
- 没有 D-Judge 时： 黑客非常成功，平均有 58% 的概率诱骗成功。
- 有了 D-Judge 后： 成功率降至仅为 8.6%。
论文表明，D-Judge 比以往那些只尝试“屏蔽”坏词的防御手段要出色得多。通过破坏反馈循环，D-Judge 在攻击开始前就将其扼杀在摇篮里。
它会让机器人变笨吗？（“安全税”）
人们对这类防御机制的一个大担忧是，它们是否会让机器人变得愚蠢或不再好用。论文通过测试机器人在正常任务（如编写代码、做数学题或回答历史问题）中的表现来检查这一点。
- 结论： 机器人保持了几乎与之前相当的聪明程度和帮助能力。所谓的“安全税”（性能损失）非常小。神奇翻译官擅长迷惑裁判，同时又不会破坏机器人帮助普通用户的能力。
总结类比
想象一场**“靠近还是远离”**的游戏（类似“热还是冷”的游戏）：
- 攻击者蒙着眼睛，试图寻找隐藏的宝藏（有害内容）。
- 裁判是那个低声说“变热了”或“变冷了”来引导他们的人。
- 受害者是拿着宝藏的人。
在正常的攻击中，裁判会说出真相，攻击者就能找到宝藏。
D-Judge 是一个站在裁判和攻击者之间的恶作剧者。每当裁判低声说“变热了”时，恶作剧者就会把它改成“变冷了”（或反之亦然），但他们并不会移动宝藏。攻击者感到困惑，走错了方向，永远找不到宝藏。与此同时，宝藏（机器人的实际含义）本身并没有发生任何移动。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。