On the Limits of Support-Preserving Alignment and Bounded Filtering

想象一下，你正试图教一个超级聪明、极具创造力的机器人如何成为一名合格的公民。你并不想对它进行“脑白质切除”，也不想删除它对世界运作方式的记忆；你只是想引导它的个性，让它不太可能说出一些刻薄或危险的话。这就是**大语言模型（LLM）的世界——它们是许多我们正在使用的聊天机器人背后的 AI 大脑。科学家们开发了一种叫做对齐（alignment）**的方法，这就像是给机器人设定了一套新的偏好。这种方法并不是抹除它谈论危险话题的能力，而是让机器人学习到谈论这些话题“没那么有趣”，因此它在大多数情况下会选择更安全的答案。

然而，这里有一个陷阱。即便机器人“倾向于”保持安全，它仍然“知道”如何变得危险。为了确保它不会出错，我们在它面前放置了一个“安全过滤器”——就像是俱乐部门口的保安。这个保安运行速度快且成本低，但它无法像机器人本身那样进行深度或缓慢的思考。科学家们面临的一个大问题是：如果我们保持机器人的大脑完全不变（只是稍微引导了一下），并依赖一个快速、有限的保安来拦截坏事，我们真的能让机器人实现 100% 的安全吗？或者说，是否存在一个微小且隐形的漏洞，是我们永远无法堵住的？

---

伟大的 AI 安全漏洞：为什么“足够好”可能并不够好

在这篇论文中，来自南洋理工大学的研究员 Aryan Dutt、Rui Mao 和 Anupam Chattopadhyay 决定测试这种安全设置的极限。他们想知道是否存在一个“伤害底线（harm floor）”——即无论你多么努力，都无法将坏答案的比例降至零。

把 AI 模型想象成一座巨大的图书馆，里面包含了历史上写过的每一篇故事，也包括一些非常危险的故事。对齐就像是在那些危险的书籍上贴上了“禁止阅读”的标签。图书管理员（AI）仍然拥有这些书，但被告知要优先挑选安全的书。安全过滤器则是一个保安，他在你拿到书之前检查图书。问题在于，这个保安的薪水是按速度计算的；他们只能扫一眼几页内容或快速提几个问题。他们无法缓慢地阅读整本书来寻找隐藏的陷阱。

研究人员提出了疑问：如果图书管理员仍然拥有那些危险的书籍（因为我们并没有删除它们，只是让它们变得不太容易被选中），而且保安因为动作太快而无法捕捉到每一个诡计，我们能否阻止所有的坏书流出？

实验：将保安推向极限

为了找出答案，团队进行了一项大规模实验。他们选取了几种目前最智能的 AI 模型（包括著名的 LLaMA 和 Nemotron），并为它们配备了不同类型的“保安”。

他们测试了三种类型的保安：

1. 黑盒保安（Black-Box Guard）： 这个保安只寻找特定的“坏词”或简单的模式。它很快，但有点笨。
2. 白盒保安（White-Box Guard）： 这个保安聪明一点；除了检查坏词外，它还会观察答案的长度以及 AI 表现出的自信程度。
3. 统计查询保安（Statistical-Query Guard）： 这个保安就像一名侦探，在做出决定之前，会多次询问 AI 同一个问题，以获取某种“氛围感”。

随后，他们向这些 AI 模型喂入了一些旨在诱导其给出危险建议的棘手问题，例如如何黑进计算机或制造武器。他们是在不断增加“保安预算”的情况下进行的——基本上，他们允许保安在说“是”或“否”之前提出更多问题或检查更多选项。

发现：无法打破的墙

结果令人惊讶，也有些令人担忧。

随着研究人员给予保安更多的时间和更多的问题（将预算从 1 次检查增加到 64 次），危险答案的数量确实下降了。保安们变得更擅长捕捉明显的坏事。但关键点在于：坏答案的比例从未达到零。

无论他们如何增加预算，或者保安有多聪明，或者 AI 的对齐做得多好，危险答案的下降最终都趋于平缓并变成了一条直线。这就像是用一个小杯子去舀干浴缸里的水；最终，你无法取出最后几滴水，因为杯子太小，接不住从角落里溅出来的水。

研究人员在他们测试的所有模型中（从小型模型到超大规模、超智能的模型）都发现了这种“伤害底线”。即使是那些通常会拒绝回答坏问题的、经过良好对齐的模型，在遇到足够棘手的提问时，偶尔还是会失手。

为什么会发生这种情况？

论文指出，这是因为存在“思考深度”的不匹配。AI 模型像是一个深思熟虑者，可以构思复杂的、多步骤的场景。然而，安全过滤器为了跟上实时聊天的节奏，被迫只能进行浅层且快速的思考。

想象一场捉迷藏游戏。AI（躲藏者）可以思考好几个小时来构思一个完美的藏身之处。而过滤器（寻找者）只被允许看 5 秒钟。即使躲藏者试图表现得很好，也总会有一些地方藏得如此巧妙，以至于 5 秒钟的寻找者会错过它们。因为 AI 仍然知道如何在这些地方躲藏（危险行为的“支撑集”依然存在），而寻找者无法观察足够长的时间来找到所有地方，所以总会有一些坏答案溜出来。

这对未来意味着什么

作者谨慎地表示，这并不意味着 AI 已经无可救药，或者我们应该放弃。它仅仅意味着，目前这种做法——即微调 AI 的偏好并在其之上添加一个快速过滤器——存在一个硬性极限。你可以让 AI 变得越来越安全，但使用这种特定方法，你可能永远无法达到“完美的安全性”。

这表明，要真正解决这个问题，我们可能需要改变 AI 的大脑本身，而不仅仅是改变它的偏好或添加一个更好的保安。我们可能需要教会 AI 不去了解某些危险的事物，而不是仅仅希望它不会选择去说这些话。在解决这个问题之前，总会存在一个微小且顽固的风险漏洞，那是仅靠过滤器无法填补的。