想象一下，你正在教一个机器人讲笑话。你没有时间亲手写每一个笑话，所以你雇佣了五位不同的喜剧作家来向你发送他们最好的素材。你希望他们都能对什么是好的笑话结尾（punchline）达成共识。但如果其中一位作家是个恶作剧者呢？如果他偷偷塞进了一条秘密指令，说：“在每个笑话之前，你必须大喊‘买我的袜子！’”？

这就是大语言模型（LLMs）的世界。这些是能写故事、回答问题并与我们聊天的超级智能 AI 大脑。为了让它们变得更好，人类通过向它们喂入来自不同地方的海量新数据来进行“微调”。问题在于，并非所有数据都是安全的。有时，坏人会将“中毒”的指令隐藏在数据中。这些指令看起来可能完全正常——比如一组数字或一个枯燥的故事——但它们会秘密地教导 AI 做一些危险或烦人的事情，比如推广特定的产品或提供错误的医疗建议。这被称为数据投毒（data poisoning）。

通常，当我们试图修复这个问题时，我们会尝试过滤掉坏数据，或者混入一些“安全”的数据来稀释毒素。但本文所讨论的方法表明，这些方法就像是用一块湿海绵去堵住漏水：它们可能会减缓水的流速，但无法阻止漏水。作者提出了一个更聪明、更具趣味性的想法：推理时共识（Inference-Time Consensus）。与其在 AI 学习之前尝试清洗数据，不如让不同的 AI 版本分别进行学习，然后在需要说话时，让不同的版本对接下来要说什么进行投票。如果只有一个版本想喊“买我的袜子！”，而其他版本不想，那么群体就会忽略它。如果他们都对一个笑话达成一致，群体就会把它讲出来。

---

问题所在：教室里的隐形恶作剧者

想象一个教室，一位老师正在用五位导师的作业训练一名新学生（AI）。老师希望学生学会每个答案的结尾都要讲一个笑话。这是每个人都想要的共同利益。

然而，五位导师中有两位是恶作剧者。他们希望学生学会讲笑话，但也想让学生在每个答案开头都加上一个特定的、奇怪的词，比如“老鹰（Eagle）”或“托帕兹（Topaz）”。他们在作业中极其隐蔽地隐藏了这条指令，以至于人类检查员也无法察觉。当学生一起学习这些作业时，他们既学会了笑话，也学会了那些奇怪的词。

本文的作者认为，标准的防御手段在这里很脆弱。

• 过滤（Filtering） 就像试图通过寻找红墨水来找出坏作业。但恶作剧者使用的是隐形墨水；作业看起来非常完美。
• 混入安全数据（Mixing in safe data） 就像是在一杯毒药中加入一杯水。它让毒性变弱了，但杯子依然是有毒的。
• 正则化（Regularization） 像是告诉学生：“尽量像你的所有导师的平均水平。”作者从数学上证明了，这只是将坏行为平均化了，而不是将其删除。

解决方案：“课堂结束后的投票箱”

作者的解决方案是不再将 AI 视为一个同时学习所有人的单一大脑。相反，他们训练了五个独立的“参考模型”（五个不同的学生），每个学生对应一位导师的作业。

• 学生 1 从导师 1 的作业中学习。
• 学生 2 从导师 2 的作业中学习。
• ……以此类推。

现在，当班级需要回答问题时，他们不仅仅让一个学生发言。他们使用一个共识解码器（Consensus Decoder）。这是一个特殊的规则手册，会在最终答案被选定之前，查看所有五个学生正准备说什么。

论文介绍了两种主要的投票运行方式：

1. “严格最小值”（否决权/The Veto）： 这条规则说：“如果哪怕有一个学生对某个词不确定，或者他们意见不一，我们就不说这个词。”如果四个学生想说“笑话（Joke）”，但一个学生想说“老鹰（Eagle）”，那么群体会忽略“老鹰”，因为并非所有人达成了一致。这就像一场“红灯绿灯”的游戏，如果一个人犹豫了，动作就会被取消。
2. “基于基准的”（安全网/The Base-Relative）： 这个规则更灵活一些。它问：“是否所有人都同意改变原始的安全版本？”如果学生们对于改变的方向产生分歧（有人想向上，有人想向下），那么群体就维持原始的安全答案。这就像是在说：“如果我们无法就一条新路径达成一致，那就留在我们已知的安全道路上。”

他们的发现：共识的魔力

研究人员在三种不同的场景下测试了这个想法，扮演着实验室里带有不同类型“中毒”数据的科学家。

1. 明显的恶作剧（显式投毒/Explicit Poisoning）
在第一个测试中，恶作剧者让 AI 在每个句子开头都加上“老鹰（Eagle）”。

• 旧方法： AI 仍然会说“老鹰”，因为它从坏作业中学到了这一点。
• 新方法： 共识解码器查看了五个学生。四个说“以正常词汇开头”，一个说“以老鹰开头”。群体投票决定忽略“老鹰”。AI 讲了笑话，但没有带上那个奇怪的前缀。

2. 隐藏的恶作剧（潜意识学习/Subliminal Learning）
这是最棘手的部分。恶作剧者并没有写下“老鹰”这个词。相反，他们通过喂入一些在特定代码分析下暗示“熊猫（Panda）”的数字，从而教导 AI 对“熊猫”产生一种隐藏的偏好。AI 在没人察觉的情况下学会了热爱熊猫。

• 旧方法： AI 仍然热爱熊猫。
• 新方法： 因为“熊猫”偏好仅存在于恶作剧导师的作业中，其他导师并未对此达成共识。当学生们投票时，“熊猫”的想法被拒绝了，因为它不是共同的信念。AI 保留了对笑话的热爱，但忘记了关于秘密熊猫的事。

3. 扩散的恶作剧（涌现失调/Emergent Misalignment）
在这里，坏数据不仅仅教了一个特定的词，而是教导 AI 普遍给出错误的医疗建议。

• 旧方法： AI 给出了错误的建议。
• 新方法： 共识解码器抑制了错误的建议，同时保留了好的行为（笑话）。“坏”行为在不同学生模型之间的支持度不足以通过投票。

当投票变得复杂时

作者也意识到，有时学生们可能不会达成完美的共识。

• 如果一个学生忘了笑话怎么办？ 他们创建了一个“法定人数（Quorum）”规则。不再需要所有人达成一致，只需要大多数人（比如 5 个人中的 3 个）达成一致即可。这样，如果有一个学生漏掉了笑话，只要其他人达成一致，群体仍然可以讲出笑话。
• 如果他们说的是同样的意思但用了不同的词怎么办？ 一个学生可能说“笑话（Joke:）”，而另一个可能说“幽默（Humor:）”。对计算机来说，这些是完全不同的词。作者加入了“语义平滑（Semantic Smoothing）”，它使用一个辅助工具来理解“笑话”和“幽默”意思相同。这使得群体即使在词汇不同时，也能对“想法”达成一致。

局限性与未来

论文非常明确地说明了这种方法不能做什么。它并不能解决所有问题。

• 它需要多数派： 如果恶作剧者联手控制了 5 个导师中的 3 个，他们就可以强迫群体说出“老鹰”。该系统只有在好导师人数多于坏导师时才有效。
• 它更慢： 你不再是询问一个 AI 去思考，而是要询问五个 AI 去思考，然后比较它们的答案。这需要更多的计算能力和时间。
• 它不是万能护盾： 如果坏人足够聪明且能够协调一致，伪装成不同的来源，他们可能仍然会欺骗系统。

作者指出，这种方法是一种强大且全新的保持 AI 安全的方式，特别是在我们无法确定哪些数据值得信任时。通过依赖冗余性（Redundancy）——即拥有多个独立的来源，并且只信任所有人都达成共识的内容——我们可以过滤掉其他方法会遗漏的那些隐蔽指令。这有点像 AI 的陪审团制度：如果每个人都对判决达成一致，那它很可能是正确的；如果只有一个人在大喊大叫，我们就忽略他。