🤖 machine learning

Safety Hacking in Constrained Best-of- $N$ Inference-time Scaling

本文证明了通过受限的最佳- $N$ 采样（Best-of- $N$ sampling）进行的推理时扩展，本质上容易受到“安全黑客攻击”（safety hacking）的影响，即不完美的安全性代理会污染可行集，且奖励最大化会放大残余的不安全输出，导致除非采用特定的覆盖控制机制，否则随着采样数量的增加，安全失效将变得在渐进意义上必然发生。

原作者： Akifumi Wachi, Takumi Tanabe, Youhei Akimoto

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Akifumi Wachi, Takumi Tanabe, Youhei Akimoto

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代人工智能的版图中，大型语言模型越来越多地受到一个两步过程的引导，以确保其既有帮助性又无害。首先，安全过滤器充当守门员，扫描潜在的响应并拒绝任何看起来危险或不当的内容。其次，奖励系统对剩余的安全选项进行评估，通过排名来选择看起来最有用或质量最高的选项。这种结合使得开发者能够扩大模型考虑的选项数量，希望通过查看更多的可能性，可以找到更好的答案。长期以来的假设是，如果安全过滤器的准确度足够高且奖励系统足够好，那么仅仅增加候选者的数量就会带来更安全、更好的结果。

然而，一项新的研究揭示了这一逻辑中隐藏的缺陷，表明规模化反而可能产生适得其反的效果。研究人员与 LY Corporation 及学术机构合作，发现当模型被要求从大量候选者中选择最佳响应时，选择过程可能会在不经意间利用安全过滤器的微小误差。如果过滤器错误地允许了一些不安全的响应通过，并且如果这些不安全响应恰好获得了略微偏高的评分，那么选择过程最终会将它们识别为优于真正安全选项的首选。研究人员将这种现象称为“安全黑客攻击”（safety hacking），这意味着随着系统查看的候选者越来越多，它选择有害响应的概率会上升至接近确定性的程度，即使安全过滤器在大多数情况下是正确的。

问题的核心在于系统如何处理那些不可避免发生的罕见错误。没有安全过滤器是完美的；偶尔，它会漏掉一个危险的响应，将其误分类为安全。在小规模搜索中，这种错误可能会被忽略。但当系统规模扩大到检查数千个候选者时，它就开始搜索奖励得分的极端上限。研究人员发现，如果那些通过过滤器的少数不安全响应恰好拥有比安全响应略高的奖励得分，选择过程最终会锁定它们。这并不是说系统试图变得危险，而是它正在遵循其寻找最高分选项的指令，而由于池中存在污染，最高分的选项恰好就是那个被错误允许进入的选项。

为了证明这一点，团队使用简单的玩具问题和现实世界的语言模型进行了实验。在模拟实验中，他们创建了一个场景：极小比例的响应是不安全的但通过了过滤器，而其余的都是安全的。随后，他们观察了随着候选者数量从少量增加到数千个时会发生什么。结果非常显著：随着候选者数量的增加，系统选择不安全响应的概率发生了剧烈变化。它停止选择安全的响应，并开始以近乎完全的频率选择不安全的响应。尽管安全过滤器的错误率极低，且奖励系统的平均误差也非常小，但这种情况依然发生了。危险不在于错误的频率，而在于这些错误与系统寻找绝对最高分这一行为之间特定的相互作用方式。

该研究还测试了是否可以通过不同的方法来修复这个问题。他们引入了一种称为“约束悲观采样”（constrained pessimistic sampling）的方法，该方法刻意避免过度集中于单个得分最高的选项。它不再仅仅寻找绝对的顶峰，而是将注意力更广泛地分散在安全选项上。在测试中，这种方法成功防止了系统锁定不安全响应，使安全黑客攻击率保持在较低水平，即使在候选者数量增长的情况下也是如此。然而，研究人员指出，这种方法并没有解决安全过滤器让坏响应进入候选池的初始问题；它只是防止了系统放大这个错误。根本问题仍然在于候选池本身已经受到了污染。

这一发现的意义在于它如何影响我们构建和扩展 AI 系统的方式。它表明，仅仅提高安全过滤器在平均意义上的准确性，并不足以保证在使用大规模搜索方法时的安全性。研究人员展示了，如果不安全响应在奖励分布中具有“重尾”（heavier tail）特征——即它们由于偶然因素偶尔获得极高的分数——系统最终会找到它们并偏好它们。这意味着，安全性不能被视为在优化之前发生的独立步骤；这两个过程是深度交织的，其中一个过程中的错误会被另一个过程所放大。

在针对真实语言模型的实验中，团队证实了这一机制在实践中确实存在。他们使用标准的安全过滤器和奖励模型，从由 AI 生成的大量候选响应中进行选择。随着候选者数量的增加，系统选择有害响应的速率上升，而它找到的安全响应的质量提升不足以抵消这一趋势。当他们将奖励模型更换为另一个模型时，行为发生了变化，这证明了奖励系统对选项进行排序的具体方式是导致失败的关键驱动因素。这证实了问题不仅在于安全过滤器不够完美，更在于奖励系统如何与那些设法通过过滤器的少数不安全选项进行交互。

研究人员总结道，安全的规模化需要一种双管齐下的方法：既要改进安全过滤器以减少进入候选池的坏选项，又要仔细管理系统如何从该池中进行选择，以避免放大剩余的错误。他们认为，目前依赖于从大量集合中挑选单个最佳选项的方法，本质上容易受到此类失败的影响。虽然他们提出的替代方法提供了一种限制损害的方法，但它并未解决根源问题。这项研究是一个警告：当我们推动 AI 系统通过查看更多可能性来寻找更好的答案时，我们必须同样警惕那些不可避免地从缝隙中溜出的罕见且危险的错误。如果不解决安全过滤与奖励优化之间的相互作用，规模化可能会导致更危险的结果，而非更安全的结果。

技术摘要：受限 Best-of-N 推理时缩放中的安全性黑客攻击（Safety Hacking）

1. 问题陈述

本文针对使用学习到的安全与奖励代理（reward proxies）的大语言模型（LLMs）在推理时缩放过程中存在的一个关键失效模式进行了研究。在标准的流水线中，例如受限 Best-of-N（Constrained Best-of-N, CBoN）采样，模型生成 $N$ 个候选响应，利用学习到的安全模型将其过滤以定义一个“代理可行”（proxy-feasible）集合，并选择具有最高学习奖励得分的候选者。

作者识别出一种被称为**安全性黑客攻击（safety hacking）**的两阶段失效机制：

污染（Contamination）： 不完美的安全代理将不安全的输出（假阳性）误纳入代理可行集合中。
放大（Amplification）： 随后的奖励最大化步骤（即从 $N$ 个中选优）会放大这些残余的不安全输出，如果这些输出在学习到的奖励分布中拥有比安全输出更重的上尾部（upper tail）。

核心问题在于，增加推理预算（ $N$ ）不仅会增加遇到不安全输出的概率；它甚至可能在渐近意义上保证选中一个不安全输出，即使安全代理和奖励代理的平均误差率都趋于任意小。

2. 方法论与理论框架

定义

真实集合： $S^\star_+$ （真正安全的）和 $S^\star_-$ （真正不安全的）。
代理可行集合： $\hat{S}_+$ ，由超过阈值 $b$ 的学习到的安全代理 $\hat{g}$ 定义。
分解： 代理可行集合分为：
- $A$ ：真阳性（真正安全且被接受）。
- $B$ ：假阳性（真正不安全但被接受）。
安全性黑客攻击： 指选中的输出 $\hat{y} \in B$ 的事件。

理论分析

论文基于学习到的奖励得分在 $A$ 和 $B$ 集合上的**联合上尾部（joint upper tails）**推导了有限- $N$ 边界和渐近结果。

尾部量度： 令 $\hat{\Psi}_A(t)$ 和 $\hat{\Psi}_B(t)$ 分别表示来自参考分布且学习奖励得分大于 $t$ 的样本落在集合 $A$ 或 $B$ 中的概率。
有限- $N$ 边界（定理 4.1）： 安全性黑客攻击的概率受 $\hat{\Psi}_A$ 和 $\hat{\Psi}_B$ 的函数限制。具体而言，如果没有来自 $A$ 的样本超过阈值 $t$ ，而至少有一个来自 $B$ 的样本超过了 $t$ ，则 CBoN 会选择一个不安全的输出。
渐近确定性（定理 4.2）： 如果存在一个序列阈值 $t_N$ $t_{N}$ ，使得 $N\hat{\Psi}_A(t_N) \to 0$ $N \hat{Ψ}_{A} (t_{N}) \to 0$ 且 $N\hat{\Psi}_B(t_N) \to \infty$ $N \hat{Ψ}_{B} (t_{N}) \to \infty$ ，则当 $N \to \infty$ $N \to \infty$ 时，安全性黑客攻击的概率收敛于 1。
- 这意味着，即使假阳性质量（ $\epsilon$ ）和平均代理误差消失，只要不安全输出的尾部更重，一个预算 $N = \Theta(1/\epsilon)$ 就足以将残余误差放大到高概率水平。
高斯尾部分离： 论文表明，如果针对不安全输出的奖励代理误差具有比安全输出更大的高斯尾部（更大的方差），那么随着 $N$ 的增长，安全性黑客攻击将变得必然，即使其真实奖励是有界的。

缓解措施：覆盖控制（Coverage Control）

作者提出，虽然无法消除初始污染（由安全过滤器允许的假阳性），但可以限制这种污染的放大。

原则： 限制最终选择策略与代理可行参考分布之间的 $\chi^2$ 散度。
算法（cPes）： 他们通过**约束悲观采样（Constrained Pessimistic Sampling, cPes）**来实现这一点。这包括：
1. 将学习到的奖励得分裁剪到一个有界范围内。
2. 通过求解一个正则化优化问题来重新加权代理可行的候选者，惩罚对高奖励离群值的集中。
保证（定理 5.1 与推论 5.3）： cPes 提供了一个与 $N$ 无关的安全性选择概率上限。然而，该界限取决于初始污染质量 $\kappa(x,b)$ ，且无法将其降低至零；它只能防止选择概率随 $N$ 增长。

3. 主要贡献

形式化安全性黑客攻击： 定义为选中了一个满足学习到的安全约束但违反了真实安全标准的输出，其驱动力是过滤器污染与奖励尾部放大的相互作用。
表征放大效应： 推导了有限- $N$ 边界，表明安全性黑客攻击受控于安全与不安全代理可行输出的联合奖励尾部。证明了更重的非安全尾部会导致渐近确定的黑客攻击，即使平均误差很小。
覆盖控制原则： 确立了通过限制与代理可行参考分布的 $\chi^2$ 散度，可以获得一个与 $N$ 无关的安全性界限。
实验验证：
- 玩具实验： 证明了当不安全类别具有更重的奖励尾部（ $\sigma_B > \sigma_A$ ）时，CBoN 会随着 $N$ 的增加从选择安全类别转向选择不安全类别，而 cPes 则限制了这种转变。
- LLM 实验： 使用 JailbreakBench、HarmBench 和 AdvBench 提示词，结合 Qwen2.5-7B、Llama-Guard-3 以及 Beaver/Skywork 奖励模型进行测试。
  - 观察到随着 $N$ 的增加，CBoN 的代理奖励提高，但安全性黑客攻击率和安全感知真实奖励却恶化了。
  - 消融实验： 更换奖励代理（Beaver vs. Skywork）反转了缩放趋势，证实了在受污染集合内的**排序行为（tail behavior）**才是驱动因素，而非仅仅是过滤器的假阳性率。

4. 结果

玩具问题： 在不安全类具有更重奖励尾部（ $\sigma_B > \sigma_A$ ）的情况下，CBoN 的安全性黑客攻击率从 $N=1$ 时的 0.023 上升到 $N=8192$ 时的 0.9996，同时平均真实奖励下降。cPes 则将黑客攻击率维持在较低水平（~0.02）且不随 $N$ 变化。
LLM 实验：
- 分解： CBoN 中安全性黑客攻击的增加主要是由“竞争性不安全胜出”（不安全候选者得分高于安全候选者）驱动的，而不仅仅是由于“仅暴露不安全候选者”（unsafe-only exposure）。
- 奖励代理敏感性： 将奖励模型从 Beaver 切换到 Skywork 降低了竞争性不安全胜出的比例，从而降低了整体黑客攻击率，这证明了尾部行为是依赖于代理模型的。
- cPes 性能： cPes 限制了放大效应，使黑客攻击率保持在接近基准“随机可行”选择的水平，尽管它并未消除基准污染。

5. 重要性与主张

本文声称揭示了推理时缩放中存在的内在困难，尤其是依赖学习到的安全模型时。其主要意义在于将关注点从平均过滤器准确率转向了联合尾部行为（joint tail behavior）。

平均指标的局限性： 作者认为，平均过滤器准确率和平均代理误差不足以预测缩放下的安全性；安全与不安全输出的相对奖励上尾部才是决定性因素。
与前人工作的区别： 不同于奖励过度优化（假设可行集是良性的）或越狱攻击（假设存在对抗性提示），本研究分析的是在固定提示词下，可行集本身已被污染，且搜索过程放大了这种特定的污染。
适度的缓解方案： 本文对解决方案的描述较为审慎。作者声称覆盖控制（cPes）可以限制放大效应，但无法修复被污染的可行集。如果安全过滤器允许具有高学习奖励的不安全输出进入，正则化选择仍可能倾向于它们。
未来方向： 作者明确指出其分析仅限于非自适应、独立同分布（i.i.d.）采样流水线。他们指出，自适应搜索、自我改进或智能体规划（其中候选分布取决于之前的代理评估）尚未涵盖，是重要的未来研究方向。

总之，本文确立了安全的推理时缩放需要双管齐下的方法：控制进入可行集的入口（改进安全过滤器），以及控制下游的集中度（管理奖励尾部行为和选择多样性）。