🤖 machine learning

Safety Game: Inference-Time Alignment of Black-Box LLMs via Constrained Optimization

本文提出了一种用于大型语言模型推理时安全对齐的模型无关、黑盒框架，该框架将安全性与帮助性之间的权衡公式化为一场双人零和博弈，使利益相关者能够在无需访问模型或进行重训练的情况下，通过线性规划来执行安全约束。

原作者： Tuan Nguyen, Long Tran-Thanh

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Tuan Nguyen, Long Tran-Thanh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常聪明但有些难以捉摸的机器人助手。你想利用它来协助你完成任务，但你担心它可能会意外地给你提供危险的建议（比如如何制造炸弹），或者在你只需要一个简单食谱时却拒绝提供帮助。

通常情况下，要修复这样一个机器人，你必须拆解它，用新的规则对其进行重新训练，并寄希望于它能学会。但如果你的机器人是一个“黑盒”呢？你看不见内部，无法拆解它，也无法重新训练它。这就是许多强大的 AI 模型目前面临的问题：公司无法更改其内部代码，只能通过向它们提问并获取答案来进行交互。

这篇论文提出了一种巧妙的“安全过滤器”，它位于机器人外部，充当一个智能守门员的角色。它不需要了解机器人的思考方式；它只需要观察机器人可能给出的答案，并从中选择最好的一个。

以下是它的工作原理，我们使用了一些日常类比：

1. “菜单”类比（候选集）

系统不是要求机器人从头开始撰写一篇全新的文章（这很难控制），而是首先要求机器人生成一份可能的答案小列表，就像一份选项菜单。

选项 A： 一个非常有帮助的答案，但它可能很危险（例如，“将漂白剂和氨水混合以产生一种酷炫的气体！”）。
选项 B： 一个完全安全但毫无用处的答案（例如，“我无法回答这个问题。”）。
选项 C： 一个平衡的答案（例如，“你可以将小苏打和醋混合进行安全的反应。”）。

目标是选出选项 C。

2. “走钢丝的人”（博弈论）

该论文将选择一个答案的过程视为两个玩家之间的游戏：

玩家 1（助手）： 希望提供尽可能有用、信息量丰富的答案。
玩家 2（安全卫士）： 希望确保答案是安全的。

系统使用一种数学“游戏”来寻找完美的平衡点。这就像一个走钢丝的人，试图尽可能向前迈进（提供帮助），同时又不至于从边缘跌落（变得不安全）。系统计算的是“极大极小值”（Minimax）策略，这是在不越界的前提下，能够保持最高效帮助的最安全方式。

3. “预算”类比（约束优化）

想象你有一个严格的“风险”预算。

每次机器人建议一个有风险的答案时，都会消耗你的“风险美元”。
你有一个固定的预算（例如 10 美元）。
系统会查看菜单上的所有选项。如果一个答案非常有帮助，即使它带有轻微风险，系统也可以选择它，只要最终选择的总“风险成本”保持在你的 10 美元预算之内。
如果某个答案过于危险，它的成本就会过高，系统就会拒绝它。
如果所有答案都过于危险，系统会默认执行“安全回退”（例如说“我无法就此提供帮助”）。

4. “裁判员”（线性规划求解器）

系统究竟是如何做出这个决定的？它不会要求机器人去“思考”规则（因为机器人可能不擅长遵循规则，或者可能会被误导）。相反，系统使用了一个单独的、简单的数学工具，称为线性规划（LP）求解器。

你可以把这个 LP 求解器看作是一个只看数字的严厉裁判：

为选项评分： 这个选项有多大帮助？风险有多高？
运行数学计算： “如果我选这个，我会超出风险预算吗？”
做出裁决： 选择那个能在预算范围内提供最大帮助的选项。

因为这个裁判是一个简单的数学程序，所以它既快速又可靠，而且不需要每次有新的安全规则出现时都进行重新训练。

为什么这很重要？

无需手术： 你不需要打开 AI 模型进行修改。你可以将此方法应用于任何模型，甚至是那些你无法更改的巨头科技公司的模型。
灵活性高： 如果明天出现了新的安全规则（例如“不要谈论政治”），你只需更改数学预算即可。你不需要重新训练整个 AI。
对所有人公平： 那些负担不起训练自身大规模 AI 模型的初创公司或研究人员，仍然可以安全地使用强大的预制模型。

核心结论

这篇论文表明，通过将安全问题处理为在选项菜单上平衡“有用性”与“风险”的数学问题，我们可以在不触碰 AI 内部代码的情况下，使黑盒 AI 模型变得更加安全。这就像是在混乱的十字路口前设置了一个智能且数学逻辑完美的红绿灯，以确保安全，而无需重建车辆本身。

技术摘要：安全博弈：通过约束优化实现黑盒大语言模型的推理时对齐

1. 问题陈述

核心挑战在于如何确保大语言模型（LLMs）符合安全要求，同时避免训练时对齐方法（如 RLHF、微调）所带来的高昂成本和缺乏灵活性。现有的推理时对齐方法通常需要访问模型内部（权重或架构），这使得使用第三方黑盒 API 的利益相关者难以实施。此外，当前的方法难以平衡生成有用、信息丰富响应与避免有害或风险内容之间的权衡。目前迫切需要一种模型无关的、黑盒化的框架，能够在不重新训练基础模型的情况下，在推理时强制执行安全约束。

2. 方法论：安全博弈框架

作者提出了 SAFETY GAME，这是一个模型无关的框架，它将从有限候选集中选择响应的过程建模为一个源自博弈论的约束优化问题。

2.1 问题形式化

LLM（玩家 1）与用户（玩家 2）之间的交互被建模为一个单次、不完全信息的博弈。

候选集： 对于给定的提示词 $x$ ，系统考虑一个有限的候选响应集合 $R = \{r_1, \dots, r_m, r_s\}$ ，其中 $r_s$ 是指定的安全回退（例如拒绝回答或通用的安全陈述），其帮助度增益为零且风险为零。
评分： 每个候选响应 $r_i$ 被分配一个帮助度得分（ $h_i$ ）和一个安全风险得分（ $s_i$ ）。这些得分通过**自我探测（self-probing）**计算得出，即通过向基础 LLM 查询二元探测问题（“这是否有用？” / “这是否有害？”）来估计 YES/NO token 的对数概率。
边际值： 该框架基于相对于回退值的边际值进行操作： $M_i = h_i - h_s$ （帮助度增益）以及 $\Delta_i = s_i - s_s$ （额外风险）。

2.2 博弈论推导

选择问题被形式化为一个两人零和博弈。LLM 致力于提交一个混合策略 $\pi$ （候选响应的概率分布），以在不确定的用户意图（良性 vs 对抗性）下，在最小化违反安全政策风险的同时最大化帮助度。

极大极小均衡（Minimax Equilibrium）： 该博弈寻求一个极大极小均衡，即 LLM 在满足安全约束的前提下最大化帮助度。
决策层： 该均衡在推理时通过一个**线性规划（LP）**问题来实现：
$\max_{\pi \in \Delta_m} \sum_{i=1}^m \pi_i M_i \quad \text{s.t.} \quad \sum_{i=1}^m \pi_i \Delta_i \leq T$
此处， $T$ 是一个安全预算参数。如果该线性规划不可行，系统将默认跳转至安全回退响应 $r_s$ 。

2.3 鲁棒性与实现

噪声信号： 框架承认自我探测（或外部评分器）提供的信号是带有噪声的估计。定理 3.1 提供了鲁棒性保证：如果风险得分具有有界误差 $\epsilon_s$ ，那么通过执行更紧缩的约束 $T' = T - 2\epsilon_s$ ，可以确保真实的风险保持在 $T$ 之内。
平滑松弛： 为了处理边界敏感性和噪声得分，还提出了一种 Sigmoid 松弛方法，允许在接近安全上限时进行平滑的惩罚递增。
黑盒兼容性： 该方法仅需要 API 访问权限来生成候选响应并对其进行评分（通过自我探测或外部分类器），无需修改基础模型的权重。

3. 核心贡献

博弈论决策层： 本文推导出了基于不完全信息博弈中适应性安全的黑盒 LLM 选择规则。这产生了两个非显而易见的决策设计：
- 相对于回退值的边际值： 优化是基于相对于安全基准的改进，而非原始得分。
  径向优化是基于候选响应的混合体（期望风险）而非过滤单个候选响应，这允许在安全候选响应的抵消下，选择处于边缘地带的安全候选响应。
决策层的实证验证： 实验表明，性能增益源于 LP 决策层本身，而非评分器。当使用固定的外部评分器（Llama-Guard-3-8B）时，LP 选择器在 440 个不安全提示词中，比表现最好的阈值过滤方法多恢复了 81 个人类认为安全的响应。
可扩展的黑盒对齐： 该框架为无法访问模型内部结构的利益相关者提供了一种即插即用的解决方案，能够在不重新训练的情况下，在不同的模型族中实现安全执行。

4. 实验结果

该方法在四个基准测试上进行了评估：HHH（帮助性、无害性、诚实性）、TruthfulQA、SafetyBench 和 SORRY-Bench，涵盖了五种不同的 LLM（包括 LLaMA-2、LLaMA-3 和 GPT-OSS）。

SafetyBench： 该方法取得了最大的提升，在 5 个模型中的 4 个上都优于所有基准测试（包括 ER-G/ER-D 等共识博弈变体）。McNemar 配对检验显示出具有统计学意义的决定性改进（ $p < 10^{-4}$ ）。
SORRY-Bench： 在五种模型中的三种模型上，该方法实现了最低的预期人类履行率（HFR），与最强的基准相比，相对降幅为 45–81%。至关重要的是，与通过激进过滤导致 HFR 趋近于零的基准相比，它保持了更高的拒绝质量（即提供有信息量的替代方案，而非单纯的拒绝回答）。
通用基准（HHH, TruthfulQA）： 该方法在 20 个“模型-基准”设置中有 14 个匹配或超过了最佳基准，证明了安全对齐并未降低通用的帮助性或真实性。
过度拒绝（Over-Refusal）： 在良性指令遵循任务（AlpacaEval）中，该方法没有表现出灾难性的过度拒绝，在保持与基准相当的性能的同时，在边缘提示词上处于帕累托前沿。

5. 意义与主张

本文声称确立了黑盒对齐框架的可行性。其主要意义在于将安全决策与模型的内部训练解耦，从而实现：

民主化： 规模较小或资源受限的实体可以在无需承担重新训练模型的财务或技术负担的情况下，实施稳健的安全实践。
灵活性： 安全约束可以在推理时通过调整（通过预算 $T$ ）进行更新或微调，以适应新的法规或社会规范，而无需重新训练。
理论基础： 该方法为约束选择提供了一个原则性的、基于博弈论的解释，能够提供简单阈值法或排序法无法提供的适应性安全保证。

作者也谦虚地指出了局限性：该方法的性能取决于测量层（评分器校准）的质量，并且目前仅针对单轮选择而非多轮对话进行操作。然而，这项工作为独立于底层模型架构的可扩展、可访问的 AI 安全研究开辟了一个新方向。