技术摘要：通过拉格朗日奖励增强（LARA）实现安全的推理时对齐

问题陈述

基于人类反馈的强化学习（RLHF）是使大语言模型（LLMs）与人类偏好对齐的标准框架。然而，传统的对齐依赖于策略微调（例如，通过 RLHF 或直接偏好优化 DPO），这在计算上非常昂贵，并且在安全需求或用户群体发生变化时需要重新训练。

虽然推理时对齐方法（如 Best-of-N 重排序或 token 级奖励引导解码）已经出现，用于在不更新权重的情况下，利用辅助奖励信号来引导冻结的模型，但这些方法目前缺乏一种实现安全对齐的原则性机制。现有的方法通常优化单个标量分数。当帮助性（helpfulness）和安全性（harmlessness/safety）目标发生冲突时，从业者必须手动调整两者之间的权衡。此外，这些方法在解码过程中无法本质地强制执行显式的安全约束（例如，对预期成本的预算），这会导致输出要么不安全，要么造成不必要的帮助性降低。

方法论：拉格朗日奖励增强（LARA）

作者提出了 LARA，这是一个解码器无关（decoder-agnostic）的框架，它将安全 RLHF 的约束优化结构转移到了推理阶段。LARA 并不更新模型权重，而是通过校准一个标量对偶变量来创建一个增强的奖励信号。

1. 理论公式化

该方法始于 Safe RLHF 目标，即在最大化预期帮助性（$r$）的同时，受到预期成本（$c \le \tau$）的约束，并由相对于参考策略（$\pi_{ref}$）的 KL 散度项进行正则化：
$$\max_{\pi} \mathbb{E}[r(x,y)] - \beta D_{KL}(\pi \parallel \pi_{ref}) \quad \text{s.t.} \quad \mathbb{E}[c(x,y)] \le \tau$$

利用拉格朗日对偶性，作者对安全约束进行了对偶化处理。这把无限维的策略优化问题转化为了一个关于非负对偶变量 $\lambda$（拉格朗日乘子）的一维凸优化问题。

• 增强奖励： 对偶变量定义了一个增强奖励：$r_\lambda(x, y) = r(x, y) - \lambda c(x, y)$。
• 对偶目标： 函数 $g(\lambda)$ 被证明是凸的。其导数对应于在由 $r_\lambda$ 诱导的 Gibbs 倾斜策略下的预期成本与安全预算 $\tau$ 之间的差异。
• 最优性： 最优 $\lambda^*$ 满足互补松弛条件，确保预期成本等于预算 $\tau$（如果约束是激活的），同时最大化帮助性。

2. 经验校准

LARA 不需要通过解析法求解优化问题。相反，它通过在小型数据集上进行经验校准来估计 $\lambda^*$：

1. 数据： 从冻结的参考策略中采样一小组提示词（prompts），并生成多个响应。
2. 估计： 通过在紧凑区间 $[0, \Lambda]$ 上最小化经验对偶目标来估计对偶变量。
3. 算法： 由于对偶梯度的凸性和单调性，可以使用二分查找高效地找到最优 $\lambda$。
4. 鲁棒性： 为了处理校准与部署之间的分布不匹配，作者建议对校准集进行自助法（bootstrapping）采样，并选择估计的 $\lambda$ 分布的上分位数作为保守的选择。

3. 与解码集成

一旦校准完成，标量 $\hat{\lambda}$ 将被用于计算增强奖励 $r_{\hat{\lambda}}$。该分数可以作为“即插即用”的信号传递给现有的推理时对齐方法：

• 序列级（例如，Best-of-N）： 校准后的 $\lambda$ 提供了预期成本约束问题的精确解。
• Token 级（例如，奖励引导搜索）： 校准后的 $\lambda$ 提供了一个源自约束目标的原则性启发式方法，尽管由于 token 级解码的贪婪性质，它并不能保证实现精确的群体层面约束满足。

核心贡献

1. 公式化： 本文将安全推理时对齐表述为 Safe RLHF 目标的对偶问题，将问题简化为一维凸校准任务。
2. 几何特性与效率： 作者刻画了对偶目标的几何特性，证明了其凸性和梯度的单调性。这使得高效的二分查找校准程序成为可能。
3. 理论保证： 文中提供了一个有限样本保证，证明了估计量 $\hat{\lambda}_{N,K}$ 会围绕总体极小值 $\lambda^*$ 进行收敛，其误差受提示词数量（$N$）和每个提示词样本数（$K$）的控制。
4. 解码器无关框架： LARA 被设计为一个校准层，能够兼容任何现有的推理时对齐方法，用原则性的安全约束构建取代了手动标量调节。

实验结果

作者在 Llama-3.2-3B 和 Qwen-2.5-3B 模型上使用 BeaverTails 数据集对 LARA 进行了评估。

• 约束满足： 实验确认校准后的 $\lambda^*$ 位于安全约束的边界。$\lambda < \lambda^*$ 的值违反了安全预算，而 $\lambda > \lambda^*$ 虽然满足了约束，但却不必要地降低了帮助性。
• 性能对比基线：
  • 推理时： 在推理时方法中，结合了 LARA 的 Best-of-N (BoN) 实现了最佳的帮助性-无害性权衡。它在帮助性方面优于 SafeDPO，同时在无害性方面保持竞争力，且无需更新权重。
  • Token 级： Token 级方法（ARGS, PARS, CD-Q）在帮助性方面通常表现得比 BoN 差，尽管 CD-Q 随着 $\lambda$ 的增加显示出强大的无害性提升。
  • 对比微调： 虽然 LARA 驱动的 BoN 接近了基于微调的基线（Safe-RLHF, SafeDPO）的性能，但微调方法在整体权衡上仍取得了最佳效果。然而，LARA 在部署灵活性和成本方面具有显著优势。
• 评估： 结果在基于模型的评估（使用 BeaverTails 奖励/成本模型）和基于 GPT-4o-mini 的评估中保持一致，尽管 GPT 对 $\lambda$ 变化的敏感度低于奖励模型。

重要性与主张

本文声称 LARA 为安全的推理时对齐提供了一种替代手动惩罚调节的原则性方案。通过对安全约束进行对偶化，LARA 在不修改模型权重的情况下，将安全预算转化为解码目标。

• 对于序列级采样器： LARA 提供了一个精确的预期成本解释，在理论上保证了约束目标下的最优权衡。
• 对于 Token 级解码器： 它提供了一个遵循约束目标几何结构的原则性启发式方法，即使它无法严格强制执行群体层面的约束。

作者得出结论，LARA 成功地将安全约束从训练时对齐转移到了实际的解码时控制中，改善了帮助性-无害性的权衡，并使推理时方法更接近于基于微调的方法。这项工作强调，安全约束可以在推理时得到有效管理，从而避免了重复训练的计算开销。