技术摘要：每个样本都至关重要——基于逐点约束的语言模型监督微调

1. 问题陈述

目前的语言模型（LM）对齐与微调方法通常依赖于约束优化框架，这些框架仅在输入分布的期望值上强制执行要求（如安全性、长度控制或工具调用偏好）。虽然这些方法能确保在平均意义上满足约束，但它们存在一个关键局限性：无法保证针对单个输入的约束满足。

这种“仅限平均”的方法会导致不理想的差异，特别是对于尾部数据（在训练中代表性不足或本质上更困难的输入）。经验证据表明，在平均意义上满足约束的模型，在某些关键输入子集上仍可能表现出显著的违规行为。现有方法往往无法区分“简单”和“困难”样本，采用统一的惩罚机制，要么过度惩罚简单案例，要么无法对困难案例进行充分约束。

本文提出从平均约束学习转向逐点约束微调（pointwise constrained fine-tuning），即约束必须对输入分布中的几乎每一个单独样本都成立，而非仅仅在期望意义上成立。

2. 方法论

所提出的框架通过三个核心组件解决了在非凸神经网络优化中实施逐点约束的挑战：

A. 逐点约束公式化

作者将微调问题表述为：在最小化期望目标损失 $\ell_0$ 的同时，满足不等式约束 $\ell_i \leq \varepsilon$ 在数据分布 $D$ 上逐点（几乎处处）成立。
$$\pi^*_\theta = \arg \min_{\theta} \mathbb{E}_{(x,y)\sim D} [\ell_0] \quad \text{s.t.} \quad \ell_i(\pi_\theta, x, y) \leq \varepsilon_i, \quad D\text{-a.e.}$$
与使用单一标量乘子的平均约束不同，该公式为每个样本都需要一个独特的乘数，从而允许惩罚能够适应每个输入的特定难度。

B. 增广拉格朗日方法

为了解决这个非凸问题，作者利用了对偶域。然而，由于存在对偶间隙（duality gap），标准的拉格朗日对偶度对于非凸问题（如深度神经网络）提供的保证较弱。为了克服这一点，本文采用了增广拉格朗日（Augmented Lagrangian, AL）方法。

• AL 方法通过引入二次项，取代了拉格朗日乘数 $\lambda$ 与约束违反量之间的线性依赖关系。
• 这提供了额外的曲率校正，使得在更广泛的非凸设置下实现强对偶性和原问题可恢复性（primal recoverability）。
• 优化过程通过经验对偶梯度上升法进行，其中函数乘数 $\lambda(x,y)$ 由有限数据集上的样本级乘数 $\lambda_i$ 来近似。

C. 学习型逐点松弛

逐点约束可能会过于严格，尤其是在存在离群点或约束与主要目标发生冲突时。为了缓解这一问题，作者引入了一种学习型的、样本相关的松弛机制。

• 引入松弛函数 $u(x,y)$，将容许阈值从 $\varepsilon$ 增加到 $\varepsilon + u(x,y)$。
• 在目标函数中加入凸代价函数 $c(u)$（具体为二次惩罚 $\beta \|u\|^2$），以惩罚松弛的严重程度和频率。
• 至关重要的是，松弛变量 $u$ 不需要直接进行优化。通过对偶性，其影响被吸收进对偶问题中，表现为正则化项以及对对偶变量的缩放。这使得模型能够在用户定义的松弛成本与训练目标之间进行权衡，从而有效地控制约束违反分布的“尾部”。

3. 核心贡献

1. 逐点约束框架： 本文提出了一个全新的对齐框架，该框架针对单个输入而非期望值来强制执行约束，解决了输入分布中的性能差异问题。
2. 用于非凸学习的增广拉格朗日法： 作者将增广拉格朗日方法应用于逐点约束微调，克服了非凸神经网络优化中缺乏强对偶性的问题。
3. 学习型松弛机制： 引入了一种机制，通过联合求解学习任务与约束的松弛，以最小化用户定义的成本，从而处理离群点或冲突的目标，而无需手动调整每个样本的阈值。
4. 经验验证： 该框架在三种不同的小型语言模型（SLM）微调任务中得到了实例化验证：
   • 指令遵循与安全性： 强制执行对有害提示词的拒绝，同时保持对安全提示词的帮助性。
   • 工具调用偏好： 强制执行正确的行为选择（例如，调用工具 vs. 幻觉），并带有长度归一化的对数概率约束。
   • 重排序与长度优化： 平衡检索相关性与篇幅长度（Token 效率）。

4. 结果

作者通过实验验证，该方法在很大程度上保留下游性能的同时，减少了尾部约束违反情况：

• 减少尾部违反： 在所有任务中，与平均约束和固定惩罚基准相比，所提方法显著降低了大规模约束违反的频率和严重程度。约束违反的累积分布函数（CDF）显示，虽然平均方法在“简单”样本上具有较大的余量，但在“困难”样本上表现不佳；而逐点方法确保了性能的一致性。
• 改进权衡关系： 该方法在目标（如帮助性、相关性）与约束指标之间实现了更好的帕累托前沿（Pareto frontiers）。
  • 在安全性方面，逐点方法在有害提示词上实现了 100% 的拒绝率，而仅导致帮助性（胜率）下降 5%；相比之下，平均约束需要降低 9% 的帮助性才能达到类似的安全性。
  • 在工具调用方面，与倾向于特定类别的错误的方法相比，逐点约束在各错误类别上产生了更均匀的提升。
  • 在重排序方面，该方法成功缩减了篇幅长度，且未降低相关性指标（MRR@10），这是平均约束在不牺牲质量的情况下无法实现的权衡。
• 松弛控制： 松弛成本中的超参数 $\beta$ 有效地控制了严格遵守约束与目标性能之间的权衡，允许用户根据特定的风险容忍度来调整模型行为。

5. 意义与主张

本文主张，强制执行逐样本约束是向高风险领域部署语言模型的必要演进，因为在这些领域，平均性能是不足够的。这项工作的意义在于：

• 解决分布差异： 它直接应对了模型在尾部数据上表现不佳的问题，确保关键约束（如安全性）不会针对特定的、潜在脆弱的输入发生违规。
• 实际优化： 通过利用增广拉格朗日方法和学习型松弛，该框架提供了一种实用的、可扩展的逐点约束解决方案，避免了在没有松弛的情况下强制执行每个样本硬约束所带来的计算不可行性。
• 灵活性： 该框架被证明能够适应多种约束（安全性、偏好、长度）和任务，提供了一种统一的方法来进行约束微调，在减少最坏情况下的违规方面优于现有的平均约束和固定惩罚方法。

作者总结道，虽然平均约束可能足以满足通用性能需求，但逐点约束对于鲁棒、公平且安全的部署至关重要，它在效用与约束满足之间提供了更优的权衡。