技术摘要：超越 RLHF：对齐的统一理论框架

问题陈述

基于人类反馈的强化学习（RLHF）已成为使大语言模型（LLM）与人类偏好对齐的主导范式。然而，该论文指出，当前对 RLHF 及相关对齐方法的理解存在显著的理论缺口：

1. 缺乏正当性证明：现有理论通常将 RLHF 目标视为同义反复（即收敛于目标本身的总体版本），而非提供学习理论层面的正当性证明，解释其为何能收敛至目标语言模型。
2. 框架不兼容：不同方法（例如 DPO、RLHF、REBEL）在截然不同的理论框架下进行分析，阻碍了对其收敛性保证的直接比较。
3. RLHF 困境：标准 RLHF 目标在正则化强度 $\beta$ 方面面临渐近困境。若 $\beta$ 保持固定，模型会出现欠拟合（过度接近参考策略）；若 $\beta$ 随数据量增加而衰减至零，解可能会退化。
4. 实证与理论差距：实证表明，像 RLHF 这样的在线策略（on-policy）目标通常优于像直接偏好优化（DPO）这样的基于似然的方法，但现有理论无法解释这种优越性，因为它们仅为每种方法单独提供特设（ad-hoc）保证。

作者提出将对齐重新框架化为基于成对偏好的分布学习。核心问题是：在何种假设下，我们可以推导出训练目标，使其能够证明收敛至目标语言模型（$\pi^*$）？

方法论

该论文假设存在一个目标（神谕）语言模型 $\pi^*$，并明确建模偏好反馈如何揭示关于 $\pi^*$ 的信息。

1. 偏好模型

作者假设 Bradley-Terry (BT) 模型，其中给定提示 $x$ 时偏好响应 $a$ 胜过 $b$ 的概率直接由目标模型的概率决定，而非外部奖励函数：
$$P(a \succ b | x) = \frac{\pi^*(a | x)^\gamma}{\pi^*(a | x)^\gamma + \pi^*(b | x)^\gamma}$$
此处，$\gamma > 0$ 为超参数。该假设意味着偏好模型显式地是一个语言模型，这与 DPO 依赖“所有策略”假设来推导奖励与语言模型之间关系的做法形成对比。

2. 提出的目标

基于这种分布学习视角，作者推导了三种原则性的对齐目标：

• 偏好最大似然估计 (PMLE)：
  该目标在 BT 假设下最大化观测到的成对偏好的似然，并通过相对于参考策略 $\pi_0$ 的 KL 散度进行正则化。
  $$L_{PMLE, \beta}(\pi) = \frac{1}{n} \sum -\ln \sigma\left(\gamma \ln \frac{\pi(a^+|x)}{\pi(a^-|x)}\right) + \beta KL(\pi \| \pi_0)$$
  与 DPO 不同（DPO 最小化似然比且无显式正则化项，可能导致分布退化），PMLE 包含显式的 KL 项以确保稳定性。

• 偏好蒸馏：
  该方法首先学习一个奖励模型 $\hat{R}$（等同于学习一个偏好模拟器），然后将此偏好分布蒸馏到语言模型中。与其使用平方损失（如 REBEL 所做），该方法最小化学习到的模拟器与目标策略的二元偏好分布之间的 KL 散度：
  $$L_{Distill}(\pi) = \frac{1}{n} \sum KL(\text{Bern}(P_{\hat{\pi}}(a^+ \succ a^-|x)) \| \text{Bern}(P_{\pi}(a^+ \succ a^-|x))) + \beta KL(\pi \| \pi_0)$$
  该公式显式地从 BT 模型推导而来，避免了平方损失的统计正当性问题。

• 反向 KL (RKL) 最小化：
  认识到目标是分布学习，作者提出最小化反向 KL 散度 $E_x[KL(\hat{\pi}(x) \| \pi^*(x))]$。由于 $\pi^*$ 未知，他们代入由奖励模型导出的估计量 $\hat{\pi}$。
  $$L_{RKL, \beta}(\pi) = \frac{1}{n} \sum \left( -E_{a \sim \pi(x)}[\hat{R}(x, a)] - \gamma H(\pi(x)) + \beta KL(\pi(x) \| \pi_0(x)) \right)$$
  该目标类似于 RLHF，但包含一个额外的熵项（$-\gamma H(\pi(x))$）。作者认为，这是对 RLHF 的修正，解决了标准 RLHF 在 $n \to \infty$ 时无法收敛至真实 $\pi^*$ 的渐近困境。

3. 理论保证

该论文为这三种方法提供了非渐近的 $O(1/n)$ 收敛保证。具体而言，他们证明了前向 KL 误差 $E_x[KL(\pi^*(x) \| \hat{\pi}(x))]$ 以 $O(1/n)$ 的速率收敛至零，其中 $n$ 是数据集大小。

• PMLE 与偏好蒸馏：实现了依赖于策略类 $\Pi$ 覆盖系数的界。
• 反向 KL：实现了更紧的界，该界依赖于奖励诱导模型类 $\mathcal{P}_\gamma(\mathcal{R})$ 的覆盖系数，该系数通常小于 $\Pi$ 的覆盖系数。这在理论上解释了为何在线策略方法（如 RKL/RLHF）通常在实证上优于基于似然的方法（如 PMLE/DPO）。

关键结果

理论发现

• RLHF 的正当性证明：RKL 目标为 RLHF 目标提供了强有力的理论正当性证明，表明在应用熵修正的情况下，它是作为一致分布学习目标的一个特例（$\gamma \to 0$）。
• 困境的解决：理论分析和玩具实验（图 1）表明，虽然标准 RLHF 由于正则化困境而在 $n \to \infty$ 时表现出不一致性（饱和于非零误差），但提出的 RKL 方法收敛至真实目标模型。
• 在线策略方法的优越性：理论证实，反向 KL（类似于 RLHF）比 PMLE（类似于 DPO）享有更优越的收敛保证，因为它利用了奖励模型类而非完整策略类更小的复杂度。

实证发现

实验在两个任务上进行：

1. TL;DR 摘要：使用 Pythia-2.8B 和 Pythia-6.9B 模型。
   • 胜率：提出的方法（PMLE、偏好蒸馏、反向 KL）相比基线（DPO、REBEL、RLHF）一致获得了更高的 GPT-4 胜率。
   • KL 散度：与 DPO 相比，PMLE 实现了显著更低的相对于参考模型的 KL 散度，验证了显式正则化项的益处。
2. 通用聊天 (UltraFeedback)：使用 LLaMA-3-8B-Instruct。
   • 在 MT-Bench、AlpacaEval 2.0 和 Arena Hard 上进行评估。
   • PMLE 和偏好蒸馏在大多数基准测试中优于 DPO 和 REBEL，特别是在 AlpacaEval 2.0 和 Arena Hard 中显示出显著的提升。

意义与主张

该论文声称提供了第一个统一理论框架，将对齐问题视为基于成对偏好的分布学习。其主要贡献包括：

1. 统一视角：在单一概率假设下统一了现有方法（DPO、RLHF、REBEL），使其隐含假设显式化。
2. 理论根基：为从成对反馈中学习目标分布提供了严格的非渐近 $O(1/n)$ 收敛保证，这是此前该设定下未曾有过的结果。
3. 实证趋势的解释：首次从理论上确认了“在线策略目标（RLHF）通常优于基于似然的目标（DPO）”这一实证观察，将其归因于奖励模型类与策略类在覆盖性质上的差异。
4. 对 RLHF 的修正：指出了标准 RLHF 目标的具体缺陷（缺乏导致不一致性的熵项），并提出了一种修正目标（RKL），在保留 RLHF 实际优势的同时确保理论一致性。

作者总结道，虽然他们的方法与强基线具有竞争力，但主要价值在于解释为何这些方法有效以及如何改进它们的理论框架。未来的工作建议包括探索模式寻求（mode-seeking）与模式覆盖（mode-covering）目标，并将该框架扩展至其他散度。