💬 NLP

RLHF in an SFT Way: From Optimal Solution to Reward-Weighted Alignment

该论文提出了一种名为“变体重加权对齐（VAR）”的新方法，通过变分推断视角将强化学习从人类反馈（RLHF）转化为离线奖励加权的监督微调（SFT）形式，在显著降低计算开销并加速收敛的同时，实现了优于现有离线方法（如 DPO）且媲美在线采样方法的对齐性能。

原作者： Yuhao Du, Zhuo Li, Pengyu Cheng, Zhihong Chen, Yuejiao Xie, Xiang Wan, Anningzhe Gao

发布于 2026-03-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yuhao Du, Zhuo Li, Pengyu Cheng, Zhihong Chen, Yuejiao Xie, Xiang Wan, Anningzhe Gao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种让大语言模型（LLM）变得更“听话”、更符合人类价值观的新方法，名叫 VAR（变体重加权对齐）。

为了让你轻松理解，我们可以把训练大模型想象成培养一个“超级实习生”。

1. 以前的做法：要么太累，要么太乱

目前，让 AI 变聪明、变礼貌主要有两种流派，但都有大毛病：

流派一：强化学习（RLHF/PPO）—— “高压特训营”
- 做法：给实习生安排一个严厉的“考官”（奖励模型），让他不断尝试回答问题。如果回答得好，考官给糖吃；回答不好，就批评。实习生为了多拿糖，就得疯狂试错，甚至还要请一个“陪练”和一个“裁判”在旁边盯着。
- 问题：这太累了！需要巨大的算力（像烧钱一样），而且过程很不稳定。有时候实习生为了拿高分，会走火入魔（比如为了讨好考官而胡编乱造），导致训练崩溃。
- 比喻：就像让实习生在迷宫里乱跑，每走一步都要停下来问裁判“这步对吗？”，效率极低。
流派二：直接偏好优化（DPO）—— “死记硬背的优等生”
- 做法：不再让实习生去试错，而是直接给他看一套“标准答案”和“错误答案”的对比题。告诉他：“选 A 是对的，选 B 是错的，你照着改就行。”
- 问题：虽然省事了，但有时候效果不够好。而且，如果题目里包含“不要选 B"这种负向指令，模型在数学计算上容易“翻车”，导致训练过程忽高忽低，很不稳定。
- 比喻：就像只给实习生看错题集，让他死记硬背。但他可能只记住了“不要选 B"，却忘了“为什么要选 A"，或者在遇到没见过的题时容易发懵。

2. 这篇论文的新招：VAR —— “带奖金的精准补习”

作者提出了一种叫 VAR 的新方法，它结合了前两者的优点，去掉了缺点。

核心思想：
作者发现，其实那个“完美的实习生”（最优解）有一个数学公式可以算出来。我们不需要让他去迷宫里乱跑（RLHF），也不需要只让他死记硬背（DPO）。
我们只需要直接告诉他：“你现在的回答离完美答案还有多远？离得越远，你就越要努力靠近。”
怎么做到的？（神奇的“重加权”）
想象一下，老师（模型）在批改作业。
- 以前的 SFT（监督微调）：老师对所有作业一视同仁，只要写对了就加分。
- VAR 的做法：老师手里有一个“智能评分器”。
  - 如果某道题的答案特别好（奖励分高），老师就加倍重视这道题，花更多精力去模仿它（给个大权重）。
  - 如果某道题的答案一般般，老师就少关注一点（给个小权重）。
  - 关键点：老师永远不会因为某道题不好而“惩罚”它（不会出现负数权重），只是单纯地忽略它，专注于那些好的。
比喻：
这就好比你在学做菜。
- RLHF：你自己在厨房乱试，做坏了就倒掉，做好了就吃，还要请个美食家天天来尝，累得半死。
- DPO：美食家给你看一张“完美菜品”和“黑暗料理”的对比图，让你照着完美菜品改。
- VAR：美食家直接给你端上一桌菜，但只让你盯着那些最好吃的菜看。而且，菜越好吃，你看得越仔细，模仿得越用力；不好吃的菜，你直接略过，不看也不骂。这样你学得又快又稳。

3. 为什么这个方法牛？

快如闪电：
因为它不需要像 RLHF 那样反复试错，也不需要像 DPO 那样处理复杂的数学陷阱。它本质上还是“ supervised fine-tuning"（监督微调），就像普通的上课一样，训练速度比那些在线方法快了 5 倍以上。
- 比喻：别人还在迷宫里跑断腿，VAR 直接拿着导航仪走直线。
稳如泰山：
因为它只关注“好的”，不关注“坏的”（没有负数权重），所以训练过程非常平稳，不会像坐过山车一样忽高忽低。
- 比喻：就像开车只踩油门（追求好的），不踩刹车（避免坏的），车子跑得更顺。
效果更好：
在测试中，VAR 做出来的 AI 既更有帮助（能解决更多问题），又更安全（不乱说话），比目前流行的 DPO 方法平均提升了 7% 以上。

4. 总结

这篇论文就像给大模型训练领域带来了一把**“瑞士军刀”**：
它把复杂的“强化学习”简化成了简单的“加权复习”。

不需要昂贵的算力（省钱）。
不需要复杂的工程（省心）。
还能让 AI 变得更聪明、更听话（效果好）。

简单来说，VAR 就是让 AI 在“好榜样”的指引下，用“放大镜”去模仿最好的部分，从而用最少的力气，达到最完美的效果。

这篇论文提出了一种名为**变体重加权对齐（Variational Alignment with Re-weighting, VAR）**的新方法，旨在解决当前大语言模型（LLM）人类反馈强化学习（RLHF）中存在的训练不稳定、计算成本高以及实现复杂等问题。该方法将 RLHF 问题转化为一种变分推断问题，最终简化为一种离线奖励驱动的加权监督微调（SFT）形式。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

尽管 RLHF 是使 LLM 与人类价值观（如有用性和无害性）对齐的核心技术，但现有的主流方法面临以下严峻挑战：

在线采样方法（如 PPO, GRPO）： 需要维护多个模型（策略模型、参考模型、评论家模型、奖励模型），计算资源消耗巨大，实现复杂，且训练过程不稳定，容易出现模式崩溃（collapse）。
离线偏好优化方法（如 DPO, KTO, A-LoL）： 虽然简化了流程，但仍存在局限性：
- DPO/KTO： 依赖高质量的偏好数据对（优选/拒绝），且在某些情况下（如使用负权重处理拒绝样本时）会导致损失函数无界，引起训练不稳定。
- A-LoL 等： 依赖重要性权重的截断（clipping）来保证稳定性，但这限制了优化空间，使其无法达到 RLHF 的理论最优解。
- 通用问题： 现有的离线方法往往难以在训练稳定性和最终对齐性能之间取得最佳平衡。

2. 方法论 (Methodology)

作者从**变分推断（Variational Inference）**的角度重新审视 RLHF，提出了 VAR 框架。

核心思想

传统的 RLHF 目标是最优化策略 $\pi_\theta$ 以最大化期望奖励并最小化与参考模型 $\pi_{ref}$ 的 KL 散度。该论文指出，RLHF 的最优策略 $\pi^*$ 具有闭式解（Closed-form solution）：
$\pi^*(y|x) = \frac{1}{Z(x)} \pi_{ref}(y|x) \exp\left(\frac{1}{\beta} r(x, y)\right)$
其中 $Z(x)$ 是归一化常数。

VAR 的核心策略是直接最小化学习策略 $\pi_\theta$ 与最优策略 $\pi^*$ 之间的前向 KL 散度（Forward KL Divergence）：
$\min_{\theta} KL[\pi^* \parallel \pi_\theta]$
通过重要性采样（Importance Sampling），将期望从 $\pi^*$ 转换到参考分布 $\pi_{ref}$ 上，推导出新的损失函数：
$\mathcal{L}_{VAR} = -\mathbb{E}_{\pi_{ref}} \left[ \frac{\exp(\frac{1}{\beta} r(x, y))}{Z(x)} \cdot \log \pi_\theta(y|x) \right]$

关键创新点

奖励驱动的加权 SFT： 上述公式表明，VAR 本质上是一个加权监督微调（Weighted SFT）。权重由奖励函数 $r(x, y)$ $r (x, y)$ 的指数变换决定（ $w \propto \exp(r/\beta)$ $w \propto exp (r / β)$ ）。
- 优势： 权重始终为非负数，避免了 DPO 等方法中因负权重导致的损失函数无界和训练不稳定问题。
- 无需截断： 不需要像 PPO 或 A-LoL 那样使用截断（clipping）来限制重要性比率，从而保留了细粒度的偏好区分能力。
批次内归一化估计（Batch-wise Partition Estimation）：
- 由于 $Z(x)$ 涉及对所有可能输出的求和，计算成本极高。
- 作者提出在训练微批次（Micro-batch）内，利用蒙特卡洛估计（Monte Carlo Estimation）来近似 $Z(x)$ 。即利用当前批次中采样自 $\pi_{ref}$ 的多个样本来估算归一化项。
- 这种方法使得 VAR 可以在标准的 SFT 训练循环中高效实现，无需额外的在线采样步骤。

3. 主要贡献 (Key Contributions)

理论视角的转换： 首次从变分推断的角度将 RLHF 重新表述为最小化策略与最优解分布差距的问题，导出了理论上的最优解形式。
算法简化与稳定化： 提出 VAR 算法，将复杂的 RLHF 转化为简单的离线加权 SFT。通过引入非负指数权重，彻底解决了负权重带来的优化不稳定性，同时避免了截断带来的性能损失。
高效实现： 设计了基于批次的归一化项估计技术，使得该方法在计算效率上接近 SFT，无需维护多个模型或进行昂贵的在线采样。
广泛的实验验证： 在多个模型系列（Llama, Qwen）和不同规模（0.5B 到 32B）上进行了验证，证明了其优越性。

4. 实验结果 (Results)

实验在 Helpful and Harmless Assistant (HHA) 任务、通用生成基准（MMLU, GSM8k, HumanEval, BBH）以及对话基准（AlpacaEval 2.0, Arena-Hard）上进行。

对齐性能（Helpfulness & Harmlessness）：
- 在 HHA 基准测试中，VAR 在大多数设置下（包括从预训练模型和 SFT 模型开始）均优于 DPO。平均奖励分数比 DPO 高出约 7.16%。
- 在 GPT-4 评估的胜率（Winrate）测试中，VAR 同样表现出显著优势，特别是在 Llama 系列模型上。
训练稳定性：
- 训练曲线显示，VAR 的验证奖励随训练步数稳步上升，而 DPO 容易出现波动甚至早期下降。VAR 在长训练过程中表现出更强的鲁棒性。
计算效率：
- 速度： 与在线采样方法 GRPO 相比，VAR 的训练速度快 5 倍以上（例如在 Qwen2.5-3B 上，VAR 每 epoch 仅需 42 分钟，而 GRPO 需 2 小时 54 分钟）。
- 资源： 计算开销与 SFT 和 DPO 相当，远低于 PPO/GRPO。
通用能力： 在 MMLU、GSM8k 等知识推理和代码生成基准上，VAR 也取得了优于 DPO 和 ALoL 的结果，证明了其在保持通用能力方面的有效性。
输出长度分析： 与 DPO 倾向于生成更长序列（有时是为了刷分）不同，VAR 生成的序列长度更接近 SFT 版本，且在不依赖长序列的情况下获得了更高的奖励分数，表明其提升的是回答质量而非长度。

5. 意义与影响 (Significance)

效率与性能的平衡： VAR 成功地在“离线 SFT 的高效性”和“在线 RLHF 的高性能”之间架起了桥梁。它提供了一种无需复杂 RL 管道即可实现接近 RLHF 性能的方案。
解决训练痛点： 通过消除负权重和截断机制，VAR 为 LLM 对齐提供了一种更稳定、更易于调试和部署的解决方案，降低了大规模模型对齐的门槛。
未来方向： 该方法证明了将 RLHF 目标转化为加权 SFT 的可行性，为未来设计更简单、更强大的对齐算法提供了新的理论依据和工程范式。

总结：
VAR 通过变分推断视角，将 RLHF 简化为一种基于奖励指数加权的 SFT 任务。它不仅保留了 RLHF 优化人类偏好的核心能力，还显著提升了训练稳定性并大幅降低了计算成本，是目前 LLM 对齐领域一项高效且具有突破性的工作。代码已开源。