🤖 AI

Autoregressive Direct Preference Optimization

本文提出了自回归直接偏好优化（Autoregressive Direct Preference Optimization, ADPO），这是一种通过在 Bradley-Terry 模型之前显式应用自回归假设，从而重新构建 DPO 目标函数的创新变体，其结果是一个偏移后的损失函数，并识别出了用于改进偏好优化的不同 Token 长度和反馈长度度量。

原作者： Masanari Oi, Mahiro Ukai, Masahiro Kaneko, Naoaki Okazaki, Nakamasa Inoue

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Masanari Oi, Mahiro Ukai, Masahiro Kaneko, Naoaki Okazaki, Nakamasa Inoue

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：教机器人如何写出更好的文章

想象一下，你正在教一个机器人写故事。你有一个“金标准”书籍（参考模型）和一个“学生”机器人（可学习的模型）。你希望“学生”写出的故事比“金标准”的故事更受人类喜爱。

长期以来，实现这一目标的最佳方法是 DPO（直接偏好优化）。你可以把 DPO 想象成一位老师，他会阅读学生写的整个故事，将其与金标准的故事进行对比，然后给出一个单一的分数：“好”或“坏”。

问题所在：
论文指出，这种“全或无”的评分系统有点效率低下。大语言模型（LLMs）并不是通过一次巨大的飞跃来完成写作的，它们是**逐个词（或逐个 token）**进行写作的，就像人在打字输入句子一样。然而，旧的 DPO 方法要等到最后才给出反馈。这就像一位教练，直到马拉松结束才对跑者说：“你跑得不错”，却从未在跑者奔跑的过程中纠正过他们的动作。

解决方案：ADPO（自回归 DPO）

作者提出了一种名为 ADPO 的新方法。ADPO 不再等待故事写完才给出评分，而是在故事编写的过程中进行分步反馈。

“电影 vs. 快照”的比喻

旧 DPO（快照）： 想象拍摄一张完成后的画作照片。你观察整幅画，然后说：“这张比那张好。”你并不知道哪些笔触让它变得更好。
新 ADPO（电影）： 想象实时观看艺术家绘画的过程。ADPO 观察第一个笔触，然后是第二个，接着是第三个。它会询问：“这一笔好吗？下一笔是否更好？”它学会的是偏好写作的过程，而不只是最终结果。

两个“长度”规则

论文中最有趣的发现之一是，在教导这些模型时，实际上存在两种不同的长度衡量方式，而旧方法混淆了它们。

Token 长度（词数）： 这是模型实际输入的单词数量。（例如：“猫坐在” = 3 个词）。
反馈长度（评分单位）： 这是老师决定一次性对多少个块进行评分。

旧方法： 老师总是将整个故事作为一个单一的块进行评分（反馈长度 = 1），无论其中有多少个单词。
新方法 (ADPO)： 老师可以选择将故事拆分为更小的块进行评分。他们可以对每一个单词进行评分（反馈长度 = 词数），也可以每 10 个单词评分一次，或者按段落评分。

论文表明，通过将故事拆分为更小的块（使“反馈长度”与“Token 长度”相匹配），模型学习得更快，写得更好。

它是如何运作的（化繁为简的“数学”）

在旧方法中，数学逻辑如下：

获取整个故事，计算差异，然后应用一个“sigmoid”（平滑函数）来获得分数。

在新的 ADPO 方法中，数学逻辑颠倒了顺序：

*针对每一步计算差异，对每一步应用“sigmoid”，然后将它们全部相加。*

类比：

旧方法： 你把所有的原料混合在一起做成蛋糕，烘焙完成后，品尝整个蛋糕，然后决定是否需要加糖。（太晚了，无法修正面糊）。
新方法： 在加入面粉后尝一下，加入鸡蛋后尝一下，加入糖后又尝一下。你在制作过程中不断调整配方。

结果：它有效吗？

作者在两类任务上测试了这种新方法：

数学问题： 他们要求模型解决复杂的数学应用题。
对话： 他们要求模型与人类聊天。

研究发现：

更高的分数： 在几乎所有的测试中，使用 ADPO 训练的模型比使用旧 DPO 方法训练的模型获得了更高的分数。
越精细越好： 当“反馈长度”非常小（即每检查一个单词）时，模型的表现最好。这证明了模型受益于持续、细粒度的反馈。
没有额外成本： 尽管检查每个单词听起来会更耗时，但作者发现所需的额外时间微乎其微（慢了不到 6%）。

总结

这篇论文引入了 ADPO，一种更聪明的训练 AI 模型的方法。ADPO 不再等待 AI 完成任务后再给分，而是在每一个步骤都给予反馈。通过将 AI 的写作视为一系列微小的步骤而非一个巨大的整体，模型学会了在整个生成过程中做出更好的选择，从而实现了更强的数学推理能力和更好的对话能力。

技术摘要：自回归直接偏好优化 (ADPO)

问题陈述

直接偏好优化 (DPO) 已成为将大语言模型 (LLM) 与人类偏好对齐的标准方法，它通过从 Bradley-Terry (BT) 模型中解析地推导出最优策略，从而消除了对显式奖励建模的需求。然而，作者指出标准 DPO 形式化存在一个理论局限性：虽然 LLM 本质上是自回归的（按顺序生成 token），但标准 DPO 目标函数是在假设策略具有自回归性质之后，在完整响应层面应用 BT 模型。

具体而言，标准 DPO 在输出空间 $\mathcal{Y}$ 上利用 BT 模型导出目标函数，随后才将对数概率展开为 token 级的项之和。这导致损失函数中，token 级对数比值的求和发生在 log-sigmoid 函数内部。作者认为，这种顺序未能在使用偏好模型进行推导时充分利用自回归假设，可能限制了优化的粒度和理论一致性。

方法论：自回归 DPO (ADPO)

论文提出了 自回归 DPO (ADPO)，这是一种通过在应用 Bradley-Terry 模型之前显式引入自回归假设的新型变体。

理论形式化

前缀闭包与能量函数： ADPO 将奖励函数的定义域从完整输出空间 $\mathcal{Y}$ 扩展到其前缀闭包 $\mathcal{Y}^*$ （所有不完整响应的集合）。它在这些前缀上定义了“逐前缀”能量函数 $E^*_1$ 和 $E^*_2$ 。
逐前缀 Bradley-Terry 模型： ADPO 不再对完整序列进行建模，而是定义了一个逐前缀的 BT 模型。偏好序列 $y_w$ 相对于非偏好序列 $y_l$ 的概率被公式化为每个前缀步骤 $i$ 处偏好概率的乘积。
损失函数的推导： 通过在逐前前缀 BT 框架内对参考模型 $\pi_{ref}$ $π_{r e f}$ 和可学习模型 $\pi_\theta$ $π_{θ}$ 应用自回归假设，作者推导出了一个新的损失函数。
- 关键结构差异： 在标准 DPO 中，损失为 $-\log \sigma(\sum_i \Delta_i)$ 。而在 ADPO 中，求和操作被移到了 log-sigmoid 函数之外：
  $\mathcal{L}_{ADPO} = -\mathbb{E} \left[ \sum_{i=1}^{T'} \log \sigma \left( \beta \log \frac{\pi_\theta(y_{w,i}|y_{w,<i}, x)}{\pi_{ref}(y_{w,i}|y_{w,<i}, x)} - \beta \log \frac{\pi_\theta(y_{l,i}|y_{l,<i}, x)}{\pi_{ref}(y_{l,i}|y_{l,<i}, x)} \right) \right]$
- 该形式化将偏好优化视为一系列 token 级（或子序列级）决策，而非单个序列级的决策。

理论分析：长度度量

论文引入了两种长度度量的理论区分，阐明了 DPO 与 ADPO 之间的关系：

Token 长度 ( $\mu$ )： 序列中的 token 数量，是 LLM 自回归本质的体现。
反馈长度 ( $\mu'$ )： 人类反馈应用的粒度。
- 标准 DPO 对应于 $\mu'(y) = 1$ 的特例（即仅在完整响应上给出反馈）。
- ADPO 允许 $\mu'$ 独立于 $\mu$ ，从而实现任意粒度的训练（例如，token 级、句子级或固定窗口级）。

作者证明，任何与逐前缀 BT 模型一致的奖励函数都可以由自回归模型进行重参数化，确保 ADPO 在理论上与 KL 约束下的奖励最大化问题保持一致。

核心贡献

ADPO 形式化： 引入了 ADPO，通过将能量定义域扩展到前缀闭包 $\mathcal{Y}^*$ ，从而显式地将自回归假设集成到 BT 模型中。
损失函数创新： 推导出了一个将 token 级对数比值的求和移至 log-sigmoid 函数之外的损失函数，为实现更细粒度的训练提供了理论一致的方法。
关于粒度的理论洞察： 识别并区分了 token 长度度量 ( $\mu$ ) 和反馈长度度量 ( $\mu'$ )。论文表明 DPO 是 ADPO 的一个特例（其中 $\mu' \equiv 1$ ），并且改变 $\mu'$ 可以得到涵盖从全响应到 token 级优化的系列算法。
重参数化的完备性： 证明了在温和的假设下，任何奖励函数都可以通过自回归模型在逐前缀框架内进行重参数化。

实验结果

作者在多个 LLM 架构（Llama-3, Qwen, Gemma, DeepSeek-Math）上针对数学推理和对话任务评估了 ADPO。

数学推理 (GSM8K, MATH500)：
- 在所有模型上，ADPO 变体均一致优于标准 DPO 和 token 级对比方法 cDPO。
- 最佳结果由 cADPO（结合了关键 token 识别的 ADPO）取得，其中 Qwen-3-8B 在 GSM8K 上达到了 91.74% 的准确率。
- 粒度分析： “静态”（固定窗口大小 $k$ ）和“自适应”（固定段数 $m$ ）系列的实验表明，更细的粒度通常能提高性能。具体而言，token 级（ $k=1$ ）和高段数自适应设置（ $m \ge 128$ ）的结果优于全响应 DPO。
对话任务 (AlpacaEval 2, Arena-Hard, MT-Bench)：
- ADPO 优于 DPO，并且在所有基准测试中表现出与 SimPO 相当或更好的性能。
- 采用 $m=256$ 的自适应系列在 AlpacaEval 2 上实现了最高的长度控制胜率 (Length-Controlled Win Rate, 45.8%)。
训练动态： 对数概率分析显示，ADPO 能更有效地放大偏好序列与非偏好序列之间的差异，尤其是在粒度增加时。
效率： ADPO 引入的额外逐前缀计算带来的训练开销极小（实际运行时间仅增加约 5.7%）。

重要性与主张

论文声称 ADPO 是 DPO 的一个理论一致的扩展，能更好地契合 LLM 的自回归特性。通过将求和操作移至 log-sigmoid 函数之外，ADPO 能够在不违反偏好优化基本原则的前提下，实现任意粒度的优化。

作者强调，其工作首次显式区分了 token 长度和反馈长度度量，提供了一个统一的框架，涵盖了从全响应到 token 级的各种方法。实验结果表明，利用这种更细的粒度可以实现更鲁棒的对齐，特别是在复杂的推理任务中，且不会带来显著的计算成本。论文最后指出，尽管 ADPO 依赖于原始的 KL 约束框架，但未来的工作可以探索泛化散度度量或为非自回归模型调整能量定义。