💬 NLP

Se-DPO: Self-Evolving Token Credit for Direct Preference Optimization

本文介绍了 Se-DPO，这是一种根据不断演变的内部奖励信号和置信度动态调整标记级信用（token-level credit）的方法，旨在克服直接偏好优化（Direct Preference Optimization）中静态均匀聚合的局限性，并在 AlpacaEval 2 和 Arena-Hard 等基准测试中取得了显著的性能提升。

原作者： Wenxiao Zhao, Shu Wang, Ying Nian Wu

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Wenxiao Zhao, Shu Wang, Ying Nian Wu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何写出一个能让人们喜爱的故事。你不仅仅是告诉机器人“写个故事”；而是向它展示两个故事——一个是人类喜欢的，另一个是人类不喜欢的——并询问机器人为什么。这就是**直接偏好优化（Direct Preference Optimization, DPO）**的世界，这是一种用于训练 AI 变得既有用又无害的流行方法。在这个过程中，AI 通过将它生成的每一个单词（或“标记/token”）与参考版本进行对比来学习。这就像一位严厉的编辑，检查句子中的每一个单词，并假设每个单词对于最终成绩都同样重要。如果 AI 在句子中间写错了一个字母，编辑也会像对待“的”或“和”这样平庸的词一样，赋予这个错误同样的权重。

但问题在于：并非所有单词都是平等的。一个错误的实事可能会毁掉整个答案，而一个填充词则无关紧要。这个领域的重大问题是：我们如何教会 AI 识别哪些词是“主角”，哪些只是“配角”？如果我们把它们同等对待，AI 可能会把精力浪费在润色无聊的部分，而忽略了关键的错误。这篇论文深入探讨了这一问题，探讨我们如何让 AI 在学习时更聪明地分配注意力。

这篇论文的作者 Wenxiao Zhao 及其同事发现了一个令人惊讶的事实：“重要性”并不是一个固定不变的事实；它会随着 AI 的学习而改变。想象一下一个学生在参加考试。在第一天，他们可能认为句首的大写字母是最重要的。但到了第十天，经过刻苦学习后，他们意识到句子中间的实际事实才是真正重要的。论文指出，以往的方法就像是一个在第一天就给学生一份静态“重要词汇表”，且从未更新过的老师。随着学生理解能力的增长，这份清单很快就会过时。

为了解决这个问题，团队引入了一种名为 Se-DPO（自我进化标记信用/Self-Evolving Token Credit）的新方法。Se-DPO 不使用静态列表，也不要求外部专家（如预训练的教师模型）来决定哪些词重要，而是让 AI 实时为自己寻找答案。AI 会不断检查自身的内部信号，以观察哪些词承载了更多的“偏好权重”（即那些区分好坏答案的关键词），以及哪些词只是噪声。随后，它会给这些重要的词更多的改变自由度，而对平庸的词则执行更严格的保持不变规则。

论文表明，这种“自我进化”的方法至关重要，因为 AI 对单词重要性的内部理解在训练过程中会发生剧烈变化。事实上，研究人员发现，在训练开始时的“顶尖”词汇集与训练结束时的“顶尖”词汇集之间几乎没有重叠——在整个过程中，保持在排名前 20% 的词汇中，只有约 33.6% 是相同的。如果你使用静态列表，那么当 AI 准备毕业时，你关注的将是错误的词。

Se-DPO 通过使用两个信号来决定给予每个词多少“信用”（或自由度）：一是 AI 对该词的偏好信号强度，二是参考模型对该词的置信度。如果参考模型对某个词非常不确定（高熵），AI 就知道该信号可能存在噪声，因此不会盲目信任它。一个轻量级的校准网络充当了平衡这两个信号的“校准器”，确保 AI 不会被随机噪声分散注意力。

结果非常令人振奋。在标准的 AI 写作质量基准测试中，Se-DPO 的表现显著优于标准方法（DPO）。具体而言，它在 AlpacaEval 2 上的胜率提升了高达 9.8 个百分点，在 Arena-Hard 上提升了 12.2 个百分点。在某些特定设置下，它在 AlpacaEval 2 上达到了 50.6% 的胜率，在 Arena-Hard 上达到了 43.3%，击败了许多依赖沉重外部模型的先进方法。作者强调，他们在实现这些成果时无需任何额外的预训练“教师”模型，仅增加了极少量的计算开销。

简而言之，这篇论文表明，为了让 AI 真正掌握人类的偏好，它需要一种动态的、自我纠正的方式来决定什么才是重要的。通过让 AI 在学习过程中进化出对单词重要性的理解，而不是死守着一套僵化的、预设的规则手册，我们可以获得更好的结果。这有点像是从一个根据清单评分的老师，升级为一个观察学生成长并每天调整建议的导师。

技术摘要：Se-DPO（用于直接偏好优化的自演进 Token 信度）

问题陈述

直接偏好优化（DPO）已成为通过将基于人类反馈的强化学习（RLHF）目标重参数化为监督损失，从而使大语言模型（LLM）与人类偏好对齐的标准方法。然而，标准的 DPO 通过均匀求和来聚合 token 级别的对数概率比，这隐含地将响应中的每个 token 视为对偏好信号的贡献是相等的。

这种均匀处理方式与现实不符：

贡献度差异： 并非所有 token 对响应质量的贡献都是相等的。一个事实性错误可能会改变偏好标签，而填充词（filler words）很少会影响人类判断。
静态 vs. 动态重要性： 现有的试图解决此问题的研究通常在训练循环之外或之前（使用外部教师模型、对比对或固定掩码）计算 token 重要性。这些方法将重要性视为近似固定的。
演进差距： 本文指出，DPO 学习到的隐式奖励信号在训练过程中会经历实质性的演进。被认为“重要”的 token 集在训练早期和后期阶段之间会发生显著偏移。因此，随着优化的进行，静态的信度分配会变得越来越不匹配（过时）。此外，如果不进行校准而直接使用隐式奖励，由于噪声的存在（特别是在训练早期），可能会给非关键 token（如标点符号）分配不成比例的重要性。

方法论：Se-DPO

作者提出了 Se-DPO（用于 DPO 的自演进 Token 信度），这是一种动态地从模型自身在训练过程中演进的内部信号中导出特定 token 信度的机制。

1. 理论基础：Token 信度

作者将 DPO 目标进行了泛化，允许进行特定于 token 的 KL 正则化。他们引入了一个位置特定的系数 $\beta_t$ ，而非统一的系数 $\beta$ 。这引入了一个“token 信度”项 $c_t = \beta / \beta_t$ 。

目标： 在满足每个 token 惩罚强度各异的 KL 约束下，最大化期望奖励。
推导： 在偏好对数比的方差最小化准则下，最优信度 $c_t$ 被推导为与 token 的真实隐式奖励幅度（ $|r^*_t|$ ）成正比，并与估计噪声方差（ $\sigma^2_t$ ）成反比。
$c^*_t \propto \frac{|r^*_t|}{\sigma^2_t}$

2. 信号选择

为了在无法获取地面真值的情况下近似最优信度，Se-DPO 利用了前向传播过程中可获得的两种互补信号：

隐式奖励幅度 ( $|\hat{r}_t|$ )： 源自 DPO 对数比（ $\beta \log \frac{\pi_\theta}{\pi_{ref}}$ ）。高幅度意味着该 token 携带强烈的偏好信息。
参考熵 ( $H_{ref,t}$ )： 给定 token 处参考模型的分布熵。高熵表示参考模型存在不确定性，使得隐式奖励的估计噪声更大。低熵则意味着置信度较高，使得偏差更具信号特征。
经验验证： 文中观察到参考熵与隐式奖励估计的方差强相关，证实了其作为噪声代理指标的效用。

3. 校准网络

由于奖励幅度与噪声之间的关系是非线性的，且闭式比率 $|\hat{r}_t|/H_{ref,t}$ 在数值上可能不稳定（特别是在熵接近零时），Se-DPO 采用了一个轻量级校准网络（一个小型的 MLP， $f_\phi$ ）。

输入： $|\hat{r}_t|$ 和 $H_{ref,t}$ 。
输出： 标量信度 $\tilde{c}_t$ 。
归一化： 信度在每个响应内被归一化为单位均值。这确保了总 KL 预算与标准 DPO 相当，同时允许将预算重新分配给更关键的 token。

4. 训练算法

该算法分为两个阶段运行：

预热阶段 ( $W$ 步)： 使用均匀信度（ $c_t=1$ ）进行标准 DPO。这可以防止在训练早期隐式奖励不稳定或接近零时放大噪声。
引导阶段 ( $>W$ 步)： 校准网络 $f_\phi$ 与策略 $\pi_\theta$ 进行联合更新。在每一步中，模型计算当前前向传播中的 $|\hat{r}_t|$ 和 $H_{ref,t}$ ，通过 $f_\phi$ 生成信度，并优化 token 加权损失：
$L_{Se-DPO} = -\log \sigma \left( \sum_{t} c^{(c)}_t \hat{r}^{(c)}_t - \sum_{t} c^{(r)}_t \hat{r}^{(r)}_t \right)$
至关重要的是，这不需要外部模型（教师、判别器），且仅增加极小的计算开销。

核心贡献

对时间动态性的观察： 论文证明了 token 级别的隐式奖励在 DPO 训练期间会发生显著变化，且早期和后期阶段之间的重叠有限（例如，前 20% 的 token 重叠率仅为 ~33.6%）。这挑战了先前 token 级方法的静态重要性假设。
Token 信度公式化： 作者将“token 信度”形式化为一种调节每 token KL 正则化强度的机制，并推导出最优信度取决于奖励幅度与估计置信度。
Se-DPO 算法： 一种实用的在线方法，利用轻量级校准网络从内部信号中导出 token 信度。它避免了外部模型和复杂的求解器。
经验验证： Se-DPO 在无需外部模型的方法中实现了最先进的结果，在 AlpacaEval 2 和 Arena-Hard 上的胜率较标准 DPO 及其他基线显著提升。

实验结果

实验在三个模型（Llama-3-8B-Instruct, Llama-3.2-3B-Instruct, Gemma-2-2B-it）上使用两种偏好标注器（ArmoRM 和 PairRM）进行。

性能增益：
- 在 Llama-3-8B-Instruct (ArmoRM) 上，Se-DPO 在 AlpacaEval 2 上实现了 50.6% 的胜率，在 Arena-Hard 上实现了 43.3%。这分别超过了最强的先前基线（TGDPO）8.1 和 2.8 个百分点。
- 使用 PairRM 标注时，Se-DPO 在 AlpacaEval 2 上达到 47.2%，在 Arena-Hard 上达到 42.6%，分别领先基线 3.3 和 8.3 个百分点。
- 在较小模型（3B 和 2B）使用 LoRA 时，Se-DPO 持续优于标准 DPO，并与 TGDPO 保持竞争优势。
消融研究：
- 静态 vs. 动态： “静态信度”（在预热后冻结）相比 DPO 仅有小幅改进，证实了演进信度的必要性。
- 信号必要性： 发现隐式奖励和参考熵都是必要的；手工设计的比率并未一致地优于单信号变体，这验证了学习校准网络的必要性。
- 预热： 一个短期的预热阶段（默认 4%）至关重要；移除预热或使用过长的预热会导致性能下降。

意义与主张

本文声称 Se-DPO 解决了当前偏好优化中的一个根本局限：即认为 token 重要性是静态的假设。通过将 token 信度视为源自模型自身训练轨迹的自演进属性，Se-DPO 使正则化强度与每个 token 在特定训练时刻的实际信息内容相匹配。

其意义在于：

高效性： 它无需外部教师模型或复杂求解器，即可实现卓越的性能，避免了其他 token 级方法所需的计算成本。
鲁棒性： 由于依赖于内部模型状态而非外部信号，它对不同的偏好标注器（ArmoRM vs. PairRM）具有鲁棒性。
理论洞察： 它提供了一个基于方差最小化的辩护，解释了为什么 token 级别的 KL 预算应该是动态的，并且应与估计噪声成反比。

作者对于 MT-Bench 指标保持了审慎态度，指出虽然 Se-DPO 在成对胜率基准（AlpacaEval 2, Arena-Hard）上表现出色，但其在 MT-Bench 上的绝对评分有所波动，这表明在成对偏好对齐与绝对评分尺度之间存在需要进一步研究的权衡。