💬 NLP

TokenRatio: Principled Token-Level Preference Optimization via Ratio Matching

本文介绍了 Token 级 Bregman 偏好优化（TBPO），这是一种新颖的方法，它从标准的序列级比较中推导出 Token 级 Bradley-Terry 偏好模型，旨在提升对齐质量、训练稳定性和输出多样性，同时保持直接偏好优化（DPO）的简洁性。

原作者： Truong Nguyen, Tien-Phat Nguyen, Linh Ngo Van, Duy Minh Ho Nguyen, Khoa Doan, Trung Le

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Truong Nguyen, Tien-Phat Nguyen, Linh Ngo Van, Duy Minh Ho Nguyen, Khoa Doan, Trung Le

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人写故事。你向它展示同一故事的两个版本：一个是“优胜者”（好、有帮助、安全），另一个是“失败者”（坏、无帮助或危险）。你的目标是调整机器人，使其学会写出“优胜者”版本的故事。

很长一段时间以来，实现这一目标的标准方法（称为DPO）就像是对整篇故事进行一次性评分。你会说：“整个这个故事很棒，而那个整个故事很糟糕。”机器人随后会尝试调整其“大脑”，以使整个故事变得更好。

问题所在：
该论文指出，这有点像仅凭马拉松选手的完赛时间来评判他们，而不观察他们的步态。语言模型并非一次性写出整篇故事；它们是逐词书写的。它们选择的每一个词都是基于前文做出的微小决策。如果机器人在第一个词上犯了一个微小的错误，即使“整篇故事”的评分最终有所提升，整个故事也可能偏离正轨。

现有的“词元级”（token-level）方法试图通过分解故事来解决这个问题，但它们本质上仍然只是将“整篇故事”的评分分摊到各个词上，而不是教导机器人在每一步都做出正确的选择。

解决方案：TokenRatio (TBPO)
作者提出了一种名为**词元级 Bregman 偏好优化（Token-level Bregman Preference Optimization, TBPO）**的新方法。以下是他们使用简单类比进行的解释：

1. “GPS 逐段导航”类比

想象你要从纽约开车到洛杉矶。

旧方法（序列级）： 你只看最终目的地。如果你抵达洛杉矶，你就会得到一颗金星；如果你最终到了加拿大，你就会得到红灯。你试图调整驾驶方式以获得那颗金星，但你不知道具体是哪一次转弯导致了错误。
TBPO 方法（词元级）： 这种方法就像一个提供逐段导航评分的 GPS。在每一个路口（每一个词），它都会问：“你走的是通向好故事的路，还是坏故事的路？”它教导机器人在每一步都做出完美的选择，而不仅仅是希望最终结果是好的。

2. “两条不同道路”问题

这是论文解决的棘手部分。当比较“优胜者”故事和“失败者”故事时，它们往往在很早的阶段就看起来不同了。

场景： 假设优胜者故事以“猫坐着……"开头，而失败者故事以“狗跑着……"开头。
问题： 如果你只是比较下一个词，你不仅仅是在比较这个词，而是在比较两个完全不同的起点。这就像比较一个从山顶起跑的选手和一个从山脚起跑的选手。山顶的选手拥有不公平的优势。
修正： 论文引入了一个“校正因子”（称为基线）。
- TBPO-Q： 此版本构建了一个小型、轻量级的“计算器”，用于估算起点（前缀）有多“好”。它减去这种优势，这样你就只评判下一个词，而不是整个历史。
- TBPO-A： 此版本执行相同的数学运算，但使用了一种不同的技巧（称为“优势归一化”），无需单独的计算器即可抵消起点差异。

3. “密度比”魔法

论文使用了一个名为密度比匹配（Density Ratio Matching）的高级数学概念（具体使用了称为 Bregman 散度的东西）。

简单类比： 想象你有一袋红珠子（好词）和蓝珠子（坏词）。你想教机器人挑选红珠子。
论文的方法不仅仅是数数，而是查看“好”故事与“坏”故事中红珠子与蓝珠子的比率。它试图让机器人内部的比率与“好”比率完美匹配。
通过在词级别执行此操作，机器人学习到一个在每一刻都是最优的“策略”（一套规则），而不仅仅是针对最终结果。

他们发现了什么？
作者在多种任务中，针对两个流行的 AI 模型（Mistral 和 Llama 3）测试了这一新方法：

更聪明的推理： 模型在数学和逻辑谜题（如 GSM8K 和 MMLU）方面表现更好。
更好的对齐： 它们变得更有帮助，且更少说出有害的内容。
更多样性： AI 训练的一个常见问题是模型变得枯燥且重复（像坏掉的唱片）。TBPO 保持了模型的多样性和创造力，而其他方法则使它们变得更加机械。
效率： 它们在无需复杂、昂贵的强化学习循环的情况下实现了这些结果。这是对标准方法的“即插即用”式改进。

简而言之：
论文指出：“停止一次性给整篇文章评分。教导 AI 为每一个词做出正确的选择，同时修正某些故事起步即占优势的事实。”其结果是，AI 变得更聪明、更有帮助，且更少重复。

技术摘要：TokenRatio (TBPO)

1. 问题陈述

直接偏好优化（DPO）已成为将大语言模型（LLM）与人类偏好对齐的标准方法，因为它避免了强化学习（RL）的复杂性。然而，存在一个根本性的不匹配：LLM 是自回归生成文本的（即基于前缀进行逐 token 决策），而 DPO 及其变体通常将偏好建模为针对整个序列的不可分割对象。

现有的“逐 token"扩展方法（如 TDPO、TIS-DPO）试图通过将序列级 Bradley–Terry 目标分解到时间步来解决这一问题。但本文指出，这些方法本质上仍在优化序列级模型，导致逐前缀（逐状态）的最优性仅是隐含的。这导致了次优的信用分配：早期 token 中的微小错误可能产生级联效应，且模型并未被显式训练以在每一个生成步骤中做出局部最优的权衡。核心问题在于，如何仅利用标准的序列级成对比较数据来恢复逐 token 偏好最优性，同时不牺牲使 DPO 具有吸引力的简洁性和效率。

2. 方法论：逐 token Bregman 偏好优化 (TBPO)

作者提出了逐 token Bregman 偏好优化（TBPO），这是一个通过密度比率匹配显式建模逐 token 偏好，同时仅依赖序列级数据的框架。

2.1. 逐 token Bradley–Terry 模型

TBPO 不再将完整响应视为单一单元，而是提出了一个逐 token 的 Bradley–Terry 模型。对于偏好对 $(y_w, y_l)$ 和特定时间步 $t$ ，该模型比较获胜前缀 $s^w_t = [x, y^w_{<t}]$ 的下一个 token $y^w_t$ 与失败前缀 $s^l_t = [x, y^l_{<t}]$ 的下一个 token $y^l_t$ 。

偏好概率定义为：
$p_{data}(y^w_t \succ y^l_t | s^w_t, s^l_t) = \sigma(S(s^w_t, y^w_t) - S(s^l_t, y^l_t))$
其中 $S(s, a)$ 是逐 token 评分函数， $\sigma$ 是 sigmoid 函数。

2.2. 两种实例化

该框架根据评分函数 $S$ 的选择产生两种变体：

TBPO-Q：使用参考策略的状态 - 动作价值函数 $Q^{\pi_{ref}}$ 作为评分。这将偏好标签视为一步前瞻效用的噪声比较。
TBPO-A：使用参考策略的优势函数 $A^{\pi_{ref}}$ 作为评分。这鼓励策略在每个状态下增加获胜扩展与失败扩展之间的优势差距。

2.3. 密度比率匹配与逐状态权重

一个关键的理论见解是，跨不同前缀（状态）比较动作需要一个校正项。作者推导出了一个等式，将最优策略 $\pi^*_\theta$ 与参考策略 $\pi_{ref}$ 联系起来，其中包含一个逐状态权重 $w_t$ ：
$\frac{\pi^*_\theta(y^w_t | s^w_t)}{\pi^*_\theta(y^l_t | s^l_t)} = \frac{\pi_{ref}(y^w_t | s^w_t)}{\pi_{ref}(y^l_t | s^l_t)} \times \left( \frac{p_{data}(y^w_t \succ y^l_t)}{p_{data}(y^l_t \succ y^w_t)} \right)^{1/\beta} \times w_t$

在 TBPO-Q 中， $w_t$ 是两个前缀的配分函数（软值）之比。
在 TBPO-A 中， $w_t$ 是两个前缀之间 KL 散度基线的差异。

为了使该过程可处理，作者提出了实用的估计器：

TBPO-Q：学习一个轻量级 MLP 基线头来预测对数配分函数，并阻断梯度传入主 LLM 骨干网络。
TBPO-A：使用基于当前策略和参考策略的无偏蒙特卡洛估计器（K3 估计器）来估计 KL 散度差异。

2.4. 优化目标

该框架将偏好优化表述为一个Bregman 散度密度比率匹配问题。通过在逐 token 层面最小化经验数据比率与模型比率之间的 Bregman 散度，该方法推导出了一个可处理的损失函数。这推广了逻辑回归/DPO 损失，同时保留了由逐 token 模型诱导的最优策略。损失函数在成对序列中较短序列的时间步上进行平均。

3. 主要贡献

框架：提出了 TBPO，这是首个仅利用序列级比较数据，通过密度比率匹配显式建模逐 token 偏好的框架。
理论：严格推导表明，在模型容量足够的情况下，最小化 TBPO 目标可以恢复逐 token 最优策略。作者证明了最小化器对应于由逐 token Bradley–Terry 模型定义的理想最优策略。
变体：提出了两种具体的实例化（TBPO-Q 和 TBPO-A），它们以不同方式处理状态依赖的校正项（通过学习的基线 vs. 优势归一化）。
灵活性：该公式允许通过改变 Bregman 生成函数（例如，使用缩放 Basu 幂散度以调整灵活性）来实现“即插即用”式的成对偏好损失族。

4. 实证结果

作者在 Mistral 7B v0.1 和 Llama 3 8B 上对 TBPO 进行了评估，涵盖了多个基准测试：

通用能力：在 Open LLM 排行榜（ARC, HellaSwag, MMLU, TruthfulQA, Winogrande, GSM8K）上，TBPO 变体 consistently 优于强基线（SFT, DPO, TDPO, TIS-DPO, BPO）。
- TBPO-Q 在 Mistral 7B 上取得了最高平均分（60.95），TBPO-A 在 Llama 3 8B 上取得了最高平均分（70.50）。
- 在推理密集型任务（如 GSM8K, MMLU）中观察到了显著的提升。
生成质量（MT-Bench）：经 LLM 裁判（Llama 3 70B 和 Mixtral-8x22B）评估，TBPO 在与先前基线的成对比较中取得了更高的胜率，且损失率较低。
有益性与无害性：在 Anthropic HH-RLHF 数据集上，TBPO 变体实现了最高的长度控制（LC）胜率，同时生成的响应比竞争对手更短。这表明改进并非由冗长驱动，而是源于真正的质量对齐。
多样性：与一些导致多样性崩溃（高 Self-BLEU，低熵）的逐 token 方法不同，TBPO 实现了更好的权衡，在保持低 Self-BLEU 的同时，维持了高预测熵和 Distinct-1 分数。

5. 意义与主张

本文声称，TBPO 弥合了语言生成的自回归性质与序列级偏好优化之间的差距。通过显式地强制逐 token 层面的最优性，TBPO 避免了序列级方法中间接信用分配的问题。

作者强调，他们的方法：

恢复逐 token 最优性：它提供了理论保证，即学习到的策略在每个状态（前缀）下都是最优的，而不仅仅是在序列平均意义上最优。
保持简洁性：它保留了类似 DPO 的简洁性，不需要显式的奖励模型或在线策略 RL，仅增加了一个轻量级的基线估计组件。
提升稳定性与多样性：实证结果表明，TBPO 提供了更好的训练稳定性，并且比现有的逐 token 基线更好地保持了输出多样性。

该工作被呈现为一种方法论贡献，旨在设计更可靠、更易理解的用于对齐的机器学习系统，并未声称立即部署于特定的高风险领域。