🤖 machine learning

The Differences Between Direct Alignment Algorithms are a Blur

本文表明，在统一框架下标准化监督微调阶段和超参数进行评估时，排序目标（成对式与点式）是决定直接对齐算法对齐质量的首要因素，其影响力超过所优化的具体标量分数或训练阶段配置。

原作者： Alexey Gorbatovski, Boris Shaposhnikov, Viacheslav Sinii, Alexey Malakhov, Daniil Gavrilov

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Alexey Gorbatovski, Boris Shaposhnikov, Viacheslav Sinii, Alexey Malakhov, Daniil Gavrilov

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教导一个非常聪明但略带叛逆的机器人（大型语言模型）如何变得乐于助人并遵循指令。长期以来，标准的做法就像一场三步舞：首先，教它基础知识；其次，聘请一位人类评委来给它的回答打分；最后，利用一个复杂的奖励系统来训练它以获得更高的分数。

最近，研究人员发明了“直接对齐算法”（DAAs）。这些捷径绕过了人类评委和复杂的奖励系统，试图用一个单一的数学公式直接教导机器人。问题在于？每个人都开始发明自己独特的公式，声称自己的是“最佳”的，但没人能解释清楚为什么一个比另一个更有效。这就像每个人都声称自己特定品牌的油漆是最好的，却没意识到他们都在不同的墙上作画。

这篇论文就像一部侦探故事，终于澄清了这些困惑。以下是作者们的发现，用简单的方式解释：

1. “统一工作坊”实验

作者们意识到，所有这些不同的算法都是在不同的“工作坊”（训练设置）中进行测试的。有些是从已经学过基础的机器人（SFT）开始，而另一些则试图同时教授基础和对齐。

为了进行公平的比较，他们建立了一个统一工作坊。他们强制每个算法：

首先，在单独的班级中学习基础知识（SFT）。
然后，参加对齐课程。
使用一个通用的“温度旋钮”（称为 $\beta$ ）来控制训练的严格程度。

结果： 一旦把所有人都放在同一个工作坊里，特定数学公式（即“标量”）之间的差异大部分消失了。事实证明，算法使用的具体数学技巧并不重要，重要的是它如何比较回答。

2. 真正的英雄：“成对”与“点对点”

这篇论文发现，最重要的因素不是具体的数学公式，而是用于比较回答的策略。他们发现了两种主要策略：

“点对点”策略（独角戏）： 想象一位老师单独看一篇学生的作文来评分。“这篇作文好吗？是/否。”然后他们再看一篇糟糕的作文。“这篇坏吗？是/否。”他们独立地给它们打分。
“成对”策略（辩论）： 想象一位老师并排看着一篇好作文和一篇坏作文。“好的，鉴于这两篇，哪一篇更好？”他们完全专注于两者之间的差异。

发现： 成对策略（辩论） consistently 获胜。这就像一位专注于让球员相互比较而不是孤立评判他们的教练。“点对点”策略经常因问题的具体怪癖（提示）而感到困惑，浪费精力去修复那些不需要修复的东西。

3. 为什么会发生这种情况？“偏差”类比

作者们用一个关于偏差和“精神能量”的巧妙类比来解释这一点。

想象机器人拥有有限的“精神能量”（容量）来学习。

点对点的问题： 当机器人孤立地看一个答案时，它试图修复一切。如果一个问题有一个奇怪的偏差（比如一个陷阱题），机器人就会耗尽所有精力试图“遗忘”那个陷阱。它忙于修复陷阱，以至于忘记了学习如何解决真正的难题。
成对的优势： 当机器人并排比较两个答案时，它会忽略问题的奇怪陷阱。它只关心：“答案 A 是否比答案 B 好？”它不会浪费精力去修复问题的偏差；它只专注于排名。

甜蜜点：

简单任务： 如果任务超级简单，机器人拥有充足的能量。两种策略都能正常工作。
困难任务： 如果任务超级难，机器人 overwhelmed 到两种策略都效果不佳。
中等难度： 这就是奇迹发生的地方。机器人有足够的能量去学习，但不足以修复每一个偏差。成对策略在这里获胜，因为它将精力节省下来用于困难部分，而点对点策略则将精力浪费在偏差上。

4. “数据效率”的惊喜

另一个有趣的发现是，你不需要海量的数据库来教导这些机器人。作者们发现，仅使用通常训练数据的5% 到 10%，就足以让机器人达到其 95% 的潜在性能。这就像意识到你不需要读完整本百科全书就能学会如何写好故事；几个关键章节就足够了。

总结

该论文得出结论，“最佳”算法并不是某种特定品牌的数学公式。相反，获胜者是成对方法（并排比较回答），因为它更聪明地利用了机器人有限的大脑能力。它避免了被个别问题的怪癖所分散注意力，从而能够专注于真正重要的事情：知道哪个答案比另一个更好。

作者们警告说，以前关于某种算法“优越”的说法，往往只是因为在不同的条件下进行了测试，或者在那些差异并不重要的任务上进行了测试。一旦你拉平了竞争环境，成对策略就是当之无愧的冠军。

技术摘要：直接对齐算法之间的差异模糊不清

问题陈述

直接对齐算法（DAAs）已成为人类反馈强化学习（RLHF）的简化替代方案，它们绕过了显式的奖励建模和强化学习阶段，直接优化语言模型策略。尽管方法层出不穷——从直接偏好优化（DPO）的两阶段范式，到基于优势比的一阶段方法，如优势比偏好优化（ORPO）和对齐监督微调（ASFT）——但现有文献依然碎片化。

本文解决的核心问题在于：难以隔离出究竟哪些具体的设计选择真正推动了对齐质量的提升。现有的比较往往受到不同训练协议（例如，一阶段与两阶段流程）、参考策略的有无以及不同超参数空间（特别是 $\beta$ 参数）的混淆。因此，关于算法优越性的声明往往基于边际差异，而这些差异可能源于设置的人为因素，而非根本性的算法优势。

方法论

为了厘清这些因素，作者提出了一个统一训练框架，使所有 DAAs 处于同等地位。该框架涉及对现有方法的两个关键修改：

标准化为两阶段流程：作者将原本的一阶段方法（ORPO、ASFT）转换为两阶段流程。这包括一个显式的监督微调（SFT）阶段以获得策略（ $\pi_{SFT}$ ），随后进行离线偏好优化阶段。这将对齐损失与 SFT 损失分离，从而能够受控地比较对齐目标本身。
引入 $\beta$ 参数：作者为传统上缺乏该超参数的一阶段优势比方法（ORPO、ASFT）引入了温度/缩放参数 $\beta$ 。这将所有方法（包括 DPO、IPO、SimPO 等）置于共同的超参数空间内，从而能够进行系统的敏感性分析。

在这个统一设置下，作者沿两个主要维度分析 DAAs：

标量得分族：底层得分函数的选择，具体指 DPO 中使用的策略–参考比率（ $r^{ref}_\theta$ ）与 ORPO/ASFT 中使用的优势比（ $r^{odds}_\theta$ ）。
排序目标：损失函数的结构形式，区分成对目标（优化选择响应与拒绝响应之间的相对差距，例如 DPO、IPO、SimPO、ORPO）和点对点目标（独立优化选择响应与拒绝响应的绝对似然，例如 ASFT、NCA、Cal-DPO、APO-Zero）。

评估涵盖了指令遵循任务（AlpacaEval 2、ArenaHard）和数学推理基准（GSM8K、MATH500 等），跨越多个模型规模（Llama 3.2 3B、Llama 3.1 8B、Mistral 7B、Qwen 2.5 7B/14B）。

主要贡献

DAAs 的统一协议：本文确立，将一阶段方法转换为包含显式 SFT 阶段的两阶段流程，并引入 $\beta$ 参数，对于最大化性能至关重要，即使对于优势比目标也是如此。
排序目标作为主要驱动因素：在统一协议下，作者发现，在超参数调整之后，先前报道的特定 DAAs 的优势在很大程度上消失了。对齐质量的主要决定因素是排序类型（成对 vs. 点对点），而非标量得分的选择（策略–参考比率 vs. 优势比）。成对方法始终优于点对点方法，特别是在中等任务难度和模型规模下。
性能差距的机制：本文提供了证据，表明性能差距源于目标函数与特定提示偏差之间的相互作用。
- 成对目标在结构上对给定提示的得分均匀偏移具有不变性；它们仅关注相对排序。
- 点对点目标生成的梯度信号激励模型调整每个提示的绝对得分水平（边缘化得分）。在容量受限的情况下，这种对特定提示偏差的“遗忘”会与主要排序任务竞争，导致在更难任务上表现次优。
数据效率：研究表明，大多数 DAAs 具有极高的数据效率，仅需 5–10% 的 SFT 数据集即可达到其全数据性能 $\ge$ 95%。

结果

性能收敛：在统一协议下进行比较时，大多数 DAAs 的表现与标准 DPO 相似或更差。先前文献中针对特定算法所声称的独特优势往往消失。
成对方法的优越性：在指令遵循和数学推理基准测试中，成对方法（DPO、IPO、SimPO、ORPO）始终比点对点方法（ASFT、NCA、Cal-DPO、APO-Zero）实现更高的峰值分数。这一趋势在 UltraFeedback 数据集上的 8B 模型规模以及 Qwen 2.5 的数学推理任务中最为显著。
标量得分的无关性：当控制排序目标和训练协议时，策略–参考比率与优势比之间的选择产生可比较的结果。
对难度的敏感性：成对方法与点对点方法之间的性能差距在非常简单的任务（容量足以同时处理排序和偏差消除）和非常困难的任务（容量不足以处理任一任务）中微乎其微。差距主要出现在中等难度时，此时点对点方法难以在偏差消除与排序细化之间取得平衡。
$\beta$ 的影响：将 $\beta$ 参数引入 ORPO 和 ASFT 显著提高了它们的对齐质量，证实了其作为有效调节机制的作用。

意义与主张

本文认为，DAA 研究领域一直受到碎片化评估协议的阻碍，这些协议掩盖了性能的真正驱动因素。通过统一训练设置，作者证明，排序目标的选择（成对 vs. 点对点）是影响对齐质量的主导结构因素，而具体的得分参数化仅起次要作用。

作者声称，先前关于“最佳”DAA 的断言往往依赖于未充分探索的设置细节和数据偏差，而非根本性的算法优越性。他们的发现强调了进行细致、受控评估的必要性，以避免过度简化的声明。此外，对目标与特定提示偏差之间相互作用的识别，为观察到的性能差异提供了机制性解释，表明在模型容量相对于任务难度受限的场景中，成对目标更为稳健。

本文结论指出，虽然优势比 DAAs（如 ORPO）可能有效，但它们从与其他方法相同的结构调整（SFT 分离和 $\beta$ 调整）中获益显著，其性能最终由相同的成对与点对点动态所支配。