技术摘要：超越成对比较：你的语言模型正在秘密优化偏好图

1. 问题陈述

当前大语言模型（LLM）的对齐方法，特别是直接偏好优化（DPO），主要依赖成对偏好比较。虽然 DPO 通过消除显式的奖励建模，为人类反馈强化学习（RLHF）提供了一种稳定的替代方案，但在应用于实际数据收集机制时，它面临一个根本性的瓶颈。

在许多现实世界场景（如推理、程序合成）中，训练数据包含每个提示词对应的多个生成样本（rollouts），这些样本通过人工判断、基于执行的验证或启发式方法进行排序。标准的 DPO 通过将多样本排序分解为独立的成对比较（$O(K^2)$ 个实例）来处理这种情况。这种还原论方法引入了三个关键限制：

1. 传递性丢失：它丢弃了排名列表中固有的全局传递结构（例如，如果 $A \succ B$ 且 $B \succ C$，标准 DPO 不会显式强制 $A \succ C$）。
2. 冗余/冲突的监督：它将孤立的对视为独立的约束，当样本并列或排名不完整时，可能会引入噪声。
3. 与偏序的不兼容性：许多评估信号（如数学或代码的正确性）产生等价类或偏序，无法被忠实地表示为现有列表方法（如 PRO、LiPO）所需的严格全序列表。

2. 方法论：图直接偏好优化（GraphDPO）

作者提出了GraphDPO，这是 DPO 的一种原则性推广，将偏好建模从孤立的对或严格列表转变为有向无环偏好图（DAG）。

2.1 偏好图表示

对于给定的提示词 $x$ 和一组 $K$ 个候选响应 $\{y_1, \dots, y_K\}$，GraphDPO 构建一个 DAG $G_x = (V, E)$：

• 节点：代表采样的响应。
• 边：编码支配关系。如果响应 $y_i$ 优于 $y_j$（$y_i \succ_x y_j$），则存在一条边 $i \to j$。
• 等价类：为了处理离散信号（如正确/错误），其中多个响应共享相同的偏好级别，该方法将响应分组为等价类 $C_1 \succ C_2 \succ \dots \succ C_G$。边仅允许存在于不同类之间；类内边被屏蔽。这防止了任意排序并列样本而产生的虚假梯度。

2.2 图结构目标函数

GraphDPO 优化定义在支配邻域上的似然。对于每个响应 $y_i$，模型被训练为赋予其比所有它支配的响应（$N^-(i)$）更高的分数。

• 局部损失：使用受 Plackett–Luce (PL) 启发的公式，节点 $i$ 的损失为：
  $$\ell_i = -\tilde{s}_i + \log \sum_{k \in \{i\} \cup N^-(i)} \exp(\tilde{s}_k)$$
  其中 $\tilde{s}_i$ 是相对于参考策略的中心化对数比率分数。
• 全局聚合：总损失聚合了这些局部项。这种公式强制了全局传递性：如果 $y_i$ 支配 $y_j$，目标函数鼓励 $s_i > s_j$，且传递关系通过共享邻域自然传播。
• 复杂度：尽管利用了完整的图，但在等价类（分层 DAG）构建下，该方法在每个提示词上保持了线性复杂度 $O(K)$，避免了成对比较的 $O(K^2)$ 枚举或列表方法的排列归一化。

2.3 真值锚定

当存在验证过的解决方案（oracle 响应）时，GraphDPO 将它们作为图中的支配节点进行集成。

• 锚定损失：一个单独的项鼓励 oracle 响应支配所有生成的响应。
• 退火调度：为了在训练早期稳定化同时保留后期的灵活性，锚定项的权重 $\lambda_{gt}(t)$ 初始化为较高值，并逐渐衰减至 1.0。这防止策略在早期过度拟合 oracle，同时确保一致的偏好传播。

2.4 训练目标

最终目标函数结合了图损失、可选的真值锚定以及用于防止偏离参考策略的 token 级 KL 正则化项：
$$L(x) = L_{graph}(x) + \lambda_{gt}(t) L_{anchor}(x) + \lambda_{KL}(t) L_{KL}(x)$$
当 $K=2$ 且存在严格偏好时，标准的成对 DPO 作为特例被恢复。

3. 主要贡献

1. 图结构偏好优化：GraphDPO 重新 formulated 偏好学习，构建覆盖多个生成样本的全局一致偏好 DAG，强制传递性并将标准 DPO 恢复为特例。
2. 带并列偏好处理的组间排序：它自然支持等价类，仅在偏好组之间进行比较，从而避免来自近乎相同样本的虚假梯度。
3. 线性时间全图学习：该方法通过对支配集进行高效的 log-sum-exp 聚合来捕捉全局排序信息，避免了成对枚举或列表排列归一化的计算开销。
4. 稳定化的真值锚定：它引入了一种退火锚定机制，利用验证过的解决方案稳定早期优化，同时不牺牲后期阶段的策略多样性。

4. 实验结果

作者在数学推理（GSM8K, MATH-500）和程序合成（APPS）基准测试上，使用 Qwen3 基础模型评估了 GraphDPO。

• 性能：GraphDPO 始终优于基线，包括监督微调（SFT）、GRPO、SPIN 以及列表方法（PRO, LiPO）。
  • GSM8K：实现了 92.42%（无锚定）和 92.75%（有锚定），超越了最佳列表基线（LiPO: 89.23%）。
  • MATH-500：实现了 87.40%（无 GT）和 88.87%（有 GT），与列表方法相比差距比 GSM8K 更大，表明收益随任务复杂度增加而扩大。
  • APPS：实现了 72.93%（无 GT）和 73.76%（有 GT），优于基于组的方法（GRPO）和列表方法。
• 消融研究结果：
  • 图与列表：GraphDPO 与 PRO（去除了图边编码）之间的性能差距证实，对偏序和传递结构进行建模优于严格的全序假设。
  • 生成样本数（$K$）：增加 $K$ 通常通过诱导更丰富的偏好图来提高性能，使模型能够利用成对采样中不可观察的传递支配关系。
  • 锚定：真值锚定提供了持续的收益，特别是在较小的生成预算和更难的任務（MATH-500）中，它稳定了偏好传播。

5. 意义与主张

该论文主张，将偏好结构建模为图，为成对和列表对齐目标提供了一种可扩展且稳健的替代方案。

• 可扩展性：通过在捕捉全局结构的同时保持线性复杂度，GraphDPO 适用于推理和编码任务中常见的生成样本密集的对齐设置。
• 鲁棒性：该方法处理了偏序、等价类以及破坏严格列表假设的稀疏可比性关系。
• 归纳偏置：结果表明，显式建模生成样本之间的结构化关系（传递性和支配性）对于将对齐扩展到简单排序假设失效的复杂问题领域至关重要。

作者总结道，GraphDPO 为 LLM 对齐提供了一种简单而有效的归纳偏置，弥合了 DPO 的简洁性与多样本排序的结构丰富性之间的差距。