🤖 machine learning

Learning Mixtures of Plackett-Luce Models for Multi-Objective Alignment

本文介绍了 MoPLEx，这是一种高效的期望最大化算法，它结合了通过大语言模型进行的排序增强与基于梯度的估计，旨在从多路排序中学习 Plackett-Luce 混合模型，从而克服理论上的可识别性限制，并显著提高异质偏好对齐任务中的聚类和排序准确度。

原作者： Dongyue Li, Ziniu Zhang, Lu Wang, Hongyang R. Zhang

发布于 2026-08-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Dongyue Li, Ziniu Zhang, Lu Wang, Hongyang R. Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能领域，一个主要的挑战是如何教计算机理解人类真正的需求。当语言模型生成响应时，通常由人类对多个选项进行从优到劣的排序来对其进行评判。这个被称为“对齐”的过程，通常假设所有人类对于什么是好的回答都持有共识。然而在现实中，人们拥有不同的价值观、背景和优先级。一个人可能优先考虑响应的帮助性，而另一个人则更在意其真实性。当这些多元化的意见混合在一起时，试图从中学习的单一计算机模型往往会感到困惑，无法捕捉到任何特定群体的独特偏好。

为了解决这个问题，东北大学和密歇根大学的研究人员开发了一种新方法来理清这些混合信号。他们将这个问题比作整理一堆被混在一起的来自不同社区的邮件。他们并不试图将每封信都强行归入一个单一的类别，而是旨在识别出不同的社区，并为每个社区学习一套特定的规则。该团队创建了一种名为 MOPLEX 的算法，全称是 Plackett-Luce 模型的混合模型。简单来说，这是一种统计工具，它可以观察一份排序选择列表，并判断出这份列表很可能是由不同类型的群体混合而成，且每个人都有自己判定优劣的方式。

研究人员在工作中发现了一个显著的障碍：当选择列表过短时，在数学上是不可能区分出不同群体的。想象一下，如果你试图根据一份人们仅从两个选项中选出一个首选项的列表，来猜测两个不同群体的偏好。这些模式看起来可能完全一致，使得真实的群体变得不可见。团队发现，如果排序列表很短，无论看到多少数据，计算机都无法区分不同的潜在偏好。为了解决这个问题，他们设计了一个巧妙的变通方法。在训练模型之前，他们利用计算机本身生成额外的、虚构的响应，并将它们添加到排序列表的底部。通过扩展这些列表，算法终于获得了足够的信息来识别不同群体之间的差异，并学习它们的独特规则。

然而，仅仅延长列表会产生一个新的问题：这会让计算机处理起来变得过于缓慢且昂贵。为这些长列表中每一个项目计算概率需要巨大的计算能力。为了克服这一点，团队引入了一个基于计算机如何“思考”文本的捷径。算法不再对每一个响应都进行完整的、沉重的计算，而是挑选出几个关键的示例进行详细分析。然后，它利用在这些少量示例中发现的数学模式来估算列表中其余项的分数。这种方法就像是通过测量房间内几个点的温度来了解整个空间的气候，而不是测量每一寸空间。

这种方法的测试结果非常显著。当在涉及不同评估标准（如帮助性和诚实性）的真实世界数据上进行测试时，这种新方法在对这些偏好进行分组的准确性方面，比旧技术提高了近百分之四十四。它在预测正确响应顺序方面的表现也提升了超过百分之十五。此外，通过使用他们的估算捷径，研究人员将运行训练所需的时间和内存减少了高达三倍。在实际应用中，这意味着以前需要昂贵、高端硬件才能完成的复杂任务，现在可以更高效地完成，从而为能够更好地尊重并适应不同人类用户多样化需求的 AI 系统打开了大门。这项研究证实，通过扩展数据并使用智能估算，是有可能教机器理解人类做出选择时那些微妙且多样的差异的。

技术摘要：学习用于多目标对齐的 Plackett-Luce 模型混合体

1. 问题陈述

本文解决了使语言模型（LM）与异质人类偏好对齐的挑战。在许多场景中，偏好数据是从多样化的标注者子群体中收集的，或者是在多个标准（例如，帮助性 vs. 真实性）下进行评估的，这导致了不同排名分布的混合，而非单一统一的偏好。

核心目标是从多路排名数据中学习一个 $k$ 个 Plackett-Luce (PL) 模型的混合体。PL 模型将 Bradley-Terry (BT) 模型推广到处理 $m > 2$ 个项目的排名。作者指出了一种现有方法的关键理论局限性：不可识别性（unidentifiability）。具体而言，当排名长度 $m$ 相对于混合成分数量 $k$ 较小（即 $m \le 2k - 1$ ）时，不同的混合模型可能会产生相同的边际排名分布。这使得在短排名（例如，用于两两比较的 $m=2$ ）上使用标准混合模型来恢复真实的底层聚类在理论上是不可能的。

2. 方法论

作者提出了 MOPLEX，一种旨在克服不可识别性限制并降低训练混合 PL 模型计算成本的高效算法。该方法由两个主要部分组成：

A. 用于可识别性的排名增强（Ranking Augmentation for Identifiability）
为了解决不可识别性问题，MOPLEX 在训练前对输入数据进行增强。

过程： 对于每个输入提示词 $x$ 和现有的 $m$ 个已排名响应集，基础语言模型生成 $m' - m$ 个新的候选响应。
近似： 由于这些生成的响应缺乏人类标注，它们被视为一种部分排名，其中新项目被排在原始 $m$ 个项目之下（即 $y_{\sigma(1)} \succ \dots \succ y_{\sigma(m)} \succ \{y_{m+1}, \dots, y_{m'}\}$ ）。
理论保证： 作者证明（命题 4.1），如果增强后的响应在每个聚类内具有不同的得分，且新增响应的数量满足 $m' - m \ge k$ ，则扩展后的部分排名上的 $k$ 个 PL 模型混合体是可识别的。这使得模型能够区分那些在短排名上原本无法区分的聚类。

B. 基于梯度的估计以提高效率（Gradient-Based Estimation for Efficiency）
在 $m'$ 个候选对象上训练 $k$ 个 PL 模型通常需要每次迭代进行 $O(km') $次前向传播，这对于大型语言模型来说计算成本过高。MOPLEX 引入了一种一阶近似，将这种成本降低到$ O(ka) $，其中$ a$ 是少量“锚点（anchor）”响应的数量（ $a \ll m'$ ）。

机制： 算法选择 $a$ 个锚点响应的子集。对于这些响应，它计算关于输入嵌入的精确模型输出和梯度。
近似： 对于剩余的 $m' - a$ 个响应，模型得分使用输入嵌入空间中的一阶泰勒展开进行估计：
$\hat{r}_\theta(x, y_j) \approx \frac{1}{a} \sum_{y_i \in Y_a} \left( r_\theta(x, y_i) + \nabla_h r_\theta(x, y_i)^\top (h(x, y_j) - h(x, y_i)) \right)$
训练： 随后应用期望最大化（EM）算法，利用这些估计的概率来更新聚类分配和模型参数（通过 LoRA 适配器实现）。

3. 核心贡献

对不可识别性的理论识别： 本文正式确立了当 $m \le 2k - 1$ 时，混合 PL 模型是不可识别的，解释了为什么现有的混合 BT 模型（其中 $m=2$ ）在 $k > 1$ 时无法恢复聚类。
增强策略： 提出了一种生成式增强技术，通过扩大排名长度来满足可识别性条件，而无需额外的标注。
高效的梯度估计： 引入了一种可扩展的实现方式，将 PL 混合训练成本从 $O(km) $降低到$ O(ka)$，从而使混合模型能够应用于大规模语言模型。
MOPLEX 算法： 一个整合了增强、梯度估计和 EM 训练的完整框架，用于学习 PL 模型的混合体。

4. 实验结果

作者在 UltraFeedback 数据集（4 个评估标准， $m=4$ ）和 Persona 数据集（12 个人口统计特征， $m=2$ ）上对 MOPLEX 进行了评估。

可识别性与准确度：
- 在合成数据上，该方法证明了增加排名大小 $m$ 至超过 $2k$ 对于恢复真实聚类是必要的；两两比较（ $m=2$ ）在 $k \ge 3$ 时会退化为随机猜测。
- 在现实世界数据集中，与使用单一排名模型或 BT 模型混合体的基线相比，MOPLEX 将聚类准确度平均提高了 43.7%，并将排名准确度提高了 15.2%。
近似质量：
- 梯度估计法在 0.6B 到 34B 参数规模的模型中，其近似真实模型输出的误差小于 5%。
效率：
- 与全量计算 PL 混合体相比，该方法将 GPU 运行时间和内存成本降低了高达 3 倍。
- 它允许在超过全量计算基线内存限制的排名规模（ $m'=32$ ）上进行训练。

5. 重要性与主张

本文声称 MOPLEX 为偏好具有异质性的多目标对齐提供了一个实用的解决方案。通过通过数据增强解决混合模型的理论不可识别性问题，并通过梯度估计解决计算瓶颈，该方法能够学习到单模型或两两比较混合模型无法捕获的独特偏好聚类。

作者强调，该方法使语言模型能够更好地与多样化的用户子群体和评估标准对齐。他们指出，在标准的 RLHF 或 DPO（假设存在单一偏好分布）无法捕捉冲突目标（如帮助性 vs. 诚实性）的细微差别时，该方法特别有效。这项工作被视为将排名模型学习扩展到复杂、多标准对齐任务的基础。