💬 NLP

Offline Preference Optimization via Maximum Marginal Likelihood Estimation

本文介绍了 MMPO，一种稳定且简化的离线偏好优化方法，它通过最大化边际对数似然使大语言模型与人类偏好保持一致，从而消除了对显式奖励模型的依赖，并在对齐质量和通用能力保持方面优于基准方法。

原作者： Saeed Najafi, Alona Fyshe

发布于 2026-01-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Saeed Najafi, Alona Fyshe

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：教机器人变得“有礼貌”

想象你有一个非常聪明的机器人（大语言模型），它几乎读过了互联网上的所有内容。它能写故事、解数学题，还能回答问题。然而，它有点像一个聪明但有些混乱的青少年：它知道如何说话，但并不总是知道人类究竟想听什么。有时它很没礼貌，有时它让人困惑，有时它还会胡编乱造。

为了解决这个问题，我们需要让机器人与人类的偏好“对齐”（align）。目前实现这一目标的标准方法叫做 RLHF（基于人类反馈 Reinforcement Learning from Human Feedback）。你可以把它想象成雇佣了一位严厉的教练，观察机器人的表现，给好的回答加分，给坏的回答扣分。但这个过程很麻烦，成本很高，而且机器人经常会被教练不一致的规则搞糊涂。

最近，一种更简单的方法 DPO 被发明了。它就像跳过教练，直接给机器人看两个答案（一个好的，一个坏的），然后说：“选那个好的。”这效果更好，但仍然存在一些怪癖，如果调整参数过度，可能会变得不稳定。

这篇论文介绍了一种名为 MMPO 的新方法。 作者说：“让我们尝试一个完全不同的角度。”他们不再试图教机器人去挑选赢家，而是将这个问题视为一个边际似然（marginal likelihood）估计问题。

核心思想：“最佳猜测”游戏

要理解 MMPO，想象你正在试图猜出一个悬疑故事的结局。你知道开头（提示词），并且有两个可能的结局：

好的结局： 人类更喜欢的那个。
坏的结局： 人类不喜欢的那个。

旧的方法 (DPO/RLHF)：
旧的方法就像是在玩“热与冷”的游戏。它们计算“好结局”的分数和“坏结局”的分数，然后试图推高好结局的分数并压低坏结局的分数。这有点像在玩跷跷板；如果你在一边用力过猛，整个平衡就会被打破（不稳定）。

新方法 (MMPO)：
作者提出了一种基于最大边际似然 (MML) 的不同方法。

想象你是一名侦探，试图弄清楚在只有少量线索（你看到的这两个结局）的情况下，某个特定的“好结局”成为故事真实结局的可能性有多大。

MMPO 不再是直接对比这两个结局，而是问道：“如果我们观察这个故事所有可能的结尾，‘好结局’实际上发生的可能性有多大？”

为了做到这一点，数学过程将“好结局”和“坏结局”都视为“样本”（线索），用以估计这种可能性。

它不需要一个单独的“教练”（奖励模型）来告诉它什么是好的。
它不需要为了追求多样性而强行要求机器人保持“创造力”（熵最大化）。

魔法技巧：如何在没有教练的情况下运作

论文声称，通过使用这种“最佳猜测”的数学方法，机器人会隐式地学习偏好好的答案，而无需被明确告知。

这里有一个类比：
想象你在教一只狗“坐下”。

RLHF： 你有一个带着响片和零食的训练员。当狗坐下时，你按响片；当它没坐下时，你不按。
DPO： 你给狗看一张它坐着的照片和一张它站着的照片，然后说：“我更喜欢这张坐着的照片。”
MMPO： 你只是看着那张“坐下”的照片，并根据你掌握的证据，计算出这是正确行为的可能性。

论文从数学上证明了，当你进行这种计算时，数学逻辑会自然地推动机器人更多地选择“好结局”。这就像数学本身充当了奖励系统。机器人学会了提升好答案的概率，并稍微降低坏答案的概率，这一切都在一个平滑的过程中完成。

为什么这种方法更好？（结果）

作者在不同规模的机器人（从小型“玩具”机器人到大型“大脑型”机器人）上测试了这种方法。以下是他们的发现：

它更稳定：
想象你在调收音机。使用旧方法（DPO）时，如果你把旋钮（一个称为 $\beta$ 的设置）转动得哪怕只有一点点，音乐可能会变成杂音或直接中断。而使用 MMPO，无论你怎么转动旋钮，收音机都能保持清晰。这种训练很难被“搞砸”。
它保持了机器人的聪明才智：
有时候，当你教机器人变得有礼貌时，它会忘记如何做数学或讲笑话。它会变成一个虽然安全但很无趣的“唯唯诺诺者”。
论文显示，MMPO 能够更好地保留机器人原有的聪明才智。它在学习变得有礼貌的同时，不会忘记如何作为一个通用的助手。
它胜出的次数更多：
当他们让这种新方法在比赛中（AlpacaEval）与旧方法对决时，MMPO 始终能获得第一名或并列第一，尤其是在那些更小、更高效的模型上。

“秘制配方”的成分

论文还进行了实验，以查看哪些部分的配方是必不可少的。他们发现有两个关键成分让魔法得以奏效：

批次内归一化 (In-Batch Normalization)： 这就像确保班级里的每个人都按照同样的标准评分。如果一个学生得了 A+ 而另一个得了 F，老师会调整分数使比较公平。这防止了某个奇怪的例子破坏整个教学过程。
无需“额外”熵： 他们发现，试图强迫机器人保持“多样性”（熵最大化）实际上会让效果变差。他们让数学自然地完成这项工作。

总结

简而言之，这篇论文说：“不要试图建立一个复杂的奖励系统来教机器人人类喜欢什么。相反，使用一个简单的统计技巧，将人类的偏好视为线索。这个技巧能自然地教会机器人变得乐于助人，保持稳定性，并确保它不会忘记如何保持聪明。”

他们将这种新方法称为 MMPO（最大边际似然偏好优化），并认为这是将 AI 与人类价值观对齐的一种更简单、更可靠的方法。

技术摘要：通过最大边际似然估计进行离线偏好优化

问题陈述

使大语言模型（LLMs）符合人类偏好是实现实际部署的关键步骤，传统上是通过基于人类反馈的强化学习（RLHF）来完成的。然而，标准的 RLHF 流水线复杂且不稳定，需要训练单独的奖励模型，并使用对策略梯度算法（如 PPO）较为敏感的机制。虽然直接偏好优化（DPO）通过将对齐重新定义为分类问题简化了这一过程，但其损失函数仍源于 RLHF 目标，这在隐含地鼓励优化语言模型的熵。作者研究了是否可以在更宽松的假设下实现有效的对齐，具体而言，即移除对奖励函数以及标准 RLHF 目标中固有的熵最大化项的显式需求。

方法论：MMPO

本文提出了最大边际似然偏好优化（Maximum Marginal Likelihood Preference Optimization, MMPO），一种新型的离线偏好对齐算法。

理论基础

MMPO 通过最大边际似然（MML）估计的视角重新构建了对齐问题。该方法并非直接针对偏好进行优化，而是最大化给定输入 $x$ 时，文本输出 $y$ 的边际对数似然。

公式化： 目标是最大化 $P_\theta(y|x) = \sum_z \pi_\theta(z|x) \times P^*(y|x, z)$ ，其中 $z$ 代表可能的文本补全， $P^*$ 是真实的底层分布。
近似： 由于对所有可能的 $z$ 进行求和是难以计算的，该方法使用提供的偏好对 $(z_w, z_l)$ （被选中的响应和被拒绝的响应）作为样本来近似边际化过程。
稳定性： 为了确保训练期间的数值稳定性，使用 log-sum-exp 操作对目标函数进行了重新表述。

与偏好优化的理论联系

作者证明（定理 3.2），在偏好数据集上优化近似 MML 目标会隐含地执行偏好优化。

隐含梯度： 研究表明，产生的梯度更新等价于被选中响应（ $z_w$ ）与被拒绝响应（ $z_l$ ）梯度的加权和。
权重机制： 更新过程自然地相对于被拒绝的响应提升了被选中响应的权重，这种提升由得分差值的 sigmoid 函数（ $\sigma(s_w - s_l)$ ）进行调节。
核心区别： 这一过程实现了偏好对齐，而无需显式构建奖励函数或熵最大化项。

算法实现

MMPO 损失函数包含了几个特定的设计选择：

得分定义： $s_w$ 和 $s_l$ 基于对数概率以及一个奖励项（通过参考模型的对数概率和超参数 $\beta$ 近似得到）来定义。
批次内归一化（In-Batch Normalization）： 为了稳定训练并防止异常值主导梯度，在小批量（mini-batch）内对奖励进行归一化。这确保了相对得分处于一致的尺度上。
辅助目标： 添加了一个辅助项 $\log \sigma(s_w - s_l)$ ，以显式强化偏好约束（即 $s_w \ge s_l$ ），提供类似于 DPO 的直接监督信号，但该信号是在相对于 SFT 模型的对数概率比率而非归一化得分上运行的。

核心贡献

算法引入： 提出了 MMPO，一种新的离线偏好优化算法，它将偏好对视为 MML 估计的样本。
理论分析： 提供了一个证明，表明在偏好对上进行 MMPO 等同于执行一种加权梯度更新，这种更新天生倾向于被选中的响应，而无需显式的奖励建模或熵项。
经验稳定性： 证明了与 DPO 和 SimPO 相比，MMPO 对关键超参数 $\beta$ 具有显著更高的稳定性。
能力保留： 有证据表明，与现有基准模型相比，MMPO 能更好地保留基础指令微调模型的通用语言能力（推理和理解）。
基准测试表现： 在涵盖 135M 到 8B 参数规模的模型上，AlpacaEval-2 上的胜率表现达到了竞争性或领先水平。

实验结果

作者在四种模型规模（SmolLM2-135M, SmolLM2-360M, Llama3.2-1B, 以及 Llama3-8B）上，使用 Orca DPO Pairs 和 UltraFeedback-Binarized 数据集对 MMPO 进行了评估。

稳定性： 与 DPO 和 SimPO 表现出对超参数 $\beta$ 的显著敏感性不同，MMPO 在一系列 $\beta$ 值（0.01, 0.05, 0.5）下保持了稳定的性能。
偏好对齐： MMPO 在 AlpacaEval-2 上取得了强劲的胜率。例如，在 SmolLM2-135M 上，MMPO 的胜率单调提升至 67.3%，而 DPO 的胜率极低，SimPO 则在训练轮数增加时性能显著下降。
通用能力保留： 在 LM Harness 基准测试（包含 10 个多样化的语言理解任务）的评估中，MMPO 对通用语言能力的下降影响极小。相比之下，DPO 和 SimPO 在针对高偏好对齐进行微调时，往往表现出更明显的准确率下降。
帕累托最优性（Pareto Optimality）： MMPO 展示了更优的权衡剖面，即与基准模型相比，在牺牲极小通用推理能力的前提下，实现了更高的偏好胜率。

消融实验

针对 SmolLM2-360M 模型的实验显示：

长度归一化： 提高了通用准确率，但并未显著提升偏好胜率。
熵最大化： 显式添加熵项会降低在两个基准测试上的性能，这表明 MMPO 中的隐含优化已足够，而在这种语境下显式鼓励多样性反而有害。
辅助损失与归一化： 移除 DPO 式的辅助损失或批次内归一化会略微提高胜率，但会降低峰值通用准确率，这表明存在一种权衡：核心的 log-sum-exp 项驱动了性能，而辅助组件则有助于保留通用能力。

重要性与主张

本文声称 MMPO 提供了一种比当前对齐范式更简单、更稳定的替代方案。通过将对齐重新构想为 MML 估计问题，它消除了对显式奖励模型和熵正则化的需求，同时隐含地实现了预期的偏好优化。作者强调，MMPO 的稳定性是其公式化本身的固有属性（源于批次内归一化和 log-sum-exp 操作），而非源于复杂的校准机制。

这项工作表明，有效的对齐并不严格要求 RLHF 的复杂机制或 DPO 的特定约束。相反，利用偏好对作为样本来最大化偏好输出的边际似然，为实现对齐提供了一条稳健的路径，能够保留模型的底层语言能力。作者指出，虽然由于资源限制，目前的评估仅限于离线设置及 8B 参数以下的模型，但该方法代表了简化 LLM 对齐流水线的一个极具前景的方向。