🤖 AI

Users as Annotators: LLM Preference Learning from Comparison Mode

本文提出了一种方法，通过引入一种期望最大化算法，利用大语言模型比较模式中的用户生成成对偏好数据，基于非对称模型响应推断潜在的用户质量因子，从而实现有效的数据过滤并提升大语言模型的对齐效果。

原作者： Zhongze Cai, Xiaocheng Li

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhongze Cai, Xiaocheng Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人（即大型语言模型，或 LLM）如何变得乐于助人且彬彬有礼。为此，你需要向它展示“好”回答与“坏”回答的示例。通常，公司会聘请一支专业的人工编辑团队来阅读每一个回答，并投票选出更好的那个。这种方式既昂贵又缓慢。

本文提出了一种巧妙的捷径：让机器人的普通用户来投票。

这就像一家餐厅。餐厅不是聘请美食评论家品尝每一道菜，而是请顾客在两道菜中投票选出他们更喜欢的那一道。好处是什么？你能免费获得成千上万张选票。坏处呢？有些顾客可能饿了、心不在焉，或者只是随意选了一道菜，根本没有认真品尝。这些“嘈杂”的选票可能会让厨师感到困惑。

以下是作者如何利用一种统计魔法技巧来解决“心不在焉的顾客”这一问题。

核心理念：“非对称”测试

在普通的投票系统中，你可能会向用户展示由同一个机器人生成的两个回答。如果该机器人很出色，那么两个回答可能都很棒，这使得很难判断用户是否真的在认真关注。

作者的秘诀在于向用户展示由两个不同机器人（或同一机器人的两个不同版本）生成的两个回答。

机器人 A 是“明星厨师”（非常聪明）。
机器人 B 是“新手厨师”（不够聪明）。

由于机器人 A 在客观上更优秀，一个认真关注的用户几乎总是会选择机器人 A。而一个心不在焉的用户（只是随意猜测）选择机器人 A 或机器人 B 的概率各为 50%，就像抛硬币一样。

侦探工作：找出“抛硬币者”

本文引入了一套数学侦探系统（称为期望最大化算法），用来辨别谁是认真者，谁是猜测者。

假设：系统假设每位用户都有一个隐藏的“注意力分数”。
- 分数 1.0：该用户是超级专注的专家，总是选择更优秀的机器人。
- 分数 0.0：该用户是完全的抛硬币者，随机选择。
- 分数 0.5：该用户处于中间状态。
调查：系统查看用户的历史投票记录。
- 用户 X 在 95% 的情况下投票给了明星厨师。系统判断：“啊，用户 X 在认真关注！他的选票是黄金。”
- 用户 Y 在 50% 的情况下投票给了明星厨师。系统判断：“用户 Y 只是在猜测。他的选票是噪音。”
清理：一旦系统识别出“抛硬币者”，就会丢弃他们的选票。它只保留那些“认真关注”用户的选票，用来训练机器人。

结果：更干净的厨房

作者使用真实数据测试了这一想法。他们模拟了一个场景，其中一些用户是专家，而另一些则心不在焉。

未过滤时：当他们使用所有选票（包括抛硬币者的选票）来训练机器人时，机器人学会了一些坏习惯。
过滤后：当他们使用其“侦探”系统剔除抛硬币者，仅基于专注用户的选票进行训练时，机器人的表现显著提升。它学得更快，犯错更少，尽管他们使用的总数据量反而更少。

为何这很重要

这篇论文不仅仅是在说“让我们使用用户数据”。它提供了一张数学安全网。它证明，即使你不知道谁在认真关注，只要观察他们在选项明显不同时如何投票，就可以通过数学推断出这一点。

简而言之：这篇论文表明，只要我们拥有一种聪明的方法来过滤掉那些只是随意猜测的人，就可以将数百万普通用户转化为高质量的训练团队。这就像通过简单地让他们在大师厨师和新手之间做出选择，将一群混乱的人群转变为一个专家评委团。

技术摘要：用户即标注者：基于比较模式的 LLM 偏好学习

问题陈述
大型语言模型（LLM）与人类偏好的一致性通常依赖于成对偏好数据，即标注者在两个模型输出中选择更优的响应。传统上，此类数据通过专业人类标注者收集，该过程成本高昂且规模受限。虽然 LLM 平台的终端用户（例如通过 ChatGPT 中的比较模式）提供了庞大且可扩展的偏好数据来源，但这种方法存在严重的质量控制缺失问题。与专业标注者不同，用户缺乏提供一致判断的激励，可能会随机标注数据。现有的质量控制技术，如“金标准问题”或自一致性检查，在此场景下并不适用，因为平台无法控制用户查询或强制重复标注。核心挑战在于，在没有真实标签或专家监督的情况下，区分高质量、专注的用户反馈与嘈杂、随意的输入。

方法论
本文提出了一种框架，用于评估用户标注质量并筛选数据以用于下游对齐任务（具体为直接偏好优化，DPO）。该方法依赖于三个关键组件：

非对称响应生成：与标准偏好流程中从同一模型生成两个响应不同，该框架从两个具有已知性能差距的不同 LLM（ $P_A$ 和 $P_B$ ）生成两个响应（ $y_{i1}, y_{i2}$ ）。这种非对称性创造了一个统计抓手：专注的用户更倾向于选择更强的模型，而随意的用户则随机选择。
用户行为模型：作者使用潜在“专注度”参数 $\eta_j \in [0, 1]$ $η_{j} \in [0, 1]$ 对用户 $j$ $j$ 的标注行为进行建模。
- 若 $\eta_j = 1$ ，用户表现为完美标注者，以概率 $p(x_i)$ 选择群体偏好的响应。
- 若 $\eta_j = 0$ ，用户随机选择（50/50）。
- 用户 $j$ 选择响应 1 的概率建模为 $P(z_{ij}=1|x_i) = 1/2 + \eta_j \cdot (p(x_i) - 1/2)$ 。
- 此处， $p(x_i)$ 代表群体的真实偏好概率（即模型 A 优于模型 B 的概率）。
期望最大化（EM）算法：由于 $\eta_j$ $η_{j}$ 不可观测，作者开发了一种 EM 算法来估计用户行为模型的参数（包括 $\eta_j$ $η_{j}$ 的分布和全局偏好概率 $\mu$ $μ$ ）。
- E 步：根据用户的标注历史和当前参数估计，计算每个用户专注度 $\eta_j$ 的后验分布。
- M 步：更新模型参数以最大化期望完全数据对数似然。
- 该算法假设已知或可估计的全局偏好概率 $\mu$ （模型 A 相对于模型 B 的平均胜率），以确保可识别性，尽管论文也讨论了 $\mu$ 未知的扩展情况。
- 一旦推断出 $\eta_j$ ，便根据阈值对用户进行筛选（例如，仅保留具有高专注度后验概率的用户）。

主要贡献

新颖的标注框架：本文引入了首个专门用于捕捉 LLM 比较模式中用户行为的概率模型，利用来自两个不同模型的响应生成的非对称性来推断数据质量。
基于 EM 的统计推断：开发了一种 EM 算法来估计潜在的用户专注度和底层偏好分布。作者提供了理论保证，表明在特定正则条件下，随着用户数量和样本量的增加，该算法收敛于真实参数。
用于对齐的数据筛选：该框架展示了一个实用的流程，即在训练前利用推断出的专注度过滤低质量标注。这使得利用海量未经验证的用户数据成为可能，同时减轻了噪声影响。

实验结果
作者通过合成实验和下游 DPO 任务验证了其方法：

合成收敛性：仿真证实，无论初始化如何，EM 算法均收敛于真实参数。该算法还表现出对模型误设的鲁棒性（例如，当真实分布为连续分布时估计离散分布）。
DPO 性能：在使用 UltraFeedback 和 HelpSteer3 等数据集的实验中，作者使用筛选后的数据对 LLM（如 Qwen2.5-7B）进行了微调。
- 与在未筛选数据上训练相比，筛选专注用户（保留推断专注度最高的前 80%） consistently 提升了 DPO 性能。
- 改进包括更高的平均奖励分数（在某些情况下增加超过 10%）以及更高的对抗基线模型的胜率。
- 实验还突显了一种权衡：虽然筛选提高了质量，但过度筛选会减少数据量。存在一个最佳阈值，具体取决于用户专注度的底层分布。
- 发现两个生成模型之间的性能差距（由 $\mu$ 表示）至关重要；如果 $\mu$ 过于接近 0.5，专注用户和随意用户将变得难以区分，从而阻碍筛选过程。

意义与主张
本文声称通过将终端用户转化为有效的标注者，为 LLM 对齐提供了一种可扩展的解决方案。通过形式化用户行为并引入统计机制来过滤噪声，这项工作使得利用此前被认为过于嘈杂而无法用于训练的海量用户生成偏好数据成为可能。作者将其定位为现有鲁棒训练方法（如鲁棒 DPO）的补充方法，侧重于训练前的数据质量，而不仅仅是训练期间的噪声容忍度。这项工作也为未来的用户激励机制打开了大门，例如根据推断出的专注度水平奖励用户。其理论贡献在于所提出的 EM 算法针对该特定行为模型的全局收敛保证，为该方法的实现提供了坚实的数学基础。

核心理念：“非对称”测试

侦探工作：找出“抛硬币者”

结果：更干净的厨房

为何这很重要

类似论文