🤖 AI

Unbiased Alignment for Large Language Models with Noisy Preferences

本文引入了一个包含无偏奖励模型（URM）和无偏直接偏好优化（UDPO）损失的理论框架，旨在使大语言模型能够在不需要干净真值监督的情况下，直接从含有噪声的偏好数据集中实现鲁棒且具噪声容忍性的对齐。

原作者： Jialiang Wang, Xianming Liu, Xiong Zhou, Hui Liu, Haoliang Li

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Jialiang Wang, Xianming Liu, Xiong Zhou, Hui Liu, Haoliang Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教导一位才华横溢但缺乏经验的学生（一个大型语言模型）如何写出好的故事或回答问题。你手里有一叠来自一群人的反馈卡，告诉这位学生哪些回答是“好”的，哪些是“坏”的。

问题在于？提供这些反馈的人并不完美。有些人很累，有些人很困惑，有些人甚至可能有个人偏见。在现实世界中，大约有 20% 到 40% 的这些反馈卡可能是错误的。如果你只是盲目地遵循这些卡片，学生就会学到错误的教训，并开始犯错。

这篇论文介绍了一种新的教学方法，它忽略了反馈卡中的“噪声”（错误），并专注于其下方的真相。

核心思想：“降噪”耳机

把嘈杂的反馈想象成一段伴随着大量静电干扰播放的音乐。标准的教学方法试图通过倾听这整个混乱的过程来学习歌曲，这会导致旋律失真。

这篇论文的作者构建了一个数学上的“降噪”系统。他们意识到，如果你知道噪声是如何发生的（例如，“20% 的时间里，人们会颠倒他们的答案”），你就可以在数学上逆转这个过程。这就像是有一个食谱说：“如果蛋糕味道太咸了，就减去恰好这么多的盐，以找回完美的风味。”

他们创建了两个具体的工具：

URM（无偏奖励模型）： 这是用于第一阶段教学的。通常，模型学习如何为答案给出“评分”。如果反馈是有噪声的，评分系统就会变得混乱。URM 充当了一个过滤器，在模型看到评分之前对其进行清洗，确保模型学习到正确的“好与坏”的区别。
UDPO（无偏直接偏好优化）： 这是用于第二阶段，即模型实际学习写作的阶段。UDPO 不仅仅是直接遵循嘈效的反馈，它使用一种特殊的数学公式来“撤销”这种混乱。它允许模型即使在老师偶尔出错的情况下，也能学习到正确的行为。

它是如何工作的：“神奇公式”

该论文声称，你不需要确切知道哪些特定的反馈卡是错误的。你只需要知道总体的“噪声率”（反馈有多乱）。

他们使用了一个变量 $a$ （它基于噪声率）。

向下兼容技巧： 想象你在猜测反馈有多乱。如果你猜反馈非常乱（高噪声率），但实际上只是有点乱，你的方法仍然能完美运作。这就像是在晴天穿着重型雨靴；即使只是毛毛细雨，你也能保持干爽。然而，如果你猜是晴天，但实际上正下着大雨，你就会淋湿。作者证明了如果你的估计过高（高估了噪声），该方法依然是安全的。

结果：赢得比赛

研究人员在真实世界的数据集（如聊天对话和摘要任务）上测试了这些方法，并人为地增加了更多噪声以观察其表现。

基准线： 标准方法（如 DPO）在噪声变高时开始表现糟糕。它们变得困惑并表现不佳。
新方法： 他们的 URM 和 UDPO 方法保持强劲。即使当 40% 的反馈被颠倒（变错）时，他们的模型仍然学习到了正确的行为方式。
证明： 他们从数学上证明了，该方法不仅仅是“运气好”。它被证明能够从一个嘈杂的课堂中恢复出“最佳可能”的老师（贝叶斯最优分类器）。

简而言之

这篇论文说：“不要丢弃你那些有噪声的反馈数据。相反，在使用这些数据进行学习时，使用我们的新数学工具来清洗它。”

他们提供了一个“降噪”损失函数（一种学习规则），让 AI 模型能够从不完美、有噪声的人类反馈中学习，而不会感到困惑。这是一种更稳健、更安全的方法，用于使 AI 符合人类价值观，确保即使在制造反馈的人感到疲劳或产生偏见时，AI 仍能学到正确的教训。

技术摘要：针对含有噪声偏好的大语言模型无偏对齐研究

问题陈述

大语言模型（LLM）与人类偏好的对齐是训练流程中的关键阶段，通常通过基于人类反馈的强化学习（RLHF）或直接偏好优化（DPO）来实现。然而，现实世界的偏好数据集本质上是含有噪声的，标注错误、专业知识匮乏以及社会偏见引入了显著的噪声（通常在 20% 到 40% 之间）。

标准的对齐方法（包括 RLHF 和 DPO）极易受到这种噪声的影响。它们倾向于过拟合错误的偏好对，从而导致奖励信号或策略模型发生扭曲。现有的缓解方法存在局限性：一些方法无法实现完全的噪声容忍度，而另一些方法（如 rDPO）则需要精确估计噪声率，这在实际场景中（即无法获知真实噪声水平时）是无法实现的。

方法论

作者提出了一个统一的**无偏对齐（Unbiased Alignment）**理论框架，该框架通过数学手段纠正由偏好噪声引起的失真，且无需干净的地面真值（ground-truth）监督。其核心洞察在于：偏好噪声遵循一个统计建模的转移过程。通过反转这一过程，作者推导出了能够直接从噪声数据中训练无偏模型的损失函数。

该框架解决了两种主流范式的问题：

1. 用于 RLHF 的无偏奖励模型 (URM)

在 RLHF 范式中，噪声会破坏奖励模型的训练阶段。作者刻画了噪声奖励模型 ( $r^\eta$ ) 与最优无偏奖励模型 ( $r^*$ ) 之间的关系。

理论推导： 他们建立了一个转换关系，即可以使用常数 $a = \frac{\eta}{1-\eta}$ 从噪声对应的奖励信号中恢复出无偏奖励信号，其中 $\eta$ 为噪声率。
URM 损失函数： 通过将噪声奖励表示替换为无偏表示，他们推导出了无偏奖励模型 (URM) 损失：
$L_{URM} = -\log \frac{\exp(\Delta) + a}{\exp(\Delta) + 1}$
其中 $\Delta = r_\phi(x, y_w) - r_\phi(x, y_l)$ 。该损失函数使得直接从噪声偏好对中训练无偏奖励模型成为可能。

2. 用于 DPO 的无偏直接偏好优化 (UDPO)

对于 DPO 范式，即直接优化策略而不建立显式奖励模型的做法，噪声同样会使学习到的策略产生偏差。

理论推导： 作者证明了噪声策略与无偏策略之间的关系与奖励模型的情况相类似。他们推导了噪声策略比例与无偏策略比例之间的转换关系。
UDPO 损失函数： 这导出了无偏直接偏好优化 (UDPO) 损失：
$L_{UDPO} = -\log \frac{\left(\frac{\pi_\theta(y_w|x)\pi_{ref}(y_l|x)}{\pi_\theta(y_l|x)\pi_{ref}(y_w|x)}\right)^\beta + a}{\left(\frac{\pi_\theta(y_w|x)\pi_{ref}(y_l|x)}{\pi_\theta(y_l|x)\pi_{ref}(y_w|x)}\right)^\beta + 1}$
这使得在保持 DPO 框架简洁性的同时，能够直接优化无偏策略模型。

统一框架与理论属性

作者表明，URM 和 UDPO 共享统一的基于边际（margin-based）的形式，保留了 RLHF 与 DPO 之间的基本等价性。建立的关键理论属性包括：

噪声容忍度： 这些方法在设计上对噪声数据具有鲁棒性。
参数向下兼容性： 如果真实的噪声率 $\eta^*$ 低于或等于用于设置 $a$ 的估计参数 $\hat{\eta}$ ，该损失函数仍能产生无偏的最优解。这一点至关重要，因为精确的噪声率是未知的；高估噪声参数可以确保鲁棒性。
分类校准： 所提出的损失函数被证明是分类校准的，确保最小化代理损失会导致贝叶斯最优分类器的产生。
超额风险界限： 论文建立了一个关于无偏损失与 0-1 损失的超额风险界限，证明了该方法可以恢复贝叶斯最优分类器。

主要贡献

理论框架： 一个统一的无偏对齐理论框架，通过数学方式反转了 RLHF 和 DPO 中偏好噪声造成的失真。
新型损失函数： 推导出了用于奖励建模的 URM 损失和用于直接策略优化的 UDPO 损失，两者均能从噪声数据集中训练无偏模型。
理论保证： 提供了关于噪声容忍度、参数向下兼容性、分类校准和超额风险界限的严谨证明。
实验验证： 在多种数据集（Anthropic-HH, Reddit TL;DR, UltraFeedback Binarized）和模型家族（Llama-3, Qwen）上进行了全面的实验，展示了其相对于最先进基准方法的持续优越性。

实验结果

作者在不同水平的人工注入噪声（0%, 20%, 40%）以及自然存在的真实世界噪声数据集下，将其方法与包括标准 RM/DPO、标签平滑变体以及其他鲁棒方法（rDPO, Dr.DPO）在内的基准模型进行了评估。

奖励模型训练： URM 及其归一化变体 ( $\alpha$ -URM) 始终优于所有基准模型。在含有 40% 噪声的 TL;DR 数据集上，URM 比标准基准模型的胜率提高了约 8%。
监督偏好训练： UDPO 和 $\alpha$ -UDPO 在所有数据集上均取得了最高的平均胜率。UDPO 的平均胜率比普通 DPO 高出约 15%，这证实了标准 DPO 会过拟合噪声，而无偏框架能够恢复真实的策略。
可扩展性： 这些方法在更大规模的模型（Llama-3.1-8B, Qwen-3-8B, Qwen-3-14B）和复杂数据集（UFB）上均表现出有效性，并在使用 GRPO 的闭环 RLHF 设置中保持了鲁棒性。
消融实验： 实验确认了归一化变体（ $\alpha$ -URM/ $\alpha$ -UDPO）对超参数的选择不那么敏感，并且当 $a$ 被设置为覆盖潜在噪声水平时，能始终获得最优性能。

重要性与主张

论文声称提供了一条“简洁、可解释且有效的稳健 LLM 对齐路径”。通过将偏好噪声视为一个数学转移过程并对其进行解析反转，作者提供了一种无需依赖于已知精确噪声率这一不切实际要求的解决方案。

其意义在于：

实用价值： “参数向下兼容性”属性允许从业者设置一个保守的噪声参数以确保鲁棒性，而无需进行精确的噪声估计。
理论严谨性： 该工作弥补了噪声学习理论与 LLM 对齐之间的空白，提供了此前在鲁棒对齐方法中缺失的保证（校准、风险界限）。
统一方法： 它统一了奖励建模（RLHF）和直接优化（DPO）范式下的噪声处理，证明了即使在所提出的无偏目标下，基本的 RLHF-DPO 等价性依然成立。

作者总结道，他们的方法使 LLM 能够抵御现实世界偏好数据中普遍存在的显著噪声，从而提高对齐 AI 系统的安全性与可靠性。