🤖 AI

BiasGRPO: Stabilizing Bias Mitigation in High-Variance Reward Landscapes via Group-Relative Policy Optimization

本文介绍了 BiasGRPO，这是一个利用组相对策略优化（Group Relative Policy Optimization）来稳定大型语言模型社会偏见缓解的框架，通过在采样的补全文本中对奖励进行归一化，从而克服了 DPO 的探索局限性和 PPO 的训练不稳定性，并在多个基准测试中表现优于两者。

原作者： Saket Reddy, Ke Yang, ChengXiang Zhai

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Saket Reddy, Ke Yang, ChengXiang Zhai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文 "BiasGRPO: 通过组相对策略优化在高度波动的奖励景观中稳定偏差缓解" 的解释，使用了通俗易懂的语言和富有创意的类比。

核心问题：教机器人学会公平

想象一下，你正在训练一个非常聪明的机器人（大型语言模型）来写故事和回答问题。问题在于，这个机器人是从整个互联网上学习的，而互联网充满了人类的偏见、刻板印象和不公平的观点。

你想教机器人变得公平且无偏见。但棘手之处在于：对于什么是“公平”，并没有一个单一的“正确答案”。

如果你问：“谁是一个优秀的领导者？”一个有偏见的人可能会说“男性”，而一个公平的人可能会说“任何人”。
与数学不同（ $2+2$ 永远等于 $4$），社会公平是主观的。这就像试图教一个人如何画出一场“美丽”的日落；表达方式有很多种，且观点各异。

旧的方法：为什么它们会遇到瓶颈

这篇论文研究了两种用于教机器人变得公平的既有方法，并解释了它们为何会撞墙：

“教科书”法 (DPO)：
- 工作原理： 你给机器人一本教科书，里面预先写好了“好答案”与“坏答案”的范例。机器人只是在死记硬背这些配对。
- 缺陷： 这就像通过只看答案解析来备考。机器人记住了特定的例子，但无法处理它从未见过的、奇怪的新情况。它缺乏探索能力。
“带着计分板的教练”法 (PPO)：
- 工作原理： 机器人尝试写出一个答案，然后一个单独的“教练”（评论家模型）会给它打分。如果分数高，机器人就会继续这样做；如果分数低，它就停止。
- 缺陷： 在像“偏差”这样主观的世界里，教练经常会感到困惑。这个答案是“稍微有点偏见”还是“非常偏见”？教练给出的分数波动很大（高方差），导致机器人变得焦躁且不稳定。这就像一个教练一会儿大喊“做得好！”，下一秒又大喊“太差了！”，让球员（机器人）完全不知道该怎么做。

新的解决方案：BiasGRPO（“小组讨论”）

作者提出了一种名为 BiasGR्लो (BiasGRPO) 的新方法。它不再依赖单一的教练或静态的教科书，而是使用了一种**“小组讨论”**模式。

类比：
想象机器人被问到一个棘手的、可能带有偏见的问题。它不再只写一个答案，而是同时写出 四个不同的答案（一组完成内容）。

然后，它不再要求教练根据一个隐形的标准来评分，而是让机器人将这四个答案进行相互比较：

“好吧，答案 A 非常刻薄。答案 B 还行。答案 C 有一点偏见。答案 D 最友善。”
机器人学到：“即使我的答案都不完美，但相比之下，答案 D 是最没偏见的。我应该多做像答案 D 这样的回答。”

为什么这是一个游戏规则的改变者：

不再需要困惑的教练： 你不需要一个可能会出错的单独评论家模型。你只需要观察这一组答案，并问：“谁是其中最好的？”
稳定性： 即使机器人生成的四个答案都很糟糕，它仍然可以学习，因为它能够识别出哪一个是相对较好的。它将一个混乱、高方差的问题转化为了一个清晰的、相对的信号。
探索性： 与“教练”法一样，机器人通过生成自己的答案来进行学习，因此它能学会处理新情况，而不只是死记硬背教科书。

他们构建的工具包

为了实现这一点，团队不仅改变了数学逻辑，还构建了一套全新的工具包：

大规模数据集： 他们收集并创建了涵盖 11 个不同主题（如种族、性别和宗教）的数千个示例，以在广泛的场景中训练机器人。
定制的“偏差检测器”： 他们构建了一个微型、超快速的计算机程序（奖励模型），专门设计用于识别偏差。它非常高效，不会减慢训练速度，也不会让机器人忘记已有的知识（如关于世界的客观事实）。

结果：谁赢了？

他们使用“机器人奥林匹克”（基准测试）将这种新方法与旧方法进行了对比：

获胜者： 使用 BiasGRPO 训练的机器人赢得了所有类别。它变得最公平且无偏见。
额外奖励： 与某些会让机器人变“笨”（为了表现得礼貌而忘记事实）的方法不同，BiasGRPO 训练出的机器人在保持公平的同时，实际上变得更擅长讲述真相了。
证明： 当他们观察机器人的学习过程时，“小组讨论”法非常平滑且稳定。旧的“教练”法显得参差不齐且摇摆不定，而“教科书”法则过早停止了学习。

总结

这篇论文认为，在处理像“偏差”这样混乱且主观的人类问题时，你不需要一个完美的裁判。你只需要一组选项来进行相互比较。通过让机器人通过比较自己的想法来找到那个“相对较好”的选择，你就获得了一种稳定且有效的方法，能在不破坏机器人原有智能的前提下，教会它如何变得公平。

技术摘要：BiasGRPO

问题陈述

减轻大型语言模型（LLMs）中的社会偏见面临着独特的对齐挑战，这与数学或编程等具有可验证性的任务截然不同。偏见缺乏单一的地面真值（ground truth），导致了高方差、主观性强的奖励景观。现有的基于偏好的微调方法在这一领域面临显著的权衡：

直接偏好优化 (DPO)： 作为一种依赖静态成对实例的离线算法，DPO 存在探索能力有限和泛化性较低的问题。
近端策略优化 (PPO)： 虽然是一种允许更好探索的在线方法，但 PPO 依赖于一个独立的评论家（critic/value）模型。在嘈杂且主观的奖励景观中，这些评论家的估计可能并不可靠，从而导致训练不稳定和高方差更新。

目前还没有一种偏好技术能够成功地在偏见缓解领域平衡离线方法的稳定性与在线探索的泛化收益。

方法论：BiasGRPO

作者提出了 BiasGRPO，这是一个将 组相对策略优化 (Group Relative Policy Optimization, GRPO) 适配于偏见缓解特定约束的框架。该框架由三个核心组件组成：

1. 算法核心：组相对优化

BiasGRPO 使用**组相对基准（group-relative baseline）**取代了 PPO 中传统的评论家模型。

机制： 对于每个提示词（prompt），策略模型生成一组补全结果（例如 $G=4$ ）。与其将单个补全结果与评论家的价值估计进行比较，不如通过对整个组的均值和标准差进行归一化，来计算每个补全结果的优势（advantage）。
优势计算：
$\hat{A}_{i,t} = \frac{r_i - \text{mean}(r)}{\text{std}(r)}$
其中 $r_i$ 是第 $i$ 个补全结果的奖励， $r$ 是该组的奖励集合。
原理： 在主观领域，很难定义一个“完美”且无偏的回答。然而，通过生成一组变体，模型可以学习识别哪些输出是相对而言更少偏见且更具尊重性的，即使所有输出都包含一定程度的偏见。这种相对归一化提供了比在高方差景观中源自单一评论家的嘈杂优势估计更清晰、更直接的训练信号。

2. 合成数据集扩展

为了支持跨多样化上下文的全面训练，作者策划了一个涵盖 11 个领域的 20,999 个提示词 数据集。该数据集整合了：

BiasDPO： 通过合成方式扩展，增加了 8,855 条条目。
Civil Comments： 真实的社交媒体帖子，用于捕捉从中性输入和偏见输入中诱发的偏见。
UnQover： 设计用于诱发偏见回答的歧义场景。
该数据集包含了用于 DPO 对比的相应优选和劣选补全，以及用于在线方法的提示词。

3. 定制化偏见奖励模型

作者开发了一个专门的、计算高效的奖励模型（0.1B 参数），旨在引导生成过程而不导致知识退化。

构建： 将来自 StereoSet、CrowS-Pairs 和 BBQ 的 2,930 个独特句子通过重采样扩充为 9,000 组。
标注： 使用最佳-最差缩放法 (Best-Worst Scaling, BWS) 和 迭代 Luce 谱排名法 (Iterative Luce Spectral Ranking, ILSR)，通过一个轮转的 LLM 循环（GPT-4o, Gemini 2.0 Flash, Claude 4 Sonnet）来标注偏见严重程度。这种多 LLM 方法减轻了循环论证和继承偏见的风险。
训练： 训练了一个 RoBERTa 模型来预测奖励值（缩放至 [0, 1]），最终实现了 0.006 的 MSE。
验证： 该模型在与 Perspective API “身份攻击”得分的 Spearman 秩相关性上达到了 0.4748，高于现有的偏见评分模型。

实验设置

基座模型： 选择了微软的 2.7B Phi-2 模型作为“空白画布”测试平台（无先前的 RLHF 或偏见缓解）。
基准模型： 作者将 BiasGRPO 与 DPO（使用 Identity Preference Optimization 变体）和 PPO 进行了对比。
基准测试：
- BOLD： 衡量表征性伤害（越低越好）。
- RealToxicityPrompts： 衡量明显的敌意（越低越好）。
- BBQ： 衡量歧义场景中的隐性刻板印象（越高越好）。
- TruthfulQA： 评估知识保留情况，以确保没有灾难性遗忘（越高越好）。

关键结果

BiasGRPO 在所有基准测试中均优于 DPO 和 PPO：

偏见减少： GRPO 模型在 BOLD（0.0140 vs. DPO 的 0.0222 和 PPO 的 0.0268）和 RealToxicityPrompts（0.0198 vs. DPO 的 0.0234）上取得了最低分。
刻板印象： 在 BBQ 上，GRPO 取得了最高准确率（0.3123 vs. DPO 的 0.2823）。
知识保留： 至关重要的是，BiasGRPO 提高了其 TruthfulQA 得分（0.3941 vs. 基座模型的 0.3843），证明偏见缓解并未导致事实性知识的退化或引发灾难性遗忘。
训练稳定性： 训练曲线分析显示，虽然 DPO 早期就进入了平台期（探索能力有限），且 PPO 因评论家噪声表现出锯齿状、不稳定的收敛，但 BiasGRPO 则稳步上升且方差较低。BiasGRPO 的奖励标准差平均为 0.0668，不到 PPO（0.1434）的一半。

消融研究

奖励模型的鲁棒性： 当使用人类标注的替代奖励模型（而非自定义的 LLM 标注模型）进行训练时，GRPO 仍然比基座模型有显著改进，证实了组相对机制的算法鲁棒性。
组大小： 将组大小从 $G=2$ 增加到 $G=8$ 在各项基准测试中一致地提升了性能，其中 $G=4$ 被设定为标准。 $G=2$ 表现不佳的结果证实，其收益源于组相对归一化，而非仅仅是由于在线探索。

重要性与主张

论文声称，BiasGRPO 通过利用组相对优化与社会偏见的主观性、高方差性质之间的内在契合度，成功解决了现有偏见缓解策略的局限性。

主要贡献包括：

算法契合度： 证明了基础 GRPO 算法在偏见缓解方面优于 DPO 和 PPO，因为它能在不牺牲在线学习的探索收益的前提下，稳定了嘈杂奖励景观中的训练。
资源可用性： 发布了一个多样化的多领域数据集和一个高效的（0.1B 参数）定制偏见奖励模型。该资源旨在实现“即插即用”，允许研究人员在不产生显著计算开销或与其它对齐目标冲突的情况下，将鲁棒的偏见缓解集成到多目标 RLHF 流水线中。
安全性 vs. 效用： 展示了可以通过同时提高偏见指标和 TruthfulQA 得分来实现有效的偏见缓解，而不会造成知识退化。

作者总结道，组相对机制为偏见缓解提供了一个稳定的基础，降低了实施鲁棒的多目标对齐策略的门槛。