💬 NLP

Decoding-Time Debiasing via Process Reward Models: From Controlled Fill-in to Open-Ended Generation

本文提出了一种解码时去偏框架，该框架利用独立的过程奖励模型对候选词元进行评分和选择，以兼顾公平性与流畅性，且无需修改模型权重，结果表明，顺序式的“批判 - 修订”方案与轻量级去偏防护机制能有效降低多个开源权重及专有语言模型中的社会偏见，同时保持生成质量。

原作者： Muneeb Ur Raheem Khan

发布于 2026-05-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Muneeb Ur Raheem Khan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位才华横溢但略有偏见的说书人（大型语言模型）。这位说书人读过数百万本书籍和文章，不幸的是，他们在过程中也沾染了一些过时的刻板印象。例如，如果你让他们完成一个关于“外科医生”的句子，他们可能会自动说“他”；或者如果你问关于“护士”的句子，他们可能会说“她”。

这篇论文提出了一种新方法，无需重写说书人的整个大脑（这既昂贵又困难），也无需在故事讲完后进行修改。相反，他们引入了一位实时编辑，在每一个字被写出的瞬间进行审视，并说：“等等，这个词可能不公平。让我们换一个。”

以下是论文如何用简单的类比来分解这一内容：

问题： “懒惰”的说书人

说书人（人工智能）是从包含人类偏见的数据中学习而来的。标准的修复方法涉及从头重新训练人工智能，或对其进行微调，这就像让说书人重返校园学习数年。这不仅昂贵，还需要特殊权限才能访问人工智能的“大脑”，甚至可能让他们在其他方面表现得更差。

解决方案： “解码时”编辑

作者建议采用一种不同的方法：在创作瞬间进行去偏。他们不触碰人工智能的大脑，而是添加一个独立的“裁判”（称为过程奖励模型），它充当一位严格的编辑。

每当人工智能选择一个词时，裁判会检查两点：

公平性：这个词是否有偏见？
流畅性：这个词听起来自然吗？

如果这个词存在偏见，系统就会介入。论文测试了这位编辑可以工作的三种不同方式：

1. “彩票”法（最佳 N 选）

工作原理：人工智能快速为下一个位置想出 8 个可能的词。裁判查看所有 8 个词，选出最公平的一个并使用它。
局限性：对于非常聪明的人工智能模型，这种方法效果很好。但对于较小、能力较弱的模型，人工智能往往会提出相同的 8 个词（或非常相似的词），因为它的“想象力”有限。这就像让一个小孩子从一个只有三支蜡笔的盒子里挑选 8 种不同的颜色；你无法获得太多变化。
成本：出奇地便宜！如果该系统构建在人工智能的代码中，人工智能只需“思考”一次即可获得所有 8 个选项。

2. “批评与修订”法（序列式）

工作原理：人工智能选择一个词。裁判说：“不，这有偏见，因为它暗示外科医生总是男性。”人工智能接着想：“哦，我明白了”，然后尝试用一个更好的词再次选择。他们会一直这样做，直到该词通过测试。
结果：这是论文中的获胜者。它效果最好，因为它给出了一个具体的理由说明为什么这个词不好，而不是仅仅希望它靠运气猜出一个好词。这就像老师用具体的批注纠正学生的作文，而不是仅仅发回一个红色的“不及格”。
成本：这需要多一点时间，因为人工智能必须重写该词几次，但为了质量，这是值得的。

3. “自我检查”法（宪法式）

工作原理：不是由外部裁判进行检查，而是给人工智能一份规则列表（一部“宪法”），让它检查自己的工作。它会问：“我有没有违反任何规则？”如果有，就进行修正。
结果：这是一个不错的折中方案。它不需要外部编辑，这对于隐私或离线使用非常有利。然而，它依赖于人工智能足够聪明以发现自己的错误。较小的模型往往无法发现自己的错误。

“交通灯”技巧（偏见防护门）

作者意识到，句子中的大多数词（如“的”、“和”、“走了”）完全是中性的。对每一个词都进行完整的编辑检查是能量的浪费。

因此，他们添加了一个交通灯门：

人工智能建议一个词。
一个快速、简单的检查会问：“这个词在特定语境下是否可能有偏见？”
绿灯（否）：该词立即通过。
红灯（是）：完整的编辑（序列式或彩票式）介入以进行修正。

这节省了大量的计算能力。对于测试中最聪明的人工智能，这个门只有 13% 的时间亮“红灯”，意味着系统保持了快速和高效。

他们的发现

“批评与修订”法是最有效的。它使人工智能显著更加公平，同时没有让句子听起来像机器人或支离破碎。
较小的人工智能模型在处理“开放式”故事（撰写长段落）时遇到了困难。当被迫停下来修正每一个词时，它们会感到困惑，导致句子断断续续。这种方法在更聪明、能力更强的模型上效果最好。
语言很重要：他们在英语和乌尔都语中进行了测试。虽然在两种语言中都有效，但人工智能在乌尔都语中的流畅度普遍较低，这表明该方法取决于基础人工智能对该语言的掌握程度。

结论

你不需要重新训练人工智能，也不需要访问其秘密代码就能使其更加公平。你只需添加一位“实时编辑”，在词语被写出的瞬间进行审视。“批评与修订”方法最为强大，它像一位乐于助人的老师，一步步引导人工智能走向公平，确保它讲述的故事既自然又充满尊重。

技术摘要：基于过程奖励模型的解码时去偏

1. 问题陈述

大型语言模型（LLMs）从其训练数据中继承并放大了社会偏见（涉及性别、种族、宗教、残疾、年龄和社会经济地位）。这些偏见在下游应用中显现，强化了有害的刻板印象。当前的缓解策略面临显著局限：

训练时方法（如 RLHF、DPO、反事实数据增强）需要访问模型权重、大规模精心策划的数据集以及大量的计算资源，这使得许多从业者和专有模型无法使用。
现有的推理时方法通常要求访问 token 级别的 logits（例如 FUDGE、GeDi），这在黑盒 API 中是不可能的，或者依赖于提示工程，而提示工程不稳定且随模型能力变化。

因此，需要一种在解码时运行、无需修改权重、适用于黑盒 API（无需访问 logits）且最小化计算开销的去偏方法。

2. 方法论

本文提出了一种框架，其中独立的**过程奖励模型（PRM）充当评判者，根据公平性（偏见）和效用（流畅度）**两个维度对生成过程中的候选 token 进行评分。该框架引入了三种不同的去偏方案，并在两种设置下进行了评估：受控的单词填空任务和开放式生成任务。

三种方案

Best-of-N（选择）：
- 机制： 生成器产生 $n$ 个候选 token（来自 softmax 分布的前 $n$ 个）。PRM 对每个 token 进行评分，并选择得分最高的 token。
- 开销洞察： 在原生实现中（解码器可访问前 $n$ 个 logits），这需要零次额外的生成器前向传播（ $R_G = 1$ ），因为候选项已经计算完成。成本仅在于 $n$ 次评判调用。
序列式批判与修正：
- 机制： 生成器提出一个 token。如果 PRM 将其标记为有偏见（得分低于阈值 $\tau$ ），PRM 会生成具体的批判意见（例如，“这个词强化了性别刻板印象”）。然后生成器根据此反馈修正该 token。此循环重复最多 $K$ 次，直到 token 通过。
- 机制优势： 与随机采样不同，这为生成器提供了关于 token 为何有偏见以及如何修正的具体信号。
宪法式自我审计：
- 机制： 受宪法 AI 启发，生成器充当其自身的审计员。它根据手写“公平宪法”（8 项原则）检查其提出的 token。如果发现违规，生成器进行自我批判并修正。
- 优势： 该方案在生成循环中无需评判者，使其适用于无法进行外部 API 调用的环境。

扩展至开放式生成：偏见守卫门

为了解决将这些方案应用于长文本生成中每个 token 所带来的高计算成本，作者引入了一个偏见守卫（BG）门。

功能： 一个轻量级二分类器（单次前向传播）询问：“在这个上下文中，这个候选词是否可能带有偏见？”
逻辑： 如果回答为“否”，该词立即通过。如果回答为“是”，则触发完整的去偏方案（如序列式等）。
目标： 利用自然语言中偏见的稀疏性（大多数词是中立的），使校准良好的模型的平均开销保持在基准的 $2\times$ 左右。

开销指标

本文定义了一个正式的开销指标，将**生成器成本（ $R_G$ ）与评判者成本（ $R_J$ ）**区分开来。这种区分对于生成器在设备端（边缘）运行而评判者在云端运行的部署场景至关重要。

3. 实验设置

模型： 涵盖能力谱系的四个模型：
- GPT-4o-mini： 专有锚点模型（最强）。
- Llama 3.2 (3B)、Gemma 3 (4B)、Qwen 2.5 (3B)： 代表紧凑型、设备端 LLM 的开源权重模型。
数据集：
- 受控： 200 个提示（100 个英语，100 个乌尔都语），涵盖 8 个偏见类别。
- 开放式： 10 个英语提示（每个 20 个词），针对特定偏见类别。
评判者： 所有实验均由 GPT-4o-mini 担任 PRM 评判者。
语言： 英语和乌尔都语（以测试向低资源、形态丰富语言的迁移能力）。

4. 关键结果

单字填空

序列式性能： 在所有模型和语言中始终获得最高的偏见评分，在英语中将偏见评分提高了 +0.36 至 +0.40，在乌尔都语中提高了 +0.25 至 +0.30。关键在于，它保持或提升了流畅度（效用评分）。
宪法式性能： 排名第二，提供了一种强有力的无评判替代方案，偏见增益为 +0.10 至 +0.24。
Best-of-N 性能： 在较小模型（Llama、Gemma、Qwen）上表现意外不佳，有时甚至不如基线。作者将此归因于候选坍塌，即较弱模型产生的前 $n$ 个 token 几乎相同，导致评判者没有多样性可供选择。GPT-4o-mini 因其更丰富的分布而从中受益。
乌尔都语挑战： 乌尔都语的效用评分普遍较低，反映了模型在该语言上训练较弱。然而，乌尔都语的偏见评分有时更高（更好），这可能是因为模型在信心不足时更为保守。

开放式生成

能力阈值： GPT-4o-mini 在保持流畅度的同时，显示出明显的偏见减少改善（从 0.46 提升至约 0.65）。较小模型则面临显著困难；强制逐词去偏往往破坏句子连贯性，导致效用评分急剧下降（例如，Llama 3.2 在使用 Best-of-N 时效用评分降至 0.14）。
偏见守卫有效性： 门的触发率高度依赖于模型。GPT-4o-mini 和 Qwen 分别仅在约 13% 和 6.5% 的单词上触发，保持了低开销。Gemma 3 在 95.5% 的单词上触发，完全抵消了优化效果。这凸显了针对每个模型进行门校准的必要性。

开销分析

Best-of-N： 确认具有 $R_G = 1$ （原生实现），使其在生成器侧实际上免费。
序列式： 被证明是降低偏见最具成本效益的方案，由于其早停机制，以最低的生成器开销（ $R_G \approx 1.08$ ）实现了最高的偏见增益。

5. 意义与主张

本文声称以下贡献和重要性：

可访问性： 该框架降低了偏见缓解的门槛。它无需访问权重且无需训练，允许任何拥有 API 访问权的从业者立即应用这些方案。
PRM 的新颖应用： 这是过程奖励模型（此前用于数学推理）首次应用于社会偏见缓解，将每个 token 视为需要公平性验证的过程步骤。
双语基准： 它提供了一个涵盖 8 个偏见类别的受控双语基准（英语 + 乌尔都语），解决了现有文献中以英语为中心的偏见问题。
开销核算： 生成器和评判者成本的正式分离揭示，在原生实现中，Best-of-N 在生成器侧实际上是免费的，这一发现在基于 API 的评估中常被忽视。
可扩展性与能力： 结果表明，去偏框架随模型能力扩展。虽然它在强模型（GPT-4o-mini）上表现极佳，但在 3B 模型中观察到的局限性归因于基础模型的流畅度和指令遵循能力，而非去偏框架本身的失败。

6. 作者承认的局限性

Token 级修补： 该方法解决了表面层面的刻板联想，但无法修复模型内部化的更深层次的结构偏见或世界知识。
表演性公平： 存在模型产生在指标标准下看似公平但底层联想依然存在的风险。
评判者偏见： 使用单个 LLM（GPT-4o-mini）作为评判者，当同一模型既是生成器又是评判者时，会引入潜在偏见并缺乏独立性。
缺乏人工评估： 评分由模型分配，未经过人工验证。
门校准： 零样本偏见守卫门需要针对每个模型进行微调，以避免误报（如 Gemma 3 所示）。
数据集规模： 评估集（200 个填空，10 个开放式）足以观察趋势，但不足以得出统计上稳健的结论。

本文结论认为，解码时去偏是训练时对齐的一个实用且可部署的补充，提供了一种在不进行梯度更新的情况下缓解现有模型偏见的方法。