🤖 AI

Mitigating Cognitive Bias in RLHF by Altering Rationality

本文提出了一种方法，通过在奖励学习过程中动态调整理性参数，并利用大语言模型作为裁判来识别并降低有偏人类比较的权重，从而减轻人类反馈强化学习（RLHF）中的认知偏差，进而在不完美的数据集上训练出更鲁棒的模型。

原作者： Tiffany Horter, Andrew Markham, Niki Trigoni, Serena Booth

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Tiffany Horter, Andrew Markham, Niki Trigoni, Serena Booth

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何做出明智的决策。标准做法被称为RLHF（基于人类反馈的强化学习）。你向机器人展示针对同一问题的两个不同答案，请人类判断哪个更好，机器人则学习模仿这一选择。

然而，根据这篇论文的观点，人类并非完美的教师。有时，我们会因为大脑内置的捷径——即认知偏差——而犯错。

可以将认知偏差想象成一副扭曲的眼镜。戴上它时，你或许能看清世界，但有时也会看到现实中不存在的东西，或者忽略重要细节。一个著名的例子是“琳达问题”：如果你告诉某人琳达是一位主修哲学的女性主义者，他们可能会非理性地认为她更可能是“女性主义银行职员”，而不仅仅是“银行职员”，尽管从数学上讲，后一种情况必然概率更高。如果人类在教导机器人时戴着这副“扭曲的眼镜”，机器人也会学会戴上它们。

旧方法 vs. 新方法

旧方法（固定眼镜）：
在传统训练中，机器人假设人类教师对每一个问题都同样可靠。它对每一条“我更喜欢这个答案”的投票赋予相同的权重，就像一位老师无论学生是在认真听讲还是走神，都给所有学生打相同的分数。研究人员将这种假设称为固定的“理性参数”（我们称之为Beta）。这相当于假设人类教师始终处于 100% 清醒和专注的状态。

新方法（动态眼镜）：
作者蒂芙尼·霍特（Tiffany Horter）及其团队提出了一种更聪明的方法。他们建议机器人应该自问：“这位人类教师此刻是否可能带有偏见？”

他们构建了一个系统，充当抽查监督员的角色。在机器人从人类的选择中学习之前，另一个 AI（作为“法官的大型语言模型”）会审视问题和人类的选择，判断其中是否潜藏认知偏差。

如果监督员认为：“啊，这看起来像是一个典型的偏差陷阱”，它就会告诉机器人调低该人类反馈的音量。它会降低该特定情境下的"Beta"值，使该条教训的重要性下降。
如果监督员认为：“这看起来是一个稳健、理性的选择”，它就会调高音量，让机器人从中深入学习。

类比：嘈杂的课堂

想象一个课堂，老师正在教学生（即 AI）数学。

问题所在： 有时老师会疲惫、分心，或者落入陷阱题的圈套。如果学生照搬老师的错误，他们就会考试不及格。
旧方法： 学生照搬老师在黑板上写下的所有内容，假设老师永远正确。
新方法： 学生们身边坐着一位智能助手。当老师写下答案时，助手会低声说：“嘿，我觉得老师这里因为陷阱题而犯了错。”于是，学生们忽略那个特定答案，转而专注于老师表现敏锐的那些部分。

实验结果如何？

研究人员在两组旨在考验人类逻辑的棘手问题（如“琳达问题”和医疗诊断场景）上测试了这种方法。

它阻止了机器人复制错误： 即使机器人是在人类大多出错（带有偏差）的数据上进行训练，新方法也能帮助机器人找出正确答案。它学会了忽略“扭曲的眼镜”，从而发现真相。
它没有搞乱机器人： 机器人没有变得困惑，也没有忘记如何执行其他任务。它在保持通用任务智能的同时，仅仅在识别和忽略偏差方面变得更强。
即使使用“有缺陷”的监督员也能奏效： 该系统并不需要一位能识别每一个偏差的完美监督员。即使监督员只有 80% 的正确率，机器人学到的效果仍然优于完全没有监督员的情况。

核心结论

这篇论文认为，我们不应将人类反馈视为完美、不可更改的信号。相反，我们应该将其视为一种随上下文变化的噪声信号。通过根据人类反馈可能带有偏见的程度，动态调整其权重，我们可以构建出更理性、更少继承人类缺陷的 AI。

简而言之：不要只听人类说什么，还要听他们怎么说，并据此调整你的学习方式。

技术摘要：通过改变理性来缓解 RLHF 中的认知偏差

问题陈述

基于人类反馈的强化学习（RLHF）依赖于一个前提，即人类标注者表达的偏好能够忠实反映其潜在意图。然而，这一前提存在缺陷，因为人类判断经常受到认知偏差的影响（例如，合取谬误、锚定偏差、沉没成本谬误）。在标准的 RLHF 流程中，这些系统性偏差被视为均匀随机噪声。学习过程通常使用玻尔兹曼理性公式来建模人类偏好，其中固定的理性参数 $\beta$ 控制潜在奖励差异与观测到的成对偏好之间的一致性。

将 $\beta$ 视为全局常数，隐含地假设了所有上下文中标注者的可靠性是均匀的。因此，当训练数据包含系统性认知偏差时，学习到的奖励模型会嵌入这些偏差，导致下游大语言模型（LLMs）重现甚至放大非理性行为。本文解决的核心问题是：如何使 RLHF 对不完美的反馈具有鲁棒性，其中对理性的偏离并非随机，而是依赖于上下文且具有系统性。

方法论

作者提出了一种框架，将理性视为依赖于上下文和标注的变量，而非固定值。他们引入了一种动态的、实例相关的理性参数 $\beta_{new}$ ，取代全局 $\beta$ ，该参数根据估计的认知偏差可能性来调节每个偏好对在奖励学习中的权重。

1. 动态理性参数 ( $\beta_{new}$ )

该方法将固定的 $\beta$ 替换为特定比较中估计的偏差概率 ( $D_f$ ) 的函数：
$\beta_{new} = \text{logistic}(k \cdot (\theta - D_f))$
其中：

$D_f \in [0, 1]$ 是观测到的反馈受认知偏差影响的估计概率。
$\theta$ 是一个阈值参数，决定反馈何时开始被降权。
$k$ 控制过渡的陡峭程度。

当 $D_f$ 较低（偏差可能性低）时， $\beta_{new}$ 趋近于 1，赋予该偏好较高的权重。随着 $D_f$ 增加， $\beta_{new}$ 向 0 减小，从而有效地降低潜在偏差判断对奖励模型的影响。

2. 偏差检测 ( $D_f$ 估计)

为了估计 $D_f$ ，作者采用“大语言模型作为裁判”（LLM-as-judge）的方法。一个开箱即用的大语言模型（例如 ChatGPT 5.2 Thinking 或 Mistral-7B-Instruct）评估每个训练样本（提示、候选回复以及选定的偏好），以预测偏差的可能性。

成对评估：裁判识别两个候选回复中哪一个更具偏差性。
校准：一个轻量级的校准步骤利用最小的保留验证集，针对不同偏差类型的系统性方向性错误进行修正。
粒度：关键在于， $D_f$ 是针对特定情境中被选中的回复定义的，而非针对情境本身。这使得系统能够保留那些在诱导偏差的情境中标注者成功避免偏差时产生的信息信号（例如，受过统计训练的标注者正确拒绝了合取谬误）。

3. 训练流程

奖励模型：使用损失函数训练奖励模型（初始化为 Mistral-7B），其中每对的权重取决于 $\beta_{new}$ 。
策略优化：下游策略使用组相对策略优化（GRPO）进行微调，配合冻结的、具备偏差感知能力的奖励模型。
数据集：该方法在两个旨在诱发认知偏差的数据集上进行了验证：BRU 数据集（205 个问题，8 种偏差类型）和CogBias 数据集（30,000 个案例，30 种偏差类型）。为了模拟真实的 RLHF 失败模式，训练数据的构建方式使得在可调节比例的案例中，偏差回复优于真实答案（例如 3:1 的比例）。

主要贡献

上下文依赖的理性：本文挑战了 RLHF 中固定理性参数的标准假设，提出 $\beta$ 应根据特定反馈实例的可靠性而变化。
动态降权机制：作者引入了一种机制，利用基于大语言模型的偏差检测器动态调整 $\beta$ ，使系统能够降低偏差比较的权重，同时保留同一上下文中无偏差判断的信息信号。
对不完美检测的鲁棒性：即使偏差检测器（作为裁判的大语言模型）不完美或存在噪声，只要检测器的准确率保持在一定阈值以上（约 57-60%），该方法仍显示出有效性。

实验结果

作者在 BRU 和 CogBias 数据集上评估了他们的方法，将动态 $\beta$ 方法与使用固定 $\beta$ 值（0.1, 0.5, 0.9, 1.0）的基线以及随机 $\beta$ 分配进行了比较。

偏差传播的减少：在 CogBias 数据集上，去偏差模型达到了 67.6% 的真实答案准确率，显著优于未微调的基础模型（42.4%）以及在相同偏差数据上训练的基线（准确率崩溃至约 1.7%）。在 BRU 数据集上，尽管在 3:1 的偏差数据上训练，去偏差模型的准确率仍比基础模型提高了 8.3%。
对偏差反馈的鲁棒性：该方法成功防止了基线中观察到的“向偏差偏好崩溃”的现象。即使训练数据中包含 5:1 的偏差对真实答案比例，动态 $\beta$ 模型仍保持了显著高于固定 $\beta$ 基线的准确率。
通用性能的保留：在 TruthfulQA 数据集上的评估显示，通用性能没有显著下降（-0.5% 的变化不显著），表明该干预措施选择性地减少了偏差，而未牺牲整体能力。
跨架构与可迁移性：该方法在不同模型架构（Mistral-7B 和 Qwen3-8B）上均产生了统计显著的改进。此外，在小型 BRU 数据集上微调的模型成功将其缓解锚定偏差的能力迁移到了更大的 CogBias 数据集，将真实答案准确率从 37.7% 提升至 44.3%。

意义与主张

本文认为，RLHF 中的有效对齐较少依赖于获得理想化、完全理性的人类反馈，而更多地依赖于建模该反馈中固有的扭曲。通过将偏好数据重新框架化为依赖于上下文且系统性地存在偏差，作者证明了可以训练奖励模型来利用不完美的反馈，而不会陷入其偏差之中。

作者声称，他们的工作推动了对齐研究的一个日益增长的方向：从均匀理性的假设转向检测、建模和适应认知偏差的方法。他们提出，将 $\beta$ 视为反馈保真度的信号，而非固定常数，使得大语言模型能够近似审慎推理，而不是继承人类启发式方法。本文结论指出，虽然该方法的成功部分取决于偏差检测器的准确性，但即使面对不完美的裁判，该干预措施仍保持鲁棒性，这表明对人类不一致性的鲁棒性并不需要完美的认知模型。