💬 NLP

Breaking the Self-Confirming Loop: Diagnosing and Mitigating Systemic Reward Bias in Self-Rewarding RL

本文识别了自我奖励强化学习中存在的一种系统性自我确认偏差，即模型会对高置信度的错误进行过度奖励，并提出了通过多样化模型聚合来缓解这种不稳定性的集成奖励强化学习（RLER），从而在无标签数据上实现有效扩展的同时，达到接近监督学习方法的性能。

原作者： Chuyi Tan, Peiwen Yuan, Xinglin Wang, Yiwei Li, Shaoxiong Feng, Yueqi Zhang, Jiayi Shi, Ji Zhang, Boyuan Pan, Yao Hu, Kan Li

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chuyi Tan, Peiwen Yuan, Xinglin Wang, Yiwei Li, Shaoxiong Feng, Yueqi Zhang, Jiayi Shi, Ji Zhang, Boyuan Pan, Yao Hu, Kan Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：没有老师的学生

想象一下，你正在试图教一个学生（AI 模型）如何解决数学题。

旧方法 (RLVR)： 你有一位拿着标准答案的严格老师。每当学生回答时，你都会对照答案进行检查。如果对了，就给一个金星；如果错了，就画一个红叉。这效果很好，但你会很快用完所有的答案，因为制作这些答案既昂贵又缓慢。
“自我奖励”的方法 (RLIR)： 为了省钱，你告诉学生自己给自己的作业打分。“如果你觉得你的答案是对的，就给自己一个金星。”这让你可以使用无限量的练习题。

问题所在： 论文指出，“自我奖励”方法存在一个致命缺陷。它创造了一个自我确认的循环 (self-confirming loop)。

缺陷：过度自信的错误

想象一个非常有自信但实际上是错误的同学。

他解错了一道题。
因为他对自己给出的答案非常确定，所以他给自己打了一个金星。
老师（学习算法）看到了这个金星，并说：“做得好！继续保持！”
学生对自己的错误方法变得更加自信了。

论文称之为系统性奖励偏差 (systemic reward bias)。AI 不仅仅是在犯错，它还在强化自己对错误的自信心。这创造了一个反馈循环：即“大声疾呼”的错误答案会获得奖励，而“沉默”的正确答案可能会被忽视。这会导致 AI 变得不稳定，并触及智能水平的低天花板。

诊断：三个“生命体征”

为了证明这一点，作者发明了三个“生命体征”（指标）来衡量自我评分系统的病态程度：

奖励噪声 ( $\rho_{noise}$ )： 评分中有多少“静电”？AI 是在随机给星星吗？
自我偏差 ( $\rho_{selfbias}$ )： 评分与学生的自信程度结合得有多紧密？如果学生很自信，即使他们错了，是否总是能得到好成绩？（论文发现这种联系过于强烈）。
偏斜 ( $\rho_{symbias}$ )： 评分是倾向于给太多星星（过度奖励）还是给太少？论文发现该系统危险地倾向于过度奖励错误。

解决方案：RLER（“评审团”模式）

为了修复这个问题，作者提出了一种名为 RLER（带有集成奖励的强化学习）的新方法。不再是一个学生自我评分，而是创建一个由多样化学生组成的评审团来评分。

以下是 RLER 的工作步骤：

1. 评审团 (Ensemble)

系统不再使用一个 AI 来为自己的工作评分，而是使用一组略有不同的 AI 模型（一个“集成”模型）。

类比： 想象一个教室里有 5 个不同的学生在解决同一个问题。与其让一个学生自我评分，不如让他们交换试卷，一起查看答案。
为什么有效： 如果一个学生非常自信地答错了，其他学生可能会发现这个错误。这打破了“自我确认循环”，因为奖励不再仅仅基于一个人的自信度。

2. 智能评分员 (Adaptive Interpolation)

系统不仅仅是采取简单的多数投票。它使用一个“智能评分员”，根据评审团的意见一致程度来调整其严格程度。

类比： 如果整个评审团对一个答案达成一致，评分员就会很严格，给出明确的“通过”或“失败”。如果评审团感到困惑或存在分歧，评分员就会变得温和一些，说：“也许这部分是对的，”而不是直接判定为“失败”。
为什么有效： 这可以防止系统对那些只是略有差异的正确答案过于严苛，也防止对自信的错误答案过于宽容。

3. “分歧”过滤器 (Rollout Selection)

这是最聪明的部分。系统专门寻找评审团产生分歧的情况。

类比： 如果 4 个学生说“答案是 5”，而 1 个学生说“答案是 10”，但这个 1 个学生极其自信，系统就会标记这种情况。它意识到：“等等，这个自信的异类可能是一个陷阱。”它会惩罚这些高自信度的错误。
为什么有效： 它主动搜寻那些通常会破坏自我奖励系统的“过度自信错误”。

结果：一个稳定、聪明的学生

作者将这种新的方法 (RLER) 与旧的自我评分方法以及“严格老师”方法 (RLVR) 进行了对比测试。

表现： RLER 的表现几乎达到了严格老师的水平（在最佳可能得分的 3.6% 以内），并且明显优于（提升了 6.2%）旧的自我评分方法。
稳定性： 训练过程没有崩溃或失控。“生命体征”显示，噪声降低了，过度奖励的偏差消失了，系统也不再强化自身的错误。
效率： 尽管他们在训练期间使用了“评审团”模型，但在最后他们将它们合并回了一个单一的模型。因此，当你实际使用这个 AI 时，它的运行速度与普通 AI 一样快，没有任何额外成本。

总结

论文指出，让 AI 为自己评分是危险的，因为它会陷入过度自信错误的循环中。他们的解决方案是让一组 AI 团队共同进行评分，并使用一个能够识别团队分歧的智能系统。这阻止了 AI 自我欺骗，使其变得更聪明、更稳定，且无需为每一个问题都配备人类老师。

技术摘要：诊断并缓解自我奖励强化学习中的系统性奖励偏差

1. 问题陈述

具有可验证奖励的强化学习（RLVR）已被证明在扩展大语言模型（LLM）推理能力方面非常有效，但受限于标注数据的稀缺性。具有内在奖励的强化学习（RLIR），即自我奖励（self-rewarding），通过允许策略模型生成自身的奖励信号，提供了一种可扩展的替代方案。然而，RLIR 方法往往存在不稳定性，且性能优于 RLVR。

作者将这一差距的根本原因归结为置信度耦合自我奖励中固有的系统性奖励偏差。在现有的 RLIR 框架中，奖励估计与策略自身的置信度紧密耦合。这产生了一种不对称的误差模式：

置信正确（Confident Correctness）： 奖励误差保持较小。
置信错误（Confident Mistakes）： 奖励误差变得巨大，导致过度奖励（即为模型高度自信的错误输出分配高奖励）。

这种不对称性形成了一个自我确认循环（self-confirming loop），其中偏差奖励在训练过程中不断累积，驱动策略向过度奖励偏移，导致优化不稳定，并限制了可达到的性能上限。

2. 方法论：RLER（基于集成奖励的强化学习）

为了缓解这种系统性偏差，作者提出了 RLER（Reinforcement Learning with Ensembled Rewards），该框架通过聚合多样化的策略来构建统一的奖励估计空间。RLER 的设计旨在满足三个要素：准确性（低噪声）、无偏性（无方向性漂移）和鲁棒性（与策略置信度解耦）。

RLER 通过以下三个核心机制实现目标：

A. 基于集成的统一奖励

RLER 不再采用单一策略进行自我奖励，而是采用由 $K$ 个多样化源策略组成的集成。

聚合： 从所有策略中采样 Rollout，并将它们的答案分布汇聚，以形成统一的集成分布 $\bar{p}_j$ 。
多数共识： 统一的多数标签 $m_{EC}$ 是从集成分布中导出的，而非来自单个模型的输出。
收益： 这降低了对单一策略置信度的依赖，从而降低了奖励噪声 ( $\rho_{noise}$ ) 和策略-奖励耦合 ( $\rho_{selfbias}$ )。

B. 自适应软奖励插值

为了平衡硬奖励（二值 0/1）的高方差与软奖励（概率性）的低置信度偏差，RLER 引入了一种自适应插值策略。

机制： 最终奖励 $r_i^{(\alpha)}$ 是硬集成决策 ( $r^H$ ) 与软统一概率 ( $r^S$ ) 的加权混合：
$r_i^{(\alpha)} = (1 - \alpha)r^S_i + \alpha r^H_i$
自适应门控： 权重 $\alpha(x)$ 由集成的统一置信度动态调节。高置信度会增加对硬奖励的依赖，而较低的置信度则增加对软奖励的依赖，以保留关于合理少数派答案的信息。
校准： 该方法结合了 Token 级置信度和批次级 Min-Max 归一化，以确保针对不同难度水平的鲁棒性。

C. 差异感知 Rollout 选择

该机制通过基于集成差异（disagreement）对更新进行过滤，专门针对过度奖励偏斜 ( $\rho_{symbias}$ ) 进行处理。

策略： 系统根据共识的可靠性分配更新预算。
- 高共识（多数派）： 更新由 $\alpha(x)$ 进行缩放，强调仅在集成可靠时进行更新。
- 差异（长尾）： 更新依赖于软项 $(1-\alpha)r^S$ 。这防止了对可能正确的少数派答案进行过度抑制，同时自然地衰减了低频噪声。
结果： 高置信度的假阳性（FP）被积极过滤，而假阴性（FN）得以恢复，从而纠正了向过度奖励偏移的趋势。

D. 集成到单模型的整合

为了确保在无需额外推理成本的情况下进行实际部署，训练后的 $K$ 个策略使用 Ties-Merging 技术合并为一个模型。这使得系统能够在训练期间利用集成优势，同时部署高效的单一策略。

3. 核心贡献与诊断

本文引入了一个诊断框架，通过三个指标来量化 RLIR 的失效模式：

奖励噪声强度 ( $\rho_{noise}$ ): 衡量奖励估计与 Oracle（真值）之间的绝对偏差。
策略-奖励耦合 ( $\rho_{selfbias}$ ): 衡量奖励估计与策略自身置信度的耦合程度。
对称偏差率 ( $\rho_{symbias}$ ): 衡量过度奖励（FP）与欠奖励（FN）之间的方向性偏斜。

受控实验的关键发现：

过度奖励比欠奖励更具破坏性： 实验表明，由 FP 主导的噪声比由 FN 主导的噪声会导致更严重的性能下降。
耦合会放大误差： 高 $\rho_{selfbias}$ 会强化基于置信度的误差，导致训练动力学不稳定。
解耦至关重要： 降低策略与其奖励信号之间的耦合对于稳定性至关重要。

4. 实验结果

研究在数学类推理任务（Arithmetic, DAPO-MATH-17K）以及跨模型/数据集泛化性（LLaMA, Qwen, Big-Math, WebInstruct）上进行了广泛实验。

性能： RLER 比表现最好的 RLIR 基线（如 Co-rewarding, INTUITOR）提升了 +6.2%，并达到了 RLVR 上界（Oracle 标注）的 3.6% 以内。
稳定性： 随着训练集规模的增加（从 8k 到 1M 样本），RLER 表现出平滑、一致的扩展性，而标准的 RLIR 基线则表现出不稳定的扩展性和性能平台期。
指标改进： RLER 显著降低了 $\rho_{noise}$ 、 $\rho_{selfbias}$ 和 $\rho_{symbias}$ ，有效地打破了自我确认循环。
消融实验： 移除任何组件（集成、插值或选择机制）都会导致性能下降，证实了所有三个机制都对缓解偏差有累积贡献。

5. 意义与主张

本文声称 RLER 为缺乏人类监督的无标注环境下的强化学习提供了一个实用且可扩展的解决方案。通过诊断自我奖励的系统性偏差并通过集成聚合和自适应选择来解决该问题，RLER：

使在大规模无标注语料库上进行稳定扩展成为可能，无需外部奖励模型。
弥合了自我奖励（RLIR）与 Oracle 标注（RLVR）方法之间的性能差距。
通过模型合并提供了一种部署友好的方法，不会增加额外的推理开销。

作者总结道，RLER 代表了迈向可持续的、能够自我改进的 LLM 推理系统的重要一步，特别是在拥有丰富无标注数据但缺乏地面真值（Ground Truth）的领域。