🤖 machine learning

CoVerRL: Breaking the Consensus Trap in Label-Free Reasoning via Generator-Verifier Co-Evolution

该论文提出了 CoVerRL 框架，通过让单一模型在生成器与验证器角色间交替进化，利用多数投票监督验证器并逐步过滤自一致错误，从而有效打破了无标签强化学习中因过度追求自一致性而陷入的“共识陷阱”，显著提升了数学推理能力与自我验证准确率。

原作者： Teng Pan, Yuchen Yan, Zixuan Wang, Ruiqing Zhang, Gaiyang Han, Wanqi Zhang, Weiming Lu, Jun Xiao, Yongliang Shen

发布于 2026-03-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Teng Pan, Yuchen Yan, Zixuan Wang, Ruiqing Zhang, Gaiyang Han, Wanqi Zhang, Weiming Lu, Jun Xiao, Yongliang Shen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种名为 CoVerRL 的新方法，旨在解决大语言模型（LLM）在没有标准答案（Label-free）的情况下进行自我进化的难题。

为了让你轻松理解，我们可以把大语言模型想象成一个正在备考数学竞赛的学生，而这篇论文就是教他如何在没有老师批改作业的情况下，自己把自己教成学霸。

1. 过去的困境：陷入“回声室”陷阱 (The Consensus Trap)

在 CoVerRL 出现之前，学生们（模型）通常采用一种叫“多数投票”（Majority Voting）的方法来学习：

做法：学生针对同一道难题，自己快速写出 10 个不同的解题过程。如果其中 8 个都算出了同一个错误答案（比如都算成 5），他就认为“既然大家都这么算，那答案肯定是 5"，并把这个错误答案当作“标准答案”来强化学习。
问题：这就像是一个回声室。如果学生一开始就犯了一个系统性错误（比如公式记错了），他写的 10 个答案可能都会错在同一个地方。
后果：随着训练进行，学生越来越自信，但多样性消失了。他不仅没学会，反而把错误当成了真理，越学越偏，最后彻底“走火入魔”。论文把这称为**“共识陷阱”**。

2. CoVerRL 的妙计：一人分饰两角，互相“挑刺”

CoVerRL 的核心思想是：不要只做一个只会做题的“生成者”，还要进化出一个会挑错的“验证者”。

想象这个学生拥有双重人格，他在训练过程中不断切换角色：

角色 A：解题者 (Generator)
- 负责疯狂刷题，生成各种解题思路。
- 它依然会利用“多数投票”来初步筛选答案（比如大家选最多的那个）。
角色 B：阅卷老师 (Verifier)
- 负责拿着解题过程，一步步检查逻辑。
- 它不看“大家选了什么”，而是看“推导过程对不对”。

它们是如何“互相成就”的？（Co-Evolution）

互相监督：
- 解题者先出题，阅卷老师来批改。如果老师发现某个“大家一致选错”的答案其实是错的（比如逻辑有漏洞），老师就会把这个错误答案剔除，不让解题者继续强化这个错误。
- 阅卷老师虽然一开始也很笨，但它可以通过对比“大家选的答案”和“少数派的答案”来学习什么是“对”，什么是“错”。
良性循环：
- 老师越变越聪明，剔除的错误就越多 $\rightarrow$ 解题者拿到的“练习题”质量就越高 $\rightarrow$ 解题者进步更快。
- 解题者进步了，生成的题目逻辑更严密 $\rightarrow$ 老师能学到更复杂的判断技巧 $\rightarrow$ 老师变得更厉害。
- 这就形成了一个**“滚雪球”式的良性循环**，而不是像以前那样陷入死胡同。

3. 核心创新点：打破僵局

以前的方法要么只靠“投票”（容易陷入回声室），要么只靠“自我检查”（模型太笨，自己查不出自己的错）。

CoVerRL 的聪明之处在于：

它不依赖外部老师：完全靠模型自己内部的角色切换来学习。
它专门打击“自信的错误”：当解题者非常自信地写出一堆一致的错误答案时，阅卷老师会专门站出来指出：“虽然你们都说得头头是道，但逻辑是错的！”从而打破“共识陷阱”。

4. 实验结果：真的有用吗？

论文在数学推理任务（比如解复杂的数学题）上做了测试，效果非常惊人：

成绩提升：相比以前的方法，CoVerRL 让模型在数学题上的正确率提高了 4.7% 到 5.9%。这在没有标准答案的情况下是非常巨大的进步。
自我纠错能力：模型不仅能做题，还能自己检查自己。它的“自我验证准确率”从 55% 飙升到了 85% 以上。这意味着它真的学会了如何像老师一样思考。
通用性强：这种能力不仅限于数学题，还能迁移到其他复杂的逻辑任务中。

总结

简单来说，CoVerRL 就是给大模型装了一个**“内部纠错机制”**。

它不再盲目相信“少数服从多数”，而是让模型内部的一个“自己”去严厉地审查另一个“自己”。通过这种**“生成者”和“验证者”的相爱相杀、共同进化**，模型成功避开了“越学越错”的陷阱，在没有老师教的情况下，真正实现了自我进化和能力的飞跃。

这就好比一个学生不再只是盲目刷题，而是学会了**“边做边查，边查边改”**，最终从一名普通学生逆袭成了数学天才。

论文标题

CoVerRL：通过生成器 - 验证器协同进化打破无标签推理中的“共识陷阱”

1. 研究背景与核心问题

背景

大型语言模型（LLM）在复杂推理任务中表现卓越。传统的强化学习（RLVR）依赖大量高质量标注数据或地面真值（Ground Truth）验证器，但这往往成本高昂或难以获取。因此，无标签强化学习（Label-free RL） 成为研究前沿，其主流范式是利用多数投票（Majority Voting） 将模型生成的最频繁答案作为伪标签（Pseudo-labels）来训练模型。

核心问题：共识陷阱 (The Consensus Trap)

作者发现，现有的无标签 RL 方法存在一个致命的失效模式，称为**“共识陷阱”**：

机制缺陷：奖励信号基于多数投票的一致性。随着训练进行，模型为了最大化奖励，会倾向于生成更一致（高置信度）的输出，导致输出多样性（Output Diversity）崩溃。
恶性循环：一旦模型陷入系统性错误（Systematic Errors），即所有推理路径都自信地得出同一个错误答案，多数投票机制会将其视为“正确”并不断强化该错误。
后果：奖励准确率（Reward Accuracy）随着训练深入而下降，模型无法自我纠正，最终性能停滞甚至退化。
现有局限：单纯的自我验证（Self-Verification）在没有外部监督的情况下难以训练，因为模型无法可靠地判断自己生成的错误答案；而单纯的共识投票无法检测一致性错误。

2. 方法论：CoVerRL 框架

为了解决上述问题，作者提出了 CoVerRL（Co-evolving Verifier and generator via Reinforcement Learning）。这是一个单一模型在统一的多轮强化学习过程中，交替扮演生成器（Generator） 和 验证器（Verifier） 角色的框架。

核心机制：双向协同进化

CoVerRL 的核心在于利用两个角色的相互监督来打破僵局：

生成器 (Generator)：利用多数投票生成初始的伪标签。
验证器 (Verifier)：独立于答案频率，对推理过程进行审查，识别并过滤掉“自我一致的错误”（Self-consistent Errors）。
良性循环：
- 投票产生的伪标签为验证器提供对比信号（Contrastive Signal）。
- 不断进化的验证器过滤掉噪声标签，为生成器提供更纯净的奖励信号。
- 更准确的生成器产生更高质量的共识，进一步辅助验证器训练。

具体技术流程

伪标签生成与过滤：
- 生成 $N$ 条推理路径，通过多数投票确定“草稿伪标签” $\hat{y}$ 。
- 将输出分为正样本集（答案等于 $\hat{y}$ ）和负样本集。
- 自洽性过滤：验证器对正样本集进行审查。如果多数验证结果认为推理有误，则剔除该样本，防止错误标签污染训练。
对比验证训练 (Contrastive Verifier Training)：
- 构建对比数据：正样本（投票选出的答案）vs. 负样本（投票中频率最低的错误答案）。
- 强制正负样本数量平衡（ $|V^+| = |V^-|$ ），这被证明等价于隐式的偏好优化（Implicit Preference Optimization），能诱导自动课程学习（Auto-Curriculum）效果。
自我修正 (Self-Correction)：
- 当验证器判定某答案为错误时，触发生成器角色，基于反馈重新生成修正后的解决方案。
优化算法 (Answer-Anchored GRPO)：
- 采用改进的 Group Relative Policy Optimization (GRPO)。
- 针对验证任务，提出**“答案锚定”分组策略**：将所有针对同一目标答案的验证路径归为一组计算优势值（Advantage），而非传统的基于前缀分组。这有效隔离了验证任务的方差，同时保持生成任务的稳定性。

3. 主要贡献

理论发现：首次明确指出了基于多数投票的无标签 RL 中的“共识陷阱”现象，解释了为何多样性崩溃会导致奖励准确率下降和模型停滞。
框架创新：提出了 CoVerRL 框架，将生成和验证统一在多轮 RL 过程中，实现了无需外部标签的双向能力自举（Bootstrapping）。
实证突破：在多个数学推理基准上，CoVerRL 显著优于现有的无标签基线（如 TTRL），并证明了生成能力和验证能力是真正协同进化的，而非单向辅助。

4. 实验结果

实验设置

模型：在 Qwen (1.7B, 7B) 和 Llama (3B) 系列模型上进行了测试。
基准：MATH500, AMC, AIME24 (数学推理) 和 GPQA-Diamond (通用推理)。
对比基线：TTRL (Test-time Reinforcement Learning)。

关键数据

推理性能提升：CoVerRL 在所有模型和基准上均优于 TTRL。
- 在数学推理基准上，平均最终准确率（Acc.@final）提升了 4.7% - 5.9%。
- 例如，在 Qwen3-1.7B 上，MATH500 的最终准确率从 TTRL 的 65.0% 提升至 71.9%。
自我验证能力：
- 验证器的准确率从初始的约 55% 提升至 85% 以上（例如 Qwen2.5-7B 在 MATH500 上从 54.0% 提升至 86.5%）。
- 这证明了验证能力并非仅仅依赖生成能力，而是真正发生了协同进化。
奖励准确率：
- 在训练全过程中，CoVerRL 保持了 90% 以上 的奖励准确率，而 TTRL 的奖励准确率随着多样性崩溃从 95% 降至 80% 左右。
泛化性：
- 在 RewardBench 测试中，经过 CoVerRL 微调的小模型（如 Llama-3.2-3B）在验证能力上甚至超越了更大的基座模型（如 Llama-3-70B）和 GPT-4-Turbo。

5. 结论与意义

解决根本矛盾：CoVerRL 成功解决了“共识提供信号但无法纠错”与“验证能纠错但缺乏信号”之间的矛盾，通过双向反馈机制实现了无监督环境下的持续自我进化。
防止模型坍塌：通过平衡采样和基于推理的验证过滤，有效防止了模型陷入“自信的错误”循环，确保了训练信号的长期可靠性。
实际应用价值：该方法为在缺乏高质量标注数据的领域（如复杂科学推理、代码生成）训练高可靠性 LLM 提供了一条可行的路径。它表明，通过让模型学会“自我审视”和“自我修正”，可以显著提升其推理的鲁棒性和准确性。

总结：CoVerRL 不仅是一个性能提升的方法，更是对无标签强化学习范式的重要理论修正，它证明了在缺乏外部监督的情况下，通过精心设计的内部角色协同（生成与验证），模型可以突破自身能力的瓶颈，实现真正的自我进化。