💬 NLP

Beyond Majority Voting: Towards Fine-grained and More Reliable Reward Signal for Test-Time Reinforcement Learning

本文提出了名为 SCOPE 的框架，通过结合模型置信度与动态子群划分来生成细粒度的置信度加权伪标签，从而克服了测试时强化学习中多数投票策略的确认偏差与奖励稀疏问题，显著提升了大语言模型的推理能力。

原作者： Weiqin Wang, Yile Wang, Kehao Chen, Hui Huang

发布于 2026-04-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Weiqin Wang, Yile Wang, Kehao Chen, Hui Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种让大语言模型（LLM）在没有老师（标注数据）的情况下自我变强的新方法，名叫 SCOPE。

为了让你轻松理解，我们可以把训练大模型想象成一群学生在没有标准答案的情况下，通过“小组讨论”来攻克一道超级难的数学竞赛题。

1. 旧方法的问题：盲目从众与“假大空”的奖励

以前的方法（叫 TTRL）是这样的：
老师（其实是算法）给每个学生发一道题，让他们各自写出解题过程。然后，老师看谁的答案出现得最多（多数投票），就认为那个答案是“对的”，并给所有写出这个答案的学生发糖（奖励）。

这里有两个大坑：

坑一：盲目从众（确认偏误）。 假设 10 个学生里有 6 个都算错了，但因为他们算得都很自信，或者步骤很像，老师就以为“6 个人都选 B，那 B 肯定对”。结果，模型反而把错误的逻辑学得更牢了。
坑二：奖励太稀疏（只有对错，没有过程）。 老师只给最终答案发糖。如果学生 A 的解题思路非常精彩，只是最后一步算错了，或者学生 B 虽然答案对了但过程是瞎蒙的，老师都一视同仁。这就像只给考试及格的人发奖，不管你是真懂还是蒙对的，也不管那些虽然没及格但思路独特的人。

2. 新方法（SCOPE）的三大绝招

SCOPE 就像一位高明的教练，它改进了两个核心环节：

绝招一：不仅看“谁人多”，更看“谁心里有底”（置信度加权）

教练不再只看谁的答案出现次数多，而是看谁在解题过程中表现得最自信、最笃定。

比喻： 就像在法庭上，法官不仅看有多少证人指认嫌疑人，还要看证人的神态和语气。
- 学生 A 虽然只有 1 票，但他每一步推导都逻辑严密，语气坚定（高置信度）。
- 学生 B 有 5 票，但大家都是在猜，或者步骤里充满了“可能”、“也许”（低置信度）。
SCOPE 的做法： 它会计算每一步的“自信分”。即使 B 的人多，如果 B 的自信分很低，教练也会忽略 B，转而奖励那个虽然人少但逻辑清晰、自信满满的 A。这样就能从少数派中挖掘出真正的正确答案，避免被错误的“多数派”带偏。

绝招二：把大锅饭变成“小灶”（动态子分组）

以前的方法是把全班 100 个人混在一起，只定一个“标准答案”。SCOPE 则把大家分成几个独立的小组。

比喻： 想象一个巨大的研讨会。
- 旧方法： 所有人围坐一圈，最后只能得出一个结论。如果这个结论错了，所有人都学错了。
- SCOPE 方法： 把 100 人分成 10 个小组（比如每组 10 人）。每个小组内部先讨论，得出一个“小组共识”。
  - 小组 1 可能觉得答案是 X。
  - 小组 2 可能觉得答案是 Y。
  - 小组 3 可能觉得答案是 Z。
好处： 这样每个小组都有了自己的“小目标”。即使全班的大方向错了，某个小组可能因为独特的视角发现了正确答案。这鼓励了多样性探索，防止大家死脑筋地只盯着一个错误答案看。

绝招三：自动调节“小组大小”（帕累托优化）

分多少组合适？每组多少人？

组太小（比如 1 人一组）：太容易受噪音干扰，每个人都是“标准答案”，太乱。
组太大（比如 100 人一组）：又回到了旧方法的“大锅饭”，缺乏多样性。

SCOPE 的做法： 它像一个智能调度员，在训练过程中不断尝试不同的分组大小。它会同时观察两个指标：

质量： 大家的答案对不对？
多样性： 大家的答案是不是五花八门？

它会自动找到一个最佳平衡点（既不太乱，也不太死板），动态调整分组策略，确保模型既能学到真本事，又能保持思维的活跃。

3. 结果如何？

实验证明，SCOPE 这套“组合拳”非常有效：

在像 AIME 2025（美国数学邀请赛，非常难）这样的挑战中，使用 SCOPE 的模型比旧方法提升了 13.1%。
它让那些原本不太擅长推理的小模型，也能在数学竞赛中表现得像“天才”一样。

总结

简单来说，SCOPE 就是给大模型装上了一个**“去伪存真”的过滤器和一个“百花齐放”的分组机制**。

它不再盲目相信“人多力量大”，而是相信“逻辑严密、自信笃定”的少数派；它不再让所有人只盯着一个答案，而是鼓励大家分头探索，最后把最好的思路整合起来。这让大模型在没有老师教的情况下，也能通过自我进化，变得更聪明、更可靠。

1. 研究背景与问题 (Problem)

背景：
大语言模型（LLM）的推理能力提升通常依赖于强化学习（RL）。传统的“可验证奖励强化学习”（RLVR）需要大量人工标注的正确答案（Ground Truth），成本高昂且难以扩展。为了解决这一问题，测试时强化学习（Test-Time RL, TTRL） 应运而生，它通过在推理阶段采样多个回答并利用多数投票（Majority Voting） 生成伪标签（Pseudo-labels），从而在无监督环境下训练模型。

现有问题：
尽管 TTRL 提供了一种无需标注数据的训练范式，但其核心的“多数投票”策略存在两个关键缺陷：

确认偏差（Confirmation Bias）： 多数投票假设得票最多的答案就是正确的。然而，如果模型在推理过程中存在系统性错误，错误的推理路径可能因为数量多而被选为“共识”，导致模型强化自身的错误。
奖励稀疏（Sparse Rewards）： 传统的投票策略通常只给出一个全局一致的伪标签。对于整个采样组（Group）中的所有回答，要么全对（奖励为1），要么全错（奖励为0）。这种二值化的奖励信号过于粗糙，无法捕捉细粒度的推理质量差异，难以指导模型进行精细的优化。

2. 核心方法论 (Methodology)

为了解决上述问题，作者提出了 SCOPE（Subgroup-specific Step-wise Confidence-weighted Pseudo-label Estimation，特定子组的逐步置信度加权伪标签估计）框架。该方法主要包含三个核心组件：

2.1 逐步置信度加权投票 (Step-wise Confidence-weighted Voting)

概念： 不再单纯统计答案出现的频率，而是引入逐步置信度（Step-wise Confidence）。
计算：
1. 将模型的生成过程分解为多个推理步骤（Step）。
2. 计算每个步骤内 Token 的平均置信度（基于 Token 概率分布的负对数平均）。
3. 计算整个回答的平均步骤置信度（Average Step Confidence）。
机制： 在生成伪标签时，不仅看答案是否一致，还加权该答案对应推理路径的置信度。
- 公式： $o^* = \arg\max_y \sum_{i=1}^{|G|} C^{(i)}_{AvgStep} \cdot \mathbb{1}[Ans(o_i) = y]$
- 效果： 即使某个正确答案（如 D）票数较少，但如果其推理过程的置信度很高，它仍可能被选为伪标签，从而纠正“多数即正确”的偏差。

2.2 特定子组的伪标签估计 (Subgroup-specific Pseudo-label Estimation)

概念： 为了避免全局共识导致的奖励稀疏，将采样得到的 $|G|$ 个回答划分为多个独立的子组（Subgroups）。
机制：
1. 将全局池划分为 $n$ 个子组，每个子组包含 $m$ 个回答。
2. 对每个子组独立进行 Bootstrap 采样和置信度加权投票，生成子组特定的共识标签（Local Consensus）。
3. 计算奖励时，每个回答仅与其所在子组的局部共识标签进行比较。
效果： 这种方法为不同的子组提供了多样化的监督目标，鼓励模型探索不同的推理路径，增加了奖励信号的密度（Dense Rewards），缓解了稀疏奖励问题。

2.3 基于帕累托优化的子组大小自动选择 (Automatic Subgroup Size Selection via Pareto Optimization)

挑战： 子组大小 $m$ 的选择至关重要。 $m$ 太小（如 $m=1$ ）会导致噪声过大和确认偏差； $m$ 太大（如全局共识）则会导致探索不足和奖励稀疏。
解决方案： 引入帕累托优化（Pareto Optimization）动态选择最优子组大小 $m^*$ $m^{*}$ 。
- 两个优化目标：
  1. 推理质量 (Quality, $q$ )： 衡量输出与局部共识的一致性。
  2. 探索多样性 (Exploration, $e$ )： 衡量不同子组发现的不同共识标签的数量。
- 优化过程： 在帕累托前沿（Pareto Front）上寻找非支配解，并通过权衡距离函数（Trade-off Distance）选择最优的 $m^*$ ，以平衡质量与多样性。

3. 主要贡献 (Key Contributions)

提出了 SCOPE 框架： 一种新颖的测试时强化学习框架，通过结合逐步置信度加权和特定子组标签估计，有效缓解了无监督 RL 中的确认偏差和奖励稀疏问题。
引入了细粒度机制：
- 利用逐步置信度从少数派中恢复正确答案，打破“多数即真理”的局限。
- 利用帕累托优化自动平衡奖励密度（子组大小）与估计准确性。
广泛的实验验证： 在多个模型（Qwen2.5, Qwen3, LLaMA3.1）和基准测试（AIME 2024/2025, AMC, MATH-500）上进行了验证，证明了其有效性。

4. 实验结果 (Results)

实验在多个数学推理基准上进行了评估，结果显示 SCOPE consistently 优于现有的基线方法（包括 TTRL、INTUITOR、RLPR 等）。

整体表现： SCOPE 在所有测试设置中均取得了最佳性能。
具体提升（以 Qwen3-8B 为例）：
- AIME 2025: 相对提升 13.1% (从 27.40 提升至 31.00)。
- AMC: 相对提升 8.1%。
- AIME 2024: 相对提升 11.8%。
- 平均提升： 在所有基准上的平均相对提升达到 6.9%。
小模型表现： 即使在参数量较小的模型（如 Qwen2.5-1.5B）上，SCOPE 也能带来显著的性能飞跃（AIME 2024 相对提升 36.5%），证明了该方法能有效过滤错误路径，使小模型发挥超越其参数规模的推理能力。
消融实验：
- 移除置信度加权（w/o Conf）导致性能显著下降，证明了置信度在纠正错误共识中的关键作用。
- 移除子组划分（w/o Subgroup）导致探索瓶颈，验证了细粒度奖励的必要性。

5. 意义与价值 (Significance)

突破无监督 RL 的瓶颈： 解决了传统 TTRL 过度依赖多数投票带来的确认偏差问题，为在无标注数据下训练高推理能力的 LLM 提供了更可靠的信号。
细粒度奖励设计： 将粗粒度的二值奖励转化为基于置信度和子组结构的细粒度奖励，使得模型能够更精准地识别并修正推理过程中的逻辑错误。
动态适应性： 通过帕累托优化自动调整子组大小，使得训练过程能够自适应地平衡“利用（Exploitation，追求高质量共识）”与“探索（Exploration，寻找多样解）”，提高了样本效率。
实际应用潜力： 该方法不依赖昂贵的标注数据，能够直接在真实世界的复杂任务（如数学竞赛题）中提升模型性能，对于降低大模型训练成本、提升推理能力具有重要的应用价值。

总结： SCOPE 通过引入“置信度”和“子组”两个维度，将测试时强化学习从简单的“少数服从多数”进化为“基于质量的动态共识”，显著提升了大语言模型在无监督环境下的自我进化能力。