🤖 AI

CoRE: Consensus Rewards via Equilibrium for Test-Time Reinforcement Learning

本文介绍了 CoRE，这是一种测试时强化学习方法，它通过利用源自复制动态（replicator dynamics）的基于图的共识奖励来取代脆弱的多数投票机制，从而提供分级的、自监督的信号，以提高多种模型和基准测试的准确性和收敛速度。

原作者： Ambuj Mehrish, Sebastiano Vascon

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Ambuj Mehrish, Sebastiano Vascon

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：一个超级聪明的机器人正试图学习如何解开一个棘手的谜题，但没有人能告诉它是否答对了。这就是现代人工智能模型在面对未标记的新问题时，日常生活的写照。为了学习，这些模型通常需要一位老师根据正确答案来对它们说：“做得好！”或者“再试一次！”但如果根本没有答案解析该怎么办？这就是**测试时强化学习（Test-Time Reinforcement Learning）**发挥作用的地方。这是一个聪明的技巧，AI 通过针对同一个问题生成许多不同的尝试（称为“展开/roll-outs”），然后通过观察自己的工作来弄清楚自己应该相信什么，从而实现自我教学。

这种做法的标准方式就像是一场课堂投票。如果 AI 生成了 64 个不同的答案，它只需统计数量即可。如果 35 个答案是“42”，29 个答案是“17”，那么 AI 就会假设“42”是真相，因为它获得的选票最多。随后，它会奖励每一个回答“42”的尝试，并惩罚其余的尝试。这在大多数情况下运作良好，但它有一个致命缺陷：它将一次幸运的猜测与一个精妙、逻辑严密的解决方案等同对待，并且忽略了“多数派”可能在自信地犯错这一可能性。如果一小群聪明、自信的尝试给出了“17”，而一大群混乱的尝试大喊着“42”，投票系统就会扼杀掉这个聪明的少数派。这篇论文提出了一个问题：我们能否构建一种更聪明的让 AI 倾听自己的方式，一种不仅关注有多少人同意，还关注他们是如何达成一致的方式？

选票箱的问题

想象一群侦探正在试图破获一起罪案。在旧的方法（“多数票”法）中，他们只是举手示意。如果 60 名侦探指向管家，40 名侦探指向园丁，那么管家就是有罪的。但如果指向管家的那 60 人其实都很困惑，而指向园丁的那 40 人实际上是唯一读懂了线索的人呢？投票系统会惩罚聪明的侦探并奖励困惑的人，从而使整个团队随着时间的推移变得越来越笨。

这正是使用标准测试时强化学习的 AI 模型所面临的情况。它们生成一堆答案，统计胜者，并假设胜者就是正确的。如果 AI 犯了一个流行的系统性错误，它会强化这个错误。这就像是一个破碎的民主制度，即使是在胡言乱语，声音最大的声音也会胜出。

走进 CoRE：侦探圆桌会议

本文的作者 Ambuj Mehrish 和 Sebastiano Vascon 提出了一种名为 CoRE（基于均衡的共识奖励 / Consensus Rewards via Equilibrium）的新方法。CoRE 不仅仅是数人头，它将 AI 的尝试视为一个复杂的相互关系网络。

它是如何运作的，这里用一个简单的类比来说明：
想象 AI 的 64 次尝试是坐在房间里的人。

图（The Graph）： 这些人不仅仅是喊出答案，他们还形成了一个巨大的连接网络。如果两个人给出了相同的答案，他们就被连接在一起。但这种连接不仅仅是“是/否”的关系，它还通过推理的相似度（他们是否使用了相同的逻辑？）以及表达的自信程度（他们说话是否笃定？）进行了加权。
均衡（The Equilibrium）： 系统随后运行一个被称为“复制者动力学（replicator dynamics）”的数学模拟。你可以把它想象成一场音乐椅游戏，那些受到自信且逻辑严密的邻居支持的人，开始站起来并形成一个紧密、强大的圆圈。“主导集（dominant set）”就是那个拥有最多相互支持的群体。
奖励（The Reward）： CoRE 不仅仅是对所有投给胜者的票给予简单的“通过”或“失败”，而是给予一个分级评分。如果你的答案属于一个紧密、自信、逻辑严密的圆圈，你会获得高额奖励。如果你属于一个微弱、混乱的群体，你会获得低额奖励。即使你处于少数地位，如果你的群体是最连贯且最自信的，CoRE 实际上可能会选择你作为赢家。

他们的发现

研究人员在七个不同的 AI 模型和五个不同的数学及科学基准测试中，将这种新的“CoRE”方法与旧的“多数票”方法进行了对比测试。他们使用三种不同的随机种子（基本上是三种不同的起始条件）进行了实验，以确保结果是真实的。

结果非常令人振奋：

更高的分数： 平均而言，使用 CoRE 的模型相比于没有任何学习时的初始状态，准确率提高了 21.7 个百分点。而旧的投票法仅提高了 20.4 个百分点。
赢得争议之战： 真正的魔力发生在答案出现分歧的时候。在 AI 不确定且“投票”非常接近的情况下，CoRE 比投票法高出多达 7.5 个百分点。它成功拯救了那个会被投票系统忽略的“聪明的少数派”。
更快的学习： CoRE 不仅变得更好，而且变得更快。它达到与投票法相同的最终准确率水平所需的步骤减少了 54% 到 70%。这表明，CoRE 提供的分级、细致的奖励为 AI 提供了更清晰、更有帮助的信号。

“恢复区”

论文还解释了这种方法在何时效果最好。他们发现了一个特定的“恢复区”。如果 AI 太差以至于完全无法解决问题，或者太好以至于所有人意见一致，CoRE 的表现就和旧的投票法一样（这也没问题）。但在混乱的中间地带——即一小群正确、自信的答案与一大群错误、自信的答案进行竞争时——CoRE 才真正闪耀光芒。

作者从数学上证明，如果正确答案甚至只是比错误答案稍微更自信一点，CoRE 就能扭转局面并选择正确的答案，即使它是少数派。这就像一位睿智的法官，意识到那 40 名持有可靠不在场证明的侦探比那 60 名仅仅是猜测的侦探更值得信赖。

核心结论

这篇论文表明，我们并不需要彻底抛弃投票系统；CoRE 实际上将投票包含在内作为一个特例。但是，通过增加一层“社会智能”——观察答案如何相互支持以及它们的自信程度如何——我们可以将一个脆弱的、非黑即白的投票，转变为一个聪明的、经过校准的奖励系统。

作者谨慎地指出，这并不是解决一切问题的万灵药。如果 AI 完全迷失了方向（“能力底线”），CoRE 无法凭空创造出正确的答案。但对于那些 AI 几乎正确但被人群搞混了的难题，CoRE 提供了一种方法，让我们去倾听那冷静、自信的理性之声，而不是仅仅听从最响亮的呐喊。它将简单的计数变成了复杂的对话，帮助 AI 模型从自身的错误中学习得更快、更聪明。

技术摘要：CoRE – 通过平衡态实现测试时强化学习的共识奖励

问题陈述

测试时强化学习（Test-time Reinforcement Learning, TTRL）旨在通过模型自身的采样轨迹（roll-outs）从无标签测试数据中获取监督信号，从而提升语言模型的推理能力。标准方法——多数投票法（Majority Voting）——将 $N$ 个采样答案视为一个投票箱：它识别出出现频率最高的答案作为伪标签，并对匹配该标签的轨迹分配二元奖励（1 或 0）。

这种方法存在三个关键局限性：

聚合脆弱性（Brittle Aggregation）： 它会丢弃那些虽然处于少数派但内部逻辑连贯的正确答案。相反，它可能会奖励错误的多数派集群，从而放大系统性错误。
二元奖励（Binary Rewards）： 它无法区分高质量的一致性与偶然的猜测，为逻辑严密的推导过程和运气好的猜测分配相同的奖励。
统一的问题权重（Uniform Question Weighting）： 它对所有问题一视同仁，而不考虑这些采样轨迹是形成了连贯的共识，还是形成了一组互不兼容的碎片化解法。

核心挑战在于：如何从无标签的采样轨迹中构建出一个能够捕捉推理路径之间的关系结构和相互支持度，而非仅仅是统计票数的奖励信号。

方法论：CoRE

作者提出了 CoRE（Consensus Rewards via Equilibrium，通过平衡态实现共识奖励）。该方法通过基于图的平衡态方法取代了多数投票法。CoRE 处理与标准 TTRL 相同的 $N$ 个采样轨迹，但通过不同的方式生成更精细的信号。

1. 采样轨迹图构建

CoRE 构建了一个加权图 $G=(V, E, \omega)$ ，其中节点代表 $N$ 个采样轨迹。边的定义基于一个结合了三种信号的亲和矩阵 $A'$ ：

答案一致性（Answer Agreement）： 一个硬核函数 $K_{ans}$ 确保只有具有相同提取答案的采样轨迹之间才存在边。
推理相似性（Reasoning Similarity）： 一个基于 TF-IDF $n$ -gram 向量余弦相似度的软核函数 $K_{rsn}$ ，用于加强同一答案类别内的联系。
置信度校准（Confidence Calibration）： 节点权重 $w_i$ 源自生成置信度（平均 Token 对数概率）。边的权重由端点置信度的几何平均值 ( $\sqrt{w_i w_j}$ ) 进行缩放，确保高置信度的轨迹能更强地相互强化。

最终的亲和矩阵 $A'$ 是分块对角矩阵，每个分块对应一个唯一的答案类别。

2. 通过复制者动力学提取主导集

Co-RE 不仅仅是计数，而是利用复制者动力学（Replicator Dynamics, RD）——一种进化博弈论优化过程——从图中提取主导集（Dominant Set, DS）。

初始化： 系统从单纯形的重心开始，初始质量分配与每个答案类别的大小成正比（这实际上是从多数投票法开始）。
动力学过程： 系统根据二次型 $x^\top A' x$ 迭代更新质量分布 $x$ 。该过程收敛于一个稳定点 $x^*$ ，在此点，质量会集中在最具相互支持性的轨迹子集上。
结果： $x^*$ 的支撑集（质量高于阈值的节点）定义了共识。

3. 奖励生成

从平衡态 $x^*$ 出发，Co-RE 推导出三种不同的信号：

精炼伪标签 ( $y^*$ )： 具有最高平衡质量的答案类别。即使某个规模较小的、高度连贯的少数派群体成为主导，其结果也可能不同于多数票结果。
分级奖励 ( $R_i$ )： 每个采样轨迹获得的连续奖励与其对共识的亲和度成正比，而非简单的 0/1。
凝聚力门控 ( $w_q$ )： 一个衡量共识整体连贯性的问题级标量。该门控用于缩放策略更新（GRPO）中的损失函数，过滤掉那些无法形成可靠共识的问题。

核心贡献

1. 方法论创新

Co-RE 是首个利用主导集提取来构建奖励的测试时强化学习方法。它将采样轨迹组从一个“投票箱”转变为一个“图”，从而能够找回那些即便人数较少、但逻辑连贯且置信度高的正确少数派集群。它直接集成到 GRPO 中，无需辅助模型或额外的采样。

2. 理论分析

论文提供了严谨的理论框架：

泛化性： 证明了多数投票法是 Co-RE 的一个特例（当忽略推理相似性且置信度均匀分布时）。
恢复阈值： 通过块值分析，推导出了正确少数派能够反超错误多数派的精确阈值。该阈值取决于集群规模的比例及其内部连贯性。
置信度乘法效应： 分析证明，置信度校准会乘性地降低恢复阈值。具体而言，如果正确采样轨迹比错误轨迹更具置信度，那么少数派获胜所需的连贯性阈值会随置信度差距呈指数级下降。

3. 实证证据

在 7 个基座模型（Qwen, DeepSeek, Llama, Mistral）和 5 个基准测试（AMC, AIME, MATH-500, MATH-L4/5, GPQA-Diamond）的 42 种模型-基准配置下进行了评估：

性能： 在所有 42 个模型-基准单元中，Co-RE 的平均准确率比未训练基座模型提升了 +21.7 个百分点，优于多数投票 TTRL（+20.4 个百分点）。值得注意的是，仅数学专业模型平均提升了 +25.0 个百分点。
争议性共识： 在共识存在争议的情景下（如 MATH-L4/L5 子集），Co-RE 比投票法多获得了高达 +7.5 个百分点 的增益。
样本效率： Co-RE 到达投票基线最终准确率平台所需的优化步数减少了 54–70%。
消融实验： 移除图结构或置信度校准都会使性能降至接近多数投票水平，证实了结构连贯性与置信度之间的协同作用至关重要。

意义与主张

论文声称，共识不仅仅是计数。通过对推理路径间的相互支持进行建模，Co-RE 将脆弱的投票机制转化为经过校准的分级自监督奖励信号。

机制： 该方法的成功在于从“规模较小、连贯且自信的正确群体”中提取监督信息，而这些群体在单纯的票数统计中会被忽略。
运行区间： 收益集中在“中间区间”，即存在连贯的正确少数派但其并非多数派时。在“饱和区间”（近乎一致的正确答案）或“能力底线区间”（随机猜测）中，Co-RE 会自然退化为或表现得与多数投票法相似，从而避免对噪声的过拟合。
自监督： Co-RE 证明了将采样轨迹视为一个图而非独立样本，可以产生更密集的训练信号，从而提升伪标签的质量和策略更新的效率。

作者总结道，Co-RE 代表了自监督强化学习的一个实质性组成部分，为如何在没有外部监督的情况下处理测试时适配中的分歧提供了一种原则性的方法。