💬 NLP

Agon: Competitive Cross-Model RL with Implicit Rival Grading of Reasoning

Agon 引入了一种竞争性的跨模型强化学习框架，其中两个模型通过迭代地针对彼此起草并解决问题来充当相互的评分者，在无需过程标签的情况下隐式地奖励更优越的推理能力，并在复杂推理任务上显著优于标准的单模型强化学习方法。

原作者： Vladislav Beliaev

发布于 2026-07-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Vladislav Beliaev

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一名学生如何解决极其困难的数学题。

旧方法：仅看答案的“教练”
目前的标准方法（被称为 GRPO）就像一位只看考试最终答案的教练。

如果学生答对了，他们会得到一颗金星。
如果答错了，他们会得到一个红色的 X。
问题在于： 教练从不看学生是如何得出答案的。如果学生写了 10 页语无伦次的废话、猜测和反复回溯，最后只是偶然撞到了正确答案，他们依然会得到那颗金星。
结果： 学生学会了写更多的字，而不是更好地思考。他们开始在页面上填满“嗯，让我想想……”和“等等，也许……”之类的内容，仅仅为了增加猜对的概率。他们变得啰嗦，却并没有变得更聪明。

新方法：Agon（“辩论俱乐部”）
这篇论文介绍了一种名为 Agon（希腊语意为“竞赛”）的新方法。Agon 不再是让一名学生独自解决问题，而是将两名学生放在同一个房间里共同解决同一个问题，但有一个转折：他们正在竞争，看谁能比对方思考得更出色。

以下是 “Agon” 游戏的运作方式：

起草： 学生 A 首先尝试解决问题。他们写下自己的推理过程和步骤摘要（但隐藏最终答案）。
挑战： 学生 B 阅读学生 A 的摘要。学生 B 的目标是比学生 A 更好地解决问题。
- 如果学生 A 犯了错误（比如方程中的符号错误），学生 B 发现了它，修正了它，并得到了正确答案。学生 B 获胜。
- 如果学生 A 是正确的，学生 B 则尝试寻找一种更短、更简洁的方式来证明它。
轮换： 在下一轮中，他们交换角色。学生 B 进行起草，学生 A 进行挑战。

为什么这行得通（“对手评分”的魔力）
在旧方法中，学生必须自己去猜测什么是“好的思考”，因为没有人告诉他们。而在 Agon 中，对手负责评分。

隐性反馈： 如果学生 A 的推理漏洞百出，学生 B 会轻易击败他们。这教会了学生 A，“唠叨”和“填充词”是行不通的，因为聪明的对手会识破它们。
无需标签： 我们不需要人类老师来说：“这一步很精彩，那一步是废话。” 事实是，一个学生击败了另一个学生，这本身就是推理更优越的证明。
“军备竞赛”： 因为两名学生都在同时变得越来越聪明，所以门槛也在不断提高。学生 A 不能再仅仅靠猜测了；他们必须进行真正的推理才能击败同样在变得更聪明的学生 B。

结果
研究人员在非常难的数学题上测试了该方法（使用名为 Qwen3 的模型）。

标准方法： 模型在难题上的正确率约为 30%，但其解释写得非常冗长。
Agon 方法： 这两个相互竞争的模型在难题上的正确率达到了约 61%。
加分项： 它们的解释实际上变得更短了。因为模型在竞争中需要追求高效并发现错误，它们停止了编写不必要的废话。

“两阶段”技巧
当该系统被用于实际为用户解决问题时，它的运作方式就像一场接力赛：

模型 A 写出一个草拟方案。
模型 B 阅读该草案，检查错误，并写出最终答案。
这是自动完成的。论文表明，通过这种方式训练两个互相竞争的模型，比让两个模型友好合作或让一个模型尝试修复自身的错误要有效得多。

简而言之
Agon 阻止了 AI 模型为了碰运气而进行的“闲聊”。相反，它通过让它们面对一个不断寻找其错误的对手，迫使它们变得敏锐、简洁且准确。它将训练过程从个人的练习赛转变为一场高风险的辩论，在这里，获胜的唯一途径就是清晰地思考。

技术摘要：Agon —— 基于隐式对手评分的跨模型竞争性强化学习

1. 问题陈述

当前的基于可验证奖励的强化学习（RLVR），特别是像组相对策略优化（GRPO）这类方法，完全依赖于基于结果的奖励（即最终答案的正确性）。虽然这种方法在具有明确标准答案的任务中非常有效，但它无法对推理过程（即“轨迹”）本身进行评分。在处理困难问题时，这会产生一种强烈的动机，促使模型增加推理的数量（长度）而非质量。模型学会了通过增加模棱两可的表述、回溯和冗余尝试来“写得更多”，从而提高撞到正确答案的概率，导致了“长度病态”（length pathology）——即 Token 数量显著增长，而准确率提升却微乎其微。

直接对推理过程进行评分是难以实现的，因为不存在“优质思考”的真值（没有针对特定洞察性步骤的标签），且学习到的过程奖励模型（PRM）既昂贵又脆弱且难以验证。本文认为，第二个模型可以提供缺失的信号：如果一个竞争策略尝试解决同一个问题，并因超越第一个模型进行推理而获得奖励，那么推理轨迹就会被隐式地评分，而无需显式的过程标签。

2. 方法论：Agon

Agon（希腊语意为“竞技”）是一个训练框架，它在竞争性的对决设置中联合优化两个不同的策略 $A$ 和 $B$ 。

核心机制

训练过程通过轮换角色（起草与挑战）进行操作：

起草（Drafting）： 一个模型（起草者）从原始问题提示词生成 $N$ 个展开路径（rollouts）。它接收基于其最终答案正确性的标准 GRPO 更新。
挑战（Challenging）： 另一个模型（挑战者）阅读起草者解决方案的摘要（即推理后的总结，不包含原始推理轨迹和最终答案）。随后，挑战者生成一个新的展开路径来尝试解决该问题，旨在纠正或改进起草者的工作。
奖励（Reward）： 挑战者获得的竞争性奖励取决于其自身的正确性以及起草者的结果。
- 正确性： 标准的二元正确性奖励。
- 转化奖金（Conversion Bonus）： 如果挑战者正确解决了问题且起草者失败了，则授予额外的奖励（ $c(b_i) \cdot (1 - c(a_i))$ ）。这激励挑战者去识别并修复起草者的错误。
- 可选长度平局决胜（Optional Length Tiebreak）： 如果挑战者正确且使用的 Token 比正确的起草者更少，可以给予奖金，从而在不惩罚正确性的前提下鼓励简洁性。

架构与效率

双适配器实例化（Dual-Adapter Instantiation）： 为了保持效率，两个策略都实例化为单个冻结基座模型的低秩自适应（LoRA）适配器。这保持了极低的内存开销（约为基座模型的 2%），并确保两个策略在兼容的表示空间内运行。
分歧（Divergence）： 两个适配器的初始化方式不同（一个采用标准的零初始化，另一个采用小的高斯噪声），并且由于角色轮换而接收不同的梯度流。这种结构性的分歧确保了它们发展出不同的“盲点”，防止系统塌陷为自我博弈（self-play）或简单的知识蒸馏。
推理（Inference）： 在部署时，这对模型以两阶段级联的方式运行：一个模型起草解决方案，第二个模型通过阅读摘要来产生最终答案。

理论依据

论文指出，单模型自我改进（自我博弈）往往会遇到平台期，因为模型会使用导致错误的相同偏差来重新审计自己的工作。通过引入具有不同失效模式的第二个模型，Agon 打破了这个闭环。由于“评分者”是一个独立的智能体，且两个模型都在不断优化，随着对手难度的增加，两个策略都会超越单模型 RL 的天花板。

3. 核心贡献

重构推理质量： 论文将推理质量重新定义为由竞争对手提供的隐式奖励，将无标签的“优质思考”问题转化为一场对决游戏。
Agon 配方： 一种使用竞争性 GRPO 进行“起草与挑战”展开、每步角色轮换以及竞争性奖励结构的创新训练配方。它可以在标准的 GRPO 训练器上运行，无需对核心优化进行更改。
高效实现： 采用共享基座的双适配器实例化，使得训练两个竞争策略的成本几乎与训练单个模型相当。
实验验证： 通过 2x2 实验设计（交叉竞争与合作、信息交换与无信息交换）隔离了对抗压力和跨模型信息交换的价值。

4. 实验结果

实验在 DeepMath-hard 分片（使用 Qwen3 模型）和 CodeContests 的竞争性编程子集上进行。

性能提升： 在使用 Qwen3-0.6B 的 DeepMath-hard 分片上：
- 原生 GRPO： 30% pass@1。
- 协作交换（无竞争）： 46% pass@1。
- Agon（竞争 + 交换）： 61% pass@1。
- 这代表了 GRPO 性能的两倍，以及相比未经训练的混合专家模型（MoA）基线约 8 倍的提升。
扩展性： 这种增益在不同模型家族（Qwen3.5, Gemma 4）和规模下均持续存在。值得注意的是，Agon 级联在 0.6B 基座上的表现（61%）超过了原生 GRPO 训练的 4B 基座（59%）。
轨迹长度： Agon 显著缩短了推理长度。最终阶段的轨迹平均为 3.5k tokens，而原生 GRPO 为 8.1k tokens，同时实现了更高的准确率。这种缩短是竞争产生的涌现属性，而非显式的惩罚。
消融实验：
- 竞争： 移除竞争性奖金（仅限协作）会导致性能降至 46%。
- 交换： 移除可见的信息交换（对手在上下文中隐藏）会导致性能降至 32%（接近原生 GRPO），证实了竞争性梯度需要可见的上下文差异才能发挥作用。
- 角色轮换： 固定角色（不轮换）会使性能降至 52%，凸显了两个模型都学习起草和挑战任务的重要性。

5. 重要性与主张

论文声称 Agon 证明了跨模型的信息交换和对抗压力可以显著提高推理能力，而无需过程标签或单独的奖励模型。

隐式评分： 它证明了竞争对手可以有效地对推理轨迹进行隐式评分，解决了“无标签思考”的问题。
超越自我博弈： 它确立了一对具有分歧的策略可以共同提升，从而突破单模型自我精炼的平台期。
效率： 它表明可以通过两阶段级联实现高性能推理，该级联计算效率很高（使用适配器），并能产生更短、更密集的推理轨迹。
局限性说明： 作者指出，目前的实现依赖于文本交换，这限制了带宽。他们建议未来的工作可以转向潜空间交换（例如 KV-cache 注入）以消除序列化瓶颈。他们也承认，该方法需要一个清晰的验证器，且模型之间的分歧是通过启发式方法而非保证机制来维持的。

总之，Agon 将范式从“评估答案”转向了“通过竞争评估推理”，使模型能够学会如何更好地思考，而不只是写得更多。