💬 NLP

Scaling Agentic Verifier for Competitive Coding

该论文介绍了 Agentic Verifier，这是一种基于执行的智能体，它通过多轮推理和强化学习主动生成具有判别性的测试输入，通过有效地识别并过滤掉错误的候选解，从而显著提高大语言模型在竞争性编程中的准确性。

原作者： Zeyao Ma, Jing Zhang, Xiaokang Zhang, Jiaxi Yang, Zongmeng Zhang, Jiajun Zhang, Yuheng Jing, Lei Zhang, Hao Zheng, Wenting Zhao, Junyang Lin, Binyuan Hui

发布于 2026-02-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zeyao Ma, Jing Zhang, Xiaokang Zhang, Jiaxi Yang, Zongmeng Zhang, Jiajun Zhang, Yuheng Jing, Lei Zhang, Hao Zheng, Wenting Zhao, Junyang Lin, Binyuan Hui

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：“一发入魂”的猜谜游戏

想象你是一位天才厨师（大语言模型），正试图根据一份食谱描述来复刻一道复杂的菜肴。有时，你第一次尝试就能完美复刻；但通常情况下，你可能会忽略一个细微的细节，比如把盐当成了糖，或者漏掉了一个步骤。

在程序设计竞赛（用代码解决高难度逻辑谜题）的世界里，即使是最聪明的 AI 厨师，也很难在单次尝试中做到 100% 正确。

为了解决这个问题，研究人员通常会让 AI 尝试“烹饪”这道菜 64 次（生成 64 个不同的解决方案），然后从中选出最好的一个。但如果你手头没有“官方标准答案”，你又该如何判断哪一个才是真正好的呢？

旧方法：盲目投掷飞镖

检查这 64 个解决方案的传统方法被称为基于执行的验证（Execution-Based Verification）。你会拿着这 64 个代码食谱，针对一些测试食材（输入数据）进行运行。

缺陷： 旧方法就像是在一面巨大的食材墙上盲目投掷飞镖，试图看看哪些食材能暴露错误。它只是随机挑选食材（例如：“如果数字是 5 呢？”“如果数字是 100 呢？”）。
结果： 大多数随机挑选的食材都太简单了。它们无法捕捉到那些细微的错误。你可能运行了 64 次测试，而那 64 个错误的解决方案看起来依然完美无缺，因为没有任何一个测试足够刁钻，能够揭示它们的错误。这就像是用羽毛去敲击钻石，试图寻找裂纹一样；你需要的是一把铁锤。

新方案：“侦探厨师”（智能体验证器）

论文的作者构建了一个名为智能体验证器（Agentic Verifier）的新工具。不要把它看作是一个随机投掷飞镖的人，而要把它看作是一个超级聪明的侦探或一位严苛的美食评论家。

这个侦探不再是瞎猜随机食材，而是会：

将两个不同的解决方案并排对比观察。
深入思考它们的工作原理。
主动搜寻那个能让这两个解决方案表现出差异的特定食材。

如果方案 A 说“答案是 10”，而方案 B 说“答案是 12”，侦探不会只随便选一个数字。它会追问：“什么样的特定输入能迫使方案 A 崩溃或给出错误答案，同时让方案 B 保持正确？”它会不断地提问和测试，直到找到那个“冒烟的枪口”（关键证据）般的输入。

他们是如何训练这位侦探的

你不能只告诉计算机“要变聪明”，你必须进行训练。作者使用了三个步骤的“训练营”：

数据合成（练习厨房）： 他们创建了数千个虚假的烹is烹饪问题，以及成对的“好”与“坏”的解决方案。
拒绝微调（淘汰赛）： 他们让 AI 尝试寻找那些刁钻的食材。如果 AI 没能找到差异，那么这次尝试就会被扔进垃圾桶。只有成功的尝试才会被保留下来，用来教导 AI 什么是“优秀的侦探工作”。
智能体强化学习（冠军赛）： 他们为 AI 建立了一套奖励机制。如果它找到了一个能暴露两个方案之间差异的输入，它就会得到 1 分；如果失败了，则会受到惩罚。随着时间的推移，AI 学会了如何极其高效地寻找这些“关键证据”输入。

结果：更聪明的测试，更强的胜者

当他们用这个新的“侦探厨师”与旧的“随机投掷飞镖者”进行对比测试时：

效率： 侦探发现错误的速度更快。它不需要运行数百次测试，而是直接找到了正确的测试方法。
准确率： 在处理高难度谜题（如 USACO 或 ICPC 竞赛题目）时，这种新方法将 AI 的成功率提升了 10–15%。在这一领域，这是一个巨大的飞跃。
扩展性： 给予侦探越多的“思考时间”和测试输入，它的表现就越好。它不像旧方法那样会遇到瓶颈。

额外发现：“不完美的裁判”

论文还发现了一个关于竞赛本身的有趣现象。这些竞赛使用的官方测试用例实际上是不完美的。

有时，某个解决方案在技术上是“错误”的（它在竞赛未测试到的输入下会失败），但它通过了官方测试并获得了金牌。智能体验证器充当了一个**“真相讲述者”**的角色，它可以通过生成新的、更刁钻的测试来找出这些“伪冠军”。这表明，即使是这些竞赛中的“标准答案”也不一定是完美的，而这个新工具可以帮助找到真正正确的代码。

总结

简而言之，这篇论文的核心观点是：“停止通过随机猜测测试用例来检查 AI 代码。相反，应该训练一个 AI 侦探，让它主动搜寻那些能揭示真相的特定、刁钻的测试。这使得寻找最佳代码的过程变得更快、更准确。”

技术摘要：面向竞争性编程的智能体验证器（Agentic Verifier）扩展研究

问题陈述

尽管大语言模型（LLMs）在程序合成方面展现了强大的能力，但它们在单次尝试中正确解决竞争性编程问题的难度仍然很大。提高准确率的一种常见策略是测试时扩展（test-time scaling），即采样多个候选解并由验证器选择最优解。

现有的验证方法在竞争性编程背景下面临显著局限：

全量测试用例生成： 生成完整的测试用例（输入 + 标准输出）通常与解决原问题本身一样困难，这使得计算成本高昂且不可靠。
仅基于输入的执行： 最近的方法仅生成有效的测试输入，并根据输出一致性（投票）来选择解。然而，这些方法通常依赖于随机输入采样。
随机采样的低效性： 竞争性编程中的有效输入空间极其庞大，但只有极小一部分是“具有判别性的”（即能够暴露不同解之间行为差异的输入）。本文的初步实验表明，增加随机输入的数量会产生收益递减，且无法弥补与标准测试用例之间的性能差距。

方法论：智能体验证器（Agentic Verifier）

作者提出了一种基于 LLM 的智能体——智能体验证器，旨在通过主动推理程序行为，搜索高度判别性的测试输入，以暴露候选解之间的差异。

核心机制

智能体并非进行盲目的随机采样，而是与代码执行环境进行多轮交互：

任务构建： 给定一个问题 $Q$ 和一对候选解 $(C_a, C_b)$ ，智能体的目标是生成一个输入生成程序 $G$ ，该程序能产生一个有效的输入 $x$ ，使得 $Exec(C_a, x) \neq Exec(C_b, x)$ 。
交互循环： 智能体迭代地提出输入、执行候选解、检查反馈（运行时错误、输出），并优化其假设，以发现反例。
选择策略： 在推理阶段，经过训练的验证器会为候选解对生成针对性的测试输入。这些输入被用于基于执行的投票策略，以选择最终解。

训练流水线

验证器通过一个可扩展的三阶段流水线进行训练：

大规模数据合成： 作者构建了一个包含标记解的竞争性编程问题数据集。对于缺乏标准测试用例的问题，他们通过跨多个参考解的基于共识的多数投票机制来合成高质量的测试套件，以确保可靠性。
拒绝微调（Rejection Fine-Tuning）： 利用强教师模型（Qwen3-235B），收集成功的多轮交互轨迹，其中智能体成功生成了具有区分性的输入。基础模型在这些高质量轨迹上进行微调，通过掩码初始提示词和反馈，学习有效的交互模式。
智能体强化学习（Agentic Reinforcement Learning）： 使用 GRPO（组相对策略优化）进一步优化验证器。奖励函数是稀疏且基于结果的：
- $+1$ ：能够区分两个解的有效输入。
- $0$：有效的输入但未能区分（解表现一致）。
- $-1$：无效输入或空的生成器。
  训练课程优先处理“硬负例”对（即区分性输入稀缺的解对），从而鼓励智能体学习针对性的生成行为。

核心贡献

实证分析： 本文通过实验证明，对于仅基于输入的执行验证，随机输入生成是非常低效的，揭示了其与判别性测试输入之间存在的巨大性能差距。
智能体验证器： 引入了一种能够通过多轮交互主动生成高度判别性测试输入的智能体，超越了静态或随机采样。
可扩展训练流水线： 一种结合了数据合成、拒绝微调和智能体强化学习的新颖流水线，用于训练验证器。
测试时扩展： 证明了所提方法能从增加测试时计算量中持续获益，在候选解数量和生成的输入数量上均表现出有效的扩展性。

实验结果

该方法在五个竞争性编程基准测试（USACO, LiveCodeBench, OJBench, ICPC-Eval 以及一个新的 CodeForces 基准）上进行了评估，使用了两种策略模型（Qwen3-30B 和 Qwen3-235B）。

性能提升： 智能体验证器始终优于强基线模型，包括随机输入生成、模型生成的测试用例（CodeT, CodeRM）以及基于奖励模型的选择。
- 在 Best@k 准确率上，相比于强执行基线实现了 +10–15% 的绝对增益。
- 在 OJBench 的 “Hard” 子集上，经过训练的 30B 验证器比基线提升了 +34.1%，显著优于零样本（zero-shot）的 235B 模型。
扩展行为： 与表现出早期饱和现象的基线不同，智能体验证器展现出清晰的测试时扩展行为，其性能随着测试输入数量的增加而稳步提升。
零样本 vs. 训练模型： 零样本 LLM 提供了一定的改进，但特定任务训练后的验证器表现显著优于它们，即使该训练模型的规模仅为零样本对应模型的 1/7。

意义与主张

本文主张，基于执行的投票效率主要取决于测试输入的判别质量，而非其单纯的数量。

除了改进 Best-of-N 选择外，作者还强调了一个更广泛的影响：基准测试套件是不完美的验证器。 固定测试套件仅覆盖了有效输入空间的一小部分，导致出现“假阳性”现象，即错误的解可以通过所有基准测试。智能体验证器可以通过发现针对性的反例来主动暴露这些失败。因此，作者将该验证器定位为不仅是一个重排序工具，更是一个互补的正确性检查机制，能够扩大输入覆盖范围并减轻大规模代码评估中的基准噪声。