💬 NLP

Beyond pass@k: Redundancy-Aware RLVR for Multi-Sample Code Generation

本文指出，标准的以正确性为导向的验证器强化学习（RLVR）会导致冗余代码生成，并提出了一种基于 JPlag 去重奖励的冗余感知 RLVR 方法，该方法通过维持多样化的候选解，显著提升了有限预算下的代码生成性能。

原作者： Le Bronnec Florian, Alexandre Verine, Rio Yokota, Benjamin Negrevergne

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Le Bronnec Florian, Alexandre Verine, Rio Yokota, Benjamin Negrevergne

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在雇佣一支程序员团队来解决一个单一且棘手的编程谜题。你的预算有限：你只能要求10 个解决方案（这就是你的“采样预算”）。你的目标很简单：你只需要这 10 个解决方案中的一个能完美运行即可。

在人工智能领域，这被称为Pass@k（k 次尝试中的通过率）。如果你让 AI 编写代码 10 次，且这 10 次尝试中至少有一次成功，你就赢了。

问题所在：“模仿者”团队

这篇论文揭示了当前 AI 模型在赢得这场游戏时的训练方式中存在一个隐藏缺陷。

当研究人员训练 AI 以提高其编程能力时，通常只奖励它得出正确答案。AI 很快学会了一个捷径：“如果我写出完全相同的正确代码 10 次，我每次都能获得奖励。”

于是，AI 变成了一个模仿者。它不再尝试用 10 种不同的方法解决问题（比如使用锤子、螺丝刀或扳手），而是选择一种成功的方法，然后将其复制 10 次。

结果： 如果那一种方法存在微小的错误，所有 10 份副本都会失败。你将预算浪费在了重复品上。
论文的工具： 为了识别这种情况，作者使用了一种名为JPlag的工具。可以将 JPlag 想象成代码的“抄袭检测器”。它不在乎你是否改变了文本颜色或重命名了变量；它关注的是代码的结构。如果两个程序的构建方式相同，JPlag 就会判定：“这些是近乎重复的副本。”

解决方案：“反冗余”教练

作者提出了一个简单的问题：如果我们训练 AI 不仅要正确，还要与其之前的尝试*不同，会怎样？*

他们引入了一种新的训练方法，称为Redundancy-Aware RLVR（感知冗余的强化学习验证）。

类比： 想象一位教练告诉一支由 10 名跑步者组成的团队：“你们都需要完成比赛。但规则是：如果你们两人跑完全相同的路线，你们两人都将受到处罚。你们必须找到通往终点的独特路线。”
工作原理： AI 仍然会因为写出正确的代码而获得奖励。但现在，如果它生成的代码片段与它刚刚写出的另一段代码过于相似，它也会受到“处罚”（或获得负奖励）。

结果：更好的团队协作

当他们用这种新的“反冗余教练”与旧的“模仿者教练”进行对比测试时，结果显而易见：

减少浪费： 新的 AI 不再重复发送相同的解决方案。它生成了种类繁多的正确代码。
更高的成功率： 因为团队正在尝试不同的方法，所以在 10 次尝试的有限预算内找到可行解决方案的可能性大大增加。
超越专家： 这种“不要复制自己”的简单技巧，效果与研究人员此前专门为解决此特定问题而设计的复杂、专用方法一样好，甚至更好。

核心启示

这篇论文认为，当我们要求 AI 多次尝试解决问题时，我们不应只关心它多久能给出正确答案。我们还需要关心它尝试了多少种不同的方式来达到目标。

通过教导 AI 避免成为模仿者，我们使其有限的尝试变得更有价值。这就像让朋友猜 10 次密码，如果他们都猜"123456"，与让他们猜 10 个完全不同的数字相比，后一种方法成功的可能性要大得多。

技术摘要：超越 Pass@k：面向多样本代码生成的冗余感知 RLVR

问题陈述

用于代码生成的大语言模型（LLM）通常在重复采样设置中通过Pass@k指标进行评估，该指标衡量 $k$ 个采样程序中至少有一个通过单元测试的概率。尽管最近的基于验证器的强化学习（RLVR）方法通过针对测试反馈进行优化，成功提高了可执行正确性，但这些模型在实现层面冗余方面的行为仍鲜为人知。

所解决的核心问题是，标准的 RL 目标（优化孤立正确性）和 Pass@k 感知目标（优化群体成功率）可能会引发截然不同的生成行为。具体而言，在有限采样预算下获得的性能提升，究竟是源于发现了多样化的、不同的实现模式，还是源于将生成集中在少数近乎重复的解决方案上，目前尚不明确。像 Pass@k 这样的现有指标无法区分这两种情况，可能会掩盖多样性的缺失，从而限制在更大采样预算（ $k$ ）下的性能。

方法论

1. 冗余诊断：JPlag

为了量化实现冗余，作者采用了JPlag，这是一种专为代码设计的抄袭检测系统。与对表面编辑（如变量重命名、格式化）敏感的词汇重叠指标（例如 n-gram）不同，JPlag 利用语言感知的分词和匹配来检测结构相似性。

指标：论文定义了**JPlag 多样性（JDiv）**为 $1 - \text{平均成对相似度}$ 。较高的 JDiv 表示较低的冗余。
用途：JPlag 作为一种诊断工具，用于分析不同的 RL 目标如何利用采样预算，并作为新训练信号的基础。

2. 基线 RLVR 目标

本研究比较了三种现有方法：

Base-RLVR（仅正确性）：为组内每个正确的样本分配累加奖励。信用独立分配给成功的生成。
Pass@k-RLVR：使用组级奖励，其成功取决于组内至少有一个样本是否正确。信用通过留一法优势（leave-one-out advantage）分配，奖励那些改变组成功状态的样本。
PKPO（Pass@k 策略优化）：通过将留一法优势在所有 $k$ 个子集上取平均，将 Pass@k 原则扩展到大于 $k$ 的组。

3. 提出方法：JPlag-RLVR

作者提出了一种冗余感知 RLVR目标，该目标在标准可执行奖励的基础上增加了直接的抗冗余信号。

奖励函数： $R(x, Y^{(n)}) = R_{\text{corr}}(x, Y^{(n)}) + \lambda_{\text{div}} R_{\text{div}}(x, Y^{(n)})$ $R (x, Y^{(n)}) = R_{corr} (x, Y^{(n)}) + λ_{div} R_{div} (x, Y^{(n)})$ 。
- $R_{\text{corr}}$ 是标准的正确性奖励。
- $R_{\text{div}}$ 是一个源自 JPlag 相似度的标量抗冗余奖励（具体为平均成对相似度的倒数）。
信用分配：为了确保训练信号取决于样本对群体多样性的边际贡献，作者对多样性分量使用了留一法优势构建。如果样本的加入减少了群体的冗余，则获得正优势；如果样本重复了现有生成，则获得负优势。
实现：该方法应用于三个模型（Qwen3-4B、Qwen3-8B、Olmo3-7B）和三个基准测试（MBPP、Code-Contest、TACO-Cobalt）。

关键结果

1. 现有目标分析

仅正确性 RLVR：虽然提高了 Pass@1，但这种方法系统地增加了冗余。训练动态显示，随着 Pass@1 的提升，JPlag 多样性下降，表明模型集中在少数近乎重复的实现上。
Pass@k 感知目标：与仅正确性的基线相比，这些方法（Pass@k-RLVR、PKPO）隐式地保持了较低的冗余和较高的 JPlag 多样性。它们倾向于通过覆盖更广泛的实现模式，在更大的预算（Pass@10、Pass@100）下更显著地提升性能。

2. JPlag-RLVR 的性能

有限预算增益：通过 JPlag-RLVR 直接抑制近乎重复的生成，可靠地提高了有限预算下的可执行性能。跨模型和基准测试，它通常达到或优于专门的 Pass@k 感知目标。
- 示例：在 MBPP 上使用 Qwen3-8B，JPlag-RLVR 将 Pass@1 从 79.1 提升至 90.0，将 Pass@10 从 88.0 提升至 98.5，同时将 JPlag 多样性从 0.305 提升至 0.927。
权衡优化：该方法实现了更优的权衡，使模型在性能 - 冗余空间中“向右上方”移动（更高的 Pass@k，更高的 JDiv），优于基线。
鲁棒性：改进在不同随机种子下持续存在，并非由少数异常任务驱动。增益分布在各个提示词中。

3. 消融研究

不仅仅是熵：提高采样温度虽然改善了 Pass@100，但降低了 Pass@1，且带来的增益小于显式的抗冗余训练。
不仅仅是冗长：增益并非由更长的完成文本或表面的文本变化引起；跨方法的代码长度保持相当。
正确性至关重要：仅使用多样性奖励（不含正确性）进行训练虽然增加了 JDiv，但导致可执行性能崩溃。抗冗余信号必须与验证器奖励配对。
信号特异性：虽然简单的词汇（1-gram）多样性奖励提供了一些改进，但基于 JPlag 的奖励产生了最强的结果，这表明感知代码结构的相似度比表面变化是减少重复实现更有效的信号。

意义与主张

该论文声称将实现冗余确定为重复采样代码生成的关键诊断指标和实际优化目标。

诊断价值：研究表明，优化相似可执行结果的模型可能表现出截然不同的冗余结构。仅正确性的 RLVR 倾向于集中生成，而 Pass@k 感知目标则自然地鼓励多样性。
优化目标：作者表明，通过 JPlag 相似度显式惩罚近乎重复的生成是一种简单而有效的干预措施。它提高了有限预算下的性能，无需复杂的信用分配方案，也不依赖表面的输出变化。
实际意义：有限预算的代码生成不应仅通过边际正确性来理解。模型如何在不同的实现模式间分配其采样预算，是最大化 Pass@k 性能的关键因素。

作者在局限性方面保持谦逊，指出 JPlag 是一种近似的结构相似度度量，而非语义等价预言机，且他们的实验仅限于特定的开放权重模型和短视距的竞争性编程基准测试。他们并未声称该方法解决了代码生成中的所有多样性问题，但强调了其在基于验证器的 RL 特定背景下的有效性。