🤖 machine learning

Primal Generation, Dual Judgment: Self-Training from Test-Time Scaling

本文介绍了 DuST，这是一种自训练框架，它利用测试时采样构建一个“双重判断空间”，使模型能够通过在线策略强化学习对候选程序进行排序，从而在不依赖正确生成直接奖励的情况下，同时提升其判断代码正确性的能力和生成高质量解决方案的能力。

原作者： Yizhu Jiao, Ruixiang Zhang, Richard Bai, Jiawei Han, Ronan Collobert, Yizhe Zhang

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Yizhu Jiao, Ruixiang Zhang, Richard Bai, Jiawei Han, Ronan Collobert, Yizhe Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人编写计算机代码。传统上，你是这样教它的：“这是一个问题。写出一个解决方案。运行它。如果它有效，很好！如果它崩溃了，再试一次。”这就像给机器人的每一次尝试打一个单一的“通过”或“失败”的分数。机器人会学习，但它只知道它失败了，却不知道与其他它可能编写的方案相比，为什么它失败了。

本文介绍了一种名为DuST（双重自训练）的新教学方法。它利用“原始生成”与“双重判断”这一概念，改变了游戏规则。

以下是使用简单类比进行的分解：

1. 旧方法：“通过/失败”测验

原始生成：
把机器人想象成一个正在参加考试的学生。

过程： 学生写下一个答案。老师检查它。
反馈： 老师给出一个红色的"X"或一个绿色的对勾。
问题： 如果学生得到了一个"X"，他们知道自己错了，但他们不知道自己的答案离正确有多近，也不知道为什么他们特定的答案不如他们可能想到的另一个答案。他们只知道“不要这样做”。

2. 新想法：“品尝测试”小组

测试时扩展（设置）：
在本文的方法出现之前，研究人员试图通过让机器人一次性写出许多答案（比如 4 个或 5 个）并挑选最好的一个来帮助它。这就像一次“品尝测试”。

缺陷： 在旧方法中，一旦机器人选出了最佳答案，其他 4 个答案就被扔进了垃圾桶。机器人从“答案 #2 几乎正确”而“答案 #4 完全错误”这一事实中学不到任何东西。这种宝贵的比较数据被浪费了。

3. DuST 解决方案：从“陪跑者”中学习

双重判断空间：
作者认为，机器人应该从自己答案之间的比较中学习，而不仅仅是从最终的获胜者那里学习。

类比： 想象一场烹饪比赛。
- 旧方法： 评委品尝一道菜并说：“烧焦了。失败。”厨师无法了解到是什么让一道菜变得美味。
- DuST 方法： 厨师制作了同一道菜的 4 个不同版本。评委品尝所有 4 道菜。
  - 菜 A：完美。
  - 菜 B：有点太咸。
  - 菜 C：没煮熟。
  - 菜 D：烧焦了。
- 教训： 老师不只是告诉厨师“菜 A 很好”，而是说：“菜 A 获胜是因为它很均衡。菜 B 失败是因为盐放多了。菜 C 失败是因为火候不够。”厨师学到了成功与失败之间的差异。

4. DuST 如何运作（食谱）

该论文描述了一个机器人经历的特定循环：

生成： 机器人编写一批代码解决方案（“品尝测试”批次）。
判断： 机器人在安全沙箱中运行所有代码，看看哪些实际上有效（通过/失败）。
分组： 机器人查看该批次。如果所有都失败或所有都通过，它就丢弃该批次。它只保留部分有效且部分失败的批次。这就是“混合组”。
排名（训练）： 机器人被要求将这些混合组从“最佳”到“最差”进行排名。
- 关键点： 机器人从未因编写代码本身而获得奖励。它只因正确识别哪种代码更好而获得奖励。
- 当它说“这段有效的代码比这段损坏的代码好”时，它就能得分。
神奇转移： 尽管机器人只被训练成为一名评判者，但它出人意料地变得更擅长成为一名编写者。通过学习辨别有效解决方案和损坏解决方案之间的细微差别，机器人开始“理解”是什么让代码有效。它将这些规则内化，并开始自己编写更好的代码。

5. 结果：为什么这很重要

该论文在几种不同的 AI 模型（从小型到超大型）上测试了这种方法，使用的是名为LiveCodeBench的标准代码测试。

更好的评判者： 模型在识别正确代码方面变得更好（提高了它们的“排名”分数）。
更好的编写者： 出人意料的是，即使从未直接被告知“编写一个正确的程序”，模型在从头编写代码方面也变得更擅长。
“单发”奇迹： 在此训练之前，一个模型可能需要写 4 个答案并挑选最好的一个才能获得高分。经过 DuST 训练后，该模型只需编写一个答案即可获得相同的高分。它学会了立即生成“最佳”答案，而不需要猜测和检查。

6. 秘密武器：强化学习 vs. 单纯复制

作者进行了一项最终实验，以了解为什么这有效。

SFT（监督微调）： 他们尝试只是教机器人复制正确的排名（就像学生背诵答案键）。这让机器人成为了更好的评判者，但并没有让它成为更好的编写者。
RL（强化学习）： 他们使用了一种名为 GRPO 的方法，机器人通过尝试、失败并根据奖励调整自身行为来学习。这是关键。排名的“主动学习”允许机器人改变其思维方式，从而提高了其编写能力。

总结

DuST 是一种让 AI 通过成为自身作品的批判大师来学习编程的方法。通过训练 AI 区分其自身的“好”尝试和“坏”尝试，它学习了正确性的隐藏规则。这些知识随后会回流到其编写能力中，使其成为更好的程序员，而无需直接被告知如何编写完美的程序。它将失败尝试的“浪费”数据变成了强大的老师。

技术摘要：原始生成与对偶判断：基于测试时扩展的自训练

问题陈述

代码生成模型通常在原始空间（primal space）中进行训练，即模型生成候选解决方案并接收稀疏的二元执行反馈（通过/失败）。虽然测试时扩展（test-time scaling，即采样多个候选方案并通过判断器选择最佳方案）能够提高推理准确率，但在此过程中揭示的比较信息——特别是成功尝试与失败尝试之间的结构差异——在推理结束后即被丢弃。现有的“先生成后判断”系统仅利用这种比较结构进行推理时的排序，未能更新生成器本身。因此，模型在未来的生成过程中可能继续对看似合理但错误的代码赋予高概率。

本文认为，测试时扩展的比较结构定义了一个对偶判断空间（dual judgment space）。该空间提供了比原始空间更密集的训练信号：它不再提供孤立的通过/失败位，而是提供跨合理尝试的相对正确性结构，揭示了成功与失败之间的区别。

方法论：DuST（对偶自训练）

作者提出了DuST，一个基于该对偶判断空间进行自训练的框架。其核心假设是：在对偶空间中训练模型以区分正确与错误的代码，使其获得对正确性敏感的特征，从而有益于原始生成，即使没有针对生成正确代码的直接奖励。

1. 数据构建

采样：对于编程问题 $x$ ，基础模型采样生成大量候选代码池（ $M$ 个候选）。
执行与标注：候选代码在沙箱中执行，以获得二元正确性标签（通过为 1，失败为 0）。
分组：将候选代码划分为大小为 $K$ 的组。仅保留混合质量组（包含至少一个正确候选和一个错误候选）。全为正确或全为错误的候选组因缺乏排序对比而被丢弃。
数据集：最终数据集由问题与自生成的候选集及基于执行的标签配对组成。

2. 训练目标

模型被训练以根据执行正确性对组内候选进行排序。

奖励函数：奖励完全是判别性的。它衡量执行正确的候选被排在执行错误的候选之上的频率。
- $R_{exec}$ 计算正确候选 $i$ 优于错误候选 $j$ 的配对 $(i, j)$ 的比例，其中 $i$ 的预测排名优于 $j$ 。
- 格式错误的响应会受到负向格式惩罚。
优化：该框架使用组相对策略优化（Group Relative Policy Optimization, GRPO）。
- 候选代码样本保持固定（相对于生成而言是 off-policy）。
- 模型采样判断响应（推理轨迹和排序），这是 on-policy 的。
- 策略被更新以最大化排序奖励，并针对冻结的参考策略进行正则化。

3. 关键区别

与标准的代码生成强化学习（RL）不同，DuST从不直接奖励生成正确的程序。监督完全来自于判断模型自身尝试之间的正确性对比。更新的参数与后续代码生成所使用的参数相同。

主要贡献

对偶判断空间框架：本文提出将测试时扩展不仅视为一种推理策略，更视为对偶空间中密集、对比性训练信号的来源。
判别式自训练：DuST 证明，训练模型根据执行正确性对候选进行排序（一项判别式任务），可以在没有直接生成奖励的情况下提升其生成能力（一项生成式任务）。
机制隔离：通过比较监督微调（SFT）和 GRPO 的消融研究，本文确定了on-policy RL是将对偶空间学习转移回原始生成的关键机制。SFT 改善了判断能力但未能提升生成能力，而 GRPO 则同时提升了两者。
奖励密度：本文强调，排序的密集对比信号（暴露 $O(N^2)$ 个成对比较）比稀疏的原始奖励或基于选择的奖励在转移方面更为有效。

实验结果

该方法在LiveCodeBench（v5 和 v6）上进行了评估，涵盖了两个系列（Qwen, GPT-oss）和三个规模（4B 至 30B）的五个模型。

测试时扩展准确率：DuST 持续提升了 Best-of-4 准确率。对于 LiveCodeBench v6 上的 Qwen3-30B-Thinking，准确率提升了 +4.1%（从 68.7% 提升至 72.6%）。
判断质量：训练后模型对候选进行排序的能力显著提升，Qwen3-30B-Thinking 的 NDCG 增加了 +6.2。
原始生成（Pass@1）：值得注意的是，在没有直接奖励的情况下，单次采样的生成质量得到了提升。对于 Qwen3-30B-Thinking，pass@1 增加了 +3.1%（从 65.4% 提升至 68.5%）。
泛化性：在所有模型规模（4B–30B）和系列中均观察到改进，表明该方法与架构无关。
与 SFT 的比较：当在相同的排序数据上进行训练时，SFT 改善了判断（NDCG）但使生成（pass@1）保持不变。只有 GRPO 同时改善了两者，证实了 on-policy 反馈循环对于转移至关重要。
奖励敏感性：排序奖励（成对准确率/NDCG）在转移到生成方面优于选择奖励（仅 top-1），这可能是因为排序暴露了正确与错误代码之间完整的对比结构。

意义与主张

本文主张，代码生成的原始（生成）空间与对偶（判断）空间比标准训练假设的结合更为紧密。

理解的转移：作者认为，通过学习区分为何一个解决方案相对于其他合理尝试会失败或成功，模型内化了可执行正确性的特征（例如算法不变性、边界情况）。这些特征随后将生成器的概率质量向正确的轨迹转移。
效率：训练后模型的单次生成结果达到了基础模型 Best-of-4 的性能，有效地将测试时扩展的收益“固化”到了模型权重中。
当前范式的局限性：这项工作表明，在推理后丢弃比较信息是一个被错失的机会。测试时揭示的对比结构是一种丰富且 largely 未被开发的训练信号。

本文结论指出，在对偶判断空间中进行 on-policy 强化学习是一种可行且有效的改进代码生成的机制，提供了一条不依赖外部人类偏好或直接生成奖励的自我提升新途径。