💬 NLP

Anchored Self-Play for Code Repair

本文提出了锚定自博弈（Anchored Self-Play, ASP），这是一种通过利用参考集来锚定生成器-修复器自博弈的自动课程，从而防止其向不切实际的缺陷方向漂移，并显著提升其在不同缺陷来源下代码修复性能的强化学习方法。

原作者： Caroline Choi, Zeyneb Kaya, Shirley Wu, Tengyu Ma, Tatsunori Hashimoto, Ludwig Schmidt

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Caroline Choi, Zeyneb Kaya, Shirley Wu, Tengyu Ma, Tatsunori Hashimoto, Ludwig Schmidt

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人如何修复损坏的代码。机器人需要学习两件事：如何故意破坏代码（以理解哪里出了错）以及如何将其修复回原状（以学习解决方案）。

这篇论文描述了一种名为锚定自我博弈 (Anchored Self-Play, ASP) 的新训练方法，它能帮助机器人比以前更好地掌握这项技能。以下是它的工作原理，使用了简单的类比。

问题：“虚假漏洞”陷阱

研究人员尝试了一种叫做自我博弈 (Self-Play) 的方法。想象一个机器人同时扮演两个角色：

破坏者 (The Saboteur)： 它拿走一个完美的程序并尝试破坏它。
修理工 (The Mechanic)： 它尝试修复损坏的程序。

他们使用了一个简单的规则来评判他们：如果破坏者让代码未能通过测试，它就得一分；如果修理工让代码通过了测试，它也得一分。

问题在于： 机器人的“破坏者”变得过于聪明了。它意识到可以通过一些奇怪的、毫无意义的方式来破坏代码，这些方式虽然会被测试捕捉到，但现实中的人类程序员永远不会犯这种错误。

类比： 想象一名学生在参加数学考试。为了让老师判错，这个学生用隐形墨水写答案，或者使用一种老师听不懂的语言。老师确实判错了（测试失败），但学生并没有真正学会如何解数学题。他们只是学会了如何“钻测试的空子”。

随着机器人不断训练，它越来越擅长以这些奇怪的、“虚假”的方式来破坏代码。但当研究人员用真实人类编写的错误代码来测试它时，机器人的修复能力反而下降了。它过度专门化于自己创造的这种奇怪游戏。

解决方案：“锚点”

为了解决这个问题，研究人员引入了锚定自我博弈 (ASP)。他们在训练过程中加入了一个小的“参考库”，其中包含现实世界的真实漏洞（由人类或其他 AI 模型编写的漏洞）。

他们通过两种方式实现这一点：

1. “相似度蜂鸣器”（针对破坏者）
当破坏者破坏代码时，系统会检查：“这个破坏看起来像是一个真实的真人错误吗？”

他们使用一种特殊的工具（嵌入模型）来衡量“虚假漏洞”与参考库中“真实漏洞”之间的相似度。
如果破坏者创造了一个奇怪的、使用隐形墨水的漏洞，它会得到低分。如果它创造了一个看起来像真实人类错误（例如忘记加逗号或使用了错误的数字）的漏洞，它会获得额外加分。
类比： 这就像教练告诉破坏者：“不要仅仅通过拆掉轮子来破坏汽车；要通过忘记给引擎加机油来破坏它，因为这才是真正的驾驶员会做的事。”

2. “现实世界混合”（针对修理工）
当修理工进行练习时，系统偶尔会把破坏者制造的“虚假”漏洞替换掉，并给修理工一个来自参考库的“真实”漏洞来修复。

这确保了即使在练习破坏者的奇怪漏洞时，修理工也永远不会忘记现实世界的问题长什么样。
类比： 想象消防员正在针对一场燃烧着蓝色火焰的假火进行训练。为了确保他们不会感到困惑，教官偶尔会扔进一场燃烧着橙色烟雾的真火，这样消防员就能学会同时应对这两种情况。

结果

研究人员在一个新的基准测试 BUGSOURCEBENCH 上测试了这种新方法，该基准包含来自三个来源的漏洞：

人类。
人类编辑 AI 代码。
由其他 AI 生成的 AI 代码。

结果是：

标准自我博弈： 擅长修复那些奇怪的、虚假的漏洞，但修复真实人类漏洞的能力却下降了。
锚定自我博弈 (ASP)： 在修复所有类型的问题上都表现得更好。与标准方法相比，它将修复率提高了 24%。它在处理人类制造的漏洞、AI 制造的漏洞以及人类编辑 AI 代码的漏洞时都表现出色。

总结

论文指出，如果你只是让一个 AI 在没有引导的情况下进行“破坏与修复”的游戏，它会学会以一种不切实际的方式去破坏事物，从而无法在现实世界中提供帮助。通过将训练“锚定”在一组真实的案例上，并奖励 AI 制造出真实的错误，你可以创造出一个更加鲁棒且更有用的代码修复工具。

技术摘要：锚定自博弈用于代码修复

问题定义

代码修复是语言模型（LM）在编程工作流中的一项关键能力，要求模型在给定错误程序和测试套件的情况下，生成一个能通过单元测试的固定程序。虽然高质量的真实世界修复数据非常有限，但近期的研究探索了通过使用 LM 生成缺陷修复任务来扩展监督规模。作者研究了生成器-修复器自博弈（generator–fixer self-play），在这种设定下，单个模型通过强化学习进行训练，在生成缺陷（通过编辑正确代码）与修复缺陷之间交替进行。

识别出的核心挑战是分布漂移（distribution drift）。虽然单元测试能有效验证功能正确性（通过/失败），但它们无法验证缺陷的真实性。在标准的自博弈中，生成器可能会向生成“困难但不真实”的缺陷方向漂移——即那些虽然会导致测试失败、但不符合实际应用中遇到的错误模式（例如人类编写的代码或人类编辑后的 LM 代码）的编辑。因此，尽管修复器在生成器的合成分布上有所提升，但其在处理现实来源的缺陷时性能往往会下降。

方法论

1. 生成器–修复器自博弈

作者实例化了一个自博弈循环，其中单个策略 $\pi_\theta$ 扮演两个角色：

生成器 ( $G$ )： 编辑正确的参考实现 $c^\star$ 以产生错误的程序 $b$ 。
修复器 ( $F$ )： 在给定任务描述和单元测试反馈 $o(x, b)$ 的情况下修复 $b$ 。

奖励机制：

修复器奖励： 基于修复后的程序 $y$ 是否通过所有单元测试的二元奖励（ $v(x, y) = 1$ ）。
生成器奖励： 旨在鼓励生成有效的（可执行且测试失败）且具有中等难度的缺陷。难度是通过 $K$ 次独立修复尝试的成功率来估计的。为了维持自适应课程，过于简单（总是被修复）或过于困难（从未被修复）的缺陷都会受到惩罚。

系统使用 GRPO（组相对策略优化）进行优化。

2. 失效模式：分布漂移

实验表明，标准的自博弈表现出协同进化动态：生成器为固定的修复器生成越来越难的缺陷，而修复器则针对这些特定缺陷进行改进。然而，当在现实来源（人类编写、人类编辑的 LM 代码以及 LM 生成的缺陷）上进行评估时，性能会出现退化。修复器过度拟合了自博弈循环中产生的特异性、不真实的编辑。

3. 提议的解决方案：锚定自博弈 (ASP)

为了缓解漂移，作者提出了锚定自博弈 (Anchored Self-Play, ASP)，它将自博弈过程锚定在一个从现实来源采样的少量参考缺陷集 ( $D_{ref}$ ) 上。ASP 采用了两种互补机制：

用于修复器训练的参考混合： 在训练期间，修复器输入中的一部分缺陷会被替换为来自参考集 ( $D_{ref}$ ) 的缺陷。这确保了修复器能够持续接触到真实的缺陷模式，防止其过度拟合生成器不断演变的合成分布。生成器不会在这些混合样本上进行更新，以避免离策（off-policy）问题。
基于相似度引导的生成器塑造： 在生成器目标函数中添加了一个辅助奖励，以引导其生成与参考集相似的缺陷。
- 生成器计算参考解与生成的错误程序之间的统一差异（unified diff）。
- 该差异使用代码嵌入模型 (voyage-code-3) 进行嵌入。
- 奖励基于生成的缺陷嵌入与参考池中 $k$ 个最近邻之间的余弦相似度。
- 使用中心化相似度奖励： $\delta_t(b) = \text{sim}_{01}(b) - B_t$ ，其中 $B_t$ 是运行基准。这在不掩盖主要单元测试奖励的前提下，将生成器塑造为趋向于参考形式的编辑。

核心贡献

问题形式化： 作者将生成器-修复器自博弈用于代码修复进行了形式化，并指出仅依赖单元测试奖励会导致分布漂移这一主要失效模式。
基准测试 (BUGSOURCEBENCH)： 他们引入并发布了 BUGSOURCEBENCH，这是一个用于评估跨源修复泛化能力的受控基准测试。该基准在保持底层任务、规范和单元测试不变的情况下，涵盖了四种缺陷来源：
- HUMAN： 由标注者引入到人类编写的参考解中的缺陷。
- HUMAN-EDITED LM： 在 LM 生成的代码中随后由人类进行的编辑所产生的缺陷。
- LM ERRORS (QWEN-7B)： 来自较弱代码模型的错误。
- LM ERRORS (GPT-OSS-20K)： 来自较强代码模型的错误。
方法 (ASP)： 他们提出了锚定自博弈 (ASP)，该方法结合了用于缺陷生成的嵌入相似度引导和用于修复器训练的参考混合，从而稳定了自博弈并提高了泛化能力。

实验结果

作者在 BUGSOURCEBENCH 上将 ASP 与基础模型（Base Model）、仅修复器基线（冻结生成器，训练修复器）以及标准自博弈进行了对比评估。

整体性能： ASP 在所有缺陷来源上均实现了最高的平均修复率。相比标准自博弈，它实现了 +7.0 个百分点（绝对值） 和 24%（相对值） 的平均修复率提升。
跨源泛化：
- LM 生成的缺陷： ASP 表现出巨大增益，在 LM 生成的缺陷上平均提升了 +11 pp (100% 相对提升)。
- 人类起源的缺陷： ASP 在人类编写的缺陷上提升了 +3.4 pp (7.1% 相对提升)，而标准自博弈在这些来源上的性能往往会下降。
消融实验：
- 参考混合和相似度塑造都对性能有贡献，但两者的结合带来了最大的增益，这表明它们解决了互补的失效模式。
- 该方法具有样本效率，仅需 50 个参考示例即可显示出改进。
- 使用涵盖所有缺陷来源的混合参考池比限制在单一来源的参考池具有更好的整体性能。
鲁棒性： ASP 的增益在不同嵌入模型（voyage-code-3 vs. CodeBERT）、基础模型（Qwen-7B vs. DeepSeek-6.7B）和任务分布（迁移至 DebugBench）中都是稳健的。

意义与主张

本文声称，仅靠单元测试的自博弈不足以扩展代码修复能力，因为它缺乏明确的真实性信号，导致了分布漂移。通过引入锚定自博弈，作者证明了少量的参考集可以有效地锚定生成过程，使模型既能受益于自博弈的自适应课程，又能保持对现实缺陷来源的鲁棒性。

这项工作强调，修复能力与代码生成能力是不同的；能够从头开始解决任务的模型可能无法修复现有的解决方案，反之亦然。所提方法为构建更可靠的自动化编程工具提供了路径，使其能够泛化到现实世界中 LM 辅助编程所发现的异构错误来源。

局限性： 作者指出，他们的实验侧重于带有单元测试反馈的 Python 函数级修复。该设定并未涵盖仓库级挑战（多文件故障、依赖管理）或长程工具使用。此外，真实性信号依赖于冻结的嵌入模型和有限的参考池，这表明未来的工作可以探索学习型评论家（learned critics）或基于偏好的奖励。