🤖 AI

BoostAPR: Boosting Automated Program Repair via Execution-Grounded Reinforcement Learning with Dual Reward Models

BoostAPR 是一个三阶段框架，通过结合监督微调、执行验证推理以及双奖励模型，在强化学习过程中实现细粒度的行级信用分配，从而增强自动化程序修复能力，在多个基准测试中取得了最先进的性能并展现出强大的跨语言泛化能力。

原作者： Yuanhao Li, Hongbo Wang, Xiaotang Shang, Xunzhu Tang, Yiming Cao, Xuhong Chen

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuanhao Li, Hongbo Wang, Xiaotang Shang, Xunzhu Tang, Yiming Cao, Xuhong Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教导一位非常聪明但略显笨拙的学徒如何修理一台损坏的机器。这台机器是一段计算机代码，而“损坏”则是一个导致其测试失败的缺陷。

长期以来，我们一直通过向这些学徒（AI 模型）展示损坏机器的示例及其修复方案来教导他们。但存在一个问题：当学徒尝试修复时，机器要么完美运行，要么彻底崩溃。它不会告诉学徒他们具体拧紧了哪颗螺丝或剪断了哪根电线从而产生了差异。他们只会得到一个二元的“做得好”或“做得差”的反馈。这使得学习过程既缓慢又令人沮丧。

本文介绍了一种名为BOOSTAPR的新系统来解决这一问题。可以将其想象为一个旨在将那位笨拙的学徒培养成机械大师的三步训练营。

第一步：“先思考后行动”的家庭作业（监督微调）

首先，系统不仅仅是向学徒展示最终的修复方案，而是向他们展示一本机械大师的笔记。

类比：想象一位机械大师不仅仅是把修好的引擎交给你，而是先写下他们的思考过程：“我注意到噪音来自左侧，所以我检查了皮带，发现它松了，于是将其拧紧。”
论文主张：AI 是在“经执行验证的演示”上进行训练的。这意味着它仅从那些机械大师不仅实际解决了问题而且写下了推理过程的示例中学习。AI 不仅学习要改变什么，还学习如何思考这个问题。

第二步：聘请两位不同的教练（双奖励模型）

一旦学徒开始练习，他们就需要反馈。在过去，教练只会说：“那个补丁有效！”或“那个补丁失败了！”论文指出这过于模糊。因此，他们聘请了两位专门的教练：

“大局”教练（ $R_{seq}$ ）：这位教练审视整个修复工作。机器运行了吗？是或否。他们为整个补丁打分。
“显微镜”教练（ $R_{line}$ ）：这是新的秘密武器。这位教练逐行检查修复过程。
- 类比：想象学徒修好了引擎，但也把车漆成了奇怪的颜色并更换了电台频道。“大局”教练会说：“它运行了，所以是份好工作。”但“显微镜”教练会说：“等等，喷漆和换台并没有帮助修复引擎。只有拧紧皮带做到了。让我们将成功的功劳归于皮带，而不是油漆。”
- 论文主张：这位教练学会准确识别哪些代码行（即“编辑跨度”）真正修复了缺陷，哪些只是噪音。它接收“大局”分数，并将功劳重新分配给那些真正起作用的特定行。

第三步：带有智能反馈的实战演练（PPO 优化）

最后，学徒进入模拟环境，实时练习修复缺陷。

类比：每当学徒采取一个行动，两位教练就会互相交流。“显微镜”教练告诉“大局”教练：“不要只给整个工作打分；要因为学徒拧紧了那颗特定的螺丝而给予额外加分，而对于他们中间随意敲击的键盘操作则给零分。”
论文主张：AI 使用一种称为 PPO（一种强化学习）的方法来更新其“大脑”。由于“显微镜”教练提供了如此详细的反馈，AI 的学习速度和准确性都远超仅获得通用“好/坏”信号的情况。

结果：效果如何？

作者在四个包含数千个损坏代码示例的不同“车库”（基准测试）中测试了这个新的训练营：

SWE-bench（现实世界的 GitHub 缺陷）：AI 修复了**40.7%的缺陷。与没有经过这种特殊训练的相同 AI 模型相比，这是一个巨大的22.9%**的飞跃。
Defects4J（Java 缺陷）：尽管 AI 主要在 Python 上进行训练，但它成功修复了**24.8%**的 Java 缺陷。这表明“显微镜”教练帮助学徒掌握了通用的修复技能，而不仅仅是 Python 特有的技巧。
HumanEval-Java 和 QuixBugs：在这些特定的编程挑战中，它取得了非常高的分数（分别为 84.5% 和 95.0%）。

为什么这很重要（根据论文观点）

论文认为，最大的突破不仅仅在于 AI 变得更聪明了，而在于它如何变得更聪明。通过将重点从“它起作用了吗？”（序列级）转移到“哪些特定的行使其起作用？”（行级），他们解决了一个主要的学习瓶颈。

“显微镜”教练（ $R_{line}$ ）并没有独自承担所有繁重的工作；“大局”教练（ $R_{seq}$ ）完成了大部分工作。然而，“显微镜”教练提供了将泛化能力扩展到新的、困难问题所需的额外提升，并使训练过程更加稳定和高效。

简而言之：BOOSTAPR 通过向 AI 展示专家的思维过程、聘请一位教练对整个工作进行评分、并聘请第二位教练对拧动的每一颗螺丝进行评分，来教导 AI 修复代码，从而确保 AI 确切地知道下次该做什么。

技术摘要：BOOSTAPR

问题陈述

利用大语言模型（LLM）进行自动化程序修复（APR）面临三个根本性局限，阻碍了强化学习（RL）的有效性：

稀疏的执行反馈：与文本生成不同，程序修复仅提供二元信号（通过/失败）。一个未能通过单一关键测试的补丁，会收到与语法错误尝试相同的负面信号，无法为部分正确性提供任何指导。
粗糙的序列级奖励：标准 RL 将整个生成的序列分配奖励。当多行补丁成功或失败时，模型无法获知哪些具体编辑是有益的还是有害的。这导致了严重的信用分配问题，引发高方差的梯度估计和低效的学习。
分布偏移：在精心策划的数据集上训练的模型，往往难以泛化到真实仓库中发现的多样化错误模式。

现有方法通常依赖稀疏的序列级奖励，或者过于粗糙或过于细粒度（缺乏语义意义）的 token 级奖励，这些都不适合代码修改。

方法论：BOOSTAPR 框架

作者提出了BOOSTAPR，这是一个三阶段训练框架，结合了执行验证学习与细粒度信用分配。该框架基于Qwen2.5-Coder-32B骨干网络构建，并仅在SWE-Gym上进行训练。

第一阶段：执行验证的推理迁移

策略通过在高质演示数据上进行监督微调（SFT）进行初始化。与标准 SFT 不同，本阶段强制执行两个严格标准：

推理轨迹：演示必须包含明确的诊断推理（错误诊断、根本原因识别、修复理由）， alongside 补丁。
执行验证：仅保留在 SWE-Gym 环境中通过所有测试的补丁。这确保模型从经过验证的解决方案中学习，过滤掉看似合理但错误的输出。

第二阶段：双重奖励学习

使用 SFT 策略的执行结果离线训练两个奖励模型：

序列级评估器（ $R_{seq}$ ）：一个预测补丁整体质量的模型。关键在于，它仅在仅补丁输入（不带错误上下文的统一差异）上进行训练，以防止学习与问题描述相关的虚假相关性。它采用混合目标，结合回归（用于校准绝对分数）和成对偏好（用于正确的相对排名）。
行级信用分配器（ $R_{line}$ ）：一个新颖组件，将信用分配给特定的编辑行跨度，而非整个序列或单个 token。
- 机制：它将统一差异解析为连续的编辑行跨度。
- 监督：它使用基于执行的堆栈跟踪监督。对于失败的补丁，模型通过回溯分析识别失败路径上的跨度并分配负信用，而成功的补丁则将所有编辑跨度视为正信用。
- 目标：学习哪些编辑对成功或失败贡献最大，从而将序列级奖励重新分配到信息丰富的区域。

第三阶段：基于双重奖励的在线 PPO

最终阶段使用近端策略优化（PPO）优化策略。

Token 级奖励塑形：利用 $R_{line}$ 学习到的权重，将 $R_{seq}$ 的序列级分数重新分配到各个 token 上。高评分编辑跨度内的 token 获得更高的奖励，而非信息性 token（头部、上下文）获得零权重。
格式惩罚：如果输出不是有效的统一差异，则对最后一个 token 施加确定性惩罚。
优化：更新策略以最大化由此结构化信用分配得出的期望奖励，与均匀的序列级奖励相比，降低了梯度方差。

主要贡献

双重奖励架构：一种结合序列级质量评估与行级编辑跨度信用分配的机制，为代码编辑任务中的细粒度奖励分配提供了实用解决方案。
三阶段训练流程：一种集成方法，结合了执行验证的 SFT、具有混合回归 - 偏好目标的离线奖励学习以及在线策略优化。
受控比较：在固定骨干网络（32B）和训练数据（SWE-Gym）下的严格评估表明，双重奖励优于 GRPO、拒绝采样 RL 以及仅使用序列级奖励的 PPO。
消融洞察：证据表明，虽然使用序列级奖励的 PPO 推动了主要的准确率提升，但行级分配器（ $R_{line}$ ）在分布外泛化、训练效率和梯度质量方面提供了互补的改进。

实验结果

BOOSTAPR 在涵盖 Python 和 Java 的仓库级和函数级修复的四个基准上进行了评估：

SWE-bench Verified（Python）：达到 40.7% 的通过率，比基础模型提高了 22.9 个百分点 (pp)。这与 SWE-RL（41.0%）相当，但使用了更小的 32B 骨干网络。
Defects4J v2.0（Java）：达到 24.8% 的通过率，尽管零 Java 训练数据，仍使基础模型的性能（11.3%）翻了一番以上，展示了强大的跨语言泛化能力。在此处， $R_{line}$ 组件贡献了更大的相对增益（+5.6pp），高于 SWE-bench。
HumanEval-Java：达到 84.5%，提升了 +20.5pp。
QuixBugs：达到 95.0%。

受控 RL 基线：在 SWE-bench Verified 上，BOOSTAPR 优于 GRPO（+4.6pp）和拒绝采样 RL（+3.2pp）。 $R_{line}$ 组件在 SWE-bench 上提供了稳定的 +2.4pp 增益，在 Defects4J 上提供了显著的 +5.6pp 增益。

意义与主张

该论文声称，BOOSTAPR通过在中间粒度（编辑行跨度）上运行，解决了代码生成中 RL 的信用分配问题。这种粒度被描述为一种“实用妥协”，它比块（hunk）级分配更细，但比 token 级解析更稳定，尤其适用于格式错误或跨语言的补丁。

作者强调：

基于执行的学习是性能的主要驱动力，使用序列级奖励的 PPO 解释了大部分增益。
行级信用分配并非执行奖励的替代品，而是一种互补机制，可改善优化稳定性并增强对分布外场景（例如在 Python 上训练时处理 Java 任务）的泛化能力。
该方法朝着能够直接从执行反馈中学习、而非仅依赖表面模式匹配或精心策划数据集的 AI 系统迈进，以协助开发者。

论文承认了局限性，指出 $R_{line}$ 监督部分基于启发式方法，且编辑行跨度是一种近似语义单元。它建议未来的工作可以将此与更强的故障定位和更大规模的 RL 流程相结合。