🤖 AI

MURPHY: Feedback-Aware GRPO with Retrospective Credit Assignment for Multi-Turn Code Generation

本文介绍了 MURPHY，这是一种多轮扩展的组相对策略优化（GRPO）方法，它利用反馈条件化的展开树和回溯性信用分配，通过将成功改进产生的奖励传播回早期具有信息量的尝试，显著提升了自我修正的代码生成能力。

原作者： Chanakya Ekbote, Vijay Lingam, Sujay Sanghavi, Jun Huan, Behrooz Omidvar-Tehrani, Anoop Deoras, Stefano Soatto

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Chanakya Ekbote, Vijay Lingam, Sujay Sanghavi, Jun Huan, Behrooz Omidvar-Tehrani, Anoop Deoras, Stefano Soatto

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人解决复杂的谜题，比如编写计算机程序。

旧方法（“一次性”错误）
传统上，你会让机器人去解决这个谜题。如果它做错了，你可能只会说“再试一次”，然后让它从头开始猜测一个全新的解决方案。或者，在更高级的设置中，机器人会在测试过程中看到自己的错误并尝试修正，但机器人本身实际上并没有学会如何在未来更好地修正错误。这就像一名学生参加考试，在某道题上被打了个红色的"X"，然后在下一场考试前立刻忘记了这一课。

当前“学习”方法的问题
较新的方法允许机器人尝试、失败、看到错误信息，然后再次尝试。这确实有效，但“老师”（训练算法）有点笨拙。它将整个尝试视为一个单一的整体。

场景：机器人尝试了一个解决方案，失败了，错误信息确切地告诉它为什么失败（例如：“你忘记处理负数了”）。机器人利用这个线索修复代码并成功了。
笨拙的老师：旧的训练方法会说：“最终成功做得好！”但它对第一次失败的尝试给予零分。它没有意识到，第一次失败实际上是有用的，因为它提供了解决问题所需的具体线索。它将失败视为完全的时间浪费。

引入 MURPHY：像“聪明侦探”一样的老师
这篇论文介绍了MURPHY，一种训练这些机器人的新方法。把 MURPHY 想象成一位侦探，它审视整个故事，而不仅仅是结局。

构建“尝试树”：MURPHY 不再只让机器人尝试一次，而是让它分叉展开。
- 分支 A：机器人尝试一个解决方案。它失败了。
- 转折：MURPHY 利用那次失败、错误信息和原始问题，要求机器人专门针对该错误再次尝试。
- 分支 B：机器人利用错误线索修复代码并成功了。
倒带（回溯性归功）：这是神奇的部分。一旦机器人在分支 B 上成功，MURPHY 就会在时间上向后追溯。它说：“等一下！分支 B 之所以成功，仅仅是因为分支 A 提供了那个特定的错误线索。所以，分支 A 也应该得到功劳！”
- 这就像侦探意识到，嫌疑人的最初失误（留下指纹）实际上是导致逮捕的关键证据。指纹并不是一个“糟糕”的举动；它是通向解决方案的必要步骤。
两种归功方式：
- MARS（乐观主义者）：如果机器人的任何后续尝试成功了，MARS 就会将全部功劳归于引发这一系列事件的最早那次失败。这就像说：“如果你最终找到了宝藏，那么你在迷路时画的那张地图就是有价值的。”
- MERS（现实主义者）：这种方法根据所有后续尝试的平均成功率来分配功劳。它稍微谨慎一些，将功劳分散开来。
剪除死枝（剪枝）：有时，机器人尝试了太多变体，导致“树”变得太大且处理缓慢。MURPHY 拥有一个智能的“园丁”工具。它观察各个分支，剪掉那些都在做同样事情（没有学到新东西）的分支。它保留那些显示出最多多样性和学习潜力的分支，从而节省时间和计算能力。

结果
作者在三个不同的编程挑战上，使用两个不同的机器人“大脑”（模型）测试了这种方法。

结果：MURPHY 显著提高了机器人自行修复代码的能力。
最佳效果：改进幅度在困难问题上最大。在简单问题上，机器人原本就表现不错。但在机器人必须失败、从错误中学习并再次尝试的困难问题上，MURPHY 帮助它们比之前的方法多成功约6%。

一句话总结
MURPHY 教导 AI：失败就是数据。它不再将失败的尝试视为“糟糕”的结果，而是将其视为“必要步骤”，前提是该失败提供了最终成功所需的信息。它重新调整了 AI 的机制，使其重视自我修正的过程，而不仅仅是最终答案。

技术摘要：MURPHY——具备反馈感知能力的 GRPO 与回溯性信用分配

问题陈述

可验证奖励强化学习（RLVR）已成为在推理任务上对大语言模型（LLM）进行后训练的标准方法，其中组相对策略优化（GRPO）已成为一种领先方法。然而，标准 GRPO 及其变体本质上是单轮的：它们基于孤立提示 - 响应对的终端奖励进行优化。这种架构不适合智能体设置，特别是在代码生成领域，模型必须根据环境反馈（例如执行错误、堆栈跟踪、失败的测试用例）迭代地优化解决方案。

现有的多轮方法通常依赖复杂的辅助机制，例如学习到的验证器（µCODE）、PPO 风格的评论家（RLEF）或独立的验证策略（REVEAL）。一个自然的基线GRPO-MT通过将反馈条件化的交互视为轨迹，将 GRPO 扩展到多轮。然而，GRPO-MT suffers from 粗糙的信用分配：它将相同的终端奖励分配给轨迹中的所有 token，无论中间失败的尝试是否提供了有助于后续成功优化的信息性反馈。在代码生成中，一次失败的尝试并非均匀负面；它可能揭示对最终解决方案至关重要的特定边缘案例或运行时错误。当前方法无法区分当它们共享相同终端结果时的“信息性失败”与“非信息性失败”。

方法论：MURPHY

作者提出了MURPHY（具有回溯性策略优化的多轮更新），这是 GRPO 的一种最小化扩展，旨在使标准后训练配方具备反馈感知能力，而无需引入学习到的评论家或辅助验证器。

1. 反馈条件化展开树

MURPHY 为每个输入提示构建树结构，而非线性轨迹：

第 1 轮：模型采样一组候选程序。
执行与反馈：每个候选程序在测试套件上执行，产生标量奖励（例如通过率）和定性反馈（例如错误消息）。
扩展：
- 已解决的候选终止并成为叶节点。
- 失败的候选被扩展。通过连接原始任务、失败输出和执行器反馈形成新的提示。模型在该反馈条件化的提示上被重新调用，以生成一组新的优化方案。
此过程重复固定的轮数，生成一棵树，其中边代表基于特定反馈的优化步骤。

2. 回溯性信用分配

核心创新是回溯性信用分配。在展开树完成后，奖励从叶节点向后传播至根节点。这使得后续成功的优化能够“归功”于早期产生有用反馈的失败尝试。论文提出了两种传播策略：

最大奖励（MARS）：一种乐观备份。对于节点 $v$ ，调整后的奖励 $\tilde{r}(v)$ 是其即时奖励 $r(v)$ 与其子节点最大调整后奖励的最大值：
$\tilde{r}(v) = \max\left(r(v), \max_{u \in C(v)} \tilde{r}(u)\right)$
如果其任何后代最终解决了任务，则此方法将信用归给一次失败的尝试。
平均奖励（MERS）：一种基于期望的备份。它传播未来奖励的折扣平均值：
$\tilde{r}(v) = r(v) + \gamma \cdot \frac{\text{mean}_{u \in C(v)} \tilde{r}(u)}{Z(v)}$
其中 $\gamma$ 是折扣因子， $Z(v)$ 是归一化项。

3. 局部 GRPO 更新

一旦奖励被调整，MURPHY 在树内的每个响应组上局部应用标准 GRPO 目标。它不使用即时奖励，而是使用信用调整后的奖励（ $\tilde{r}$ ）来计算优势。这保留了 GRPO 的组相对基线结构，同时融入了来自树结构的时序信用。

4. 剪枝策略

为了解决扩展树带来的计算成本（可能呈指数级增长），MURPHY 引入了在奖励传播之前保留信息性轨迹的展开后剪枝机制：

组内剪枝（INTRAP）：在每个响应组内保留固定数量的轨迹，具体选择那些对奖励方差贡献最大的轨迹（保留多样化的学习信号）。
组间剪枝（INTERP）：根据其组内奖励方差保留整个优化组。这将优化预算分配给能产生最多样化和信息丰富候选优化方案的反馈上下文。

主要贡献

MURPHY 算法：一种多轮 GRPO 扩展，通过结构化的时序信用分配训练代码 LLM 利用执行反馈，消除了对学习到的验证器或评论家的需求。
奖励传播策略：引入了MARS（乐观）和MERS（基于期望）策略，将来自成功优化的信用分配回早期具有信息性的失败尝试。
剪枝机制：设计了INTRAP和INTERP策略，通过过滤非信息性轨迹同时保留学习信号，使多轮优化变得可行。
实证验证：在三个基准测试（HumanEval、MBPP、LiveCodeBench-v6）和两个模型系列（Qwen、OLMo）上进行了全面评估，证明了其相对于先前多轮方法的显著提升。

实验结果

作者在HumanEval、MBPP和LiveCodeBench-v6上评估了 MURPHY，使用了Qwen3（1.7B、4B）和OLMo-2-7B模型。

性能提升：MURPHY 在最强先前的多轮执行反馈方法（包括 GRPO-MT、µCODE 和 REVEAL）上实现了高达6% 的绝对 pass@1 提升。
难度缩放：在中等和困难子集上的提升最为显著。例如，在 LiveCodeBench-v6（中等子集）上，MURPHY 在第 5 轮迭代显示了**+4.38%的提升，在困难子集上显示了+4.20%**的提升。这表明该方法在迭代自我修正至关重要的场景中特别有效。
与基线对比：
- 在OLMo-2-7B上，MURPHY 在第 3 轮迭代设置中，在 HumanEval 上比最强基线高出**+6.20 个百分点**，在 MBPP 上高出**+6.07 个百分点**。
- 在Qwen3-4B（LiveCodeBench-v6）上，尽管 REVEAL 具有更复杂的架构（包含共同训练的自我验证器），MURPHY 在所有难度子集上均超越了 REVEAL。
消融研究：
- MARS 与 MERS：MARS 通常优于 MERS，特别是在稀疏奖励设置中，因为它传播最强的结果，而不是通过平均稀释信号。
- 剪枝：INTERP剪枝策略提供了最佳的成本 - 质量权衡，将优化时间减少了74.1%（导致每步总训练时间减少 21.4%），同时保持性能在未剪枝模型的 0.8% 以内。INTRAP 虽然提高了单轮性能，但导致了多轮性能的倒退。

意义与主张

论文声称，MURPHY 证明了标准 GRPO 后训练配方可以通过仅改变信用分配的结构来实现反馈感知。

架构极简主义：与需要辅助价值函数、学习到的验证器或显式验证策略的先前工作不同，MURPHY 是一种“最小化、保持架构的扩展”。它完全依赖于代码生成任务固有的执行反馈。
信用分配不匹配：这项工作解决了智能体代码生成中的一个根本性不匹配：未能区分非信息性错误与信息性失败。通过向后传播奖励，MURPHY 教导模型，正如 Piet Hein 所引用的“犯错再犯错”（err and err again），如果错误提供了修正所需的信号，那么这种过程就是有价值的。
可扩展性：所提出的剪枝策略使多轮训练在计算上可行，在不牺牲学习信号质量的情况下降低了优化负担。

作者总结道，虽然多轮展开相对于单轮 GRPO 增加了训练成本，但在自我修正能力（特别是在困难问题上）方面的提升证明了该方法的合理性。他们指出了训练成本增加以及依赖干净执行反馈的局限性，并建议未来的工作可以探索更嘈杂的反馈信号和自适应轮次预算。