💻 computer science

Prompt Optimization for LLM Code Generation via Reinforcement Learning

本文提出了一种利用近端策略优化进行强化学习的框架，通过混合动作空间和测试驱动奖励迭代优化基于大语言模型的代码生成提示，在 MBPP+、HumanEval+ 和 APPS 等多个基准测试中，于多种骨干模型上实现了显著的性能提升。

原作者： Ali Mohammadi Esfahani, Nafiseh Kahani, Samuel A. Ajila

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Ali Mohammadi Esfahani, Nafiseh Kahani, Samuel A. Ajila

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个非常聪明但略显困惑的机器人如何编写计算机代码。你给机器人一套指令（即“提示”），它便尝试编写程序。有时，机器人能立即写对；但更多时候，它会犯错，比如使用了错误的工具或误解了目标。

本文介绍了一种新方法，用于教导该机器人更好地理解你的指令。这种方法并非通过改变机器人本身，而是通过让你（即提示的发出者）表达得更清晰来实现。作者将这种方法称为“提示优化”，并利用一种巧妙的技巧——强化学习来实现。

以下是该系统的运作原理，分解为几个简单概念：

1. 问题所在：“困惑的机器人”

大型语言模型（LLMs）就像这个机器人。它们可以编写代码，但如果你的指令模糊不清，生成的代码就会存在漏洞。

旧方法：你猜测更好的提问方式，尝试一次；如果失败，再猜一次。这种方法既缓慢又随机。
本文的构想：让我们训练一位“教练”（一个 AI 智能体），让它根据机器人代码的表现，逐步找出最佳的提问方式。

2. 教练：强化学习智能体

将“教练”想象成一名游戏玩家。这场游戏的任务是：“让机器人写出完美的代码。”

目标：机器人必须通过一系列“测试用例”（就像数学测验，机器人必须正确解决特定问题）。
循环过程：
1. 教练查看当前的指令。
2. 教练决定：“我是该保持指令不变？还是替换几个词？或者完全重写句子使其更清晰？”
3. 机器人根据新指令尝试编写代码。
4. 代码接受测试。
5. 教练根据机器人通过的测试数量获得一个分数（奖励）。

3. 教练的工具箱：三种策略

教练有三种具体策略来改进指令：

直接生成（“静观其变”）：教练判断当前指令已足够好，只是让机器人再试一次。有时，机器人只需要第二次机会，就能在随机的思考中碰巧成功。
词汇变异（“词语替换”）：受自然进化启发，教练对词语进行微小、随机的修改。例如，将“列表”替换为“数组”，或添加一个缺失的逗号。这就像洗牌，看看新的组合是否更有效。
语义重写（“宏观视角”）：教练请求另一个 AI 完全重述指令，以使其含义更清晰。这就像将“修理汽车”改为“更换火花塞”，从而更具体地指导机器人。

4. 核心秘诀：“塑形奖励”

这是本文最重要的部分。

旧方法（二元奖励）：在许多系统中，只有当机器人100%通过所有测试时，你才能获得一分。如果它通过了 99%，你得到的却是零分。这就像老师因为学生考了 99 分而判定其不及格。教练因此无法获得任何改进线索。
新方法（塑形奖励）：作者为部分进步给予教练分数。
- 如果机器人通过 0 个测试：给予大幅惩罚。
- 如果机器人通过 50% 的测试：你获得 0.5 分。
- 如果机器人通过 100% 的测试：你获得 1.0 分。
- 为何重要：这告诉教练：“嘿，你正在接近目标！继续朝这个方向努力。”它将一场“非过即挂”的游戏，变成了一场“攀登高峰”的游戏。

5. 结果：它奏效了吗？

研究人员在三个不同的编程挑战数据集（MBPP+、HumanEval+ 和 APPS）上，使用三种不同的机器人模型（CodeT5+、CodeLLaMA 和 DeepSeek-Coder）测试了这位“教练”。

他们将他们的教练与以下方法进行了对比：

随机混合（Random-Hybrid）：一种随机选择策略的教练（就像猴子扔飞镖）。
EPiC 与 Reflexion：其他试图修复提示的智能方法，但未使用这种特定的“部分得分”评分系统。

结果：
PPO 教练（即采用“塑形奖励”的那位）每次都获胜。

在最难的测试中，与随机方法相比，它显著提高了成功率。
例如，对于其中一个机器人模型，其成功率从随机方法的 31% 跃升至57%（PPO 方法）。
即使机器人未能获得满分，“软性”分数也表明，教练正一步步持续引导机器人接近正确答案。

总结

本文表明，如果你想让 AI 编写出更好的代码，不应仅仅寄希望于运气。相反，你可以训练一位“教练”来学习如何微调你的指令。通过让教练为部分改进（而不仅仅是完美分数）获得认可，该系统能够比以往任何方法都更快、更有效地驾驭修复代码这一混乱的过程。

简而言之：这就像教导学生解拼图，不是等到他们 100% 拼对时才说“干得好”，而是说“干得好，你已经把三块拼对了，现在试着移动这一块”，直到整幅画面完整呈现。

技术摘要：基于强化学习的提示优化以提升大语言模型代码生成能力

问题陈述

尽管大语言模型（LLMs）在自动化软件工程领域取得了进展，特别是在从自然语言生成代码方面，但其输出经常包含功能性和逻辑性缺陷。这些错误限制了实际部署，并 necessitate 人工调试。虽然静态提示工程技术（例如思维链）可以缓解常见问题，但当需要基于中间反馈进行迭代优化时，它们缺乏适应性。现有的自适应方法，如进化算法（例如 EPiC）或强化学习（RL）框架（例如 Reflexion），往往孤立地处理词汇和语义提示修改，或依赖稀疏的二元正确性信号，未能利用部分正确性中的丰富信息，也未能整合多个转换维度。

方法论

作者提出了一种基于强化学习的框架，将提示优化建模为序列决策问题。该方法的核心组成部分包括：

1. 框架架构

该系统利用近端策略优化（PPO）智能体来迭代改进提示。该过程在一个自定义的兼容 Gymnasium 的环境中运行，其中：

状态：当前提示使用 MiniLM 句子转换器编码为 384 维语义嵌入。值得注意的是，状态表示仅包含提示；它不编码生成的代码、运行时异常或执行回溯。
动作空间：智能体从包含三种策略的混合动作空间中进行选择：
1. 直接生成：保留当前提示（利用解码的随机性）。
2. 词汇变异：一种受遗传算法启发的方法，涉及令牌级别的插入、删除、替换和交叉，由测试用例性能引导。
3. 语义重写：遵循自反思范式，使用预训练模型对提示进行更高层级的重构和澄清。
环境循环：智能体观察提示，采样一个动作，应用该转换，将新提示传递给冻结的代码生成模型，并根据单元测试评估输出。

2. 奖励结构

一项关键创新是使用源自单元测试反馈的整形奖励函数，而不是仅依赖二元成功/失败信号。奖励 $R_{i,t}$ 定义如下：

如果通过率 $\rho_{i,t} = 1.0$ （所有测试通过），则为 $1.0$。
如果 $0 < \rho_{i,t} < 1.0$ （部分正确），则为 $\rho_{i,t}$ 。
如果 $\rho_{i,t} = 0$ （无测试通过），则为 $-1$。
如果执行失败（语法错误或运行时异常），则为 $-2$。

这种设计提供了更密集的 learning signals，允许智能体因渐进式改进而获得奖励，并对执行失败施加更严厉的惩罚，以抑制语法无效的代码。

3. 评估指标

该框架使用两个指标进行评估：

Strict Pass@1：主要指标，仅当解决方案在任何步骤通过所有测试时，才将任务计为成功。
SoftPass@1：辅助指标，衡量跨优化步骤的通过测试的累积概率，用于分析中间进展。

主要贡献

该论文概述了四项主要贡献：

序列形式化：将代码生成的提示优化形式化为序列决策问题，并实现为基于 PPO 的强化学习环境。
混合动作空间：定义了一个结合直接生成、遗传词汇变异和语义重写的组合动作空间，用于自适应多步优化。
整形奖励：引入了一种利用部分测试用例正确性的奖励函数，提供比单纯二元成功更密集的 learning signals。
综合评估：在 MBPP+、HumanEval+ 和 APPS 基准测试上进行了广泛评估，使用 CodeT5+、CodeLLaMA 和 DeepSeek-Coder 作为冻结骨干网络，并与直接生成、EPiC、Reflexion 以及随机混合基线进行了比较。

实验结果

该框架在 MBPP+ 测试集的 500 个任务以及 HumanEval+ 和 APPS 上进行了测试。

性能提升：在 MBPP+ 上，PPO 智能体取得了 57.58%（CodeT5+）、64.80%（CodeLLaMA）和 85.50%（DeepSeek-Coder）的 Strict Pass@1 分数。这些结果在所有骨干模型上均优于 EPiC、Reflexion 和随机混合基线。
与基线的比较：
- PPO 智能体显著优于随机混合基线（该基线使用相同的动作空间但均匀随机选择动作）。例如，在 MBPP+ 上使用 CodeT5+ 时，PPO 将 Strict Pass@1 提高了 26.46 个百分点。这表明性能提升源于学习到的动作调度，而不仅仅是多种转换类型的可用性。
- PPO 也超越了EPiC和Reflexion，证明通过学到的策略协调词汇和语义转换比孤立的进化搜索或基于反思的方法更有效。
奖励整形的影响：比较稀疏二元奖励与整形奖励的实验表明，后者导致更快的收敛和更高的稳定性。二元奖励导致学习速度较慢且稳定性较低，证实了部分正确性信号对于有效的多步优化至关重要。
统计显著性：在 MBPP+ 测试集上进行的 McNemar 检验证实，在 Strict Pass@1 方面，相对于 EPiC 和 Reflexion 具有统计显著性改进（ $p < 0.001$ ），效应量为中等。

意义与主张

该论文声称，其主要意义在于证明了带有整形的、测试驱动的强化学习奖励可以提高基于 LLM 的代码生成的功能正确性。

作者强调的关键要点包括：

自适应协调：智能体能够根据中间反馈动态协调词汇变异（局部探索）和语义重写（全局重构），这对成功至关重要。
部分信号的价值：在多步优化任务中训练智能体时，利用部分正确性作为学习信号优于二元成功/失败。
鲁棒性：该框架在不同骨干模型和不同任务难度（从 MBPP+ 到更复杂的 APPS）上均显示出一致的改进，表明其对架构变化具有鲁棒性。

作者保持谦逊的态度，承认了局限性，例如仅包含提示的状态表示（排除了代码和回溯）、对冻结模型的依赖，以及重复生成和执行带来的计算成本。他们建议未来的工作可以涉及包含回溯感知的状态表示，并将其集成到实际开发工具中。