CoRe-Code: Collaborative Reinforcement Learning for Code Generation
CoRe-Code 是一个协作式强化学习框架，它采用由组相对策略优化（GRPO）增强的角色专业化规划器与编码器智能体，以克服自回归解码的局限性，并提升复杂任务中代码生成的准确性与效率。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在尝试组装一件复杂的家具，比如一个书架，但你没有蓝图。你只是开始钉钉子、把木头粘在一起，希望随着组装的进行，它看起来是对的。这就是目前大多数 AI 代码生成器的工作方式。它们逐字（或“逐标记”）编写代码，这往往导致代码结构乍一看尚可，但一旦尝试使用就会分崩离析。它可能在局部是连贯的（词语有意义），但在整体上是破碎的（书架无法承重）。
本文介绍了CoRe-Code，这是一种通过模拟拥有两个不同角色的施工队——即规划者和编码者——来教导 AI 编写代码的新方法。
问题所在：“先挥锤子”的方法
当前的 AI 模型就像急于求成的学徒，一上来就抓起锤子。它们可能会为桌子组装出一条看起来结实的桌腿，但随后才意识到忘了制作桌面。或者，它们可能组装出一张能用的桌子，但由于没有高效地规划步骤，组装过程需要耗费 100 年。
解决方案：建筑师与建造者
CoRe-Code 将工作拆分为两个专门的智能体：
规划者（建筑师）： 在任何代码被编写之前，该智能体绘制详细的蓝图。它不直接编写代码，而是编写一份名为"算法思维"的逐步食谱。这份食谱将问题分解为清晰的部分：
- 输入/输出： 我们从什么开始，最终需要得到什么？
- 线性步骤： 从起点到终点的直线路径。
- 条件： “如果发生这种情况，就执行那个操作。”
- 循环： “重复此操作，直到我们完成。”
编码者（建造者）： 该智能体采纳建筑师的蓝图，并实际组装家具（编写代码）。它唯一的任务是忠实且高效地遵循计划。
秘诀所在：在做中学（强化学习）
CoRe-Code 的真正魔力不仅在于拥有两个智能体，更在于它们如何学会协同工作。
想象一个训练营，建筑师和建造者在此共同练习。
- 建筑师绘制计划。
- 建造者尝试构建。
- 测试： 他们将成品放入“测试实验室”（在现实世界问题中运行代码）。
- 反馈：
- 如果代码完美运行且速度快，双方都会获得高分。
- 如果代码失败，系统会分析原因。是建造者搞砸了指令？还是建筑师提供了错误的蓝图？
本文使用了一种名为GRPO（组相对策略优化）的特殊训练方法。这就像一位教练，比较不同的“建筑师/建造者”团队。如果 A 团队的计划导致了一张结实的桌子，而 B 团队的计划导致了一堆摇摇欲坠的垃圾，教练会告诉 A 团队：“干得好，继续保持”，并告诉 B 团队：“你们的蓝图是问题所在；尝试不同的方法。”
关键在于，建筑师是间接学习的。它不会因图纸本身而得分，而是根据建造者执行该图纸的效果来评分。这迫使建筑师编写真正有用的计划，而不仅仅是漂亮的计划。
他们的发现
研究人员在多个高难度的编程挑战（如排序数字列表或解决复杂的数学谜题）上测试了这个“规划者 - 建造者”团队。
- 更高的准确率： CoRe-Code 团队比包括使用“思维链”（自言自语）或其他多智能体系统在内的其他 AI 方法，解决了更多正确的问题。
- 效率： 它们编写的代码不仅正确，而且速度更快，占用的计算机内存更少。
- 灵活性： 该团队证明，这种“规划者 - 建造者”的学习风格不仅适用于一种类型的任务。他们成功将其应用于包含“检索智能体”（负责查找信息）和“调试智能体”（负责修复错误）的其他 AI 团队，证明该方法是一种适用于任何 AI 施工队的通用工具。
总结
CoRe-Code 就像是将 AI 从一位靠猜测步骤的独立工人，升级为一支拥有专职建筑师和建造者并共同训练的专业施工队。通过根据最终可运行的结果对它们进行奖励，它们学会了更好地沟通、更聪明地规划，并构建出真正有效的代码。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。