🤖 AI

CODESKILL: Learning Self-Evolving Skills for Coding Agents

CODESKILL 是一个基于强化学习的框架，它从编码智能体轨迹中学习提取、演进并维护一个紧凑的多粒度过程技能库，从而在 SWE-Bench Verified 等基准测试中显著优于现有的基于提示或记忆的方法，提升下游任务性能。

原作者： Yanzhou Li, Yiran Zhang, Xiaoyu Zhang, Xiaoxia Liu, Yang Liu

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Yanzhou Li, Yiran Zhang, Xiaoyu Zhang, Xiaoxia Liu, Yang Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一位非常聪明的机器人助手如何修复软件漏洞。每次机器人尝试解决问题时，它都要经历一个漫长的过程：它查看代码，尝试一条命令，看到错误，再次尝试，最终（希望如此）修复了问题。整个这一过程被称为“轨迹”。

问题在于，如果你只是让机器人记录它所做的每一件事，这本日记就会变成一座杂乱无章、令人望而生畏的纸山。其中大部分只是关于某个特定漏洞的具体细节，对解决下一个漏洞毫无帮助。

CODESKILL 是一个新系统，旨在将那座杂乱的纸山变成一本机器人实际可用的、简洁有序的操作手册。

以下是其工作原理，分解为几个简单的概念：

1. 问题：噪音太多，信号太少

目前，当机器人试图从过去的错误中学习时，它们通常依赖僵硬的规则或固定的提示（就像一位老师说：“当你看到 Y 时，总是执行 X"）。但软件工程非常复杂。有时机器人是偶然成功的，有时则是因为奇怪的原因而失败。很难分辨什么是可复用的技能（例如“如何修复断开的网络连接”），而什么只是一次性的偶然（例如“如何修复这个文件中的特定拼写错误”）。

现有的方法就像一位只是把书堆在地板上而不进行整理的图书管理员。它们不知道哪些书对下一位读者真正有用。

2. 解决方案：“自我进化的图书管理员”

CODESKILL 充当一位智能图书管理员，管理机器人的知识库（称为技能库）。它不只是存储原始的故事，而是：

提取技能：它阅读机器人过去的轨迹，提炼出“黄金 nuggets"——即适用于多种情况的通用规则。
进化技能：如果机器人尝试某项技能却失败了，图书管理员不会直接丢弃该技能。它会更新操作手册，说明：“哦，这条规则是有效的，除非你看到这条特定的错误信息。”
维护图书馆：它不断检查图书馆。如果两本书内容相同，它就将其合并；如果一本书过于具体或无用，它就将其剔除。这使图书馆保持小巧高效。

3. 它是如何学习的：“教练与运动员”

CODESKILL 最独特的地方在于它如何学会成为一名优秀的图书管理员。它不是凭空猜测，而是从一位“冻结”的运动员（即编码机器人）那里获得反馈。

运动员：这是负责解决实际问题的那个编码机器人。它不改变自己的“大脑”，只是尝试完成任务。
教练（CODESKILL）：这是管理技能的系统。
训练循环：
1. 教练根据过去的经验创建一条新规则。
2. 教练将这条规则交给运动员。
3. 测试：有了这条新规则，运动员解决问题是否更快或更好？
4. 奖励：如果运动员成功了，教练获得高分；如果运动员失败了，教练获得低分。
5. 教练利用这个分数进行学习：“好的，下次我需要编写更好的规则。”

论文将这种方法称为强化学习。这就像训练一只狗：你不仅仅是告诉狗该做什么；当它做对时，你给它奖励，这样它就能学会重复那些能获得奖励的行为。

4. 两种类型的技能

CODESKILL 将知识组织成两类指令，就像一本分为两个部分的食谱：

任务级技能（宏观视角）：这些是高层策略。示例：“当你看到 Java 构建失败时，首先检查网络连接，然后检查依赖项。”
事件驱动技能（快速修复）：这些是对特定时刻的反应。示例：“如果你看到‘文件未找到’的错误提示，立即检查文件路径是否有拼写错误。”

5. 结果：更聪明、更快速的机器人

研究人员在三个不同的“考场”（基准测试）上测试了 CODESKILL，在这些环境中，编码机器人必须解决现实世界的软件问题。

基线：没有操作手册的机器人（仅凭原始智能）。
竞争对手：使用旧方法记忆过去任务的机器人（例如仅阅读日记或使用固定提示）。
CODESKILL：使用自我进化技能库的机器人。

结果：
CODESKILL 的机器人解决的任务数量明显多于其他机器人。

与完全没有技能相比，它将成功率提高了约 9.7%。
它比现有的最强“记忆”方法高出约 4%。
它还更快地解决了问题，因为拥有更好的指令遵循，它到达解决方案所需的步骤更少。

核心结论

CODESKILL 是一个框架，它教导编码机器人如何学习如何学习。它不仅仅是死记硬背发生的每一件事，而是学会将这些经验提炼成一套紧凑且不断进化的规则。它就像一位教练，根据球队是否真正赢得了比赛来不断打磨战术手册，确保机器人在无需从头重新编程的情况下，随着时间的推移变得更好、更高效。

技术摘要：CODESKILL

问题陈述

编码代理在解决软件工程（SWE）任务时，会生成丰富且长周期的轨迹，其中包含可复用的经验，理论上可指导未来行为。尽管近期研究已探索利用记忆机制来存储或总结这些轨迹，但现有构建和维护程序性技能（即规定“何时行动”与“如何行动”的紧凑、可复用知识）的方法面临显著局限。当前方法严重依赖固定提示词和启发式更新规则来决定提取何种知识、如何抽象以及何时更新技能库。这种静态方法无法适应下游代理的具体需求，尤其是在 SWE 场景中，轨迹包含密集且异构的反馈。因此，如何最优地选择、抽象和维护技能，以确保其既能在任务间复用，又能为具体代理决策提供可操作指导，目前仍不明确。

方法论

作者提出了CODESKILL，这是一个基于大语言模型（LLM）的框架，将技能提取和技能库维护重构为一种可学习的管理策略，而非固定的启发式过程。

框架架构

CODESKILL 管理一个由多粒度程序性技能组成的技能库 $B$ ：

任务级技能：针对任务族的高级策略（例如：仓库检查、问题定位）。
事件驱动技能：针对重复执行事件的局部指导（例如：处理特定错误消息或命令失败）。

该框架通过三个核心组件的循环运行：

技能提取：从轨迹证据中生成新的任务级或事件驱动技能。
技能演化：根据新的或失败的轨迹证据修订现有技能，以解决缺失案例或失败模式。
技能库维护：决定是添加、合并还是丢弃候选技能，以保持技能库的紧凑性和高质量。

训练流程

CODESKILL 采用结合监督学习和强化学习（RL）的混合方法进行训练：

监督预热：模型（ $M_\theta$ ）在教师生成的数据（使用 GPT-5.4-mini）上进行微调，以学习技能提取、演化和维护操作的 schema。
强化学习（RL）：策略使用**组相对策略优化（GRPO）**进行优化。训练循环包括：
- 混合奖励设计：奖励函数结合了：
  - 基于密集评分标准的反馈：由“LLM 作为裁判”评估技能质量（ groundedness、可复用性、特异性、可操作性和行为对齐）。
  - 稀疏的可验证执行反馈：通过测量冻结的下游编码代理（例如：Qwen3.5-35B-A3B）在特定任务上的性能提升来衡量技能的影响。奖励值为代理使用技能后的成功率与无技能基线之间的差值。
  - 对齐因子：一种机制，用于确保代理实际上遵循了技能的工作流，以解决长周期任务中的归因问题。
- 三阶段课程：训练从仅技能提取，进展到提取 + 演化，最后到包含维护的完整生命周期，允许跨阶段复用数据。

主要贡献

CODESKILL 框架：一种新颖的基于 LLM 的系统，能够从编码代理轨迹中学习提取、演化和维护可复用的程序性技能，超越了基于静态提示的技能蒸馏。
可学习的管理策略：作者将技能管理重构为通过 RL 优化的可学习策略。奖励函数独特地平衡了基于密集评分标准的质量判断与来自冻结下游代理的稀疏、可验证执行反馈。
实证验证：在EnvBench、SWE-Bench Verified和Terminal-Bench 2上的广泛评估表明，学习到的技能管理优于无技能基线以及强大的基于提示或基于记忆的基线。

实验结果

作者评估了 CODESKILL（实例化为 Qwen3.5-4B）与多个基线的表现，包括无技能执行、子任务级记忆以及基于提示的技能管理，测试涵盖了开源（Qwen3.5-4B）和闭源（GPT-5.4-mini）骨干模型。

性能提升：
- 与无技能基线相比，CODESKILL 将平均通过率提高了9.69%。
- 它比最强的基于提示或基于记忆的基线高出4.01%（相对提升约 11%）。
- 提升在域内（EnvBench, SWE-Bench）和分布外（Terminal-Bench 2）任务中均保持一致。
效率：CODESKILL 减少了已解决实例的平均推理步数（在 Qwen3.5-35B-A3B 策略下从 44.12 降至 35.15），表明检索到的程序性指导有助于代理更直接地到达解决方案。
泛化性：学习到的策略有效地泛化到了不同的冻结下游代理（GPT-5.4-mini），表明技能管理行为并未过拟合于特定的求解器。
消融研究：
- 任务级技能和事件驱动技能均贡献了互补的知识。
- 完整生命周期（包括维护）将技能库规模减少了近一半（从 1,252 个技能降至 676 个），同时保留了大部分下游效用，证明了有效的冗余控制。
- 仅靠监督微调（SFT）在分布外任务上泛化效果不佳，突显了结合下游反馈进行 RL 的必要性。

意义与主张

论文主张，可学习的程序性记忆管理是编码代理的一个有前景的方向。与依赖固定提示或简单检索情景记忆的方法不同，CODESKILL 证明，通过可验证的下游反馈优化技能管理策略，能使代理更有效地积累和复用长周期的软件工程经验。该工作强调，静态的技能注入是不够的；相反，需要一种自适应的、可学习的策略，以确保技能在未来任务解决中保持可复用、可操作且规模适中。

作者承认的局限性：

当前系统专注于自然语言指令技能，尚未生成可执行脚本、API 或工具定义。
动作空间被限制为一次对一个候选技能执行一个操作，限制了表达复杂的多技能维护决策的能力（例如：拆分一个宽泛的技能或同时协调多个更新）。