🤖 AI

VCE-Skill: Enhancing Skill Self-Evolution with Version-Change Experience

该论文提出了 VCE-Skill，这是一个通过将特定任务的执行轨迹与从公开技能版本历史中蒸馏出的结构化经验进行自适应融合，从而增强智能体技能自我进化的新颖框架，最终实现了显著的性能提升和更强的跨模型迁移能力。

原作者： Jianming Chen, Xuanbin Ye, Yawen Wang, Junjie Wang, Qing Wang, Fanjiang XU

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Jianming Chen, Xuanbin Ye, Yawen Wang, Junjie Wang, Qing Wang, Fanjiang XU

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能飞速发展的世界里，研究人员正在教计算机程序表现得更像人类助手。这些程序通常被称为“智能体”（agents），它们不仅能回答问题，还能通过使用工具、遵循指令和管理文件来执行任务。为了让这些智能体更加可靠，开发者赋予了它们“技能”。可以将技能想象成一个便携式的工具箱，其中包含了一套指令、脚本和资源，智能体可以在遇到特定类型的难题时随时拿起并使用。然而，正如人类会从错误中学习一样，这些工具在最初创建时很少是完美的。随着世界的变化和新挑战的出现，这些工具箱内部的指令需要被更新、修补和改进。科学家们面临的核心问题是，如何实现这种改进过程的自动化，从而让智能体能够通过自我教学来实现自身的进化。

在一段时间内，这种自我改进的标准方法是让智能体尝试一项任务，观察它在哪里失败，然后根据那次特定的失败来重写指令。这种方法完全依赖于当前尝试过程中收集到的证据。虽然这行之有效，但它有一个盲点：它只能看到此时此刻发生的错误。它错失了其他开发者在多年维护类似工具过程中所学到的更广泛的教训。来自中国科学院和北京邮电大学的一个研究团队意识到，这种狭隘的关注点让大量的知识库处于闲置状态。他们试图探索，公开软件工具的变更历史是否能教会智能体一些其自身即时经验无法获得的东西。

研究人员首先对比了两种不同的信息来源。第一种来源是智能体近期尝试任务的过程，它提供了关于哪里出错的详细但狭窄的视角。第二种来源是人类开发者在一段时间内对类似工具进行的公开变更历史。当他们将这两类来源进行并排分析时，发现了一个清晰且有用的差异。智能体的尝试主要集中在修复调用工具或读取指令时的即时、特定错误。相比之下，公开历史包含了更广泛的改进内容，包括数据组织方式、脚本结构以及工具处理意外情况方式的变化。公开记录提供了更广阔的视角，而智能体自身的记录则提供了基于任务的现实基础。这两种来源并非重复，而是互补。

为了将这一洞察付诸实践，研究团队开发了一个名为 VCE-Skill 的新系统。该系统充当了智能体当前经验与过去集体智慧之间的桥梁。整个过程分为两个主要阶段。首先，系统会对来自公开仓库的原始、杂乱的变更历史进行清理。它会剥离掉仅适用于某个特定项目的细节，并将其提炼为通用的、可复用的教训。例如，如果许多开发者都添加了一个“在尝试打开文件前先检查文件是否存在”的步骤，系统会将此学习为一条通用规则，而非仅仅是一个单一的修复方案。这些提炼出的教训会被存储在一个结构化的经验库中。

在第二阶段，智能体会尝试一项任务，并根据发生的情况产生自己的改进想法。随后，系统会查看其提炼出的教训库，并选择与当前问题最相关的教训。它并不仅仅是简单地复制旧有的教训或忽略智能体自己的想法，而是仔细地将两者融合。如果智能体正挣扎于一个公开历史中曾多次解决过的常见问题，系统就会更多地借鉴这种外部智慧。如果智能体面临的是一个从未见过的独特且奇怪的错误，系统则会更信任智能体自身的观察。这种平衡并非固定不变的；系统会根据这些变化是否确实让智能体的表现有所提升，不断调整对外部库与智能体自身经验的信任权重。

研究人员在五种不同类型的任务上测试了这种方法的成果，涵盖了从回答复杂问题、管理电子表格到在虚拟环境中控制机器人等领域。研究人员使用了四种不同的语言大模型来充当智能体。在所有案例中，将这种外部经验加入智能体的自我改进循环后，其性能都得到了提升。智能体的平均得分更高，在各项测试中的提升幅度约为三到五分。更重要的是，使用这种方法进化的技能表现出了更强的鲁棒性（稳健性）。当研究人员将一个通过这种新方法进化的技能应用于与训练时不同的计算机模型时，其表现明显优于那些仅通过学习自身即时错误而进化的技能。这表明，通过纳入来自公开历史的更广泛教训，智能体学习到了可以应用于新情境的通用原则，而不仅仅是死记硬背如何修复特定的错误。

这项研究并不声称旧有的“从错误中学习”的方法是无用的。智能体自身的经验对于理解任务的具体细节仍然至关重要。新方法只是增加了一层智能体无法自行发现的上下文背景。通过将公开软件变更的历史视为一种宝贵的先验知识，研究人员证明了智能体可以更有效地进行进化。他们展示了：通往更聪明、更可靠智能体的路径，不仅在于观察当下的发生，还在于理解相似工具是如何随时间推移而不断改进的长篇故事。这种方法提供了一种让人工智能更具适应性的实用途径，确保其使用的工具不仅适用于今天，而且在未来也具备足够的稳健性。

技术摘要：VCE-Skill

问题陈述

智能体系统日益依赖可复用的技能（即指令、脚本和配置的可移植包）来解决各类任务。虽然近期的研究通过轨迹驱动范式（执行智能体、诊断失败并修订技能）实现了技能的自动化自我演进，但这种方法存在固有的局限性。更新严格受限于当前运行期间收集到的执行轨迹的质量和覆盖范围。噪声或低质量的轨迹可能会掩盖失败原因，而失败模式覆盖不全则可能导致更新过度拟合于有限的观察结果。因此，轨迹驱动的演进往往会忽略那些在当前执行中未被揭示的、具有广泛用途的更新知识。

尽管公开的技能版本历史（例如来自 GitHub 或 ClawHub）包含了开发者在维护过程中采用的丰富的演进知识，但这一资源在技能自我演进领域仍很大程度上未被开发利用。目前尚不清楚这些公开的变化仅仅是重复了基于轨迹演进中发现的策略，还是提供了互补的知识。此外，原始的版本差异（diffs）是细粒度且针对特定仓库的，这使得它们难以直接应用于当前的特定任务失败，因为缺乏抽象层。

方法论：VCE-Skill

作者提出了 VCE-Skill（版本变更经验技能），这是一个旨在通过整合来自公开技能版本历史的外部经验与来自执行轨迹的内部证据，来增强技能自我演进的框架。该方法分为两个主要阶段：

1. 经验蒸馏 (Experience Distillation)

此阶段将来自公开仓库的原始、多噪版本差异转化为可复用的、结构化的指导。

变更抽象 (Change Abstraction)： 将相邻技能版本之间的原始差异分解为更新事件 (update events)。每个事件被结构化为 $u_j = \langle d_j, \{c_j\}, o_j, i_j \rangle$ ，代表原始差异 ( $d_j$ )、受影响的组件 ( $c_j$ )、语义操作 ( $o_j$ ) 和更新意图 ( $i_j$ )。
经验生成 (Experience Generation)： 这些事件被蒸馏为三个层级的知识：
- 更新模式 (Update Patterns)： 技能历史中相关的事件组，经过汇总以去除特定于仓库的细节。
- 演进洞察 (Evolution Insights)： 综合了特定技能中循环出现的更新模式的策略。
- 领域洞察 (Domain Insights)： 捕捉同一任务领域内跨技能可迁移优化策略的泛化原则。
经验库 (Experience Bank)： 蒸馏后的知识被聚合到一个结构化的知识库 ( $B$ ) 中，作为外部知识语料库。

2. 基于自适应经验注意力的优化 (Optimization with Adaptive Experience Attention)

此阶段将蒸馏后的外部经验与基础演进器基于轨迹生成的提案进行集成。

经验选择 (Experience Selection)： 在每次迭代中，根据目标任务、当前技能以及来自前一次更新的反馈构建选择上下文。基于 LLM 的选择器从经验库中检索出前 $K$ 个相关的经验。
自我提案生成 (Self-Proposal Generation)： 与此同时，一个基础演进器（如 SkillOpt, EvoSkill）仅基于当前的执行轨迹生成自我提案 ( $p^{self}_t$ )。
自适应注意力融合 (Adaptive Attention Fusion)： 系统使用自适应注意力权重 ( $\lambda^{exp}_t, \lambda^{self}_t$ $λ_{t}^{e x p}, λ_{t}^{se l f}$ ) 来融合外部经验指导 ( $p^{exp}_t$ $p_{t}^{e x p}$ ) 和自我提案 ( $p^{self}_t$ $p_{t}^{se l f}$ )。
- 权重初始设定为相等，随后根据适应性反馈 (Adaptation Feedback) 进行动态调整。
- 反馈机制： 在更新后，系统分析实现的变化之来源（是源于外部经验还是自我提案）以及验证性能的变化。这种统一的反馈 ( $f_t$ ) 会调整下一次迭代的注意力权重，增加对贡献了成功改进的来源的依赖，并减少对与非改进更新相关的来源的依赖。

核心贡献

动机研究： 作者进行了一项试点研究，对比了公开技能变化与基于轨迹的变化。研究表明两者具有互补的覆盖范围：基于轨迹的变化高度集中在指令和狭窄的意图上，而公开历史则涵盖了更广泛的组件，并引入了当前运行中未观察到的独特意图和模式。
VCE-Skill 框架： 提出了一种将原始版本变更蒸馏为结构化、可复用经验，并在迭代优化过程中将此外部先验与轨迹驱动提案进行自适应融合的方法。
实证验证： 通过在多个基准测试和模型上的广泛实验，证明了 VCE-Skill 的有效性和通用性。

实验结果

作者在五个基准测试（SearchQA, OfficeQA, ALFWorld, Spreadsheet, BFCL-v4）上评估了 VCE-Skill，使用了四种 LLM（Qwen3.5-27B, GPT-5.2, DeepSeek-v3.2, Claude Sonnet 5）和三种基础自我演进方法（EvoSkill, SkillClaw, SkillOpt）。

性能提升： VCE-Skill 持续提升了所有基础演进器的性能。在不同配置下，平均得分增加了 3.20 到 4.98 分。例如，在 Qwen3.5-27B 上，SkillOpt+VCE 达到了 60.27 的平均分（比 SkillOpt 高出 +3.47）；在 GPT-5.2 上达到了 70.84（提升了 +3.78）。
消融实验： 若移除经验蒸馏（直接使用原始差异），会导致显著的性能下降，通常会低于基准线。使用固定等权重代替自适应注意力也会表现不佳，这证实了抽象化和动态权重的必要性。
跨模型迁移能力： 使用 VCE-Skill 演进的技能在应用于不同模型时，展现出比未使用它时更强的迁移性。当从源模型迁移到目标模型时，经 VCE 增强的技能使平均得分提高了 5.15 到 6.04 分，这一增益超过了其在源模型自身评估中的提升。这表明蒸馏的经验减少了模型特定的过拟合。

意义与主张

本文主张公开的技能版本历史是智能体技能演进中一个此前未被充分探索且有效的先验知识来源。通过强调外部版本变更与内部轨迹证据之间的互补性，VCE-Skill 推进了轨迹驱动的范式。

作者将他们的工作定位为一种模块化增强，而非现有自我演进方法的替代品，它允许任何基础演进器利用外部经验。其意义在于将关注点从仅仅依赖当前的执行证据，转向整合更广泛的、有历史依据的演进先验，从而产生更鲁棒、更具泛化性且具备跨模型迁移能力的技能。