💻 computer science

SkillEvo: Self-Renewing Evolution Gradients from Multi-Turn Interaction Feedback

SkillEvo 是一个通过将多轮用户模拟转化为用于针对性改进的持续反馈生成器，并引入主动治理层以修复结构性退化，从而实现智能体技能持续演进的框架，其性能优于现有的单轮或基于自我反思的方法。

原作者： Qianxi Yan, Chunrong Chen, Jiuzhou Zhao, Min Zhang, Yongzhou Xu, Xiaochuan Xu

发布于 2026-08-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Qianxi Yan, Chunrong Chen, Jiuzhou Zhao, Min Zhang, Yongzhou Xu, Xiaochuan Xu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何修理一台坏掉的面包机。在过去，你必须亲手写下每一个步骤：“检查插头”、“寻找烧焦的电线”、“按下复位按钮”。如果机器人犯了错，你必须找到错误所在，重写手册，然后重新开始。这既慢又贵，而且机器人永远无法在实战中通过自身的失败进行学习。

最近，科学家们开始让机器人尝试修理东西，然后询问它们：“你是怎么做到的？”机器人会观察自己的工作，意识到自己漏掉了一个步骤，然后尝试重写自己的指令。这被称为“自我进化”（self-evolution）。但问题在于：大多数这类机器人只能得到一次解释自己的机会。它们尝试修理面包机，得到一个快速的“做得好”或“做得不好”的分数，然后就停止了。它们会错过那些只有在你追问“等等，如果插头松了且电线也烧焦了怎么办？”时才会显现出来的细微错误。它们之所以停滞不前，是因为它们看不见问题更深层的维度。

这就是名为 SkillEvo 的新理念出现的地方。这是一个旨在帮助 AI“智能体”（聪明的计算机程序）通过长期的、来回不断的对话而非仅仅是单次的快速检查来提升工作能力的框架。来自腾讯云和浙江大学的研究人员发现，他们想要解决一个特定的问题：如何让 AI 的知识库不断增长和完善，而不至于变得混乱、困惑或充满谎言？他们发现，秘诀不仅仅是有一个聪明的编辑，而是要有一个聪明的“老师”，通过不断提出后续问题来揭示隐藏的错误，以及一个严格的“检查员”，确保机器人在试图添加新答案时不会意外删除正确的答案。

问题所在：停止学习的机器人

想象一下，你正在玩一款带有新角色的视频游戏。在第一轮中，角色尝试跳过一个坑但失败了。你告诉他们：“你需要跳得更高。”他们改进了，在下一轮中，他们跳跃得很好。但随后，他们尝试在躲避火球的同时跳过一个坑，结果再次失败。如果你的老师只针对第一次跳跃给出反馈，那么这个角色永远学不会如何应对火球。他们会遇到一个“天花 ceiling”，即由于没有针对难题进行测试，他们无法再取得任何进步。

这正是目前的 AI 技能所面临的情况。大多数系统使用“单轮”检查。AI 尝试解决问题，得到一个分数，然后重试。但一旦明显的错误被修复，反馈就会停止。AI 撞到了墙。这就像通过只回答简单的“是”或“否”来学习语言一样；你永远无法学会如何进行复杂的对话。

此外，当这些 AI 尝试自我修复时，它们往往会把事情搞砸。它们可能会添加过多的新信息，导致它们的指令变成了一部充满矛盾的、长达百页的杂乱小说。它们可能会忘记原本应该遵循的规则。这被称为“退化”（degradation）。它们越试图进化，在可靠性方面就表现得越差。

解决方案：SkillEvo 的两部分魔力

该论文的作者提出了一个名为 SkillEvo（技能进化）的新系统。他们认为，让 AI 变得更好的关键不仅在于给它更多编辑自身代码的时间，而在于给予它更好的反馈和更好的规则。他们构建了一个包含两个主要部分的系统：可信反馈生成器（Trustworthy Feedback Generator）和可控治理层（Controllable Governance Layer）。

第一部分：好奇的模拟器（可信反馈）

SkillEvo 不仅仅是向 AI 提一个问题，而是使用一个“模拟器”来扮演一个真实、略显刁钻的人类客户。这个模拟器不会只问一个问题就离开，它会玩一场“二十个问题”的游戏。

设置： 模拟器阅读一份真实的、杂乱的客户投诉（即“工单”），并创建一个真实的场景。它知道客户的需求、客户已经尝试过的操作，甚至知道客户可能会如何感到沮携。
对话： AI 尝试提供帮助。模拟器会提出后续问题：“好吧，但如果我试了那个方法却没用呢？”或者“等等，我现在有一个不同的错误代码。”
揭示： 这种来回的对话剥开了问题的层层外壳。就像在视频游戏中一样，第一轮对话可能会修复容易的问题，但第二轮和第三轮对话会揭示隐藏的、复杂的问题。
过滤器： 并不是所有的错误都是 AI 的错。有时是模拟器表现得很奇怪，或者 AI 使用的工具本身坏了。SkillEvo 有一个特殊的“归因器”（Attributor）来进行检查：“这是 AI 知识的缺失，还是其他原因？”只有真正的知识缺口才会被转化为反馈。

这创造了一个“自我更新”的梯度。每当 AI 修复一个错误时，模拟器都会提出一个更难的问题，从而揭示下一层缺陷。AI 永远不会缺乏学习的内容。

第二部分：严格的检查员（可控治理）

即使有了优秀的反馈，AI 也可能会变得混乱。如果你让一个学生每天都重写他们的教科书，他们可能会在添加一章艺术课的同时，不小心删掉了数学章节。他们可能会让这本书变成一本千页的废话连篇的书。

SkillEvo 添加了一个“治理”层来阻止这种情况。你可以把它想象成一个严格的编辑，他有两个规则：

不要删除真相： AI 必须保留它开始时所有的稳定、正确的实事。如果它试图删除一个已知事实，系统会说“不！”并立即修复它。
不要让书变得臃肿： 系统会检查 AI 是否在添加不必要的废话，或者是否破坏了其知识各部分之间的联系。如果 AI 的“知识图谱”变得纠缠不清或过于庞大，系统会主动进行修复，修剪掉死胡同并收紧结构。

这确保了随着 AI 变得越来越聪明，它不会变得混乱。它能保持组织有序且可靠。

实验结果：数据说话

研究人员在用于云服务的 9 项真实世界技能（如修复数据库问题或管理服务器）上测试了这个系统。他们将 SkillEvo 与三种其他方法进行了对比：

原始技能： 起始点，从未更新。
自我反思（Self-Reflection）： AI 在没有任何外部反馈的情况下尝试自我修复。
单轮问答（Single-Turn QA）： AI 从仅有一次问答环节中获得反馈。

结果非常明确。“自我反思”法几乎没有进步，只是在原地踏步。“单轮问答”法起初有所提升，但随后遇到了瓶颈，成功率停留在 66.4% 左右。

然而，SkillEvo 则持续攀升。通过利用多轮对话来发现深层问题，并利用治理层来保持整洁，它达到了 81.8% 的成功率。这比单轮法提高了 15.4 个百分点，比最初未更新的技能提高了惊人的 51.8 个百分点。

他们还测量了 AI 的“知识书”增长了多少。如果没有治理层，书的体积增长了 16.2%，变得臃肿且混乱。有了治理层，它仅增长了 2.8%，证明了 AI 在学习过程中非常高效，没有添加不必要的垃圾信息。

这为什么重要

这篇论文表明，AI 的未来不仅仅在于制造更大的模型或让它们自我编辑。而在于我们如何与它们交流，以及我们如何检查它们的工作。通过将一个简单的“测试”转变为一场长期的、揭示性的对话，并通过添加一个严格的“治理”系统来防止 AI 陷入混乱，我们可以创造出能够真正随时间演进并不断进步的 AI。

作者在腾讯云的真实生产环境中测试了这一点，这意味着这不仅仅是一个理论，而是一个在涉及真实客户时确实有效的系统。他们证明了，如果你给 AI 一个会提出正确后续问题的老师，以及一个能保持其诚实的严格编辑，AI 就可以进化成为一个更加强大且可靠的助手。

技术摘要：SkillEvo —— 基于多轮交互反馈的自我更新演进梯度

1. 问题陈述

当前的智能体技能（Agent Skills）——即封装了领域知识和处理流程的可移植模块——主要由人工编写或通过单次 LLM 调用生成。因此，它们缺乏从其引发的交互失败中进行改进的闭环机制。虽然最近的研究尝试构建这种闭环，但其依赖于单轮问答（QA）评估。这种方法创造了一种尖锐的不对称性：一旦第一轮修复了单次交换中可见的缺陷，演进梯度就会衰减。那些仅在多轮交互中才会显现的缺陷无法被察觉，导致演进停滞。

此外，现有的治理机制依赖于端到端的标量验证分数。虽然该分数可以拒绝退化的候选版本，但它无法定位或修复导致退化的结构性原因（例如：事实过度泛化、引用断裂或知识膨胀）。作者认为，持续技能演进的约束因素不在于编辑能力或迭代次数，而在于评估反馈是否能持续提供可靠的演进梯度。

2. 方法论：SkillEvo 框架

SkillEvo 是一个基于两大支柱构建的技能演进框架：可靠反馈生成与可控技能治理。它作为一个闭环运行：场景合成器 $\rightarrow$ 用户智能体 $\rightarrow$ 验证器 $\rightarrow$ 集体归因 $\rightarrow$ 技能优化器 $\rightarrow$ 技能治理器。

2.1 可靠反馈生成

该框架将多轮用户模拟从单纯的评估终点重新定义为连续的反馈生成器。该组件通过满足覆盖度、准确性和可归因性三个条件来确保反馈信号的可靠性。

受限用户重建： 不同于通用的模拟，系统从真实的真人处理工单中提取意图议程（intent agenda）、行为事实（behavior facts）和情绪轨迹（emotion trajectory）。通过**意图状态机（Intent State Machine）**追踪关键意图是否已被提出并得到实质性解决，以防止过早终止或冗余轮次。
双侧正交评估： 为确保准确性，系统分别对模拟器和智能体进行评估。
- 模拟器侧： 测量意图覆盖率 ( $c_U$ )。如果关键意图未被提出，则将失败归因于模拟失真（评估噪声），而非智能体的问题。
- 智能体侧： 针对人类参考方案测量暴露意图响应准确率 ( $s_C$ )。这隔离了真实的知识差距与模拟伪影。
集体归因： 失败被分为三类：
1. 知识差距（Knowledge Gap）： 可通过技能修复（如缺失事实）。
2. 能力限制（Capability Limit）： 技能无法修复（如权限/工具限制）。
3. 评估噪声（Evaluation Noise）： 模拟失真或假阴性。
  只有知识差距会被投影到反馈信号 ( $L_t$ ) 中。多个相似的差距会在语义上进行合并，从而使修订工作聚焦于跨样本的共性，而非单实例的噪声。

2.2 可控技能治理

为了防止多轮修订过程中出现性能退化累积，SkillEvo 引入了一个独立的治理层，将模式从被动拒绝转向诊断驱动的主动修复。

事实一致性（硬约束）： 修订后的技能必须保留生产基准（ $S_0$ ）中的稳定事实。系统使用双锚点（ $S_0$ 和前一轮的 $S_{t-1}$ ）来区分丢失的稳定事实与新引入的错误。任何违反行为都会触发即时的同轮修复。
结构一致性（软约束）： 系统会诊断三种标量分数无法捕捉到的结构性退化类型：
1. 知识膨胀（Knowledge Bloat）： 冗余稀释了路由精度。
2. 引用断裂（Reference Breakage）： 悬空引用或孤立文件。
3. 事实过度泛化（Factual Over-generalization）： 具体数值退化为模糊陈述。
  治理层并非直接拒绝候选版本，而是发出修复这些结构性问题的建议，以便在下一轮进行修复，确保梯度方向不发生漂移。

2.3 有界编辑

技能优化器执行有界更新（ $S_{t+1} = \text{BoundedEdit}(S_t, L_t, S_0)$ ）。更新受证据边界（仅修补经验证的差距）和参考边界（修订锚定于生产基线以防止覆盖稳定事实）的约束。

3. 核心贡献

可靠反馈的形式化： 论文定义了三个必要条件（覆盖度、准确性和可归因性），并引入了一个多轮模拟框架，将交互从一个终点重新定义为反馈生成器。这包括意图状态机、双侧正交评估和集体归因。
技能的结构化治理： 作者将技能识别为易发生特定退化（膨胀、断裂、过度泛化）的结构化知识系统。他们提出了一个利用双锚点实现事实一致性、并利用图结构诊断实现主动修复的治理机制，超越了标量门控拒绝。
实证验证： 该框架在六类云服务场景中进行了部署和测试，涉及 9 个生产级技能和 98 个技能参考文件。

4. 实验结果

评估是在腾讯云生产技术支持场景下进行的，使用了升级工单（失败案例）数据集。结果针对三个基准进行了衡量：原始技能（人工编写）、自我反思（无评估）以及单轮 QA 驱动的演进。

性能提升： SkillEvo 比原始技能提升了 51.8 个百分点的任务成功率（TSR）。它比基于自我反思的演进高出 23.0 个百分点，比单轮 QA 驱动的演进高出 15.4 个百分点。
梯度可持续性： 虽然单轮 QA 显示出收益递减（TSR 在第一轮后在 66.4% 左右趋于平缓），但 SkillEvo 展示了自我更新的梯度，其 TSR 从 R1 的 59.4% 稳步攀升至 R4 的 81.8%。
退化控制：
- 回归率： 治理层显著降低了跨轮回归率，即此前通过但在后续轮次失败的工单比例从 R1 $\rightarrow$ R2 的 28.2% 下降到 R3 $\rightarrow$ R4 的 21.1%。
- 知识膨胀： 在没有治理的情况下，累计知识膨胀达到了 16.2%。在使用 SkillEvo 治理后，膨胀被限制在 2.8%，并在第一轮后趋于稳定。这表明能力提升源于对现有知识的修正，而非文本容量的扩张。
消融实验： 去除多轮交互（替换为单轮 QA）消除了 15.4 个百分点的领先优势，证实了反馈源是主要的驱动力。去除治理层会导致 TSR 下降较小（3.2 个百分点），但会导致知识膨胀大幅增加，凸显了治理层在维护结构完整性而非仅仅是即时分数最大化方面的作用。

5. 意义与主张

论文声称，持续技能演进的瓶颈不在于编辑文本的能力或迭代次数，而在于评估反馈信号的质量与连续性。

自我更新梯度： 通过利用多轮交互，SkillEvo 确保每一轮修订在消耗反馈的同时，通过逐层暴露潜在缺陷来生成更深层的反馈。
主动治理： 该框架证明，将技能视为结构化知识系统，可以实现对标量指标无法检测的结构性退化（如膨胀、引用断裂）进行诊断与修复。
生产可行性： 该框架已在腾讯云生产环境中部署，证明了其在人工维护成本高昂且对延迟敏感的实际运行环境下的有效性。

作者强调，他们的方法为在面向用户的系统中部署自我演进知识提供了必要条件：一个能够隔离模拟失真的高质量反馈闭环，以及一个能够主动维护技能结构与事实完整性的治理机制。