🤖 AI

OpenSkill: Open-World Self-Evolution for LLM Agents

本文介绍了 OpenSkill，这是一个使 LLM 智能体能够在无需依赖目标任务监督的情况下，通过从外部资源中合成可迁移的技能和验证信号，从而在开放世界部署中实现自主引导自我演进的框架。

原作者： Zhiling Yan, Dingjie Song, Hanrong Zhang, Wei Liang, Yuxuan Zhang, Yutong Dai, Lifang He, Philip S. Yu, Ran Xu, Xiang Li, Lichao Sun

发布于 2026-06-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhiling Yan, Dingjie Song, Hanrong Zhang, Wei Liang, Yuxuan Zhang, Yutong Dai, Lifang He, Philip S. Yu, Ran Xu, Xiang Li, Lichao Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你雇佣了一位才华横溢但缺乏经验的学徒来解决一个复杂的谜题。通常情况下，为了教导他们，你会给他们一本教科书、一份“准则与禁忌”清单，或者安排一位老师在旁说：“做得好！”或者“再试一次。”

OpenSkill 是一种全新的训练这些 AI “学徒”（称为 LLM 智能体）的方法，即使在完全没有上述任何东西的情况下也是如此。你只需给他们一个谜题提示和互联网。他们必须自学成才，弄清楚该学习什么，甚至构建自己的“老师”来检查自己的工作，而全程无需偷看答案。

以下是该论文如何使用简单的类比来解释这一过程的：

问题所在：“寂静之室”

目前大多数 AI 训练方法都假设 AI 拥有一个有效的反馈循环：它尝试一次，得到一个分数，然后再次尝试。但在现实世界（“开放世界”）中，你通常只会得到一个任务和一大堆杂乱的资源（网站、手册、代码库）。你没有答案解析，也没有人类来为他们的工作评分。

如果 AI 试图从自己的猜测中学习，它可能会在错误时自我说服，认为自己是对的。这就像是在一个没有字典的房间里通过只跟自己说话来学习一门新语言。

解决方案：OpenSkill

研究人员构建了一个名为 OpenSkill 的框架，它充当了 AI 的自给自足式生存指南。它通过三个主要阶段运行：

1. “图书管理员”阶段（知识获取）

OpenSkill 不依赖于 AI 已经记住的内容（这些内容可能过时或错误），而是将 AI 送往“开放世界”（互联网、文档、代码库）。

类比： 想象 AI 是一名侦探。它不是在靠猜来寻找罪犯，而是去图书馆阅读所有与案件相关的警务报告、技术手册和新闻文章。它收集了构建计划所需的原始事实。

2. “虚拟道场”阶段（无泄露进化）

这是最聪明的部分。AI 需要练习，但它不能使用真实的答案解析。因此，OpenSkill 构建了一个虚拟验证器（Virtual Verifier）。

类比： 把这想象成一个“道场”或练习馆。AI 编写了一套用于解决谜题的规则（技能）。然后，一个独立的、另一方的 AI 充当严格的裁判。
裁判的工作原理： 裁判并不知道答案解析。相反，它根据之前在图书馆中找到的硬事实来检查 AI 的工作。
- 示例： 如果任务是分析数据集，裁判会检查：“AI 是否正确统计了行数？数字的总和是否符合已知的总量？”
- 这就像一名数学老师在检查你的答案是否为偶数，或者是否落在某个合理的范围内，而不需要知道你原本应该得到的那个具体数字。
如果 AI 失败了，裁判会说：“你漏掉了一个步骤，”或者“你需要重新查阅这条特定的规则。”然后 AI 会修正其规则并再次尝试。这个循环会一直持续到 AI 通过所有的“虚拟”测试。

3. “期末考试”阶段（零样本评估）

一旦 AI 在虚拟道场中磨练好了技能，它就会被派往现实世界去执行实际任务。

类比： AI 参加期末考试。真实的答案解析只有在考试结束后才会揭晓。研究人员发现，由于 AI 在使用其自建的“裁判”进行练习，它的表现非常出色，通常优于那些依赖预设技能或人类反馈的方法。

为什么这很重要（结果）

论文在三种不同类型的挑战（软件编码、社会推理和科学实验）上测试了该系统，并使用了两种不同的 AI 模型。

它没有作弊： AI 在训练期间从未见过真实的答案。它从公开事实中构建了自己的“真理”。
它是可移植的： AI 学到的“技能”（它编写的规则）就像一本实体的书。你可以把一个 AI 写成的书拿给另一个完全不同的、较弱的 AI，它依然有效。AI 不仅仅是“背诵”了答案；它学会了一种方法。
它击败了竞争对手： 在几乎所有的测试中，OpenSkill 的得分都高于其他尝试在没有这种特定“虚拟裁判”设置下进行学习的方法。

核心结论

OpenSkill 是一个教导 AI 智能体实现自立的系统。它表明，一个 AI 可以从对特定任务一无所知，到成为专家，仅仅通过：

阅读手册（开放世界）。
基于事实构建自己的练习测试（虚拟验证器）。
通过练习直到通过该测试。
然后解决实际问题。

它证明了，你不需要人类老师或隐藏的答案解析来教 AI 如何变得更好；你只需要给它正确的工具来检查自己的工作。

技术摘要：OPENSKILL: 面向 LLM 智能体的开放世界自我演进

1. 问题定义：开放世界自我演进

目前的自我演进 LLM 智能体通常依赖于一种“可用学习环”（usable learning loop），这种环路预设了在学习阶段可以访问经过策划的技能、成功的执行轨迹或显式的验证信号（例如奖励、标准答案）。然而，现实世界的开放式部署通常仅提供一个种子任务提示词（seed task prompt）并允许访问外部资源，缺乏初始技能或监督信号。

本文将开放世界自我演进定义为如下场景：智能体必须：

仅凭一个任务指令 ( $I_i$ ) 和一个执行环境 ( $E_i$ ) 开始工作。
访问开放世界资源（文档、代码仓库、网页），但排除隐藏的目标答案、奖励或验证器输出。
从零开始构建其技能（可复用的行为制品）及其自身的验证信号。
在演进过程中无需目标任务的监督即可提升性能，仅将地面真值（ground-truth）保留用于最终评估。

核心挑战在于，仅有事实是不够的；智能体必须推断学习的内容，并构建一个耦合的学习环，使同一份开放世界证据既能提供待学习的知识，又能为完善该知识提供监督。

2. 方法论：OpenSkill 框架

OpenSkill 是一个三阶段流水线，旨在无需泄露目标任务监督的情况下引导这一自我演进环。它在一个严格的“泄露屏障”下运行，防止地面真值 ( $T^{GT}_i$ ) 进入技能构建阶段。

第一阶段：开放世界知识获取

智能体查询开放世界资源以获取两种不同类型的知识：

技能构建知识 ( $k_i$ )： 检索与任务相关的背景概念、最佳实践、API 文档和引用。
验证知识 ( $k^v_i$ )： 检索可独立验证的锚点，例如来自官方文档的参考值、已知数据集的统计不变性、交叉验证程序以及领域标准。
技能规划： 合成一个结构化计划 ( $p_i$ )，定义技能架构、关键流程和领域规则。
泄露预防： 所有查询都经过过滤，以排除可能导致目标答案的基准测试名称和标识符。

第二阶段：无泄露技能演进

智能体使用**虚拟验证器（Virtual Verifier）**迭代生成并优化技能：

虚拟测试生成： 系统并非使用地面真值测试，而是基于验证知识 ( $k^v_i$ ) 生成一套虚拟测试套件 ( $\tilde{T}_i$ )。这些测试由确定性断言组成（例如检查行数、指标范围或输出格式），不需要知道目标答案。
迭代优化： 智能体使用当前的技能集执行任务。如果虚拟通过率 ( $\tilde{r}$ $\tilde{r}$ ) 小于 1，则由**诊断检索器（Diagnostic Retriever）**分析失败原因，以区分以下情况：
- 实现缺陷（Implementation Bugs）： 通过自我修正进行修复。
- 知识缺口（Knowledge Gaps）： 触发针对性的新开放世界知识检索。
终止条件： 循环持续进行，直到虚拟通过率达到 1.0 或达到最大迭代预算 ( $J=3$ )。最终技能集 ( $\hat{S}^*_i$ ) 是循环终止时的技能状态。

第三阶段：零样本目标评估

精炼后的技能制品被部署到目标智能体（该智能体可能与构建智能体不同）中进行零样本评估。性能根据隐藏的地面真值测试套件 ( $T^{GT}_i$ ) 进行衡量，该套件在演进过程中从未被访问过。

3. 核心贡献

定义了开放世界自我演进： 本文形式化了一个场景，即智能体必须完全依靠开放世界资源来构建技能和验证信号，而不依赖目标任务的监督。
提出了 OpenSkill 框架： 该框架通过合成可迁移的技能以及一个基于开放世界事实（而非隐藏答案）构建的自建虚拟验证器，引导自我演进的创新流水线。
实证验证： 证明了 OpenSkill 在多个基准测试和模型族中实现了卓越的自动化通过率，同时遵循了无监督约束。

4. 实验结果

该框架在三个基准测试（SkillsBench, SocialMaze, ScienceWorld）上进行了评估，并使用了两个目标智能体（Opus 4.6 和 GPT 5.2）。

性能表现： OpenSkill 在所有基准测试中均取得了最佳的自动化总通过率。在 SkillsBench 上，它达到了 43.6% (Opus 4.6) 和 42.1% (GPT 5.2)，分别比最强的闭环基线（Skill-Creator 和 CoT）高出 8.9 和 8.8 个百分点。它始终接近人工策划的上界。
跨模型可迁移性： 使用 Opus 4.6 生成的 OpenSkill 技能被直接部署到较弱的模型（Haiku 4.5, Qwen 3 Coder, DeepSeek V3, Mistral Large 3）上，且无需重新训练。OpenSkill 生成的技能在所有目标模型上均表现出最高的奖励，相比“无技能”基线提升了 5.5%–14.8%。
验证器质量： 尽管从未访问过地面真值测试，自建的虚拟验证器仍实现了 80.5% 的召回率和 60.7% 的一致性。在采样任务中，它覆盖了 88.9% 的地面真值测试意图。
消融研究：
- 迭代次数： 性能在 3 次优化迭代时达到顶峰；过度迭代会导致对虚拟反馈的过拟合。
- 组件贡献： 与仅基于参数化的基线相比，开放世界查询模块和虚拟验证器均提供了显著且互补的增益。

5. 意义与主张

本文声称 OpenSkill 展示了一条可行的路径，使智能体能够在缺乏策划技能和可靠反馈的环境中部署后继续改进。通过将技能获取与目标任务监督解耦，并将验证锚定在独立的、可验证的开放世界事实中，OpenSkill 实现了：

可扩展性： 技能是显式的制品而非模型权重，这使得它们可以跨不同的模型族进行迁移。
落地性（Groundedness）： 技能源自外部文档和代码仓库，减轻了对可能过时或不足的参数化知识的依赖。
无监督学习： 该框架证明了仅利用任务提示词和开放世界资源，即可构建一个自我改进环，而无需在训练阶段需要“金标准答案”。

作者也承认了局限性，包括开放世界来源可能存在的噪声、虚拟任务可能过易（导致高估技能质量）的风险，以及相比于闭环生成，开放世界研究的计算成本较高。然而，结果表明，开放世界获取结合无泄露验证，是一种稳健的自主智能体演进机制。