🤖 AI

Evo-Harness: Context-to-Harness Skill Compilation for Self-Evolving Agents

Evo-Harness 引入了一种自我演进的智能体框架，该框架通过采用从上下文到挂件（context-to-harness）的技能编译技术，将经验提炼为可重用的、结构化的技能挂件，从而解决在处理现实世界新颖任务时，从噪声多且单次交互中学习的挑战，以实现持续的跨领域提升。

原作者： Tianxin Wei, Zhan Shi, Minhua Lin, Bing He, Zewen Liu, Yisi Sang, Yuanchen Bei, Xuying Ning, Jiaru Zou, Ting-Wei Li, Xiao Lin, Yanjun Zhao, Chi Wang, Benoit Dumoulin, Dakuo Wang, Jingrui He, Hanqing L

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tianxin Wei, Zhan Shi, Minhua Lin, Bing He, Zewen Liu, Yisi Sang, Yuanchen Bei, Xuying Ning, Jiaru Zou, Ting-Wei Li, Xiao Lin, Yanjun Zhao, Chi Wang, Benoit Dumoulin, Dakuo Wang, Jingrui He, Hanqing Lu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能飞速发展的世界中，一种被称为“大语言模型智能体”（large language model agent）的特定软件已成为解决复杂问题的强大工具。这些智能体能够像人类一样阅读指令、规划步骤、使用数字工具，并与网站或计算机系统进行交互。然而，一个持久的挑战限制了它们的潜力：当这些智能体在任务中失败时，它们往往将该失败视为死胡同。它们不会自然地从错误中学习，以避免日后重蹈覆辙。传统的教学方法通常涉及收集数千次过去的尝试，并进行离线分析以寻找模式，这个过程缓慢且往往与实际工作的实时流程脱节。在许多实际场景中，智能体仅有一次机会遇到一个新的、困难的任务，只有一次成功或失败的机会，这使得传统的、需要缓慢积累数据的学习方式几乎没有发挥空间。

研究人员现在提出了一种让这些数字工作者能够即时提升自身能力的新方法，他们称之为“在线束缚学习”（online harness learning）。这种方法并非试图重新训练智能体那通常固定且不可更改的核心大脑，而是为其附加了一个随每一次新经验而进化的外部“指南手册”。这个指南手册（或称“束缚”，harness）充当了一个从过往尝试中总结出的结构化经验集合。当智能体失败时，系统不仅仅是存储错误，而是积极地将失败的混乱细节编译成一条清晰、可重用的规则。这条规则随后会被添加到指南手册中，准备在未来帮助智能体应对类似的挑战。其目标是将嘈杂的一次性错误转化为一条干净、可操作的智慧，并使其能够应用于不同类型的任务。

为了测试这一构想，研究人员构建了一个名为 Evo-Harness 的系统，并让它在五个不同且具有挑战性的基准测试中接受考验。这些测试范围涵盖了从导航复杂的网站到管理软件代码库，再到执行精确的命令行指令以及使用各种数字工具。在每种场景下，智能体都会接收到一系列连续的任务，且没有机会暂停并重新训练其底层模型。该系统的设计旨在提取每次尝试的原始上下文——包括给出的指令、采取的行动、结果以及收到的反馈——并将其提炼为结构化的教训。如果智能体失败了，一个专门的过程会对出错之处进行反思，提出一条新规则或对现有规则进行修改。随后，另一个过程会决定是将这条新规则添加进去、将其与现有知识合并，还是如果该规则过于针对单次失败尝试则将其丢弃。

实验结果令人瞩目。使用该进化指南手册的智能体表现始终优于未使用指南的智能体，也击败了其他依赖于简单检索过去案例或存储非结构化记忆的方法。在一个专注于命令行任务的基准测试中，提升尤为显著，成功率从大约 63% 跳升至 73% 以上。这表明，将嘈杂的一次性经验编译成结构化引导的能力，在需要精确操作序列的任务（如检查文件或从错误中恢复）中特别有价值。研究还发现，系统生成的引导类型会根据任务的不同而变化：对于网页导航，指南手册充满了工作流程序；对于软件工程，它侧重于验证和恢复步骤；而对于推理任务，它则捕捉领域特定的逻辑。这种适应性表明，该系统不仅是在记忆答案，而且是在学习解决问题的底层结构。

这项研究的一个关键洞型在于，并非所有的反馈都是同等重要的。当系统接收来自环境的清晰、具象的反馈（例如特定的错误消息或测试结果）时，表现最为出色；而当它被要求自行判断成功与否时，表现则不如前者。当智能体试图在缺乏外部证据的情况下生成自己的反馈时，其性能实际上跌破了基准线，这表明自我判断可能会引入混乱。此外，研究显示，智能体“大脑”的大小和能力至关重要。更强大的模型能更好地理解并遵循进化的引导，从而从系统中获得显著更多的收益，而较弱的模型则不然。有趣的是，较小的模型有时可以编写出一份帮助更强大模型的指南手册，但反之则不一定成立。如果执行任务的智能体本身不够先进，无法理解这些引导，那么额外的信息不仅没有帮助，甚至可能阻碍性能。

研究人员还探索了这些习得技能的可迁移性。他们发现，由一个模型创建的指南手册对另一个模型也是有用的，并且在训练任务上学到的技能可以提高在未见过的测试任务上的表现。然而，最有效的方法是随着智能体处理任务流的过程持续更新指南手册。这种实时适应能力使系统能够根据当前环境的具体特性和失效模式进行调整，其表现甚至超过了那些经过精心预训练的指南手册。研究结论指出，智能体实现自我提升的关键不在于不断重新训练其核心模型，而在于构建一个稳健的外部系统，能够将现实世界的混乱失败转化为一套清晰、有组织的指令。通过将指南手册视为一份随着每一次交互而生长和完善的“活文档”，这些数字智能体便能学会应对复杂且多变的现实工作。

技术摘要：EVO-HARNESS

问题陈述

大语言模型（LLM）智能体在网络交互、软件工程和工具使用等复杂场景中已展现出强大的能力。然而，一个关键的局限性仍然存在：当智能体任务失败时，这种失败往往只是一个孤立事件，而非未来改进的来源。现有方法通常依赖于从累积的轨迹中进行离线学习，利用反思、记忆或技能来提取知识。

在现实环境中，智能体不断遇到新的任务，通常在单次执行后仅提供**一次性机会（one-shot opportunity）**来进行改进。这些执行过程会产生丰富但具有高度噪声的上下文，其中广泛适用的教训与特定任务的产物、局部失败以及偶然的工具追踪交织在一起。以往的工作很少在这些现实的、一次性约束条件下验证有效性，也未能系统地隔离驱动智能体改进的底层因素。此外，简单的过去经验检索在如此动态的环境中往往显得力不从心。

方法论：EVO-HARNESS

为了填补这些空白，作者提出了在线挂架学习（online harness learning），在这种设定下，一个冻结的智能体（参数固定）通过跨序列任务增量更新一个结构化的外部挂架（harness）来实现改进。其核心机制是上下文到挂架的技能编译（Context-to-Harness Skill Compilation），即将噪声巨大的单次执行上下文提炼为可重用的技能挂架。

框架概述

该框架在一个序列任务流 $\{B_1, \dots, B_K\}$ 中运行。在每个批次之前，智能体拥有当前的挂架 $H_i$ ，这是一组结构化的、可重用的指导条目。

选择与注入： 对于特定任务，智能体根据任务上下文选择一组紧凑的挂架条目（ $S_{i,j}$ ）并将其注入提示词中。
执行： 冻结的求解器（solver）执行任务，生成执行上下文 $c_{i,j}$ （输入、轨迹、结果和反馈）。
执行反思： 如果执行失败或收到负面反馈，求解器会对上下文进行反思，以生成候选记忆（ $r$ ）。该记忆包括教训、触发条件、证据和范围提示。至关重要的是，反思侧重于失败，以暴露求解器的边界（例如：错误的假设、薄弱的验证），同时避免来自成功的、特定任务执行的噪声。
挂架演化： 在一个批次之后，一个**演化器（evolver）**针对当前挂架处理候选记忆。它过滤噪声、合并兼容的信号并修订现有的指导。演化器将记忆编译为两个层级的指导：
- 跨任务模式： 在不同任务中识别出的共享操作结构。
- 任务类型程序： 针对循环出现的任务格式、接口或领域的局部指导。
更新： 通过编辑（ADD, MERGE, REVISE, SKIP）更新挂架（ $H_{i+1}$ ），从而创建一个用于未来规划和恢复的不断演进的支架。

关键组件

求解器（Solver）： 执行任务的冻结 LLM。
演化器（Evolver）： 将候选记忆编译为结构化挂架更新的组件（通常是另一个 LLM）。
双层设计： 将通用（跨任务）和特定（主题级）技能分离，使系统能够过滤轨迹级噪声，同时保留关键的学习信号。

核心贡献

在线挂架学习公式化： 本文定义了一种设定，即冻结的智能体通过对外部、可重用的挂架进行增量更新而非参数更新来进行改进，专门解决了单次、序列化任务流的约束问题。
上下文到挂架的技能编译： 一种将单次执行上下文转换为可操作的通用及主题级技能更新的机制，区分了可重用模式与局部程序。
挂架演化的系统性分析： 研究隔离了演化器设计、反馈类型和迁移设置对持续自我改进的影响，将技能挂架视为一个可解释的对象，以理解冻结智能体如何进行即时学习。

实验结果

作者在五个现实基准测试中评估了 EVO-HARNESS：TerminalBench2、SWE-bench、CL-Bench、 $\tau$ -bench 和 WebArena-Infinity。

整体有效性： EVO-HARNESS 在所有五个基准测试中均一致优于“无演化（No-Evolve）”基线和现有的基于经验的方法（如 AWM、Dynamic Cheatsheet、Evo-Memory、ACE、XSkill）。在要求文件检查、命令执行和错误恢复的任务（TerminalBench-2）中观察到了显著提升（73.03% vs. 62.92% 的 No-Evolve）。
模型泛化性： 该框架提升了各种求解器模型（Claude Opus 4.5–4.7, Kimi-K2.5, GPT-OSS）的性能。更强的求解器通常受益更多，表明它们能更好地理解演化后的指导。在**程序化任务执行（PTE）**类别中提升最为一致。
组件分析：
- 跨任务（通用）和任务类型（局部）指导都被证明是有用的，但它们的相对重要性因基准测试而异。CL-Bench（自适应推理）更多地受益于局部指导，而 SWE-bench Lite（调试）则更多地受益于广泛的可重用程序。
- “提议（Propose）”步骤（求解器生成候选记忆）被证明与挂架层级的编译是互补的。
迁移与适应性：
- 跨模型迁移： 由较小模型（Claude Sonnet 4.5）演化出的技能可以有效地指导更强的求解器（Opus 4.7），尽管由同一模型进行在线更新会产生最佳结果。
- 求解器-演化器配对： 如果求解器具备足够的理解指导的能力，使用不同的模型进行演化（Cross）可以优于使用相同模型（Same）。然而，如果求解器缺乏这种能力，跨模型演化可能会降低性能。
反馈落地（Feedback Grounding）： 基于事实的反馈（标准：错误追踪、验证器输出）至关重要。自我生成的反馈（LLM 判断自身的成功与否）表现往往逊于“无演化（No-Evolve）”基线，会引入误导性的更新。有趣的是，对于 SWE-bench Lite，极简的通过/失败信号有时比详细的错误信息效果更好，这表明过于具体的失败细节有时会阻碍泛化。

意义与主张

论文声称 EVO-HARNESS 为 LLM 智能体如何有效地进行即时学习提供了原则性的理解。通过超越聚合成功率，该框架利用技能挂架作为一个可解释的媒介，来系统地研究自我改进的驱动因素。

作者强调，他们的工作解决了离线学习与在线、单次任务流现实之间的差距。他们认为，仅仅检索过去的案例是不够的；智能体必须主动将原始执行上下文编译为结构化的、可重用的指导。研究表明，只要拥有将噪声经验提炼为结构化、演进式挂架的机制，冻结的智能体就可以实现显著的自我改进。

局限性： 本研究局限于基于文本的、涉及工具使用、Web、命令行和软件工程环境的单智能体 LLM 系统。它并未评估具身智能体、多智能体系统或除自然语言指导（如可执行代码技能）之外的挂架格式。