技术摘要：EvoClawBench

问题陈述

现有的大型语言模型（LLM）智能体基准测试主要评估任务完成情况、工具使用能力或预设技能的效用。然而，它们未能隔离一个特定的闭环学习问题：在计入编写与总结所产生的完整 Token、成本和时间开销后，智能体运行时能否将其自身完成的任务证据转化为可重用的技能，从而提升后续执行的效果？

目前的评估无法区分智能体是直接解决任务的能力，还是其从先前的尝试中提取程序性记忆并在处理类似任务时进行重用的能力。这一差距使得“技能生命周期”——包括编写、自身运行提取、重用以及变更检查——处于未明确定义的状态。

方法论：EvoClawBench

为了解决这一问题，作者引入了 EvoClawBench，这是一个旨在评估程序性记忆完整生命周期的基准测试。该基准测试由 100 个任务组成，涵盖 502 个子问题，涉及多样化的领域（编码、数据、办公、安全、运维及领域文档工作流）。每个任务都包含重复的、具有结构相关性的子问题，以创造识别模式并编码可重用程序的契机。

评估协议

该基准测试对比了针对同一任务、模型和运行时的三种不同执行策略：

1. BASELINE（基准）： 智能体直接解决任务，不创建或编辑任何技能。这衡量的是原始的任务解决能力。
2. PRESKILL（前置技能）： 智能体首先进入技能编写阶段，根据提示词创建特定于任务的技能。随后，它仅使用生成的技能在全新的工作空间中执行任务。这测试了智能体是否能在解决任务之前推断出有用的程序。
3. POSTSKILL（后置技能）： 智能体首先在没有技能的情况下解决任务。随后，系统提供一个包含首次运行提示词、评分摘要、输出预览和转录文本的紧凑上下文。智能体从这些证据中总结出可重用的技能，并将其注入到第二次执行的全新环境中。这直接测试了标题中的问题：从已完成的运行中提取程序性记忆。

技术约束与指标

• 隔离性： 每次执行都在隔离的工作空间中进行，以防止状态泄露。
• 变更检查（Mutation Checks）： 基准测试在执行前后对技能文件进行哈希校验。如果重用执行修改、添加或删除了技能，则会被标记为 skill_mutation_violation（技能变更违规），以确保实验条件（重用固定技能）得到维持。
• 评分： 任务使用自动化或混合（自动化 + LLM）评分器，通过检查具体的产物（JSON、脚本、报告）而非自然语言答案来进行评分。
• 指标： 基准测试既报告 仅执行（execution-only） 分数（任务成功率），也报告 端到端（end-to-end） 指标（Token 使用量、成本和时间）。效率增益通过基准资源使用量与候选方案使用量的比例来计算。

核心贡献

1. 基准构建： EvoClawBench 提供了一个标准化的套件，用于评估智能体是否能从受控的自编写工作流和自身运行证据中学习可重用的技能。它支持多种运行时（目前为 OpenClaw 和 nanobot），并包含固定程序（fixtures）、评分器和脚本。
2. 三模式协议： 通过形式化 BASELINE、PRESKILL 和 POSTSKILL 条件，将执行性能与完整工作流带来的开销分离，从而能够检测技能变更违规。
3. 实证发现： 论文提供了跨运行时的结果，证明了自编写技能带来的收益既不是自动发生的，也不是单调递增的。
4. 开放产物： 基准测试的任务、固定程序、评分器和结果导出功能均已公开。

结果

在 OpenClaw 和 nanobot 运行时下，针对五种模型（GPT-5.4, Qwen3.6-Plus, DeepSeek-V4-Pro, MiniMax-M2.7, GPT-5.4 mini）进行的实验得出以下发现：

• 运行时脚手架至关重要： 性能高度依赖于智能体运行时。在 OpenClaw 下，所有模型的 BASELINE 分数均低于 20%。在 nanobot 下，BASELINE 分数在 56.45% 到 96.13% 之间波动。这表明运行时特定的提示词封装和工具调用显著影响了基准能力。
• 非单调的技能效应： 自编写技能并不保证性能提升。
  • nanobot GPT-5.4 在所有模式下均稳定在 96% 以上。
  • nanobot MiniMax-M2.7 从 90.97% (BASELINE) 提升至 94.50% (POSTSKILL)。
  • nanobot DeepSeek-V4-Pro 遭遇了灾难性的退化，从 77.77% (BASELINE) 跌至 4.80% (PRESKILL) 和 0.99% (POSTSKILL)。
  • OpenClaw 显示出类似的混合结果，部分技能运行接近基准，而另一些则出现崩溃。
• 成本敏感性： 即使执行质量得以保持，技能工作流也会产生巨大的开销。端到端 Token 效率比始终低于 1.0（例如，Qwen3.6-Plus 的 PRESKILL 为 0.38，POSTSKILL 为 0.30），这意味着完整的技能工作流比直接执行消耗更多的 Token。
• 技能数量 vs. 质量： 创建的技能数量并不能预测收益。高技能计数与性能提升和性能退化均存在相关性。论文指出，生成的技能的质量和适配度（特别是避免对首次运行上下文的过拟合）比数量更为关键。
• 过拟合风险： 定性分析（图 4）表明，POSTSKILL 总结可能会编码来自首次运行的过于具体的假设（例如特定的文件名或固定程序模式），从而干扰第二个执行环境下的运行。

意义与主张

论文谦虚地主张，从智能体自身的运行中学习可重用技能是具有选择性的且对成本敏感的，而非一种自动获得的收益。

• 并非通用解决方案： 在智能体循环中加入技能编写并不一定会提高性能。结果表明，对于许多模型-运行时组合，编写和总结技能的开销超过了其收益，或者生成的技能会因过拟合而导致性能下降。
• 生命周期聚焦： 该基准测试将评估重点从“智能体能否解决任务？”转向了“智能体能否有效地管理程序性记忆的生命周期（编写、提取、重用和验证）？”
• 未来方向： 作者建议，未来的技能系统必须采用选择性创建策略和重用前的验证。他们还强调，基准测试报告必须包含溯源、变更检查以及端到端的资源成本，以提供对技能效用的现实评估。

论文总结道，虽然程序性记忆是使智能体专业化的一个可行方向，但目前的智能体在处理这一完整生命周期方面尚不够可靠，且必须显式管理成本与质量之间的权衡。