技术摘要：Evo-Bench —— 语言模型能否改进智能体执行框架（Harness）？

问题陈述

尽管大语言模型（LLMs）在自主智能体领域取得了长足进步，但目前的评估主要局限于在固定的、由人类设计的“执行框架”（即编排推理、工具使用和记忆的代码结构）内进行静态任务求解。一个关键的前沿领域是框架演进（Harness Evolution）：即智能体自主优化其自身运行框架的能力。然而，系统性地基准测试这种能力受到三个特定挑战的阻碍：

1. 框架敏感性（Harness Sensitivity）： 标准基准测试往往无法将框架的改进与底层基础模型的强度区分开来，导致难以确定性能提升究竟源于更好的代码还是更强大的模型。
2. 跨拆分泛化（Cross-Split Generalization）： 现有的评估存在任务特定过拟合的风险，即验证集（Validation Split）与评估集（Evaluation Split）在响应框架变化时表现不一致。
3. 长程演进（Long-Horizon Evolution）： 捕捉持续多轮迭代优化（诊断失败、提出假设并更新代码）的能力仍然具有挑战性。

目前的研究文献缺乏一个受控的环境，来评估基础模型作为长程框架工程师在异构领域中的内在能力。

方法论：Evo-Bench

为了解决这些挑战，作者引入了 Evo-Bench，这是首个旨在评估模型内在框架演进能力的基准测试。该框架采用了一种新颖的框架引导构建过程和受控的评估协议。

1. 基准构建框架

Evo-Bench 的构建遵循两阶段过程，以确保任务对框架改进具有真正的敏感性：

• 阶段 1：辅助框架生成： 作者收集了一个辅助任务集（320 个任务），该集合与最终基准测试的任务相互独立。他们使用四种前沿模型（GLM-5.2, Claude-Opus-4.8, Claude-Sonnet-5, GPT-5.6-Sol）在这些任务上运行独立的演进实验，生成了 12 个具有代表性的演进框架（$H_{aux}$）。
• 阶段 2：框架引导的任务选择： 从五个既有基准测试（BrowseComp, HLE, GDPval, APEX-Agents, Claw-Eval）中筛选候选任务，并针对 $H_{aux}$ 进行评估。任务根据框架敏感性（$Sens(x)$）进行过滤，该指标定义为任务得分与框架整体质量之间的皮尔逊相关系数。仅选择具有正向敏感性和适当难度的任务。
• 分层拆分： 最终数据集通过敏感性感知的分层拆分，被分为一个可见的验证集（$D_{val}$，160 个任务）和一个不相交的评估集（$D_{eval}$，448 个任务），以确保分布的一致性并防止过拟合。

2. 评估协议

• 领域： 该基准测试涵盖三个领域：搜索（网页导航）、办公（文档处理）和通用（多样化智能体任务）。
• 流程： 一个固定的策略模型（$\pi$）使用一个可变的策略框架（$H_t$）执行任务。一个演进器（$E$）通过固定的“演进框架”指令进行操作，迭代地检查失败模式、制定假设并编辑 $H_t$。
• 约束： 该过程受资源预算（迭代次数、时间、步骤）限制。演进器在过程中只能访问 $D_{val}$；$D_{eval}$ 则保留用于对冻结后的框架（$H_T$）进行最终评估。
• 指标：
  • 总分（Overall Score）： 在留出的 $D_{eval}$ 上的表现。
  • 随时验证得分（Anytime Validation Score）： 演进预算内历次最佳验证性能的平均值，用于衡量演进过程的效率。

核心贡献

1. Evo-Bench： 一个全新的基准测试，用于评估 LLM 在搜索、办公和通用领域中自主优化可执行代码框架的内在能力，超越了静态的任务求解。
2. 框架引导的构建框架： 一种利用辅助任务演进识别框架敏感型任务，并采用敏感性感知分层拆分以确保稳健的跨套件泛化能力的构建方法。
3. 系统性的框架演进分析： 对九种前沿及开源模型进行了全面评估，刻画了性能增益、时间异常（如早期饱和）以及演进结构的迁移性。

实验结果

作者将九种模型（包括 GPT-5.6-Sol, Claude Opus 4.8, GLM-5.2, Qwen3.7-Max 等）与 CodeAct 种子框架以及人类设计的“人工框架”基线进行了对比评估。

• 性能增益： 顶尖模型实现了巨大的绝对增益。GPT-5.6-Sol 和 Claude Opus 4.8 分别提升了 16.6 和 16.1 个点，分别达到 46.3 和 45.8。这些分数非常接近 47.5 的人类设计基线。
• 领域差异：
  • 搜索： 演进效果显著；Claude Opus 4.8 提升了 +34.8 点，几乎达到了人类基线的水平。模型成功合成了缺失的网页导航逻辑。
  • 通用： 顶尖演进器（如 GPT-5.6-Sol, Qwen3.7-Max）超越了人类设计的基线，证明了自主推理结构可以在该领域超越人工设计。
  • 办公： 模型表现挣扎，仅有微小的改进或轻微退步。作者将其归因于发现办公任务所需的极具针对性的处理工作流非常困难。
• 时间异常： 分析显示存在早期饱和现象，即模型能迅速发现高质量结构，但在随后的轮次中往往会引入有害的修改，导致过早终止或性能下降。
• 迁移性： 演进后的框架展现了稳健的跨策略泛化能力。当应用于不同的策略模型（Qwen, DeepSeek, GLM）时，合成的框架一致性地提升了性能，表明它们作为可迁移的推理结构，而非仅仅是对单一模型缺陷的过拟合。
• 成本效率： 帕累托前沿分析显示，成本与性能之间存在陡峭的对数权衡。虽然顶尖结果需要大量资源（例如 GPT-5.6-Sol 超过 500 美元），但像 GLM-5.2 和 Qwen3.7-Max 这样的模型在不到 40 美元的成本下即可取得强劲表现。

意义与主张

本文声称 Evo-Bench 提供了一个严谨且受控的框架，能够将真正的框架演进能力从基础模型强度和随机噪声中解耦。结果表明，虽然当前的顶尖模型具备充当自主研究工程师的能力——特别是在搜索和通用领域——但它们在处理复杂的办公工作流时，仍缺乏人类工程师那种深层的系统级优化和持久性。

作者将 Evo-Bench 定位为一个基础测试平台，旨在催化未来自我演进智能体架构的研究。他们认为，通过加强抽象因果失败模式和执行大规模架构重构的能力，未来的模型有望在框架工程方面持续超越人类专家。本文并不声称已经解决了自我改进问题，而是提供了第一个用于衡量和基准测试这种特定演进能力的系统性指标。