技术摘要：在未披露执行框架的情况下停止比较大语言模型智能体

1. 问题陈述

当前针对长周期任务的大语言模型（LLM）智能体的评估实践，系统性地混淆了模型能力与执行框架（execution harness）的性能。执行框架是负责上下文构建、工具交互中介、输出验证、编排（重试/升级逻辑）以及停止标准的基础设施层。

标准排行榜（如 SWE-bench、Terminal-Bench、AgentBench）报告每个 {模型，基准测试} 对的单一分数，隐含地将结果完全归因于模型。本文认为，对于涉及可比前沿模型的长周期任务，执行框架往往是性能上的约束瓶颈。因此，当前的评估协议将框架层面的增益错误地归因于模型改进，使得跨模型比较不可靠且可能产生误导。这种混淆源于：

1. 观察证据：在固定模型仅改变执行框架基础设施的情况下，可产生性能偏移（例如 15 个百分点），这远超报告的模型改进幅度（通常为 2–4 个百分点）。
2. 结构现实：智能体作为闭环动力系统运行，其中执行框架充当控制器，而 LLM 充当随机策略。长周期可靠性取决于控制器的属性（稳定性、上下文漂移管理、控制滞后），而不仅仅是策略的原始能力。

2. 方法论与理论框架

约束瓶颈论

本文形式化了约束瓶颈论：在涉及可比前沿模型的长周期任务领域，由执行框架引起的基准测试分数方差（$HV$）通常与或大于由模型选择引起的方差（$MV$）。

总性能方差分解如下：
$$\text{Var}(B(M, H)) = \underbrace{\text{Var}_M[E_H[B(M, H)]]}_{MV} + \underbrace{\text{Var}_H[E_M[B(M, H)]]}_{HV} + \underbrace{\text{Var}(\text{interaction})}_{\text{交互项}}$$
该论断主张，在当前评估中，$HV$和交互项主导了$MV$。

控制理论形式化

作者将智能体执行从简单的推理循环重新框架化为闭环动力系统：

• LLM（$\pi_\theta$）：一种开环随机策略，接收上下文投影 $c(s_t)$，但无法直接访问完整状态 $s_t$。
• 执行框架（$C_H$）：控制器，负责更新状态、过滤观测值并管理反馈回路。
• 可靠性量化指标：执行框架决定了三个关键的结构量：
  1. 稳定性：系统是否朝着目标取得非递减的预期进展（类 Lyapunov 度量）。
  2. 上下文漂移（$\delta_t$）：任务相关信息从上下文窗口中丢失的速率。
  3. 控制滞后（$\tau$）：从异常检测到纠正信号到达策略之间的延迟。

实证方法

本文通过两条证据线支持该论断：

1. 观察数据：对公开排行榜（SWE-bench Pro、Terminal-Bench、HAL）的分析表明，“仅脚手架”的变体（在固定模型的同时改变执行框架）会导致双位数的性能波动和排名逆转。
2. 受控因子实验：在 SWE-bench Verified 的分层子集上，进行 3x3 网格实验，测试三种前沿模型（GPT-5.4、Kimi K2.6、GLM-5.1）与三种不同的执行框架配置（$H_1$：最小化/开环、$H_2$：改进/基本闭环、$H_3$：完整/高级闭环）。

3. 关键结果

观察证据

• SWE-bench Pro：在标准化脚手架下，顶级模型跨度为 4.9 分。然而，固定模型（Claude Opus 4.5）并将脚手架从 SEAL 切换至 Claude Code，分数提高了 9.5 分。
• 排名逆转：在相同基础设施中添加单个搜索子智能体（WarpGrep），逆转了 MiniMax 2.5 与 Claude Opus 4.6 之间的排名。
• 跨脚手架差距：在 SWE-bench Verified Mini 上，同一模型（例如 Claude Sonnet 4.5）在不同脚手架（SWE-Agent 与 HAL Generalist）之间显示出 34 分的差距。

受控因子实验结果

• 方差主导性：由执行框架引起的方差（$HV$）是模型引起的方差（$MV$）的7.80 倍。
  • 平均 $HV$：18.48 pp²
  • 平均 $MV$：2.37 pp²
• 性能偏移：对于固定模型，改变执行框架使分数移动了 8.5 至 13.0 个百分点，而在固定执行框架内改变模型仅使分数移动了 2.5 至 5.0 分。
• 排名不稳定性：在 9 个可能的模型对/执行框架对比较中，有 6 个导致了排名逆转。
• 机制分析：
  • $H_1 \to H_2$ 的增益主要由控制噪声减少（更好的格式化、检索、错误处理）驱动。
  • $H_2 \to H_3$ 的增益主要由关闭验证和恢复回路（自我检查、异常检测、回滚）驱动。

4. 拟议框架：感知执行框架的评估

本文提出了一种新的评估制度，要求包含三个组成部分：

1. 执行框架卡片（结构化披露）：每个基准测试提交必须包含按 ETCSOVG 分类法组织的披露：

   • Execution（执行）：运行时、沙箱、超时
   • Tool（工具）：列表、模式、错误契约
   • Context（上下文）：窗口上限、压缩、检索、记忆
   • Scheduling（调度）：循环、重试、升级、回滚
   • Observability（可观测性）：日志记录、追踪
   • Verification（验证）：解析、自我检查、异常检测
   • Governance（治理）：权限、副作用

2. 方差分解协议：评估应采用以下任一协议：

   • 锁定执行框架协议：对所有模型应用单一、指定的执行框架，以获得清晰的排名。
   • 因子协议：同时改变模型和执行框架，以报告 $HV$、$MV$、交互项以及排名逆转计数。

3. 轨迹级指标：为了将性能偏移归因于特定的执行框架层，本文提出：

   • 恢复率（RR）：在 $k$ 步内从异常返回到任务推进状态的概率（衡量稳定性）。
   • 上下文保留率：存在于上下文中的任务相关文件/约束的比例（衡量漂移）。
   • 控制滞后（$\tau$）：从异常检测到纠正信号到达之间的步数。

5. 意义与主张

本文主张，除非披露执行框架，否则长周期智能体的基准测试分数无效用于跨模型比较。

• 科学准确性：当前的排行榜测量的是模型和执行框架的混合体，导致对增益的系统性错误归因。这扭曲了研究激励，将投资导向模型扩展，而忽视了作为更大方差来源的执行框架工程。
• 实际影响：基于当前排名的部署决策存在缺陷，因为它们未能隔离模型的贡献。“约束瓶颈”通常是基础设施，而非模型权重。
• 行动呼吁：该领域必须从将执行框架视为隐藏变量转变为将其视为主要实验条件。在披露执行框架规范并使方差分解成为常规之前，排行榜比较应被视为不完整。

本文明确驳斥了“更好的模型将解决此问题”的观点，指出随着模型改进，执行框架会变得更加复杂（例如，Claude Code 重新设计组件而非移除它们）以管理增加的能力。解决方案是结构性披露，而不仅仅是标准化或扩展。