VeRO: An Evaluation Harness for Agents to Optimize Agents

1. 研究背景与问题定义 (Problem)

随着 LLM 智能体在生产环境中的广泛应用，如何高效地优化这些智能体成为关键挑战。

• 现有局限：目前的智能体优化主要依赖人工迭代（观察失败模式 -> 修改提示词或工具 -> 重新测试），过程缓慢且不可扩展。现有的自动优化框架（如 DSPy, TextGrad）通常局限于提示词（Prompt）优化，将智能体视为固定的工作流，仅修改文本上下文，而忽略了更广泛的程序结构（控制流、工具逻辑、编排逻辑）的修改。
• 核心痛点：
  1. 缺乏标准化基准：社区缺乏将“智能体优化”本身视为一个代码生成任务的标准基准，即缺乏评估“优化者智能体”（Optimizer Agent）能力的统一标准。
  2. 评估基础设施缺失：智能体优化涉及确定性代码与随机 LLM 生成的混合，缺乏能够捕获中间推理、执行轨迹、版本控制以及预算控制的评估环境，导致优化结果不可复现、不可靠。
  3. 优化空间定义不清：如何形式化地将智能体优化定义为在受限搜索空间内寻找最佳代码实现的问题。

2. 方法论：VeRO 框架 (Methodology)

为了解决上述问题，作者提出了 VeRO (Versioning, Rewards, and Observations)，这是一个用于评估和优化智能体的完整评估框架。

2.1 形式化问题定义

作者将智能体优化定义为以下数学问题：

• 目标：找到一个智能体实现 $A^*$，使其在测试集上的期望性能最大化。
• 约束：
  • 预算限制 ($B$)：评估调用次数有限制（模拟黑盒优化中的昂贵查询成本）。
  • 搜索空间 ($A_r$)：受限的 Python 程序空间（限制模型检查点、API 权限、文件访问等，防止通过简单升级模型作弊）。
  • 优化器 ($S$)：一个编码智能体，通过迭代修改目标智能体的代码来实现优化。
• 观察函数 ($f$)：定义优化器能看到的反馈信息（如执行轨迹、历史版本、评分统计）。

2.2 VeRO 核心架构

VeRO 提供了一个包含六个关键要求的评估协议：

1. 版本控制 (Versioning)：所有修改必须作为离散的快照（如 Git commit）捕获，支持回滚和差异分析。
2. 预算执行 (Budget Enforcement)：严格跟踪评估调用次数，防止优化器通过额外计算获得优势。
3. 权限控制 (Permission Control)：程序化地限制对测试数据、模型检查点和文件系统的访问。
4. 可复现执行 (Reproducible Execution)：通过依赖锁定（如 uv lockfiles）和环境隔离，确保同一版本智能体的评估结果一致。
5. 结构化追踪 (Structured Tracing)：捕获输入、输出、中间步骤和分数的详细执行轨迹，为优化器提供方向性信号。
6. 标准化观察接口：确保所有被比较的优化器获得相同的信息暴露，保证公平性。

2.3 技术实现

• 工具集：基于 Git Worktree 隔离修改，使用 ExperimentRunner 进行受控评估，ExperimentViewer 提供结构化反馈。
• 优化循环：优化器智能体（如 Claude Code 或自定义 Scaffolds）读取代码和轨迹 -> 提出修改（Diff）-> 提交代码 -> 触发自动评估 -> 根据结果决定下一步（保留或回滚）。

3. 主要贡献 (Key Contributions)

1. VeRO 评估框架：首个提供版本化快照、预算控制和结构化执行轨迹的评估环境，证明了没有此类基础设施，自动化优化是不可靠的。
2. 智能体优化基准 (Agent Optimization Benchmark)：
   • 涵盖数学推理 (MATH)、工具使用 (TAU-Bench)、多步推理 (GAIA)、事实问答 (SimpleQA) 和科学问答 (GPQA) 五个任务。
   • 提供了目标智能体、任务集和参考评估程序。
   • 建立了当前最先进 LLM 和编码智能体在该任务上的基线。
3. 实证发现：
   • 揭示了当前优化器倾向于默认修改提示词，缺乏对结构变化的多样性。
   • 证明了优化指令对跨任务泛化性和方差有显著影响。
   • 发现简单智能体比复杂智能体有更大的优化提升空间。

4. 实验结果 (Results)

研究团队进行了三项互补的研究：基准测试、鲁棒性研究和案例研究。

4.1 基准研究结果

• VeRO 的必要性：使用 VeRO 工具链的优化器（如 VERO Default）比仅使用原生代码编辑能力的优化器（如 Claude Code Pure）性能提升显著（平均提升约 8%）。这证明了结构化反馈和版本控制对优化任务至关重要。
• 任务依赖性：
  • 工具类任务（GAIA, Retail, SimpleQA）：优化效果显著，提升幅度大。
  • 推理类任务（GPQA, MATH）：优化效果微乎其微，表明当前优化器难以通过代码修改解决深层推理问题。
• 模型选择：没有单一模型在所有任务上占优。例如，Claude Sonnet 在工具任务上表现更好，而 GPT-5.2-Codex 在 GPQA 上表现较好。
• 架构影响：允许修改工具和工作流（Default 变体）比仅修改资源（Resources Only）效果更好。

4.2 鲁棒性研究 (Robustness Study)

• 同族泛化：在 GPT-4.1 上优化得到的代码，在切换到同族模型（如 GPT-4.1 的其他版本）时通常能保持正收益。
• 跨族泛化：优化结果在跨模型家族（如从 GPT 到 Gemini 或 Qwen）时表现不稳定，有时甚至出现性能回退。这表明优化策略高度依赖于目标模型的特定行为。

4.3 案例研究：Pawn vs. Knight

对比了两种复杂度的目标智能体：

• Pawn (极简)：4 个工具，25 行提示词。
• Knight (复杂)：6 个工具，140 行提示词，包含 ReACT 模式。
• 发现：
  • 优化空间：极简智能体（Pawn）的优化提升空间更大（GAIA 提升 +11.5%），而复杂智能体（Knight）提升较小（+6.9%）。
  • 指令敏感性：
    • 对 Pawn，详细的指导（Cookbook+Reasoning）效果最好，帮助发现结构性改进。
    • 对 Knight，极简指令（Minimal）效果最好，过多的指导反而限制了其创造性。
  • 方差 - 性能权衡：高方差指令（如 Cookbook）能带来更高的峰值性能，但稳定性差；低方差指令（如 Evidence-Based）性能稳定但上限较低。
  • 过拟合风险：针对特定任务（如 GAIA）的优化可能导致在其他任务（如 SimpleQA）上的性能大幅下降。

5. 意义与结论 (Significance & Conclusion)

• 理论意义：首次将“智能体优化”形式化为一个受约束的代码生成任务，并提供了标准化的评估协议。
• 实践价值：
  • 加速开发：VeRO 为自动化构建和迭代智能体提供了基础设施，有望减少人工干预。
  • 揭示差距：当前优化器在提示词修改上过度依赖，缺乏对工具和工作流结构的深层修改能力；在推理任务上的优化能力仍有待突破。
• 未来方向：
  • 探索更高效的搜索策略（如树搜索而非深度优先）。
  • 研究如何自动构建优化器的上下文（Cookbook）。
  • 实现优化器的自我改进（Recursive Self-Improvement）。
  • 结合强化学习（RL）利用 VeRO 的结构化轨迹进行训练。

总结：VeRO 不仅是一个评估工具，更是一个推动“智能体即代码（Agent-as-Code）”范式发展的基础设施。它揭示了当前自动优化能力的边界，并为构建更强大、可自我进化的 AI 系统指明了方向。