🤖 AI

The Necessity of a Unified Framework for LLM-Based Agent Evaluation

本文认为，由于提示词和环境等混杂因素导致基于大语言模型的智能体评估缺乏标准化，因此亟需一个统一框架，以确保对模型性能进行公平、可复现且严谨的评估。

原作者： Pengyu Zhu, Li Sun, Philip S. Yu, Sen Su

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Pengyu Zhu, Li Sun, Philip S. Yu, Sen Su

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创意类比对该论文的解读。

核心问题：“盲测”困境

想象一下，你想找出哪位厨师最擅长烹饪某道特定菜肴。你组织了一场盲测。然而，这里有个陷阱：

厨师 A 配备了高端专业烤箱、顶级食材，还有一位副厨帮忙切菜。
厨师 B 只有一台生锈的烤面包机、冷冻食材，且没有任何帮手。

如果厨师 A 做出一道美味佳肴，而厨师 B 把菜烧焦了，你可能会认为厨师 A 更厉害。但实际上，结果的差异不仅仅源于厨师的技艺，更在于他们工作的厨房不同。

这正是该论文指出的大型语言模型（LLM）智能体所面临的问题。

目前，当研究人员测试 AI 智能体（能够使用工具、进行规划和做出决策的 AI）时，他们会将每个 AI 包裹在不同的“厨房”（称为测试框架）中。一个 AI 可能获得精心设计的提示词、智能记忆系统和严格的工具接口；而另一个 AI 可能只得到简单的提示词和混乱的接口。当分数出炉时，我们无法确定是 AI 更聪明，还是仅仅因为它拥有了更好的“厨房”。

论文的解决方案：标准化的“赛道”

作者认为，为了公平地比较 AI 模型，我们需要一个统一框架。这就好比为所有赛车（AI 模型）建造一条单一、标准化的赛道。

赛车（AI 模型）： 这是我们要测试的对象。它快吗？效率高吗？
赛道（框架与环境）： 这包括路面状况、天气、燃油类型以及比赛规则。

论文指出：必须确保每个人的赛道完全一致。
如果我们为每一次测试都改变赛道（提示词、记忆工具、AI 与互联网交互的方式），我们就无法判断更快的成绩是因为赛车本身更好，还是因为路面更平整。

需要修复的部分（“赛道”组件）

论文将“厨房”或“赛道”分解为五个具体部分，必须对其进行标准化，以免干扰测试结果：

道路规则（推理）： 有时，一个 AI 会被安全过滤器拦截，而另一个不会，仅仅是因为它们使用了不同的互联网服务提供商。测试必须确保规则对所有人一致。
操作手册（提示）： 有些 AI 测试给模型提供 200 字的指令，而另一些则提供 2000 字的手册，基本上直接告诉 AI 该如何思考。论文指出，任务可以不同，但给出指令的方式必须一致。
笔记本（记忆）： 有些 AI 智能体拥有一个整理得井井有条的笔记本，用于记录过去的事件；而另一些则只有一堆杂乱无章的纸张，旧信息会被随机丢弃。测试必须确保每个 AI 都获得相同类型的笔记本。
工具腰带（工具调用）： 有些 AI 模型被训练成以非常严格的格式使用工具；而另一些则被允许随意发挥。如果一个 AI 因为工具调用中漏掉了一个逗号而失败，而另一个 AI 因为测试标准宽松而成功，这就不是公平的比较。
世界（环境）： 这是一个关键点。如果在一个“实时”网站上测试 AI，该网站明天可能会发生变化。如果 AI 因为网站变更而失败，那不是 AI 的错。论文认为，我们需要使用“冻结”的世界快照，以确保环境在测试期间不会发生变化。

该框架“不是”什么

作者非常谨慎地说明了该框架不适用于以下情况：

它不旨在阻止现实世界 AI 产品的创新。像 Anthropic 或 OpenAI 这样的公司仍然应该自由地为他们的产品构建最精彩、最复杂、最具创新的“厨房”。
它不旨在让所有 AI 看起来都一样。
它仅适用于科学测试（即“考试”）。

这就好比一级方程式赛车（F1）：

引擎（AI 模型）： 这是制造商想要改进的部分。
法规（统一框架）： 国际汽联（FIA，赛车管理机构）对轮胎尺寸、燃油和底盘尺寸制定了严格规则。
为什么？ 这样当一辆车比另一辆快时，我们知道是因为引擎更好，而不是因为某支车队使用了更好的轮胎或不同的燃油。

拟议计划

论文建议建立一个三部分系统来解决这个问题：

受控基础层： 一个标准的“载体”，在每次测试中保持提示词、记忆和工具恒定不变。
标准化评分方法： 不仅仅是说“通过/失败”，我们需要衡量 AI 的表现方式（它是否走了太多步骤？是否使用了过多内存？）。
版本控制： 由于技术发展迅速，这本“规则手册”需要有版本号（如 v1.0、v2.0）。如果规则发生变化，我们不应将旧版本的分数与新版本进行比较，就像我们不会在不考虑新规则的情况下，将 2020 年的赛车圈速与 2024 年的进行对比一样。

总结

该论文声称，目前我们是在拿苹果和橙子做比较，因为每个 AI 测试都使用了不同的设置。为了真正知道哪个 AI 最“聪明”，我们需要将它们全部置于完全相同的房间，给予它们完全相同的工具，并观察它们解决相同的问题。只有这样，我们才能说“这个 AI 更好”，而不是“这个 AI 拥有了更好的设置”。

技术摘要：LLM 智能体能力评估统一框架的必要性

问题陈述

大型语言模型（LLM）智能体能力的评估正日益转向可执行基准测试，其中模型被封装在智能体框架（提示词、记忆、工具接口、解析器）中，并置于执行环境内。论文指出了一个关键的识别问题：当两个 LLM 在智能体基准测试中获得不同分数时，这种差异无法可靠地归因于模型内在的智能体能力。相反，分数受到非 LLM 组件的混淆，包括：

框架兼容性：提示词脚手架、规划策略（例如 ReAct 与思维链）以及记忆格式的差异。
推理变异性：提供商特定的内容审核、API 限制以及特定引擎的解码行为（例如 vLLM 与 Transformers）。
工具调用差异：不兼容的模式定义、参数类型处理以及解析器的严格程度（例如基于正则表达式的 JSON 解析与原生函数调用）。
环境漂移：使用实时、动态环境（例如网络搜索）引入了不可复现的噪声，其中任务解决取决于评估时互联网的状态，而非模型能力。

作者认为，如果不解决这些混淆因素，基准测试分数将模型能力与周围技术栈中的工程选择混为一谈，使得跨 LLM 的比较在科学上无效。

方法论与 proposed 框架

论文提出了一个基于“控制变量”原则的统一评估框架，类比于空气动力学中的风洞测试或硬件中的 GPU 基准测试。该框架并非旨在标准化所有智能体产品或冻结已部署系统中的创新；相反，它旨在创建一个受控的实验基底，专门用于评估 LLM 组件。

该框架包含两个核心组件：

1. 受控执行基底

该组件标准化模型周围的非 LLM 层，以确保它们在评估过程中保持恒定。它强制要求：

固定的框架机制：用于提示词构建、记忆序列化和工具调度的标准化运行时。论文建议采用现有的通用脚手架（例如 smolagents）作为参考实现，以确保记忆表示、错误处理和规划循环的一致性。
确定性环境：用版本锁定、基于快照的环境（例如快照化网页内容或使用模拟数据库）替换实时、动态环境，以消除环境漂移。
标准化的输入/输出契约：确保在基底上运行的所有基准测试中，工具定义、参数类型和解析规则保持一致。

2. 原则性评估方法论

该组件标准化智能体行为的测量和报告方式：

规范指标：超越单一标量分数，转向涵盖轨迹正确性、环境状态变化以及资源使用情况（Token 成本、延迟）的多维度报告系统。
帕累托前沿分析：基于模型在正确性、效率和成本方面的优势进行评估，而非单一聚合分数。
共享失败分类法：建立统一的智能体失败分类（例如“错误信息”、“无效格式”），以便在不同基准测试之间进行可比的失败分析。
版本化治理：实施版本控制系统（类似于 MLPerf 或 vLLM），分数需标记特定的框架版本。这允许规范随技术演进而发展，同时不使历史数据失效，防止当前概念的僵化。

主要贡献

混淆方差诊断：论文系统地分类了 LLM 之外的评估噪声来源，包括推理配置、提示词脚手架、记忆管理、工具调用语义以及环境动态。它提供了具体示例（例如，严格解析器与宽松解析器如何改变工具使用分数），以证明这些影响的幅度。
评估与部署的区别：作者澄清，统一框架旨在对模型能力进行受控比较，这与已部署智能体产品（如 Claude Code 或 Codex）的设计不同，在后者的设计中，框架创新是可取的。
操作规范：论文概述了基准测试与基底“即插即用”兼容的结构要求，定义了指令集（ $I$ ）、工具集（ $T$ ）和环境集（ $E$ ）的三元组，这些必须满足特定的结构约束（例如可自动化的成功标准、版本锁定的环境）。
治理模型：它提出了一种基于版本的治理模型，以管理评估稳定性需求与 LLM 智能体快速创新步伐之间的张力。

结果与证据

论文并未展示比较特定模型的新实验结果。相反，其“结果”源于：

实证观察：引用 Holistic Agent Leaderboard [10]，该榜单表明，同一 LLM 在同一基准测试下，若在不同框架中评估，会产生显著不同的分数。
案例研究：
- 提示词脚手架：对比约 200 字的 BFCL 提示词与约 2,000 字的 smolagents 脚手架，展示后者如何编码明确的规划和重规划逻辑，从而人为地提升性能。
- 记忆表示：对比结构化记忆步骤（smolagents）与扁平化的聊天历史（τ-bench, BFCL），展示错误标记和步骤类型化如何影响恢复能力。
- 环境漂移：分析来自 BrowseComp 和 BFCL V4 的三个轨迹，其中实时网络搜索结果（过时的片段、反机器人封锁、搜索索引偏移）导致正确的推理轨迹被标记为失败，证明分数反映环境状态的程度与反映模型能力的程度相当。

意义与主张

论文声称，当前 LLM 智能体评估的状态是科学可解释进步的“结构性障碍”。其意义在于：

实现公平归因：通过保持框架和环境恒定，该框架允许研究人员将性能差异严格归因于 LLM，将模型能力与工程努力分离开来。
可复现性：它解决了由实时环境漂移引起的当前智能体基准测试的“不可复现”性质，确保分数是模型的属性，而非测试时刻的产物。
社区标准化：它呼吁从特定基准的定制技术栈转向共享的、版本化的基础设施，类似于 MLPerf 如何标准化 GPU 基准测试。

作者将这项工作定位为并非对智能体设计创新的限制，而是准确衡量驱动这些设计的底层模型智能体能力的必要前提。