🤖 AI

A Matter of TASTE: Improving Coverage and Difficulty of Agent Benchmarks

为了解决现有智能体基准测试在覆盖率和工具使用范围上的饱和与局限，本文提出了 TASTE，这是一种通过演化工具序列来逆向任务构建过程的自动化方法，用于生成具有高挑战性且高覆盖率的 $\tau^c$ -Bench，该基准测试揭示了当前最先进模型在面对这些更复杂、更多样化的任务时会出现显著的性能下降。

原作者： Tomer Keren, Nitay Calderon, Asaf Yehudai, Yotam Perlitz, Michal Shmueli-Scheuer, Roi Reichert

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tomer Keren, Nitay Calderon, Asaf Yehudai, Yotam Perlitz, Michal Shmueli-Scheuer, Roi Reichert

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在测试一位新机器人厨师的烹饪水平。

问题：“简易菜单”已耗尽
目前，我们有一个标准测试菜单（称为 $\tau$ -Bench），机器人需要遵循诸如“制作三明治”或“订购披萨”之类的指令。问题是，最聪明的机器人厨师已经背熟了这份菜单。它们获得了满分，但这并非因为它们是天才，而是因为测试过于简单且重复。这就像一名学生在数学考试中得了 A+，仅仅因为老师只要求他们做一位数加法。

此外，制作新的、更难的测试题简直是一场噩梦。这需要人类坐下来编写复杂的故事，理清机器人需要采取的确切步骤，并检查故事是否合乎逻辑。这个过程既缓慢又昂贵，而且将我们的测试范围限制在人类恰好能想到的故事类型内。

解决方案：TASTE（“反向食谱”机器）
作者们创建了一个名为 TASTE（基于工具序列演化的任务合成）的新系统。TASTE 没有从故事出发去推导步骤，而是将整个过程颠倒了过来。

可以这样理解：

“工具序列”（步骤）： 首先，系统生成数千个随机的动作列表，例如“打开冰箱、取出牛奶、倒入杯中、关上冰箱”。
“合理性过滤器”（口味测试）： 它利用一个超级智能的 AI 裁判来审查这些列表，并判断：“不行，这不可能。你不能在打开冰箱之前就倒牛奶，”或者“是的，这是一系列有效的事件。”它会从错误中学习，从而更擅长辨别有效与无效的步骤。
“聚类”（按风味分组）： 它将这些有效序列分组。如果一组全是关于“做早餐”的，而另一组是“做三明治”的，它会从每组中挑选最具代表性的例子，以确保测试涵盖各种各样的场景。
“演化”（增添风味）： 这是秘诀所在。一旦它有了一个基本任务（例如“订购披萨”），它就会故意增加难度。它可能会：
- 让顾客（模拟用户）忘记订单详情。
- 在菜单中添加“诱饵”选项，这些选项看起来正确但实际上是错误的（例如已售罄的披萨）。
- 让顾客变得不配合或令人困惑。

结果： $\tau^c$ -Bench
利用这种方法，他们构建了一个全新的、难度高得多的测试，称为 $\tau^c$ -Bench。

当他们在这一新菜单上测试“冠军”机器人厨师（如 Gemini-3-Flash）时，结果令人震惊。

在旧版简易菜单上，这些机器人的得分为 0.90（几乎完美）。
在由 TASTE 生成的新菜单上，它们的得分降至 0.30 或更低。

为何这很重要
该论文认为，旧测试中的高分是一个“误报”。机器人实际上并不擅长解决复杂、混乱的现实世界问题；它们只是把旧测试题背下来了。

新方法证明了以下几点：

覆盖范围： 新测试迫使机器人使用更广泛的各种工具和组合，而不仅仅是那几招老把戏。
难度： 测试真正更难了，因为它们包含了困惑、信息缺失和棘手的情景。
自动化： 我们不再需要人类来编写这些高难度测试。该系统可以生成源源不断的具有挑战性、有效且多样化的任务，以在机器人变得更聪明时持续对其进行测试。

简而言之，TASTE 是一台为 AI 智能体自动发明“Boss 战”的机器，确保我们能区分出是背熟了脚本的机器人，还是真正具备思考能力的机器人。

技术摘要：TASTE 问题：提升智能体基准测试的覆盖度与难度

问题陈述

随着工具使用智能体能力的进步，现有基准测试（如 $\tau^2$ -Bench）正日益饱和，领先模型的表现已接近天花板。然而，构建新的、更具挑战性的基准测试任务仍然是一个复杂、昂贵且劳动密集的过程，依赖于人工编写。此外，标准的构建方法——即作者先编写自然语言场景，再从中推导出工具序列——未能显式地探索有效工具组合的空间。因此，当前的基准测试往往仅捕捉到工具使用模式的一个狭窄子集，导致“饱和”现象，即高分反映的是缺乏多样化的挑战，而非稳健的任务解决能力。迫切需要一种自动化的基准测试生成方法，能够确保有效性（任务可解且可验证）、难度（任务能有效区分智能体能力）和覆盖度（任务涵盖结构多样的工具使用模式）。

方法：TASTE

作者提出了TASTE（基于工具序列演化的任务合成），这是一种通过逆转传统构建过程来自动生成具有挑战性的智能体基准测试任务的方法。TASTE 不是从场景开始，而是从工具序列开始，并围绕其合成完整任务。该方法分为三个阶段运行：

阶段 1：工具序列采样

为了应对覆盖度和有效性，TASTE 采用了一个在工具序列空间上训练的自适应对比 n-gram 模型。

模型架构：该模型维护两个独立的计数表（ $C^+$ 和 $C^-$ ），分别用于记录在“看似有效”和“看似无效”序列中观察到的 n-gram。
训练：它使用迭代式的“生成 - 验证”循环。序列通过自回归方式采样，并由大型语言模型（LLM）判断其合理性。有效序列更新 $C^+$ ，无效序列更新 $C^-$ 。
对比采样：下一个工具的采样概率源自正负分数的比率，对与无效序列相关的 n-gram 施加惩罚。这使得模型能够在探索工具组合空间的同时，将概率质量集中在有效序列上。

阶段 2：聚类与选择

为了确保基准测试能代表多样化的模式且无冗余，TASTE 从采样池中选择一个具有代表性的序列子集。

聚类：作者使用K-medoids 聚类将数千个候选序列的池划分为 $K$ 个簇（其中 $K$ 为目标基准测试规模）。
距离度量：使用加权莱文斯坦距离（weighted Levenshtein distance）代替标准编辑距离。对于功能或类型相似的工具（例如两个搜索工具），替换成本较低；对于类型不同的工具（如读取与写入），替换成本较高。这确保了簇在语义上的一致性。
选择：每个簇的中心序列（medoid）被选为代表。如果中心序列无效，则用该簇中下一个最近的合法成员替换。

阶段 3：任务生成与演化

每个选定的工具序列被实例化为一个完整的基准测试任务，随后通过演化以增加难度。

基础任务生成：LLM 构建一个连贯的现实世界场景（用户指令 $u$ ），并初始化数据库状态（ $s_0$ ）以支持特定的工具序列。
有效性验证：任务经过基于规则的检查和提示辅助验证智能体的模拟。验证者尝试使用打乱并部分掩码的黄金工具序列版本来解决问题。成功则确认任务可解。
难度演化：为了模拟现实中的对抗性条件，基础任务通过三个步骤进行演化：
1. 策略分析：识别造成混淆的机会（例如策略违规、模糊请求）。
2. 环境扰动：添加“诱饵”数据库记录（例如，在期望航线上显示完全预订的航班），这些记录看起来与目标相似但无效。
3. 场景重写：重写用户指令，使其变得不那么配合、模糊或具有对抗性，迫使智能体在遵守策略的同时应对混淆。

主要贡献

基准测试的期望属性：本文阐述并操作化了工具使用智能体基准测试的三个关键属性：有效性、难度和覆盖度。至关重要的是，它将覆盖度定义为黄金工具序列的多样性，而非表面的语言变化。
TASTE 框架：提出了 TASTE，这是一个全自动化的流水线，直接探索工具序列空间以生成满足上述三个期望属性的任务，无需人工策展。
$\tau^c$ -Bench：构建了 $\tau^c$ -Bench，这是 $\tau^2$ -Bench 在三个领域（航空、零售、电信）上的具有挑战性的扩展。该数据集比其前身具有显著更高的难度和更广泛的覆盖度。

结果

作者在 $\tau^c$ -Bench 上评估了 11 对智能体/用户 LLM，并将其与原始 $\tau^2$ -Bench（验证版， $\tau_{BV}$ ）上的表现进行了比较。

性能下降：几乎饱和 $\tau_{BV}$ 的模型在 $\tau^c$ -Bench 上遭受了严重的性能下降。例如，Gemini-3-Flash 在 $\tau_{BV}$ 上的得分为 0.82–0.94，而在 $\tau^c$ -Bench 上降至 0.28–0.61（相对下降幅度高达 80%）。
难度增加：演化后的任务显著更难，根据所使用的演化模型不同，成功率下降了 16–55%。
覆盖度扩展： $\tau^c$ $τ^{c}$ -Bench 使智能体必须执行的唯一工具组合数量增加了一倍以上。
- 加权编辑距离（WED）：最高增加了 124%。
- 类型 - 标记比率（TTR）：最高增加了 111%，表明 n-gram 工具序列的多样性大幅提高。
- 熵：工具频率分布的熵增加了 35%，显示出工具使用更加多样化，偏斜度更低。

意义与主张

本文主张，现有基准测试上的高分往往反映的是饱和现象，而非稳健的任务解决能力。通过证明最先进的模型在 TASTE 生成的任务上表现显著挣扎，作者认为当前的基准测试未能捕捉工具使用模式的全部复杂性。

TASTE 的意义在于其能够自动化生成高难度、高覆盖度的基准测试，从而实现对未来智能体的持续且可扩展的评估。通过逆转构建过程以优先处理工具序列，TASTE 确保了基准测试能够探索智能体行为的结构多样性，而不是依赖于任意的作者选择。作者将这项工作定位为随着智能体能力继续进步，防止评估停滞的必要步骤。