💬 NLP

AppWorld-UL: Benchmarking Diverse Agent-User Interactions for Tool-Use

本文介绍了 AppWorld-UL，这是一个包含九个模拟应用程序中 516 个任务的具有挑战性的基准测试，旨在评估工具使用型智能体处理与用户进行多样化且必要交互的能力，并揭示了即使是目前最先进的模型在这些用户在环（user-in-the-loop）场景中也面临着显著的困难。

原作者： Junzhi Chen, Harsh Trivedi, Jane Pan, Michael JQ Zhang, Tejas Srinivasan, Niranjan Balasubramanian, Ashish Sabharwal

发布于 2026-07-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Junzhi Chen, Harsh Trivedi, Jane Pan, Michael JQ Zhang, Tejas Srinivasan, Niranjan Balasubramanian, Ashish Sabharwal

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个超级聪明的机器人管家如何帮你跑腿。你对它说：“去给我买件衬衫。”在计算机科学的世界里，这被称为“工具使用”（tool use）——机器人知道如何打开应用、点击按钮并完成购买。但问题在于：现实生活是混乱的。如果你的购物车里有五件衬衫，而机器人不知道你指的是哪一件怎么办？如果机器人想要的衬衫卖完了怎么办？如果价格突然翻倍，而只有在你明确表示“可以接受”这种特定变化的情况下你才会购买，那又该怎么办？

大多数针对这些机器人的测试只检查它们是否能遵循一个完美的、步步为营的食谱，且过程中不出任何差错。但现实中的人类是不可预测的。我们会表达得含糊其辞，我们会改变主意，而且在机器人花我们的钱之前，我们需要被征求许可。这篇论文进入了人工智能研究中这个混乱的现实世界角落，提出了一个简单但棘手的问题：当情况变得复杂时，我们最优秀的 AI 智能体（agents）真的能与我们交谈吗？还是说，一旦指令不够完美，它们就会直接崩溃？

由 Junzhi Chen 和 Harsh Trivedi 领导的研究团队决定不再在完美的、虚构的一天里测试机器人，而是开始在感觉像真实生活的一天里测试它们。他们构建了一个新的游乐场，名为 AppWorld-UL（用户在环/User-in-the-Loop）。把它想象成一个巨大的、模拟的数字城市，拥有像 Amazon 和 Spotify 这样九个热门应用，但有一个转折：其中的“用户”（一个模拟的人）是游戏的一部分，而机器人必须学会如何向他们寻求帮助。

团队并不仅仅是编造随机的问题；他们使用了一种巧妙的“扰动”（perturbation）方法。想象一下，他们拿了一个正常的任务，比如“退掉我上周买的那件 Nike 衬衫”，然后秘密地微调了这个世界，使其变得棘手。

“哪一件？”陷阱（信息不足）： 他们确保机器人发现了两件来自上周的 Nike 衬衫。现在机器人不能直接猜测了；它必须停下来并询问：“您想退掉哪一件？”
“没了！”陷阱（不可行性）： 他们让衬衫的“大码（Large）”尺寸从商店中消失了。机器人不能仅仅是失败；它必须告诉用户：“大码已经没了。您想要其他尺码还是退款？”
“等等，太贵了！”陷阱（确认）： 他们让衬衫的价格翻了一倍。机器人必须停下来并说：“嘿，价格跳涨了！您还要买吗？”

为了确保测试公平，他们创建了一个“模拟用户”，这个用户表现得像真实的人一样，但遵循严格的规则。这个用户知道这些棘手问题的答案，但除非机器人问出“正确的问题”，否则不会轻易透露。这就像是一场“二十个问题”的游戏，只有当你问出正是他们所想的内容时，用户才会回答。

当他们把世界上最聪明的 AI 机器人（如 Claude Opus 4.7 和 GPT-5.5）放入这个混乱的数字城市时，结果有点像是一个警钟。即使是最优秀的机器人，在整个任务集上的成功率也仅为 48.6%。当任务变得更加困难，即同时结合两个或三个这类棘手情况时，成功率下降到了仅有的 35.7%。

这项研究表明，问题不在于机器人是否会使用应用；它们其实非常擅长点击按钮。真正的挣扎在于对话。当研究人员预先给机器人一份包含所有缺失信息的“小抄”（这样它们就不必询问用户）时，成功率跃升至 78.1%。这证明了难度来自于需要进行交互，而不是应用本身的复杂性。

论文还发现，当机器人失败时，通常是因为它们没有问出正确的问题。它们要么是在猜测答案（产生幻觉），要么是提出了模糊的问题导致用户困惑，要么是忘记了用户刚刚告诉它们的内容。这就像一个机器人听到了“我要红色的衬衫”，但随后却买了一件蓝色的，因为它忘了去核实。

简而言之，这篇论文表明，虽然我们的 AI 智能体在执行任务方面正变得越来越出色，但它们仍在学习如何成为优秀的对话伙伴。它们需要明白，有时候解决问题的最佳方式不是冲上前去，而是停下来，看着人类，并问道：“等等，您指的是哪一个？”在它们掌握这种来回互动的舞步之前，它们可能已经准备好去进行简单的买菜任务，但还没准备好应对真实人类日常生活的混乱。

技术摘要：AppWorld-UL

问题陈述

目前用于评估基于 LLM 的工具使用智能体（tool-use agents）的基准测试，主要集中在目标明确、完整且从一开始就固定的全自动任务上。然而，现实世界的数字任务解决本质上是“用户在环”（user-in-the-loop）的：用户提供的指令往往是模糊、不明确甚至不可行的，这要求智能体通过交互来迭代优化意图。现有的交互式基准测试未能捕捉到这些交互的多样性和复杂性。它们的局限性在于：

交互类型单一： 大多数交互仅限于简单的澄清问题，缺失了处理不可行性或为高成本行动寻求批准等关键模式。
用户模拟失衡： 先前的研究在僵化的基于规则的用户（缺乏灵活性）与不受约束的 LLM 模拟器（引入不稳定性并导致失败归因困难）之间摇摆不定。
环境规模较小： 许多基准测试在有限的环境中运行，API 数量较少且通常不改变状态，无法测试在复杂、有状态系统中进行长程规划的能力。

因此，目前缺乏一个原则性的测试平台，来评估必须将工具使用与多样化、自适应的用户通信有效地结合起来的智能体。

方法论

作者引入了 AppWorld-UL，这是一个构建在现有 AppWorld 框架之上的基准测试（该框架模拟了包括 Amazon 和 Spotify 在内的 9 个流行应用，拥有约 475 个 API）。其核心创新是采用了一种基于扰动的法（perturbation-based methodology），系统地将定义良好的自主任务转化为用户在环变体。

1. 基于扰动的任务转换

作者并非从零开始构建交互式场景，而是通过在指令 ( $I$ ) 或初始状态 ( $S_0$ ) 中引入特定的、已知的缺口来修改现有的自主任务，这些缺口只能通过用户交互来解决。这创建了一个任务元组 $T = (I, S_0, E, K)$ ，其中 $K$ 是用户知识集（User Knowledge Set）——即仅由用户掌握的信息。

这些扰动针对三种特定的交互类型：

欠指定（Underspecification）： 移除关键细节（例如，当存在多件衬衫时，指令为“退掉我上周买的那件衬衫”），以迫使智能体询问用户以进行澄清。
不可行性（Infeasibility）： 修改状态或约束，使得原始目标无法实现（例如，请求的商品缺货），要求智能体沟通失败情况并提出替代方案。
寻求确认（Confirmation-Seeking）： 为原本低风险的操作引入高成本后果（例如，价格飙升），要求智能体在继续执行前寻求明确批准。

这些扰动还可以进行组合，以创建需要同时进行多种交互类型的任务。

2. 受限用户模拟

为了解决先前用户模拟器不稳定的问题，AppWorld-UL 采用了受限的基于 LLM 的用户。

知识边界： 模拟用户通过从扰动过程中派生的特定问答对 ( $K$ ) 进行提示。
受控响应： 用户 LLM 被指示仅在智能体的问题映射到 $K$ 中的问答对时才进行回答。如果问题不在 $K$ 范围内，用户则会回避或重定向（例如，“请你自己决定”）。
可靠性： 这种方法通过限制用户的知识范围确保了可复现性，同时保持了自然的对话流，避免了基于规则系统的僵化以及不受约束 LLM 的不可预测性。

3. 程序化评估

该基准测试引入了交互式任务目标完成度（I-TGC）和交互式场景目标完成度（I-SGC）。不同于标准指标，这些指标包含一个单元测试，用于验证智能体是否成功从用户那里获取了所有必要信息（即是否询问了 $K$ 中的所有问题）。这使得能够与任务成功率一起评估交互质量（所需信息的召回率）。

核心贡献

扰动框架： 一种通过在自主任务中注入特定信息缺口来生成多样化用户在环任务的系统化方法，实现了对交互需求的精确控制。
AppWorld-UL 基准测试： 一个包含 9 个应用程序、共 516 个具有挑战性的任务的数据集，包括：
- 306 个仅需一种交互类型（欠指定、不可行性或寻求确认）的任务。
- 210 个需要两种或三种交互类型组合的复合型任务。
受限用户模拟器： 一种鲁棒的模拟机制，通过严格定义用户知识边界，平衡了灵活性与评估的可靠性。
经验证据： 证明了正确的用户交互是任务难度和成功的主要驱动因素，这一点与环境复杂度是相互独立的。

实验结果

作者使用各种前沿 LLM（包括 Claude Opus 4.7, GPT-5.5, Qwen 3.7 Max 等）对最先进的智能体（代码智能体和函数调用智能体）进行了评估。

整体性能： 即便是表现最好的系统（使用 Claude 4.7 的代码智能体），在整个基准测试上的 I-TGC 仅为 48.6%，I-SGC 仅为 30.2%。
复合难度： 在复合型任务上性能显著下降，表现最好的系统 I-TGC 仅为 35.7%，I-SGC 仅为 21.3%。
交互相关性： 交互质量与任务成功之间存在强相关性。成功的智能体在询问所需问题方面达到了约 100% 的召回率和 80-91% 的精确度，而失败的智能体这些指标则大幅下降（召回率为 37-40%）。
消融研究：
- 隐藏知识： 当模拟用户拒绝提供任何信息时，性能骤降（TGC 为 12.8%），证实了智能体无法仅通过环境推理来解决这些任务。
- 先验知识（Oracle Knowledge）： 当所有用户知识 ( $K$ ) 预先在提示词中提供时，性能显著提高（TGC 为 78.1%），表明交互需求本身构成了大部分难度。然而，性能仍低于原始自主任务，这表明在整合拆分信息方面仍存在额外挑战。

重要性

AppWorld-UL 为推进用户在环工具使用智能体的研究提供了一个原则性的测试平台。论文指出，当前的模型在处理现实世界交互的细微差别（如识别欠指定、处理不可行性和寻求批准）方面仍面临巨大困难。通过将交互需求从环境复杂度中分离出来，该基准测试揭示了有效与用户沟通的能力是智能体部署的关键瓶颈。这项工作旨在支持开发不仅具备工具使用能力，而且能作为协作伙伴，在真实的、有状态的数字环境中查询、确认并适应用户意图的智能体。