SimuWoB: Simulating Real-World Mobile Apps for Fast and Faithful GUI Agent Benchmarking
本文介绍了 SimuWoB，这是一个完全合成的基准测试，包含 120 个高保真移动任务并配备自动化奖励，旨在弥合现有评估与现实世界应用之间的差距，并揭示当前最先进的图形用户界面代理在处理复杂、长视野交互时存在显著困难。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一个机器人如何使用智能手机。你想知道这个机器人是否能像人类一样，真正完成订购披萨、预订航班或查找特定照片等任务。
为了测试这一点，你需要为机器人设计一场“驾驶考试”。但问题在于：真实的智能手机杂乱无章。它们存有真实的银行账户、私人消息，以及每天都在变化的应用程序。如果你让机器人在真实手机上随意操作，它可能会不小心删除你的照片或花掉你的钱。此外，在真实手机上搭建测试环境既缓慢又昂贵。
SimuWoB 登场：手机机器人的“飞行模拟器”。
本文介绍了 SimuWoB，这是一种全新的测试移动手机机器人（称为"GUI 智能体”）的方法，无需使用真实手机或真实用户数据。你可以把它想象成一款视频游戏，其外观和感受与真实手机完全一致，但实际上它是一个在网页浏览器中运行的计算机程序。
以下是其工作原理，分解为几个简单部分：
1. 旧测试的弊端
以往的测试就像给机器人一张早已不存在的城市地图。
- 过于简单：它们仅使用基础应用或文件文件夹，而非我们日常使用的复杂应用（如购物或旅行应用）。
- 过于缓慢：它们需要配置庞大的虚拟机，运行起来耗时极长。
- 难以评分：很难判断机器人是否真正成功，因为真实应用并不总是提供“任务完成”的检查清单。
2. 解决方案：一个魔法工厂
作者构建了一个由先进人工智能（大语言模型）驱动的“工厂”，能够自动构建这些虚假的手机应用。
- 架构师：你告诉 AI：“为我构建一个酒店预订应用的虚假版本。”AI 会编写代码、设计按钮并创建菜单。
- 编剧：接着，你说：“给我一个任务：‘预订一家低于 100 美元的酒店’。”AI 会编写该任务，并关键性地创建一个秘密裁判，该裁判确切知道任务何时完成。
- 结果：几秒钟内，你就在网页浏览器中获得了一个完全可运行的虚假酒店预订应用。你可以将机器人发送过去，观察它尝试预订房间的过程，而“裁判”会立即告诉你它成功还是失败。
3. “驾驶考试”（基准测试）
利用这个工厂，研究团队创建了涵盖 63 个不同虚假应用的 120 项不同挑战。
- 多样性：有些任务很简单，例如“将牛奶加入购物车”。
- 困难部分：有些任务则像马拉松。它们是“长视野”任务，意味着机器人必须连续执行 20、30 甚至 50 个步骤而不迷失方向。例如，“找到飞往东京的最便宜航班，查询那里的天气，并将详情发邮件给我”。
- 真实性：这些虚假应用的外观和行为与真实应用（如沃尔玛、Spotify、Gmail 等）完全一致，但它们只需通过一个简单的网站链接运行。无需安装任何重型软件。
4. 测试机器人时发生了什么？
研究人员将当今最智能的手机机器人投入这项新测试。结果令人警醒：
- 得分：平均而言，机器人仅正确完成了约 28% 的任务。
- 马拉松：当任务变得漫长且复杂（即“长视野”任务）时，机器人的失败率更高，正确率仅为 18%。
- 人类差距：当然，人类几乎完成了所有任务（超过 90%）。这表明机器人目前的能力与人类之间仍存在巨大差距。
5. 它们为何失败？
论文发现了机器人表现不佳的三个主要原因：
- 短期记忆：在长任务中，机器人能完美完成前几步，但随后会忘记自己在做什么。这就像试图阅读一本书，却在每读完一页后就忘记故事情节。
- 迷失方向：如果机器人无法立即找到按钮，它就会放弃，而不是四处寻找或尝试其他路径。它缺乏“好奇心”去探索。
- 笨拙的双手：有些任务需要精确的操作，例如将滑块拖动到特定位置。机器人往往过于笨拙，无法准确命中目标。
核心结论
SimuWoB 是一个快速、安全且逼真的游乐场，用于测试手机机器人。它证明，尽管我们的机器人正变得越来越聪明，但它们在面对复杂的多步骤任务以及记住自身行为方面仍存在困难。这项新测试为研究人员提供了一张清晰的地图，指明了未来构建更优秀机器人时应聚焦的方向。
重要提示：本文严格专注于对这些机器人进行测试和基准评估。它并未声称这些机器人已准备好应用于医院、银行或家庭。它只是说明：“这里有一种更好的方法来衡量它们的水平，以及它们仍需付出多少努力。”
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。