🤖 AI

ShopGym: An Integrated Framework for Realistic Simulation and Scalable Benchmarking of E-Commerce Web Agents

本文介绍了 ShopGym，这是一个集成框架，通过将真实 storefront 转化为可复现的沙盒环境（ShopArena）并合成基于实际场景的基准任务（ShopGuru），弥合了现实可控的电商智能体评估之间的差距，并证明了合成商店保留了关键结构特性，且与智能体在真实网站上的表现具有相关性。

原作者： Chinmay Savadikar, Mingyu Zhao, Yuanzheng Zhu, Han Li, Shuang Xie, Alberto Castelo, Tianfu Wu, Lingyun Wang

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chinmay Savadikar, Mingyu Zhao, Yuanzheng Zhu, Han Li, Shuang Xie, Alberto Castelo, Tianfu Wu, Lingyun Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何在线购物。为了有效地做到这一点，你需要一个训练场。论文"ShopGym"指出，当前的训练场存在缺陷，并提出了一种新的、更好的解决方案。

以下是问题及其解决方案的分解，使用了简单的类比。

问题：“真实商店”与“玩具商店”的两难困境

目前，研究人员在测试购物机器人时只有两个糟糕的选择：

“真实商店”（过于混乱）： 想象一下，试图教一个机器人在一个真实、繁忙的超市里购物。问题在于，这家商店每天都在变化。货架会被重新排列，价格会变动，布局会调整，有时商店还会对某些顾客进行秘密测试，而对其他顾客则不这样做。
- 结果： 如果机器人今天失败了，你无法确定是因为机器人本身不行，还是因为商店改变了布局。你无法在明天完全重复同样的测试。这就像试图给学生的数学考试打分，而老师却一直在黑板上更改数字。
“玩具商店”（过于简单）： 另一种选择是手工搭建的假商店，就像乐高积木套装一样。它非常稳定；货架永远不会移动。
- 问题： 它太简单了。它只有几种类型的盒子和极少量的玩具选择。真实的购物涉及成千上万种产品、复杂的过滤器以及奇怪的网站布局。一个在乐高商店中表现出色的机器人，在真实的超市里可能仍然会迷路。

核心瓶颈： 我们需要一个训练场，它感觉像真实的商店（以便机器人学习真正的技能），但表现得像玩具商店（以便我们能够公平且重复地测试它）。

解决方案：ShopGym

作者构建了ShopGym，这是一个充当“数字孪生工厂”的框架。它包含两个主要部分：ShopArena 和 ShopGuru。

1. ShopArena：“数字孪生工厂”

将其想象为一台机器，它拍摄一张真实、杂乱商店的照片，然后打印出一个完美、整洁但外观完全相同的复制品。

工作原理：
- 探索者： 一组 AI 代理访问一个真实的网站（“种子商店”）。它们不购买任何东西，只是做笔记。它们绘制导航图，统计产品数量，并记录过滤器的运作方式。关键的是，它们会剥离所有真实名称（如“耐克”或“可口可乐”），并用虚构名称（如“品牌 X"或“饮料 Y"）取而代之。
- 建筑师： 这组团队根据这些笔记编写一份“蓝图”（规范）。
- 建造者： 另一组 AI 代理阅读蓝图，并从头开始构建一个全新的、独立的网站。它的外观和行为与真实商店完全一致，但它是由合成数据构成的。
神奇之处： 由于它是根据蓝图构建的，你可以瞬间将其重置为零。你可以运行相同的测试 1000 次，商店每次看起来都完全一样。但由于它是基于真实商店的结构构建的，它和真实事物一样复杂。

2. ShopGuru：“考试出题人”

一旦假商店建成，你就需要给机器人安排测试。ShopGuru 就是负责编写考题的老师。

短视野任务（小测验）： 这些是简单的单步问题，例如“找到红色衬衫”或“查看运输政策”。这些测试基本技能。
长视野任务（期末项目）： 这些是复杂的故事。例如：“你是一个有三只狗的人。找到狗粮，然后找到猫砂，接着检查你是否符合免运费资格，最后将两者都放入购物车。”
安全检查： ShopGuru 不会凭空猜测。它会将其问题与假商店的数据库进行核对，以确保答案确实存在。如果商店不卖烤面包机，它就不会要求机器人寻找“紫色烤面包机”。

他们如何测试

为了证明他们的想法有效，他们做了两件事：

结构检查： 他们使用图（类似于连接关系的地图）将“数字孪生”商店与真实商店进行了比较。他们发现，假商店拥有与真实商店相同数量的页面、相同的菜单深度以及相同的复杂度。
行为检查： 他们在真实商店和假“孪生”商店上运行了顶级 AI 机器人。
- 结果： 机器人在两者上的表现几乎完全相同。如果一个机器人在真实商店购物表现出色，它在假商店上也是如此。如果它在真实商店上遇到困难，它在假商店上也会遇到困难。

结论

ShopGym 解决了“真实性”与“可控性”之间的权衡问题。

它为研究人员提供了一个稳定、可重置且公平的环境（就像游戏关卡一样）。
但由于它是基于真实数据构建的，它保留了现实世界购物的复杂性和难度。

这意味着，我们终于能够以一种科学、可重复且对现实世界真正有用的方式来训练和测试购物机器人，而无需面对真实网站在我们脚下不断变化的混乱局面。

技术摘要：ShopGym

问题陈述

电子商务网络代理的评估面临一个根本性的方法瓶颈：在现实性与实验控制之间存在权衡。现有方法分为两类，各自存在显著局限：

真实 storefront（在线商店）：虽然提供高现实性，具备自然布局和交互模式，但它们是非平稳的。商品目录、设计和 A/B 测试变体会随时间变化，导致训练和评估不可复现，且难以在不同运行或不同代理之间进行公平比较。
手工构建的沙盒环境：这些环境提供控制和可复现性，但缺乏多样性。人工构建的环境仅覆盖有限范围的布局、目录结构和策略，无法捕捉真实世界电子商务的复杂性。

该领域缺乏一种可扩展的方法，来构建同时具备现实性、多样性、可控性、可检查性和可复现性的评估环境。

方法论：ShopGym 框架

为填补这一空白，作者引入了ShopGym，这是一个包含两个协同组件的集成框架：ShopArena（模拟环境生成）和ShopGuru（基于事实的任务生成）。

1. ShopArena：可扩展的模拟环境生成

ShopArena 通过两阶段流程，将真实的种子在线商店转化为自包含的、匿名化的沙盒商店：

探索阶段（从真实环境到规范）：
- 系统自主浏览一个或多个真实的种子在线商店。
- 它提取结构和行为信号（导航、功能提示、页面组织、目录统计），同时严格匿名化品牌名称、产品详情和 URL。
- 这些信号被合成为人类可读的中间设计规范（ $M$ ）。该规范作为探索与生成之间的唯一接口，支持多种子组合（合并来自多个来源的结构多样性）和人工编辑，而无需重新探索源数据。
生成阶段（从规范到沙盒）：
- 一个分阶段的代码合成流程将规范 $M$ 转换为可运行的沙盒商店。
- 目录合成：基于设计规范手册和 $M$ 中的统计数据，生成合成产品数据（名称、描述、图像）。
- 源代码合成：利用由多个代理驱动的执行 - 验证循环。执行代理编辑代码库，而独立的验证代理（结合基于规则的检查和多模态视觉检查）提供反馈。该循环迭代进行，直到商店功能正常，确保稳定性并防止长视野代码生成中常见的上下文窗口退化问题。
- 最终生成的合成商店保留了种子商店的结构、行为和统计属性，但使用合成的品牌身份和图像。

2. ShopGuru：基于事实的任务生成

ShopGuru 直接基于生成的沙盒商店数据（目录、导航图、策略）合成基准任务。

短视野任务：通过确定性的、基于规则的脚本生成，用于评估基础技能：
- 产品发现：精确搜索和替代搜索。
- 筛选选择：浏览商品集合并应用特定筛选器（通过检查产品可用性确保可行性）。
- 信息获取：定位策略页面（运输、退货）。
长视野任务：由大型语言模型（如 GPT-5、Gemini 3 Pro）生成，以模拟复杂的人类购物旅程（例如：筛选 $\to$ $\to$ 排序 $\to$ $\to$ 检查 $\to$ $\to$ 策略绕行 $\to$ $\to$ 加入购物车）。
- 润色循环：为减轻大型语言模型的幻觉（例如请求不存在的变体），由验证器驱动的循环对生成的任务进行迭代优化。验证器检查基于事实的错配（未知产品、不可行的筛选器），并将可操作的错误反馈给大型语言模型以重新生成。

主要贡献

方法论识别：本文识别出“现实性 - 控制”权衡是核心瓶颈，并主张构建可扩展的、现实且可控的环境是缺失的关键能力。
ShopArena 流程：一种新颖的流程，通过规范合成和分阶段代码生成，将真实在线商店转化为匿名化、自包含的沙盒商店，从而实现多样化且可复现的环境。
ShopGuru 任务生成器：一个基于事实的任务生成系统，既能生成短视野技能评估任务，也能生成长视野端到端购物旅程任务，并通过基于规则和大型语言模型驱动的润色循环进行验证。
验证：实证证据表明，合成商店保留了来自真实在线商店的有意义的评估信号。

结果与验证

作者使用六个沙盒商店（三个完全合成，三个使用真实产品数据但采用合成品牌的“孪生”商店）生成的 224 个任务对 ShopGym 进行了验证。

结构有效性：合成商店与真实商店的比较显示，观察和交互复杂度相当（可访问性树深度、唯一交互元素）。由于有意排除了外部链接和营销噪音，合成商店的状态转换略少，但保持了相似的不同 UI 状态覆盖率。
行为验证：代理（使用 GPT-5 和 Gemini 3 等模型）在合成“孪生”商店上的表现与在相应真实在线商店上的表现呈正相关。这表明合成环境保留了评估所需的难度和行为信号。
任务复杂度：前沿模型在生成的长视野任务上取得了较低的胜率（例如，GPT-5-mini 约为 48%，BrowserGym 框架下的 GPT-5 约为 62%），证明这些任务足以挑战当前的代理。

意义与主张

本文主张，ShopGym 在真实网络现实性与沙盒控制之间提供了一个实用的中间地带。通过生成自包含、可检查、可重置且稳定的评估工件，ShopGym 为电子商务网络代理的可复现、可解释评估提供了可扩展的基础。

作者谦逊地指出，ShopGym 并未完全取代真实网络评估，因为它移除了现实世界非平稳性的来源（例如库存周转、个性化、延迟）。然而，它为标准化基准测试提供了更强大的方法论，使研究人员能够将代理能力与环境噪音隔离开来。该框架旨在支持负责任的研究使用，并设有防止未经授权的自动化和数据分发的防护措施。