MarketGen: A Scalable Simulation Platform with Auto-Generated Embodied Supermarket Environments

本文提出了 MarketGen,这是一个具备自动场景生成功能的规模化仿真平台,旨在通过引入基于智能体的程序化内容生成框架、丰富的商品资产库以及针对收银和理货任务的基准测试,填补现有数据集在复杂商业环境(如超市)中缺乏长周期任务支持的空白,从而推动具身智能在商业领域的应用研究。

Xu Hu, Yiyang Feng, Junran Peng, Jiawei He, Liyi Chen, Wei Sui, Chuanchen Luo, Xucheng Yin, Qing Li, Zhaoxiang Zhang

发布于 2026-03-06
📖 1 分钟阅读☕ 轻松阅读

Each language version is independently generated for its own context, not a direct translation.

这篇论文介绍了一个名为 MarketGen 的超级工具,你可以把它想象成是一个**“自动化的虚拟超市建筑师”**,专门用来帮助机器人学习如何在真实的超市里工作。

为了让你更容易理解,我们可以用几个生活中的比喻来拆解它的核心内容:

1. 为什么要造这个工具?(痛点)

想象一下,你想教一个机器人去超市买东西。

  • 以前的做法:就像是在玩《模拟人生》或者乐高,需要人工一块一块地搭货架、摆商品、铺地板。这太慢了,而且搭出来的超市千篇一律,机器人学不到应对各种突发状况的能力。
  • 现在的难题:现有的机器人训练场大多是在“家里”或“桌子上”(比如叠衣服、倒水),但真实的超市空间大、货架多、商品杂,机器人进去容易迷路或撞倒东西。

MarketGen 就是为了解决这个问题而生的。 它不再让人工去搭积木,而是让电脑自己“变”出一个超市。

2. MarketGen 是怎么工作的?(核心魔法)

它的工作流程像是一个**“超级大脑” + “自动流水线”**的组合:

  • 第一步:听指挥的“大脑”(Agent 系统)
    你不需要画图纸,只需要像点外卖一样,给它发一段文字(比如:“我要一个明亮、卖很多零食的便利店”)或者给它看一张参考图。
    这个“大脑”会理解你的要求,然后像一位经验丰富的超市店长一样,在脑海里规划出:哪里放饮料区,哪里放生鲜区,货架怎么摆才不挡路。它甚至能自我检查:“哎呀,刚才把牛奶放到了烤箱旁边,这不对,得改改!”

  • 第二步:不知疲倦的“流水线”(PCG 程序)
    一旦“大脑”规划好了,一个叫 PCG 的自动程序就会立刻开工。

    • 它有一个巨大的“零件库”:里面有 1000 多种商品(从苹果到薯片)和 100 多种设施(货架、冷柜)。
    • 它还能**“变形”**:比如货架,它可以像乐高一样,自动调整层数、宽度和颜色。
    • 最后,它把规划好的图纸瞬间变成 3D 的、逼真的虚拟超市,连地板的纹理和灯光都跟真的一样。

3. 它用来做什么?(两大考试)

造好超市后,MarketGen 给机器人出了两道“考题”,看看机器人厉不厉害:

  1. 收银台卸货(Checkout Unloading)

    • 场景:机器人站在收银台,面前有一个装满东西的购物篮。
    • 任务:它需要把篮子里乱七八糟的东西(有的被压在下面,有的叠在一起)一个个拿出来。
    • 难度:就像你要从塞满衣服的行李箱里拿出一双袜子,不能把其他衣服弄乱,还要看清哪件是哪件。
  2. 货架寻宝(In-Aisle Item Collection)

    • 场景:机器人推着小车在长长的货架过道里。
    • 任务:它要自己找路,穿过狭窄的过道,从密密麻麻的货架上找到指定的商品(比如“第三排中间的那瓶可乐”),然后拿下来放进篮子。
    • 难度:这就像在拥挤的早高峰地铁里,既要避开人群(不撞货架),又要精准地拿到目标物品。

4. 效果怎么样?(实战表现)

  • 虚拟测试:作者用这个平台测试了目前最聪明的 AI 模型。结果发现,虽然 AI 很聪明,但在这么复杂的超市环境里,成功率还是不高(大概只有 10%-15%)。这说明让机器人学会在真实超市里“灵活应变”还有很长的路要走。
  • 虚实迁移(Sim-to-Real):这是最酷的一点。作者在电脑里训练机器人,然后直接把它放到真实的物理世界里去操作。
    • 比喻:就像在模拟器里练了 1000 次开车,然后直接开上真实的高速公路,居然也能开得稳稳当当!
    • 结果:实验证明,MarketGen 生成的虚拟环境和真实世界非常像,机器人在这两个环境里的表现几乎一样好。这意味着未来我们可以先在电脑里疯狂训练机器人,然后再让它们去真实超市上班,既省钱又安全。

总结一下

MarketGen 就是一个**“一键生成超市”**的超级平台。它让机器人不再只能在简单的桌子上玩积木,而是能在一个无限变化、高度逼真的虚拟超市里“实习”,学会如何在复杂的商业环境中工作。这为未来我们在超市看到真正的机器人导购、理货员打下了坚实的基础。