🤖 AI

RetailBench: Benchmarking long horizon reasoning and coherent decision making of LLM agents in realistic retail environments

本文介绍了 RetailBench，这是一个用于评估大语言模型智能体在现实、长程零售管理场景中表现的数据驱动型模拟基准，研究揭示了尽管当前模型展现出了一定的潜力，但由于存在证据获取不完整和长期策略不一致等问题，它们在维持连贯决策方面仍面临困难，且表现显著逊于专家策略（oracle policy）。

原作者： Linghua Zhang, Jun Wang, Jingtong Wu, Zhisong Zhang

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

CC0 1.0

原作者： Linghua Zhang, Jun Wang, Jingtong Wu, Zhisong Zhang

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你雇佣了一个非常聪明、博学多才的机器人来经营一家小型超市。你给了它一台笔记本电脑、一套用于检查价格和库存的工具，以及 30,000 美元的预算。你的目标是让这个机器人运行这家店六个月（180 天），既不破产，又能保持货架充足，并实现盈利。

这篇名为 RetailBench 的论文，是一份关于七个不同的“智能机器人大脑”（即大语言模型或 LLM）在这一特定工作中表现如何的成绩单。

以下是研究结果的详细拆解，使用了简单的类比：

1. 测试内容：超市里永不停歇的一天

目前大多数 AI 测试都像是短测验：“写一首诗”、“解一道数学题”或“预订机票”。这些都是有明确开始和结束的短期任务。

RetailBench 则不同。它更像是让 AI 参加一场马拉松，而不是短跑。

环境： 一个模拟的单店超市。
挑战： AI 必须同时处理许多事情：设定价格、在牛奶喝光前订购更多牛奶、挑选最好的供应商、处理愤怒的客户评论、支付租金账单，以及对新闻事件做出反应（比如可能影响销售的暴风雨）。
难点： AI 无法看到一切。它就像一个必须猜测后台正在发生什么，或者猜测客户下周会想要什么的店长。它必须在做出决策前请求获取信息（使用“工具”）。

2. 结果：机器人在迷失中挣扎

研究人员让这些 AI 代理运行了长达 180 天的商店。以下是发生的情况：

大多数人过早放弃： 许多 AI 代理因为耗尽了资金或犯了太多错误，导致商店在短短几周内就倒闭了（有的甚至在第 58 天就关门了）。
幸存者并不完美： 其中两个最聪明的 AI 成功撑过了完整的 180 天。然而，尽管它们维持了商店的运营，但在实际“经营”方面表现得很糟糕。
“先知”（完美的管理者）： 研究人员还创建了一个“作弊手册”式的管理者（称为 Oracle policy）。这个管理者预知未来，能看到所有隐藏的数据，并遵循完美的规则。
- 差距： 最优秀的 AI 代理赚取了约 24,000 美元 的利润。而那个“作弊手册”管理者则赚取了 131,000 美元。AI 虽然在生存，但与完美的策略相比，仅仅是在勉强维持。

3. 为什么机器人失败了？

论文分析了机器人的“思维过程”，发现了它们挣扎的主要原因有三个：

A. 它们没有读完整份菜单（证据不完整）
在订购 100 箱苏打水之前，一个好的经理会检查库存、查看过往销量、查看天气并阅读客户评论。

AI 的错误： 机器人经常在没有检查所有必要事实的情况下（如订购库存或更改价格）就做出重大决策。它们根据“直觉”或不完整的数据行事，导致了糟糕的选择。

B. 它们只看价格标签（表面化的决策）
想象你在买苹果。一个供应商卖 1.00 美元，但苹果是烂的；另一个供应商卖 1.50 美元，但苹果很完美。

AI 的错误： 机器人痴迷于低价。它们一直选择那个 1.00 美元的供应商。它们没有意识到廉价的苹果会导致愤怒的客户、退货和差评，而这最终会摧毁商店的声誉和利润。它们看到了价格，却忽略了质量。

C. 它们注意力不集中（缺乏长远规划能力）
经营一家店需要连贯性。如果你今天订购了太多的牛奶，它们可能会在一周内过期。如果你订购得不够，你就会损失明天的销售额。

AI 的错误： 机器人擅长做“今天”的决定，但它们忘记了“明天”。它们无法保持一致的计划。它们今天解决了一个问题，但三天后当后果显现时，它们就忘了这件事。它们无法将第 1 天采取的行动与第 10 天发生的后果联系起来。

4. 核心结论

论文得出结论：虽然 AI 在处理短期、特定任务方面变得非常出色，但它仍然无法独立运行复杂的长期业务。

现状： AI 可以让一家店“存活”一段时间，但它无法让其“兴旺”。
问题所在： AI 缺乏收集所有正确线索、深入思考低价交易的长期后果，以及在数月内坚持一致计划的能力。

简而言之： 如果你今天把一家店交给 AI，它可能不会立即破产，但与一个理解长远目标的（人类或完美的计算机程序）相比，它很可能会变成一个混乱且无利可图的烂摊子。

技术摘要：RetailBench

问题陈述

虽然大语言模型（LLM）智能体在短周期、任务范围明确的任务（如代码编辑、信息检索）中已展现出熟练程度，但其在动态、长周期环境下的持续连贯决策能力仍存在不确定性。现有的基准测试往往孤立地评估单个子问题，或者缺乏现实业务运营中那种耦合的、闭环的动态机制。因此，社区缺乏一个基于数据驱动的开放基准，来评估使用工具的 LLM 智能体是否能在长时间跨度内保持持久的目标对齐和稳定的行为一致性，特别是在局部错误会演变成延迟后果并重塑未来状态分布的情况下。

方法论：RetailBench

作者引入了 RetailBench，这是一个数据驱动的模拟基准，旨在评估在单店超市运营背景下的工具使用型 LLM 智能体。该环境被建模为一个部分可观测马尔可夫决策过程（POMDP），即 $M = (S, A, O, T, \Omega, R)$ ，其中智能体通过一组特定的工具与模拟器进行交互。

环境构建

数据驱动： 模拟器锚定于真实的零售数据（来自芝加哥大学布斯商学院的 Dominick's 数据集），以定义产品宇宙（涵盖 20 个类别的 96 种产品）、历史价格、销售轨迹和采购成本。
动态反馈： 评论文本采样自 Amazon Reviews 2023 语料库，新闻事件则改编自财经新闻文章。这些引入了基于语料库的动态机制，由隐藏的元数据驱动需求侧和供给侧的影响。
模块： 环境耦合了七个模块：库存、供应商与订单、货架、客户需求、评论与退货、新闻事件，以及财务与记录。
状态与动作：
- 状态 ( $S$ )： 包括产品属性、库存（含老化情况）、货架陈列、供应商候选名单、需求因素、外部新闻以及财务会计。
- 动作 ( $A$ )： 智能体从三组工具中进行选择：
  1. 只读类 ( $A_{read}$ )： 查询资金、库存、价格、销售历史、供应商报价和评论。
  2. 辅助类 ( $A_{other}$ )： 受限分析、内存管理和代码执行（沙盒化）。
  3. 状态变更类 ( $A_{act}$ )： 更新价格、下达补货订单、管理货架陈列、撰写笔记以及结束当日营业。
模拟周期： 该基准支持千日规模的模拟。评估协议采用 180 天周期。

评估协议

模型： 对七种当代 LLM 使用三种基于提示词的框架进行了评估：ReAct、Reflection 和 Plan-and-Act。
选择规则： 由于长周期表现存在差异，作者采用了“生存优先”的选择规则：对于每个模型，选择生存周期最长的运行记录，并以最终净资产和总销售额作为平局决胜项。
基准线（Baseline）： 包含一个 特权预言机策略（privileged oracle policy） 作为非智能体参考。该策略可以直接访问结构化的模拟器字段（例如隐藏的供应商质量评分），并遵循手动指定的、具备质量意识的操作规则。

指标

性能通过五个类别进行衡量：

运营可行性： 最终净资产和生存天数。
销售有效性： 总销售额、每日售出产品数和退货率。
库存控制： 缺货天数和过期率。
工具使用行为： 每日直接工具调用次数和总工具调用次数。
Token 使用： 平均每日 Token 消耗量。

核心贡献

长周期零售环境： RetailBench 提供了一个受控的、数据驱动的测试平台，将定价、库存、供应商选择、客户反馈、外部事件和财务约束耦合在长时段的剧集中。
对现有系统的评估： 该基准揭示了当前的智能体框架和最先进的 LLM 在长周期内难以实现稳定、高性能的运营策略。
系统性失效分析： 作者通过诊断指标识别了三种常见的失效模式：
- 证据获取不完整： 智能体经常在未查询关键信息（如供应商质量代理指标、库存老化情况）的情况下采取行动。
- 表面化决策： 智能体过度依赖可见信号（如价格），而忽视了那些虽不直观但具有后果性的因素（如供应商质量、退货风险）。
- 缺乏一致的长周期策略： 智能体无法对重要产品保持持续关注，也无法一致地跟进先前行动带来的延迟后果。

结果

生存情况： 在生存优先协议下，生存期在 58 到 180 天之间波动。只有 DeepSeek-V4-Pro 和 GPT-5.5 完成了完整的 180 天周期。大多数其他模型在 58 到 73 天之间终止。
性能差距： 即便是表现最强的 LLM 运行记录也远低于预言机策略。
- 净资产： 预言机策略达到了 131,510.42，而表现最好的 LLM (GPT-5.5) 仅为 24,350.98。
- 销售额： 预言机策略实现了 267,998 单位销量，而表现最好的 LLM (DeepSeek-V4-Pro) 为 164,417 单位。
行为诊断：
- 证据获取： GPT-5.5 表现出最高的证据完整度 (0.9689)，而像 Grok-4.3 之类的模型则接近零完成度。
- 决策质量： LLM 对“价格优先”（选择最便宜的供应商）表现出强烈的偏好，而非“质量优先”。预言机策略优先考虑质量，而 LLM 在订单中选择最便宜供应商的比例为 55.6%，相比之下，最佳质量选择的比例仅为 21.5%。
- 时间追踪： LLM 错失了 32.86% 到 88.18% 的高需求机会，并且未能持续跟进七天窗口期内的延迟后果（如缺货、退货）。

重要性与主张

本文将 RetailBench 定位为不仅是一个性能基准，更是一个用于研究在经济驱动的长周期决策中实现可靠自主性的 诊断测试床。作者声称，结果表明当前 LLM 能力与维持持续运营连续性的要求之间存在关键差距。

其重要性在于指出，提升长周期 LLM 智能体不仅仅需要增加工具的使用，更需要以下方面的进步：

证据选择： 识别并获取所有决策关键信息的能力。
从证据到行动的推理： 将获取的证据转化为能够兼顾长期结果（例如平衡成本与质量）的决策的能力。
状态化策略维护： 对关键实体保持持久关注，并能回顾延迟后果，从而使局部工具调用与长期业务目标保持一致的能力。

作者总结道，在 LLM 智能体能够可靠地在复杂的长周期环境中运行之前，必须先克服在证据获取、推理深度和策略一致性方面的这些特定瓶颈。