💬 NLP

ShopX: A Foundation Model for Intent-to-Item Fulfillment in Agentic Shopping

本文介绍了 ShopX，这是一个统一了意图理解、执行规划以及基于语义 ID 的物品空间操作的基础模型，旨在实现智能体购物工作流中直接且灵活的履约，从而克服传统的以大语言模型为包装的搜索管线的局限性，并利用淘宝生产数据证明了其在复杂任务上的卓越性能。

原作者： Jiacheng Chen, Tao Zhang, Manxi Lin, Dunxian Huang, Teng Shi, Honghao Fu, Mengyan Li, Xinming Zhang, Chenchi Zhang, Xuan Lu, Xiaoxiong Du, Haibin Chen, Shaolin Ye, Hao Chang, Xiaoqi Li, Shuwen Xiao, Y

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiacheng Chen, Tao Zhang, Manxi Lin, Dunxian Huang, Teng Shi, Honghao Fu, Mengyan Li, Xinming Zhang, Chenchi Zhang, Xuan Lu, Xiaoxiong Du, Haibin Chen, Shaolin Ye, Hao Chang, Xiaoqi Li, Shuwen Xiao, Yujin Yuan, Jingxuan Feng, Shaopan Xiong, Huimin Yi, Ju Huang, Qiu Shen, Ying Chen, Junjun Zheng, Xiangheng Kong, Yuning Jiang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于 ShopX 论文的解释，已将其转化为通俗易懂的语言，并使用了创意类比。

核心问题： “翻译官”瓶颈

想象你正身处一个巨大且混乱的跳蚤市场（即互联网购物目录）。你想买一套特定的装扮：“一套适合主题公园游玩的、可爱且色彩柔和的浅色调雨衣，还要穿着舒适，适合长时间步行。”

在旧有的方式中（论文称之为“工具介导型”，Tool-Mediated），你必须向一名人类助手（AI 智能体）描述需求。助手理解了你的请求，但随后必须跑去一个独立的、僵化的计算机系统里去寻找商品。

问题所在： 助手必须将你丰富的、复杂的描述，转化为极其简短、枯燥的形式，例如：“搜索：浅色，雨衣，步行。”
损失： 当计算机系统返回结果时，助手必须从列表中进行挑选。如果你说，“其实，让它更适合走路的材质更柔软一点”，助手就必须再次跑回计算机系统，再次进行“翻译”，并祈祷新的列表仍然符合最初的“主题公园”氛围。语境在翻译过程中丢失了。这就像是在玩一场“传声筒”游戏，信息每经过一次人与机器之间的传递，就会变得模糊不清。

解决方案：ShopX（“超级店主”）

ShopX 团队构建了一种新型的 AI 基础模型。ShopX 不再是一个在独立计算机之间来回奔波的“翻译官”，它本身就是那位脑海中装着整个目录的店主。

不要把 ShopX 仅仅看作是一个正在调用数据库的人，而要把它看作一位神奇的图书管理员——她不仅了解书的内容，她本身就是图书馆的一部分。

1. 秘密语言：“语义 ID”（Semantic IDs, SIDs）

为了实现这一点，团队发明了一种特殊的语言，叫做语义 ID (SIDs)。

类比： 想象商店里的每一件商品（鞋子、衬衫、包包）都有一个由文字和数字组成的神秘、神奇的条形码（例如 <SID: C5C9103...>）。
作用： 通常，这些条形码只是计算机能理解但人类无法理解的随机数字。ShopX 学会了流利地使用这种语言。它可以观察你的请求（“我需要适合雨天穿的软底鞋”），并能瞬间生成对应完美鞋款的正确秘密条形码，而无需向独立的搜索引擎求助。它直接架起了你的自然语言与商店库存之间的桥梁。

2. “模型原生”工作流 (Model-Native Workflow)

ShopX 在一个单一且连续的流程中运行，就像一位大厨在烹饪美食，而不是一群工人接力传菜。

计划 (Plan)： 你说，“我需要一套穿搭。” ShopX 理解上下文（天气、你的风格、你的历史记录）。
执行 (Execute)： 它不是调用搜索工具，而是利用那些秘密条形码，在它对目录的记忆中进行内部“扫描”。它寻找最佳匹配项，进行对比，甚至将它们组合在一起（例如：“这条裙子配这双鞋很合适”）。
交付 (Fulfill)： 它将最终结果交给你，将你的对话内容与实际商品融为一体。
更新 (Update)： 如果你说，“我不喜欢蓝色的那件，换成粉色的吧”，ShopX 会记住整个对话过程，并立即调整商品，而不会丢失“主题公园”这一整体语境。

他们是如何构建它的（训练配方）

你不能只教一个普通的 AI 成为店主；它需要特定的训练。论文描述了一个三步走的配方：

学习秘密语言（SID 对齐）： 他们教会了 AI 识别并生成那些神奇的条形码，使其能够与目录进行“对话”。
阅读目录（领域预训练）： 他们向 AI 输入了海量的购物数据（产品描述、用户评论、历史记录），使其理解现实世界中的“防水”或“浅色调”究竟意味着什么，而不只是字典里的定义。
模拟实操（后训练）： 他们给 AI 进行了一场“工作模拟”。他们教会了 AI 处理复杂的场景：“如果用户说 X，则执行 Y；如果他们改变主意，则调整 Z。” 他们结合了“老师”（专家模型）和“奖励机制”（针对优秀推荐给予积分）来完善其技能。

结果：为什么它更好？

团队使用来自淘宝（一个大型中国电商网站）的真实购物日志，将 ShopX 与旧有的“翻译官”系统进行了对比测试。

旧有的方式： 擅长处理简单的请求（“给我看红色的鞋子”）。但在你增加更多维度时（“给我看红色的鞋子，但要更软一点，并且要配一个包，记得我讨厌皮革”）就会显得力不从心。
ShopX： 在处理复杂任务方面表现卓越。因为它从未需要将你的请求“翻译”成简短的搜索查询，所以它不会丢失细节。
- 精准度： 它能更准确地挑选出正确的商品。
- 上下文： 它能在多轮对话中记住你的偏好。
- 灵活性： 它可以处理模糊的请求（“我想买点适合约会的衣服”），并将其转化为具体的、有依据的推荐。

总结

ShopX 是一种新型的 AI，它不再将购物视为一个“搜索引擎”问题，而是将其视为一个“对话式履约”问题。

传统的 AI 会说：“我听到了，让我去问一下数据库。” 而 ShopX 则会说：“我听明白了，我完全知道你需要什么，这是我从整个目录中为你挑选的完美装扮，请查收。” 它将思考、搜索和销售统一成了一个流畅、智能的整体行动。

技术摘要：ShopX：面向智能体购物中“意图到商品”履约的基础模型

1. 问题陈述

本文指出，在 AI 原生购物应用的发展过程中，存在一个关键的瓶颈：自然语言理解与商品空间执行之间的“接口损失”（interface loss）。目前的智能体购物系统通常是在现有的搜索和推荐管线之上封装大语言模型（LLM）。在这种**工具中介（tool-mediated）**范式下，LLM 充当编排器，将丰富的多轮用户意图转化为紧凑的工具调用（例如关键词查询、过滤器），以供外部检索和排序服务使用。

这种分离造成了一个低带宽的接口——细粒度的信号（如多轮偏好、场景约束、跨商品兼容性以及用户反馈）在到达商品空间之前，往往会被压缩、碎片化或脱离原始上下文。因此，复杂的或模糊的请求会在智能体的语言理解与实际的商品空间结果履约之间产生鸿沟。虽然生成式推荐（使用语义 ID 或 SID）在端到端检索方面已展现出潜力，但现有模型主要针对下一项预测（next-item prediction）或候选生成进行优化，而非涵盖**意图到商品履约（intent-to-item fulfillment）**的全频谱，后者包括规划、捆绑、落地（grounding）和状态管理。

2. 方法论：ShopX 框架

ShopX 提出了一个模型原生履约框架（model-native fulfillment framework），该框架将意图理解、执行规划以及灵活的 SID 原生商品空间操作统一到一个单一的基础模型中。ShopX 不仅仅是一个对话包装器或狭义的 SID 预测器，它扮演着核心履约引擎的角色。

2.1 服务吊舱与动作协议

ShopX 通过一个轻量级服务吊舱（serving harness）进行部署，该吊舱定义了一个面向模型的动作协议，包含四个不同的槽位：

规划（Plan）： 解析上下文（画像、历史、约束）以决定履约路径（例如：检索、重排序、捆绑、澄清）。
执行（Execute）： 执行 SID 原生的商品空间操作，例如 SID 束搜索（beam-search）检索、种子扩展或组合包构建，并使用基于目录证据（catalog-grounded evidence）进行操作。
履约（Fulfill）： 生成具备落地能力的响应，将自然语言与可解析的 SID 交织在一起，用以呈现商品列表、对比或摘要。
更新（Update）： 提取用于状态管理的信号，例如偏好摘要或记忆更新，以便为后续轮次进行持久化。

该吊舱提供了上下文访问（画像、历史）、目录落地（通过元数据验证 SID）以及状态管理（跨轮次维护会话状态）的支持界面。

2.2 语义 ID（SID）设计

为了连接语言与商品空间，ShopX 引入了一种全新的 SID 架构，旨在实现语义可恢复性和LLM 可操作性：

多模态表示： 商品使用 Qwen3-VL-Embedding 主干进行编码，共同处理图像、属性和标题。该表示包含一个全局嵌入（用于对比学习）和多个局部嵌入（用于细粒度属性）。
混合全局-局部标记化（Hybrid Global–Local Tokenization）：
- 全局前缀 ( $G_K$ )： 通过残差量化（RQ-VAE）从全局嵌入中导出。这些标记为 LLM 生成提供了一条稳定的自回归路径。
- 局部后缀 ( $L_M$ )： 从局部嵌入中通过向量量化（VQ）导出。这些标记保留了可能在单一全局向量中丢失的可恢复语义细节（如颜色、材质）。
验证： 通过测试双向落地能力来验证 SID 版本：即通过描述解码为 SID，以及从 SID 中恢复属性。

2.3 训练方案

训练流水线通过四个阶段将通用 LLM（Qwen3 系列）转化为具备 SID 感知能力的履约模型：

SID 标记对齐（SID Token Alignment）： 使模型对新的 SID 词表进行对齐（冻结主干，仅训练嵌入），使其将 SID 视为可操作的标识符而非不透明的标签。
领域持续预训练（CPT）： 注入电商领域知识（目录落地、意图到商品的映射、偏好理解），同时通过 2:1 的购物领域与通用重放标记比例来保留通用能力。
有监督微调（SFT）： 在平衡的指令遵循任务和购物特定任务（SID 检索、排序、对话）的混合数据上训练模型，使其适应 ShopX 动作协议。
后训练（OPD–RL 联合优化）： 解决“跷跷板效应”，即专业化 SID 预测会导致通用能力下降的问题。此阶段使用：
- 多教师在策略蒸馏（MOPD）： 使用专家教师（通用型、SID 预测型、自我型）为特定任务族提供密集的标记级指导。
- 强化学习（RL）： 应用结果级奖励（例如，用于排序的 NDCG，以及用于交织文本-SID 响应的目录落地评判分数）来优化履约质量。

3. 核心贡献

模型原生履约范式： ShopX 将架构从工具中介的编排转向模型原生的接口，使基础模型能够直接规划并执行商品空间操作，从而减少了复杂多轮场景中的接口损失。
混合 SID 架构： 提出了混合的全局-局部 SID 标记化方案，在 LLM 可操作性（稳定的自回归生成）与语义可恢复性（细粒度属性保留）之间取得了平衡。
全面的训练方案： 提出了一种结合了 SID 对齐、领域 CPT 以及联合 OPD–RL 后训练阶段的创新训练流水线，成功实现了在不损害通用指令遵循或推理能力的前提下，整合了 SID 原生的履约能力。
服务框架： 提供了一个实用的服务吊舱，将模型的决策过程与执行基础设施解耦，实现了上下文访问、目录落地和状态管理。

4. 实验结果

本文使用来自淘宝生产日志（12 亿商品目录）的匿名数据，在单轮和多轮任务中，将 ShopX 与工具中介基线（InteRecAgent, Chat-REC, RecMind）进行了对比评估。

框架级性能： ShopX（特别是 8B 版本）在大多数指标上均优于工具中介基线。在商品精准度（95.0 vs. ~90-94）、排序质量（95.5 vs. ~90-94）、约束落地（76.4 vs. ~72-75）以及反馈适应（71.5 vs. ~56-60）方面均有显著提升。
多轮能力： 最显著的增益出现在跨轮次引用（68.3 vs. 41.8–47.5）上，这证明了 ShopX 在对话轮次间保持上下文和商品引用的能力，避免了工具中介系统中常见的状态脱节问题。
能力分解： 诊断确认 ShopX 在保持强大通用能力（知识、推理、编程）的同时，在购物语义、上下文证据提取以及文本-SID 交织履约方面取得了卓越表现。
消融研究：
- SID 设计： 混合 $G_2 + L_4$ 配置在语义恢复和商品映射方面优于仅含全局信息的 SID。
- 数据混合： 在 CPT 阶段，2:1 的领域对通用标记比例被发现是平衡专业化与通用能力保留的最优选择。
- 后训练： 联合 OPD–RL 方法有效地缓解了专业化与保留之间的权衡，表现优于纯 SFT 或纯 RL 基线。

5. 意义与主张

本文主张 ShopX 代表了从“LLM 作为编排器”到“LLM 作为履约核心”的转变。通过统一意图理解与商品空间执行，ShopX 解决了当前智能体购物系统的根本局限：即无法在不产生损失的情况下，将丰富且不断变化的意图直接落地到商品空间。

作者将 ShopX 定位为不仅仅是一个更好的推荐器，而是一个能够处理智能体购物全生命周期的基础模型——从规划、执行到状态更新和反馈适应。这项工作表明，通过正确的 SID 设计和训练方案，基础模型可以直接在海量商品目录（12 亿件商品）上运行，同时保留处理复杂多轮交互所需的广泛推理和指令遵循能力。结果表明，对于复杂的、模糊的或多轮的请求，模型原生履约对于上下文保留至关重要。