🤖 machine learning

MMRM: A Multiplex Multimodal Representation Model for Product Ranking in E-commerce Search

该论文提出了 MMRM，这是一个将多模态大语言模型与多种协同信号对齐以生成多路商品和用户表示的统一框架，显著提升了京东搜索引擎中的电子商务搜索排序性能与效率。

原作者： Zhen-Lin Chen, Maosen Sheng, Peng Lin, Jianmin Chen, Zhuojian Xiao, Dongyue Wang, Xiwei Zhao

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhen-Lin Chen, Maosen Sheng, Peng Lin, Jianmin Chen, Zhuojian Xiao, Dongyue Wang, Xiwei Zhao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在经营着一家规模巨大、速度极快的数字购物中心（类似于京东），数以百万计的人正在那里寻找完美的牛仔裤。为了帮助他们找到心仪之物，你需要一个聪明的助手，它不仅能读懂产品标签上的文字，还能“看到”图片，理解风格，并精准掌握购物者的需求。

长期以来，这些助手面临着一个棘手的难题。它们就像是只针对特定考试进行学习的学生：如果它们学习了“搜索”，它们就能很好地完成文本查询与产品的匹配；如果它们学习了“购物车”，它们就能很好地了解人们往购物车里放了什么。但试图让一个“超级学生”（通用的多模态大语言模型）同时学习所有这些不同的测试，通常会导致混乱不堪。旧的方法试图强迫这个“超级学生”仅从一种类型的信号中学习，或者将学生的笔记视为一份通用的事实清单，而无法真正预测用户下一步想要什么。

这篇论文介绍了一种名为 MMRM（多路多模态表示模型）的新系统，它通过扮演一位拥有单一高科技厨房、却配备四本专业食谱的大厨来解决这个问题。

核心理念：一个厨房，四位专业厨师
与其为每个任务构建四个独立的厨房（模型），不如让 MMRM 使用一个共享的“骨干网络”（即厨房本身），并赋予它四个特殊的“帽子”或标记（tokens）：[SEARCH]（搜索）、[CLICK]（点击）、[CART]（购物车）和 [ORDER]（订单）。

这就像是一个多才多艺的演员。当他们戴上 [SEARCH] 的帽子时，他们扮演的是将文本线索与产品进行匹配的侦探；当他们切换到 [CART] 的帽子时，他们扮演的是知道哪些商品通常会被一起购买的搭配专家。神奇之处在于，这位演员可以在无需离开舞台的情况下瞬间切换帽子。在单次通过“厨房”的过程中，模型可以同时从四种不同类型的线索（信号）中学习：

搜索点击： 当有人输入“牛仔裤”并点击某个结果时。
点击会话： 当有人在连续点击一系列商品时。
购物车会话： 当有人按顺序将商品加入购物车时。
订单会话： 当有人实际购买一系列商品时。

作者发现这些信号是非常不同的。一次搜索点击就像是一个宽泛的“我有兴趣”，而一次订单会话则是一个“我非常想要这个特定的组合”。如果忽略这些差异并将它们同等对待，旧模型就会错失良机。然而，MMRM 通过同时学习这四种信号，为同一个产品创建了四个截然不同的“表示”（或心理地图），每个地图都针对特定的任务进行了优化。

“多路复用”用户策略
一旦模型拥有了这四种不同的产品地图，它就需要弄清楚你想要什么。论文指出，你不能为每个人使用一张通用的地图。相反，MMM 采用了“多路复用用户表示”策略。

想象一下你正在浏览商品。系统会查看你的历史记录。如果你正在进行搜索，它会使用 [SEARCH] 地图来寻找与你点击过的商品相似的物品；如果你正在构建购物车，它会切换到 [CART] 地图，以观察哪些商品通常会搭配在一起。这就像拥有一位根据你的行为模式随时调整策略的私人购物顾问——无论你是在闲逛还是准备下单，他们都会根据你的具体行为序列，将你与产品正确的“帽子”进行匹配，从而提供高度个性化的推荐。

他们排除了什么
论文明确反对了两种常见的方法：

仅使用一种信号： 他们展示了仅在搜索数据（或仅在购物车数据）上训练模型的局限性，这种做法会让模型对其他重要的关联性视而不见。你不能只选择其中之一而忽略其余部分。
“一刀切”的嵌入（Embedding）： 他们发现，仅仅将一个通用的产品描述塞进排名模型中，在多任务场景下效果并不理想。这会导致“嵌入纠缠”（embedding entanglement），即模型会因为试图同时用同一份笔记来进行搜索查询和购物车预测而感到困惑。MMRM 通过保持各任务表示的独立性（解耦）来拒绝这种做法。

证明：真实的数据，真实的结果
作者并非凭空猜测，而是进行了大规模测试：

训练数据： 他们使用了在六个月内收集的 0.3 亿个三元组（三个相关联的商品组）用于搜索，以及更大规模的数据集（对于订单行为，数据长达 3 年）用于购物车和订单行为。
模型： 他们在 8 块 NVIDIA H800 GPU 上训练了一个拥有 40 亿参数的模型（一个非常庞大的 AI 模型）。
结果： 在测试中，MMRM 击败了所有之前的“单任务”模型以及那些未使用这种“帽子系统”的“多任务”模型。
现实世界的影响： 他们并未止步于计算机模拟。他们将该系统部署到了真实的京东搜索引擎中。在为期一周、面向数百万日活用户的测试中，新系统实现了以下提升：
- 点击率 (CTR) 提升了 0.42%
- 加购率 (ACR) 提升了 0.37%
- 转化率 (CVR) 提升了 0.35%

作者指出，虽然这些百分比看起来很小，但在拥有数百万用户的平台中，即使是 0.10% 的提升也会带来巨大的营收增长。由于这些经过验证的收益，该系统现已全面上线，正在帮助数百万人找到他们的心仪产品。

简而言之，MMRM 是一种更聪明、更灵活的方式，教 AI 如何理解购物。它不再试图做一个“样样通样样松”的杂家，而是通过一个高效的单一大脑配合四个专业模式，成为了一个精通多种技能的专家。

技术总结：用于电子商务产品排序的 MMRM

1. 问题陈述

电子商务搜索排序需要捕捉细粒度的用户偏好，以应对多种目标（例如，点击率、加购率、转化率）。虽然最近的方法通过微调通用的多模态大语言模型（MLLM）来生成物品表示，但作者指出了现有方法的两个关键局限性：

依赖单一协同信号： 当前的方法通常仅使用一种类型的信号（例如，基于搜索的查询-物品点击，或基于行为的物品-物品点击）来微调 MLLM。作者认为，电子商务信号本质上是异构的。搜索信号捕捉的是广泛的相关性，而序列行为（加购、订单）则反映了更强的细粒度相似性和互补关系。忽视这种多样性会导致模型无法学习到进行多任务排序所需的全面表示。
在下游排序中的利用不足： 现有的排序模型通常将多模态表示视为常规物品特征，使用单一的嵌入表进行特征交互或简单的行为分组。这种方法无法捕捉“多路复用用户意图”（multiplex user intents），从而导致在多任务场景下出现信息丢失和嵌入纠缠（embedding entanglement）的问题。

2. 方法论

提出的解决方案——多路复用多模态表示模型（MMRM）——是一个统一的框架，旨在将 MLLM 与多样化的协同信号对齐，并将其集成到多任务排序系统中。

2.1 数据集构建

作者构建了四个不同的三元组数据集，以捕捉异构信号：

Q2I 数据集（搜索）： 基于查询-物品点击（ $q2i\_click$ ）构建，代表了最普遍但粒度较粗的信号。硬负样本（hard negatives）是从同一父类目但不同子类目的物品中采样的。
I2I 数据集（行为）： 通过基于图的方法构建了三个数据集（ $i2i\_click$ $i 2 i_c l i c k$ 、 $i2i\_cart$ $i 2 i_c a r t$ 、 $i2i\_order$ $i 2 i_or d er$ ）。
- 物品根据特定时间窗口内的序列用户行为进行连接（例如，点击为 10 分钟，加购为 30 分钟）。
- 为了减轻热门物品的主导地位，使用类似于 word2vec 的概率函数对锚点物品进行子采样。
- 硬负样本是从与正样本物品属于同一子类目的物品中采样的，以增强对比学习。

2.2 MMRM 架构

MMRM 采用共享的 MLLM 主干网络（初始化自 Qwen3-VL-4B-Instruct），并进行了特定的架构修改以处理多任务学习：

任务特定 Token： 在输入端附加了四个特殊 Token——[SEARCH]、[CLICK]、[CART] 和 [ORDER]——以实现任务解耦。
投影层： 特定任务 Token 的隐藏状态通过任务特定的多层感知机（MLP）进行投影，从而生成最终的任务特定物品表示（ $r^t_i$ ）。
训练目标： 模型在四种数据集的混合数据上进行训练。对于每个任务 $t$ ，使用来自该任务的正样本对计算对比学习损失，而来自其他任务的物品则作为批次内负样本（in-batch negatives）。这使得模型能够同时从多种信号中学习，而不会出现性能下降。

2.3 多任务排序应用

作者为下游排序模型引入了一种多路复用用户表示策略：

软搜索（Soft Search）： 对于给定的查询和目标物品，系统使用当前任务特定的多模态嵌入表（例如，使用 [CART] 嵌入进行 ACR 预测），提取前 $K$ 个相关的行为子序列。
用户表示： 通过多头目标注意力（MHTA）模块对过滤后的行为序列进行处理，得出任务特定的用户表示（ $U_t$ ）。
MMoE 集成： 所有任务特定的用户表示和其他特征都由多门控专家混合（MMoE）模块处理，以产生任务特定的隐藏状态。
预测： 这些状态被输入到任务特定的塔式网络（CTR、ACR、CVR）中以生成最终预测。

3. 核心贡献

统一框架： MMRM 通过共享主干网络和任务特定 Token，有效地将 MLLM 与四种多样化的协同信号（搜索、点击、加购、订单）对齐，实现了在单次推理过程中高效生成多路复用物品表示。
多路复用用户策略： 本文提出了一种从多路复用物品表示中推导出任务特定用户表示的新策略，解决了多任务排序中的嵌入纠缠问题。
可扩展性： 作者展示了通过使用 GradCache 等技术，MMRM 可以在大规模数据（0.3 亿个三元组）上进行高效训练，从而在现代 MLLM 上处理大规模批次。

4. 实验结果

4.1 表示模型评估

性能： MMRM 一致地优于单任务基线模型和“Vanilla-Multi”基线（后者使用带有任务提示的共享嵌入）。
效率： MMRM 在单次前向传播中生成所有四种任务的嵌入，而基线模型则需要四次独立的传播过程。
消融实验： 实验证实，通过 GradCache 实现的大规模批次显著提升了性能，验证了多样化批次内负样本的重要性。

4.2 排序模型评估

离线评估： 与使用单一嵌入表或基于类目过滤的基线相比，使用多路复用过滤（ $SIM_{soft}(item_{MMRM[ALL]})$ ）的提议排序模型在 CTR、ACR 和 CVR 任务上均取得了最佳的 GAUC 分数。
在线 A/B 测试： 在京东搜索引擎上的部署显示，该系统较在线基线有显著提升：
- 用户点击率 (UCTR)： +0.42%
- 用户加购率 (UACR)： +0.37%
- 用户转化率 (UCVR)： +0.35%
- 作者指出，鉴于平台的巨大流量，这些提升意味着显著的营收增长。

5. 重要性与主张

本文声称，MMRM 通过利用电子商务信号的异构性，成功解决了当前多模态排序系统的局限性。通过从单一信号微调转向多路复用表示，MMRM 提供了对用户意图更全面的理解。在京东（服务于数百万日活用户）的成功部署，验证了所提框架在现实世界高标准环境下的实际有效性和可扩展性。这项工作强调了“多路复用”表示在解耦复杂、多目标用户行为方面的价值。