💻 computer science

CMSL: Constructive Multi-Sequence Learning for Recommendation Systems

本文引入了构建式多序列学习（CMSL），这是一种用于推荐系统的全新范式，它通过在潜空间中将碎片化的用户行为主动解构为多个连贯的主题线索，从而克服了将用户历史视为单一整体序列的局限性，进而消除上下文污染并增强模式识别。

原作者： Zikun Cui, Renzhi Wu, Junjie Yang, Li Sheng, Jijie Wei, Linfeng Liu, Tai Guo, Tao Jia, Xiaodong Wang, Hong Li, Li Yu, Sri Reddy, Hong Yan

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zikun Cui, Renzhi Wu, Junjie Yang, Li Sheng, Jijie Wei, Linfeng Liu, Tai Guo, Tao Jia, Xiaodong Wang, Hong Li, Li Yu, Sri Reddy, Hong Yan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：“嘈杂的马赛克”

想象一下，你正试图猜测一位朋友今晚想看什么电视节目。你会查看他们的整个观看历史。

在传统的推荐系统中，计算机将这段历史视为一个单一的长句子。它假设你朋友的一天是一个平滑、逻辑连贯的故事：“首先他们看了一个烹饪节目，然后看了一则新闻报道，接着看了一个喜剧，所以他们一定想要一个‘烹饪-喜剧-新闻’的混合组合。”

但现实中，人类的行为是杂乱无章的。你的朋友看烹饪节目可能是因为饿了，点击新闻报道可能是因为无聊，而看喜剧可能是因为压力大。这些是同时发生的三种不同的“意图”。

论文将此称为**“上下文污染”（Context Pollution）**。

类比： 想象你在一个房间里试图听清一段清晰的对话，但同时有三个不同的广播电台在播放。那个“信号”（用户此时此刻真正的需求）被“噪声”（他们之前做的其他事情）淹没了。
结果： 计算机变得困惑。它试图在“编程教程”和“烹饪视频”之间寻找联系，仅仅是因为它们出现在同一个列表中，这会导致糟糕的推荐结果。

解决方案：CMSL（“聪明的图书管理员”）

作者提出了一种名为 CMSL（构造式多序列学习）的新系统。CMSL 不再将用户的历史记录视为一堆杂乱的数据，而是像一位聪明的图书管理员，在把书交给读者之前，先对书籍进行重新整理。

以下是其工作原理，分步骤说明：

1. 分类“意图”（构造阶段）

CMSL 不再将历史记录视为一个长列表，而是使用一个特殊的模块将历史记录**解构（disentangle）**成独立的、干净的“线索”或“细丝”。

类比： 想象你朋友的历史记录是一个混杂在一起的乐高盒子（有汽车、城堡、宇宙飞船）。标准系统试图用所有零件同时搭建一座塔，结果会变成一个摇摇欲坠的烂摊子。
CMSL 的方法： 它将乐高零件分成三个独立的堆：一堆是汽车，一堆是城堡，一堆是宇宙飞船。现在，系统可以观察“汽车堆”来判断朋友是否想要汽车，或者观察“城堡堆”来判断是否想要城堡，而这两组东西不会互相干扰。

2. 一次只关注一个故事（注意力阶段）

一旦历史记录被拆分为这些干净的“潜在序列”，系统就会逐一观察每一个序列。

类比： 与其同时听三个广播电台，图书管理员戴上耳机，先只听一会儿“烹饪电台”，然后再切换到“新闻电台”。这防止了“烹饪”的噪声破坏“新闻”的信号。
益处： 系统能更好地捕捉高意图模式（例如“他们真的很喜欢烹饪教程”），因为它不会被无关的点击（如“误点进入的体育视频”）所分心。

3. 保持高效（效率阶段）

通常情况下，将数据拆分为多个组会让计算机的工作量大幅增加，导致速度变慢。作者通过使用一种**线性注意力（Linear Attention）**机制解决了这个问题。

类比： 标准的计算机就像一位厨师，必须品尝大锅里的每一种食材才能找到盐的味道。而 CMSL 则像是一位配备了特殊勺子的厨师，无需品尝所有东西，就能瞬间感知盐分水平。这使得系统能够处理数十亿用户而不会变慢。

结果：它奏效了吗？

团队在 Meta（负责 Facebook、Instagram 等平台的公司）的四个主要领域测试了这个系统。

测试： 他们将 CMSL 与目前高度先进的系统进行了对比。
结果： CMSL 持续提升了推荐效果。
- 在**排序（Ranking）**阶段（决定哪些内容出现在你的信息流首位），它减少了误差（通过一个称为归一化熵的指标衡量）。在大型科技领域，即使是这种微小的提升也是巨大的胜利，因为它影响着数十亿人。
- 在**检索（Retrieval）**阶段（首先为你找到合适的视频），它带来了更多的人点击、点赞和互动。

总结

CMSL 改变了计算机理解你历史记录的方式。

旧方式： “这是你做过的所有事情的杂乱列表。猜猜你接下来想要什么。”（结果：困惑）。
CMSL 方式： “让我们先把你的历史记录按不同的‘情绪’或‘主题’进行分类。现在，让我们观察‘烹饪’情绪来猜测你想要什么。然后我们再观察‘体育’情绪。”（结果：更清晰、更准确的猜测）。

通过主动地构造一个更好的上下文，而不是被动地阅读一个杂乱的上下文，该系统不再会被噪声干扰，而是开始理解你的真实意图。

技术摘要：用于推荐系统的构建式多序列学习 (CMSL)

1. 问题陈述：序列推荐中的上下文污染

虽然序列学习通过捕捉时间细微差别，在性能上已超越了传统的深度学习推荐模型 (DLRM)，但目前的尖端架构往往依赖于一种局限性的类比：将用户历史视为一个单调的、按时间排序的序列，类似于大语言模型 (LLM) 中的一个句子。

作者指出，自然语言与推荐数据之间存在根本性的差异：

缺乏结构统一性： 与遵循线性、逻辑且具有语法规则的文本不同，用户历史是一个由碎片化、多样化兴趣、探索性点击和偶然交互组成的“嘈杂马赛克”。
上下文污染： 在单序列建模中，不相关的行为会竞争相同的注意力预算。这种“噪声”信号稀释了模型的关注度，迫使模型去计算语义截然不同的意图（例如，职业学习与休闲娱乐）之间的依赖关系。这会导致伪相关、表示瓶颈以及次优的预测结果。

论文认为，推荐系统应该从被动地“建模一个序列”转向主动地“构建上下文”，以解决序列推荐中尚未得到充分探索的上下文污染问题。

2. 方法论：构建式多序列学习 (CMSL)

CMSL 提出了一种从被动序列摄取向主动“上下文工程”转变的范式。CMSL 不再是将原始历史作为单一提示词输入，而是在潜空间中构建多个连贯的潜在序列，以解耦用户意图。

2.1 特征预处理

非序列特征： 稠密特征（如年龄、价格）经过归一化和投影；稀疏特征（如国家、类别）进行嵌入。
序列特征： 用户交互历史（点击、点赞、评论）按共享属性（如相同的产品表面）进行分组，并使用门控求和机制压缩为单个序列。这在保留交互信息的同时降低了计算开销。

2.2 CMSL 架构

CMSL 的核心由 $N$ 个堆叠块组成，每个块包含四个关键组件：

多序列构建：
- 意图解耦： 通过 $K$ 个投影头将非序列特征投影到 $K$ 个特定上下文的集合中，从而有效地将用户意图解耦到不同的上下文中。
- 序列构建： 一个可学习的序列构建模块使用交叉注意力机制。当前序列表示作为查询 ( $Q$ )，投影后的上下文特征作为键 ( $K$ ) 和值 ( $V$ )。这生成了 $K$ 个不同的潜在序列 ( $\tilde{X}^{(l,k)}$ )，每个序列都专注于用户上下文的不同方面。
自注意力（线性近似）：
- 每个构建出的 $K$ 个序列都会独立进行自注意力计算，以捕捉内部的时间相关性，避免跨意图干扰。
- 为了解决标准注意力的二次方复杂度以及 $K$ 倍的计算量增加，CMSL 采用了线性时间注意力机制。
- 该机制通过对 SiLU 激活函数进行泰勒级数展开，对 HSTU 注意力（广泛应用于 Meta）进行近似。它将操作分解为一个线性注意力项 ( $\phi(Q)\phi(K)^\top V$ ) 和一个捕捉大数值条目的稀疏项 ($AV$)，从而显著降低了计算成本。
序列摘要：
- 在自注意力之后，使用多头注意力池化 (PMA) 将每个序列汇总为一个固定长度的向量。
- 这一步提取了与用户当前状态相关的全局信号（使用非序列特征作为查询），并抑制了冗余的历史数据，防止了跨层级的噪声累积。
序列压缩：
- 为了防止序列数量在各层之间爆炸式增长，将 $K$ 个汇总后的序列进行拼接，并通过一个 MLP 重新投影回单个潜在序列。这实现了深层层次化学习，同时保持每层恒定的序列数量。

2.3 最终融合

最终的表示是通过拼接最后一层的汇总向量形成的，并传递给特定任务的头部，用于点击率 (CTR) 和转化率 (CVR) 的预测。

3. 主要贡献

论文概述了四项主要贡献：

新视角： 指出“上下文污染”是序列推荐中的一个关键失效模式，并提出了多序列构建范式以缓解该问题。
多序列构建模块： 一个可学习的模块，利用交叉注意力将原始历史转化为多个潜在流，实现意图感知且自适应的上下文策展。
可扩展的线性注意力： 一种高效的线性时间注意力机制，降低了建模多个序列的计算成本，从而实现规模化应用。
工业级验证： 在 Meta 的四个主要业务场景中成功部署并验证，处理着每日数十亿次的活跃用户请求。

4. 实验结果

CMSL 在 Meta 生产环境中的排序 (Ranking) 和检索 (Retrieval) 任务上进行了评估。

排序评估：
- 指标： 归一化熵 (Normalized Entropy, NE)，其值越低表示性能越好。
- 设置： 在四个大规模业务场景上进行评估。场景 1 使用直接训练方法，而场景 2–4 使用两阶段架构（异步上游用户模型）来管理延迟。
- 结论： CMSL 展示了统计学意义上的显著提升。在场景 1 中，“点赞”和“评论”任务的 NE 提升范围为 -0.31% 至 -0.62%。在场景 2–4 中，集成 CMSL 嵌入在 CTR 和 CVR 任务上的 NE 增益为 -0.06% 至 -0.13%。
检索评估：
- 设置： 在场景 5 上进行在线 A/B 测试。
- 结论： CMSL 用户嵌入在所有四个衡量的参与度指标上均取得了统计学意义上的显著提升，增益范围为 +0.092% 至 +0.171%。

5. 重要性与主张

论文声称，CMSL 代表了一种转变：从将用户历史视为待读取的“原始提示词”，转变为构建“上下文”。通过将用户历史主动解耦为连贯的主题线索，CMSL 减轻了异构用户数据中固有的语义干扰。

作者强调，这种方法符合 LLM 的“上下文工程”理念，但针对推荐系统进行了适配，因为推荐系统中的 Item ID 缺乏显式的语义，因此需要一种隐式的、可学习的方法。该框架被呈现为一种面向生产规模系统的实用解决方案，在保持计算可行性（通过线性注意力和序列压缩）的同时，较强力的序列基准模型实现了持续的增益。