Cross-Representation Knowledge Transfer for Improved Sequential Recommendations

该论文提出了一种融合 Transformer 与图神经网络的新框架，通过跨表示知识迁移同时建模交互的结构依赖及其动态演化，从而在下一项预测任务中显著超越了现有的纯序列、纯图及混合推荐方法。

要点

这篇论文介绍了一种名为 CREATE 的新方法，旨在让推荐系统（比如抖音、淘宝或 Spotify 的推荐算法）变得更聪明、更懂你。

为了让你轻松理解，我们可以把推荐系统想象成一位**“超级购物顾问”**。

1. 现在的顾问有什么缺点？

目前的推荐系统主要分为两派，但各自都有“偏科”：

• 第一派：时间序列派（Sequential Models）

  • 形象比喻：就像一位**“记性很好的私人助理”**。
  • 怎么工作：他盯着你最近买了什么、看了什么，按时间顺序记录。如果你刚买了“婴儿奶粉”，他立刻推断你可能需要“尿布”。
  • 缺点：他太关注“顺序”了，却忽略了物品之间更深层的全局关系。比如，他可能不知道“婴儿奶粉”和“高端婴儿车”在品牌或功能上有某种隐形的联系，除非你明确地按顺序买过它们。他只看得到你眼前的“脚印”，看不到整个“地图”。

• 第二派：图神经网络派（Graph Models）

  • 形象比喻：就像一位**“拥有全知地图的导游”**。
  • 怎么工作：他手里有一张巨大的关系网（图），上面画着所有物品和所有用户。他知道“买奶粉的人通常也买尿不湿”，哪怕这两件事隔了很久。他能看到物品之间复杂的全局联系。
  • 缺点：他太关注“关系”了，却忽略了时间顺序。他不知道你是“先买奶粉再买尿布”，还是“先买尿布再买奶粉”。对于预测你“下一秒”想买什么，他有点反应迟钝，因为他的地图是静止的，没有体现时间的流动。

现状：以前的方法要么只靠“私人助理”，要么只靠“导游”，或者笨拙地把两者拼在一起，效果不够完美。

2. CREATE 框架：让“助理”和“导游”完美合作

这篇论文提出的 CREATE 框架，就是让这两位专家联手工作，并且让他们互相学习。

核心机制：

1. 双管齐下：

   • 系统同时运行两个模型：一个像“私人助理”（处理时间顺序），一个像“导游”（处理全局关系）。
   • 私人助理负责捕捉你当下的意图（比如：你刚搜了“跑步鞋”，说明你现在想运动）。
   • 导游负责提供背景知识（比如：虽然你搜了跑步鞋，但根据大数据，买跑步鞋的人通常也会买“运动耳机”或“护膝”，这些是全局规律）。

2. 知识对齐（Representation Alignment）：

   • 这是最精彩的部分。以前两个模型各说各的，数据对不上。
   • CREATE 使用了一种叫 Barlow Twins 的技术（可以想象成一种**“翻译器”或“校准器”**）。它强迫“私人助理”和“导游”对同一个用户的理解达成一致。
   • 比喻：就像让两个人描述同一个人。如果一个人说“他很高”，另一个人说“他是个矮个子”，校准器就会告诉他们：“等等，你们说的其实是同一个人，请统一口径，去掉那些互相矛盾或重复废话的信息，只保留最核心的特征。”
   • 这样做的好处是：既减少了信息的冗余（不说废话），又让两个模型互相补充，变得更强。

3. 热身训练（Warm-up Stage）：

   • 在正式合作前，先让“导游”（图模型）单独训练一段时间（热身）。
   • 比喻：就像让导游先熟悉地图，把路走熟了，再叫上私人助理一起出发。这样私人助理就不会被导游混乱的初始信息带偏，合作起来更顺畅。

3. 为什么这很重要？（实验结果）

作者在多个真实数据集（如电影、服装、音乐）上测试了这个方法。

• 结果：CREATE 的表现全面超越了以前的“纯助理”、“纯导游”以及它们简单的组合。
• 具体提升：
  • 在音乐推荐数据集上，推荐准确度（NDCG）提升了 38%！这意味着它推荐的歌，你真正喜欢的概率大大增加。
  • 它不仅猜得准，还能覆盖更多样化的物品（不会只推荐热门歌，也能推荐小众但适合你的歌）。

4. 总结：这对我们意味着什么？

想象一下，未来的推荐系统不再是一个只会机械记录你点击历史的机器人，而是一个既懂你当下心情（时间顺序），又懂物品之间千丝万缕联系（全局知识）的超级顾问。

• 对你来说：推荐更准了，惊喜更多了，不再总是看到千篇一律的“猜你喜欢”。
• 对开发者来说：他们不需要再纠结是选“时间模型”还是“图模型”了，因为 CREATE 提供了一个通用的框架，把两者的优点都融合了，而且不需要复杂的额外步骤（比如不需要在每次用户有新行为时重新计算用户画像，这让系统运行更快、更稳定）。

一句话总结：
CREATE 就像给推荐系统装上了“时间望远镜”和“全局雷达”，并通过“校准器”让它们完美配合，从而让你看到的每一个推荐，都既符合你当下的需求，又契合你潜在的兴趣。

技术摘要

1. 研究背景与问题定义 (Problem Statement)

核心问题：
现有的序列推荐系统主要分为两类，但各自存在局限性：

1. 基于 Transformer 的序列模型（如 SASRec, BERT4Rec）：擅长捕捉用户交互的局部时序依赖（Local Sequential Dependencies），但通常将序列元素视为独立个体，忽略了物品之间复杂的全局结构关系（Global Structural Relationships）。
2. 基于图神经网络（GNN）的模型（如 LightGCN, UltraGCN）：擅长通过高阶交互建模物品间的全局上下文，但往往忽略了交互的时序演化，导致在预测“下一个物品”任务中表现不如纯序列模型。

现有融合方法的不足：
虽然已有工作尝试结合 Transformer 和 GNN，但存在以下缺陷：

• 表示融合方式不当：许多方法使用对比损失（Contrastive Loss）进行对齐，效果不如预期，且依赖负采样。
• 推理依赖用户嵌入：部分方法在推理阶段需要更新用户嵌入（Folding-in 过程），导致无法处理训练集外的新用户或新交互，且增加了计算复杂度。
• 训练策略单一：缺乏有效的多阶段训练机制来协调两种不同架构的收敛。

目标：
提出一种框架，能够同时编码交互图中的结构依赖（全局）并追踪其动态变化（局部），通过跨表示知识迁移提升下一个物品预测（Next-Item Prediction）的质量。

---

2. 方法论：CREATE 框架 (Methodology)

作者提出了 CREATE (Cross-REpresentation Aligned Transfer Encoders) 框架，其核心思想是结合 Transformer 和 GNN，并通过表示对齐（Representation Alignment）实现知识迁移。

2.1 整体架构

框架包含三个主要组件：

1. 共享嵌入层 (Shared Embedding Layer)：将用户和物品 ID 映射到 $d$ 维空间，并加入位置编码（Positional Embeddings）以保留顺序信息。
2. 序列编码器 (Sequential Encoder)：
   • 负责捕捉局部交互动态。
   • 支持多种架构（如 SASRec 或 BERT4Rec）。
   • 使用全交叉熵（Full Cross-Entropy）作为损失函数，避免二元交叉熵带来的偏差。
   • 输出：用户状态向量 $h_u$，用于预测下一个物品。
3. 图编码器 (Graph Encoder)：
   • 负责捕捉全局物品 - 物品及用户 - 物品关系。
   • 采用 LightGCN 或 UltraGCN 作为骨干网络。
   • 关键设计：仅在训练阶段使用用户嵌入；推理阶段仅依赖序列编码器，但使用经过图编码器增强后的物品嵌入。这消除了对"Folding-in"过程的依赖，提高了对冷启动和新交互的鲁棒性。
4. 表示对齐组件 (Representation Alignment)：
   • 目标：使序列视图（局部）和图视图（全局）的用户表示保持一致，同时减少特征冗余。
   • 创新点：摒弃传统的对比损失，采用 Barlow Twins 损失函数。
   • 机制：计算两个视图嵌入的互相关矩阵，推动对角线元素趋近于 1（不变性），非对角线元素趋近于 0（去冗余/解相关）。

2.2 训练策略：两阶段优化

为了协调两个编码器的训练，提出了一种预热（Warm-up）策略：

1. 预热阶段 (Warm-up Stage)：仅训练图编码器（Graph Encoder），使其学习到高质量的全局物品嵌入。
2. 联合优化阶段 (Joint Optimization)：解冻序列编码器，联合优化序列损失、图损失和对齐损失。
   • 总损失函数：$L = L_{local} + w_{global}L_{global} + w_{BT}L_{BT}$
   • 这种策略防止了图编码器的初始随机性破坏序列编码器的收敛。

---

3. 主要贡献 (Key Contributions)

1. 框架创新：提出了 CREATE 框架，首次将 Transformer 和 GNN 架构以“非对称”方式结合，利用图知识增强序列模型，同时保持推理时的轻量级（无需用户嵌入更新）。
2. 训练方法改进：设计了基于 Barlow Twins 的表示对齐方法，替代了传统的对比学习，有效减少了特征冗余并提升了对齐质量。
3. 训练流程优化：引入了图编码器的预热机制，解决了多表示模型训练不稳定和冲突的问题。
4. 实验验证：在多个真实世界数据集上证明了该方法优于纯序列模型、纯图模型以及现有的多表示融合模型。

---

4. 实验结果 (Experimental Results)

4.1 数据集与设置

• 数据集：MovieLens-1M, Amazon (Clothing, Sports, Beauty), Yambda (音乐数据)。
• 评估协议：采用全局时间切分 (Global Temporal Split)，这比传统的 Leave-Last-Out 更接近工业界实际场景。
• 指标：NDCG@K, Recall@K, Coverage@K。

4.2 性能表现

• 整体提升：CREATE 在所有数据集上均取得了最佳性能。
  • 在 Yambda-50M 数据集上，NDCG@10 提升了 38%，NDCG@100 提升了 26%。
  • 在 Amazon Beauty 上，NDCG@10 提升了 15%。
• 对比基线：
  • 优于纯序列模型（SASRec, BERT4Rec）。
  • 优于纯图模型（LightGCN, UltraGCN）。
  • 优于现有的多表示融合模型（LOOM, MRGSRec, GSAU）。
• 消融实验结论：
  • 预热阶段：适当的预热（如 50 个 epoch）能显著提升性能，过长的预热会导致过拟合。
  • 对齐方法：Barlow Twins 损失优于对比损失（Contrastive Loss），尽管 Coverage 指标略有下降，但排序质量（NDCG/Recall）显著提升。
  • 图大小：并非交互越多越好，每个数据集存在最优的交互比例（如 Amazon Beauty 约为 40%）。
  • 编码器组合：SASRec + UltraGCN 的组合表现最佳。

---

5. 意义与价值 (Significance)

1. 理论意义：证明了将局部时序动态与全局结构知识通过表示对齐进行融合，能够产生比单一架构更具表达力的用户表示。Barlow Twins 在推荐系统中的去冗余特性被证实有效。
2. 工业应用价值：
   • 推理效率：由于推理时不需要计算或更新用户嵌入（Folding-in），该模型非常适合处理实时流式数据和新用户（冷启动）场景。
   • 鲁棒性：全局时间切分的实验设置表明该方法在模拟真实生产环境时依然稳健。
   • 灵活性：框架支持即插即用的编码器（如 SASRec/BERT4Rec 和 LightGCN/UltraGCN），便于根据具体业务需求调整。

总结：CREATE 框架通过巧妙的架构设计和训练策略，成功解决了序列推荐中“时序”与“结构”难以兼顾的痛点，为下一代推荐系统提供了一种高效、可扩展的解决方案。