💻 computer science

Adaptive Long-term Embedding with Denoising and Augmentation for Recommendation

本文提出了ALDA4Rec，一种新颖的基于图的序列推荐模型，该模型通过社区检测进行噪声过滤、数据增强以及自适应加权策略来动态优化长期用户嵌入，并在四个真实世界数据集上展现出卓越的准确性和鲁棒性。

原作者： Zahra Akhlaghi, Mostafa Haghir Chehreghani

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Zahra Akhlaghi, Mostafa Haghir Chehreghani

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在猜测一位朋友接下来想买什么。你查看了他们的购物历史，但存在两个大问题：

噪音：你的朋友有时会误点某些商品，或为他人购买礼物，或被花哨的广告分散注意力。这些“失误”会让他们的历史记录显得杂乱无章、令人困惑。
记忆：朋友的品味会随时间变化。他们五年前可能热爱科幻电影，但现在更偏爱烹饪节目。如果你只关注他们最早的一次购买或最近的一次购买，可能会错过整体图景。

本文介绍了一种名为ALDA4Rec（用于推荐的自适应长期嵌入，具备去噪与增强功能）的新系统。你可以将其想象为一位超级聪明、井井有条的私人购物顾问，在做出猜测之前，会先运用一套特殊的“清洁与整理”流程。

其工作原理可分解为三个简单步骤：

1. “清洁小组”（去噪与增强）

在系统尝试学习任何内容之前，它首先整理杂乱的数据。

问题：现实世界的数据充满了“噪音”（误点击）和缺失部分（用户本会喜欢但未点击的商品）。
解决方案：系统构建了一张商品之间相互关系的地图。它使用一种称为社区检测（Community Detection）的技术（类似于社交俱乐部组织者）。它会审视用户的历史记录，并问道：“这些商品是否属于同一个‘俱乐部’？”
- 如果用户通常购买音乐专辑，却突然点击了一款重型电钻，系统会意识到电钻不属于“音乐俱乐部”。它会将电钻标记为噪音并予以忽略。
- 增强：如果用户喜欢爵士乐，而系统发现他们尚未点击某张特定的爵士专辑，但该专辑与他们已购买的商品非常相似，系统就会将其作为“潜在兴趣”添加到他们的列表中。它填补了空白。

2. “三部分记忆”（长期嵌入）

数据清理完毕后，系统需要理解用户的长期品味。它不依赖单一的记忆方式，而是使用三种不同的“记忆风格”并将它们融合：

“即时”记忆（GRU 与注意力机制）：这就像一段精彩集锦。它查看购买序列以观察流程（例如：“首先他们买了相机，然后是镜头，接着是三脚架”）。它关注故事的开头和结尾。
“平均”记忆（均值池化）：这就像是对整个历史快照。它计算所有短期兴趣的平均值。这一点至关重要，因为“即时”记忆有时会产生偏差——它过于关注最早和最近的商品（即"U 形”问题），而忽略了中间部分。“平均”记忆确保了故事的中段不会被遗忘。
“智能混合器”（自适应加权）：这是整个操作的大脑。它使用一个小型神经网络（MLP）来决定，针对这位特定用户，应多大程度上信任“即时”记忆与“平均”记忆。
- 如果用户非常稳定，混合器可能会更信任“平均”记忆。
- 如果用户的品味变化迅速，混合器可能会更信任“即时”流程。
- 它会为每个人动态调整配方。

3. 预测

最后，系统结合这些清理后的数据点和三种记忆类型，来预测用户接下来会想要什么。由于它移除了误点击（噪音）并填补了缺失的链接（增强），并且平衡了不同的记忆方式，因此其猜测比旧系统更加准确。

为什么这比旧方法更好？

本文将该系统与其他顶级模型（如 SelfGNN、SASRec 和 LightGCN）进行了比较。

旧模型往往试图在学习过程中“修复”噪音，这使得训练过程缓慢且复杂。它们有时还会因事件顺序而产生困惑（即 U 形偏差）。
ALDA4Rec在学习开始之前就进行“清洁”。这使得学习过程更快、更稳健。
结果：在四个真实世界数据集（亚马逊图书、MovieLens 电影、Gowalla 签到和 Yelp 商家评论）的测试中，ALDA4Rec 始终比竞争对手更准确地猜出下一个商品。它特别擅长发现“长尾”商品（那些并非超级流行但非常适合特定用户的利基产品），并能处理历史记录杂乱或稀疏的用户。

简而言之：ALDA4Rec 就像一位私人购物顾问，他首先扫地（去除噪音），整理货架（添加缺失商品），然后使用一种智能、可调整的策略来记住你的品味，确保他们不会仅仅因为专注于开头或结尾而忘记你故事的中段。

技术摘要：用于推荐的带去噪与增强的自适应长期嵌入（ALDA4Rec）

问题陈述

基于图的序列推荐系统，特别是那些利用图神经网络（GNN）的系统，已在捕捉复杂的用户 - 物品交互方面展现出成功。然而，该论文指出了三个阻碍其在实际应用中有效性的关键局限性：

噪声敏感性：现实世界的交互数据包含大量噪声（例如随机点击、临时兴趣）。现有的去噪技术通常依赖训练过程中的辅助自监督损失，这增加了模型复杂度和训练时间，却未能主动丰富交互图。
静态表示：传统模型往往依赖静态数据表示，难以适应用户偏好动态演变的特性。
长期建模偏差：虽然模型试图利用循环神经网络（RNNs/GRUs）和注意力机制来捕捉长期偏好，但它们存在特定的架构缺陷：
- 梯度消失：限制了 GRU 捕捉长程依赖的能力。
- U 形注意力偏差：注意力机制倾向于不成比例地强调序列开头和结尾的标记，而忽略了中间的时间步。
- 缺乏自适应性：现有方法通常无法在每个用户的基础上动态平衡不同类型的长期表示（例如，序列动态与均匀聚合）。

该论文认为，没有任何现有方法能有效整合轻量级的、基于预处理的图去噪、基于相似物品的图增强，以及能够缓解这些偏差的自适应长期嵌入机制。

方法论：ALDA4Rec

提出的ALDA4Rec框架通过三阶段流程解决了这些挑战：图构建与去噪、嵌入学习以及自适应优化。

1. 预处理：图构建、去噪与增强

与在训练过程中处理噪声的方法不同，ALDA4Rec 将去噪和增强作为离线预处理步骤执行。

基于相似性的图构建：作者提出了一种新颖的物品相似度度量（公式 2），该度量在归一化物品流行度的同时，兼顾了直接共现和通过共同邻居的两步路径。该公式旨在减少流行度偏差并捕捉方向性偏好。
基于社区检测的去噪：利用 Louvain 算法，该方法为每个时间间隔构建每个用户交互物品的特定子图。不属于任何检测到的社区的物品被识别为噪声。它们在交互矩阵中的边权重被降低而非严格移除，从而在保留数据的同时最小化噪声影响。
边增强：为解决数据稀疏性问题，该方法通过添加与相似物品的交互来增强图。对于非活跃用户，它基于先前的交互模拟潜在行为；对于活跃用户，则纳入被忽略但高度相似的物品。

2. 嵌入学习：短期与长期表示

该模型通过不同的机制学习短期和长期偏好的嵌入。

短期嵌入：利用受 LightGCN 启发的简化图卷积网络（GCN），模型在特定时间间隔的用户 - 物品图内传播协同信号，以生成短期嵌入。
长期嵌入：该模型通过三个并行阶段构建长期表示，以捕捉不同的时间动态：
1. 间隔级：GRU 处理短期嵌入序列，随后应用自注意力以捕捉跨时间间隔的时间依赖。
2. 瞬时级：自注意力直接应用于交互物品序列，以建模细粒度的序列模式。
3. 均值级：为了抵消 U 形注意力偏差和梯度消失，模型计算所有时间步短期嵌入的简单均值。这提供了一个均匀的全局摘要，平等地对待所有时间步。

3. 自适应长期嵌入优化

一项关键创新是基于 MLP 的自适应加权机制。

不使用标准注意力来归一化时间步的权重，而是让一个 MLP 接收每个用户的均值级和间隔级嵌入的拼接。
MLP 为每个用户输出一个标量权重（ $w_i$ ），动态确定序列（GRU/Attention）预测与基于均值的预测之间的重要性。
这使得模型能够学习捕捉序列动态与利用均匀时间聚合之间的个性化权衡，通过扁平化有效注意力分布来缓解 U 形偏差。

4. 损失函数

优化目标结合了由学习到的用户特定系数（ $w_i$ 和 $1-w_i$ ）加权的两个不同损失项。一项优化基于 GRU 的嵌入，另一项优化基于均值的嵌入，同时辅以标准的 L2 正则化。

主要贡献

该论文声称以下贡献：

新颖的图预处理：引入了一种基于相似性的物品 - 物品图构建方法，并结合社区检测，在训练前过滤噪声并用相关物品增强数据。
自适应长期框架：一个推荐框架，整合了周期性协同学习（GCN）、注意力序列建模（GRU/Attention）和平均协同关系（均值池化）。
偏差缓解：利用均值级嵌入和自适应加权机制，专门解决先前序列模型中固有的 U 形注意力偏差和梯度消失问题。
实证验证：广泛的实验表明，ALDA4Rec 在四个真实世界数据集上优于最先进（SOTA）的基线模型（包括 SelfGNN、SASRec 和 LightGCN）。

实验结果

该模型在四个数据集上进行了评估：Amazon-Book、Gowalla、Movielens和Yelp。

性能：ALDA4Rec 在各种截断值（N=5, 10, 20）的命中率（HR）和归一化折损累计增益（NDCG）方面始终优于所有基线模型。
- 值得注意的是，在Movielens数据集上，ALDA4Rec 在 HR@10 方面比最佳基线（SelfGNN）实现了**18.96%**的提升。
- 在Amazon数据集上，其 HR@10 提升了11.74%。
鲁棒性：注入合成噪声（5% 至 20%）的实验表明，ALDA4Rec 保持了优于基线的性能，这归功于其基于预处理的噪声过滤。
消融研究：
- 移除均值级嵌入（退化为类似 SelfGNN 的行为）导致性能下降，证实了平均策略在缓解 U 形偏差方面的有效性。
- 提出的相似度度量优于余弦相似度和 Jaccard 相似度，特别是在推荐“长尾”（较少流行）物品时，证明了流行度偏差的降低。
效率：虽然预处理步骤的时间复杂度为 $O(|A| + |J|^3)$ ，但作者指出，对于测试的数据集，整个预处理阶段在不到一小时内完成，且此成本仅在训练前产生一次。

意义与主张

该论文将 ALDA4Rec 定位为一种稳健的解决方案，它将噪声处理的负担从复杂的训练阶段转移到了结构化的预处理阶段。通过整合均值级嵌入和自适应加权，明确解决 GRU 和注意力机制的架构局限性（梯度消失和 U 形偏差），作者声称提供了更准确和稳定的长期用户偏好表示。这项工作表明，将图增强与自适应时间建模相结合，可以在训练期间无需复杂的辅助损失函数的情况下，显著提高推荐准确性和鲁棒性。