💻 computer science

Time-Aware Diffusion based on Preference Disentanglement for Generative Recommendation

本文提出了 TDPM，一种新颖的生成式推荐框架，该框架通过将用户偏好解构为长期周期性成分和短期点状成分，以实现时间感知语义标记扩散，从而在真实世界数据集上显著优于现有的最先进基准模型。

原作者： Bangguo Zhu, Peng Huo, Yuanbo Zhao, Zhicheng Du, Jun Yin, Senzhang Wang

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Bangguo Zhu, Peng Huo, Yuanbo Zhao, Zhicheng Du, Jun Yin, Senzhang Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图猜一个朋友下次想买什么。你手里有一份关于他们曾经买过所有物品的长名单。

旧方法（标准扩散模型）：
目前大多数推荐系统将这份名单视为一堆完全相同的拼图碎片。它们假设名单上的每一项都同样重要，并对每一项都施加相同的“噪声”或干扰来尝试学习模式。这就像是在学习一首歌时，无论是一个微弱的耳语还是一个响亮的鼓点，都以完全相同的音量来播放。论文指出，这是一个致命缺陷，因为人类的品味并不是一成不变的；它会随着时间而变化。

新方法 (TDPM)：
作者提出了一种名为 TDPM（基于偏好解耦的时间感知扩散模型）的新系统。把 TDPM 想象成一个侦探，他不仅在看那份物品清单，更是在理解清单背后的“故事”。

以下是该系统的运作方式，通过简单的概念进行拆解：

1. 两种“品味”

论文指出，人类的偏好实际上是两种不同事物的结合，而该系统通过将它们分离（解耦）来更好地理解它们：

周期性偏好（“长期氛围”）： 这是你稳定的、长期的身份特征。如果你是一个足球迷，你会连续多年购买足球、球衣和球鞋。这就是你的“周期性”偏好。它是持续性的，并随着时间的推移缓慢积累。
点状偏好（“瞬间火花”）： 这是一种突然的、短期的变化。也许你通常购买足球装备，但有一天你买了一个游戏手柄，因为一款新游戏上市了。这就是一种“点状”偏好——由特定事件或趋势引起的临时偏差。

2. “遮盖”游戏

为了从这些名单中学习，该系统使用了一个类似于“填空题”或“完形填空”的游戏。

标准方法： 它以相同的概率随机遮盖（掩盖）名单上的物品。它遮盖足球的频率可能与遮盖游戏手柄的频率一样高。
TDPM 方法： 它玩的是智能游戏。
- 如果一个物品符合“长期氛围”（周期性），它可能会减少遮盖该物品的次数，因为系统已经很好地理解了这个模式。
- 如果一个物品代表了“瞬间火花”（点状），它会更多地遮盖它。为什么要这样做？因为系统需要更加努力地去弄清楚你为什么突然买了那个手柄。通过让那些“更难”的项变得更难被猜中，系统能更好地学会识别你行为中的突然变化。

3. “自适应权重”（音量旋钮）

系统有一个特殊的旋钮（称为 $\lambda$ ），它在学习过程中不断旋转。

训练初期： 它对你的长期习惯和突然火花同时倾听。
训练后期： 它会逐渐调大你长期习惯（周期性偏好）的音量，因为正如论文所指出的，你的稳定画像成为了预测你下一步行为最可靠的依据，同时它仍会留意那些突然的变化。

4. 结果

论文在真实世界的数据（如亚马逊美容产品、运动用品和玩具类的评论）上进行了测试。

结论： 通过将物品清单视为一个包含稳定章节和突然情节转折的故事，而非随机的词汇堆砌，TDPM 在预测下一个物品方面表现得更出色。
数据： 与现有的最佳方法相比，它将推荐的准确度提升了高达 29%。

总结：
想象一位老师在给学生评分。旧方法给每个问题分配相同的时间。TDPM 则像一位聪明的老师，他知道学生擅长数学（长期习惯），但在特定的几何问题上遇到了困难（突然偏差）。老师会花更多时间帮助解决几何问题，以确保学生真正掌握，同时快速确认数学题的答案。这种有针对性的方法带来了更好的成绩（推荐）。

技术摘要：基于偏好解耦的面向生成式推荐的时序感知扩散模型 (TDPM)

1. 问题陈述

生成式推荐器 (GRs) 已成为一种变革性的范式，通过使用语义索引 (SIDs) 取代传统的项目 ID，使模型能够直接生成用户可能与之交互的下一个项目。虽然最近的研究探索了使用扩散模型作为 GRs 的骨干网络以利用其生成能力，但一个关键的局限性仍然存在：现有的基于扩散的 GRs 对用户交互历史中的所有项目应用统一的扩散过程。

这种统一性未能考虑到用户偏好的非平稳性和随时间演变的特性。在现实中，用户偏好是由多方面因素塑造的：

长期一致性： 随着时间积累的稳定兴趣（例如，一名足球爱好者持续购买运动装备）。
短期偏差： 由近期焦点事件或外部刺激触发的突发兴趣转变（例如，突然购买一个游戏手柄）。

标准的扩散模型不加区别地对待所有历史项目，假设存在一个统一的分布，这与用户行为的时间动态相矛盾。本文认为，为了弥补这一差距，必须通过显式整合时变用户偏好来改进扩散过程。

2. 方法论：TDPM 框架

作者提出了 TDPM（基于偏好解耦的时序感知扩散），这是一个创新的 GR 框架，它修改了用于基于 SID 推荐的标准扩散过程。其核心创新在于将用户偏好解构为两个不同的组件，以驱动时序感知标记掩码策略 (time-aware token masking strategy)。

2.1 语义 ID (SID) 生成

遵循现有的 SID 类 GRs，TDPM 首先使用大语言模型 (LLM) 将项目元数据（文本、类别等）转换为稠密嵌入。然后，这些嵌入通过残差量化 K-Means (RQ-KMeans) 被压缩为离散的多级 SIDs。这为每个项目创建了一个层次化的标记序列，保留了语义邻近性。

2.2 偏好解构

TDPM 将用户偏好分解为两个潜在变量：

周期偏好 ( $p_{period}$ )： 代表稳定的长期用户画像。它被建模为时间索引（历史中的位置）的单调递增函数，反映了“近期交互对当前兴趣具有更大权重”的直觉。
点偏好 ( $p_{point}$ )： 代表瞬时的短期兴趣偏差。它是基于交互历史中相邻项目之间的语义偏差（例如，余弦距离）计算的。较大的偏差表示兴趣的突然转变。

2.3 时序感知标记扩散

TDPM 没有采用标准的噪声添加，而是采用时序感知标记掩码作为前向扩散过程。第 $j$ 个历史项目的掩码概率 ( $p_j$ ) 是通过融合周期偏好和点偏好动态确定的：
$p_j = \alpha + \beta \cdot [\lambda \cdot p_{period} + (1 - \lambda) \cdot p_{point}]$

自适应权重 ( $\lambda$ )： 一个平衡两种偏好的超参数。至关重要的是， $\lambda$ 不是固定的；它在训练期间遵循幂律增长调度，随着模型趋于稳定，逐渐将重心转向周期偏好。
机制： 具有较高掩码概率（表示更高重要性或偏差）的项目会被更积极地掩码。这迫使模型学习重建这些关键信号，从而同时捕捉稳定模式和突发变化。

2.4 优化策略

训练遵循两阶段范式：

预热阶段： 使用统一的标记掩码在 SID 词表和共现模式上对模型进行预训练，以确保稳定的初始化。
时序感知标记掩码阶段： 用提出的偏好解构策略取代统一掩码。目标项目的 SID 被完全掩码，以符合推理任务（下一项目预测）。

2.5 推理

在推理期间，模型接收用户的 SID 历史记录以及随后的 $m$ 个掩码标记。它使用由 SID 词表构建的前缀树 (Trie) 指导的约束束搜索 (constrained beam search) 进行自回归生成，以确保生成的序列对应于有效的项目。

3. 核心贡献

论文声称了以下贡献：

首次集成时变偏好： 据作者所知，这是首个将用户偏好的时变特性集成到基于扩散的生成式推荐中的工作。
新颖的解构机制： 提出了 TDPM，它将用户偏好解构为稳定的周期偏好和瞬时的点偏好，从而允许模型自适应地控制每个项目的扩散强度。
性能优越性： 大量的实验表明，TDPM 显著优于最先进的基准方法（包括传统的序列模型、基于 SID 的 GRs 以及其他基于扩散的推荐器）。

4. 实验结果

作者在来自 Amazon 的三个真实世界数据集上评估了 TDPM：Beauty、Sports and Outdoors 以及 Toys and Games。

基准模型： 研究对比了基于 RNN/CNN/Transformer 的序列模型 (GRU4Rec, SASRec, BERT4Rec)、基于 SID 的 GRs (TIGER, LC-Rec) 以及其他基于扩散的推荐器 (PreferDiff, DDSR, PreferGrow)。
性能表现： TDPM 相比于表现最好的基准方法取得了显著提升。
- HR@20： 最高提升达 29.21%。
- NDCG@20： 最高提升达 25.45%。
消融实验：
- 移除点偏好导致性能下降约 10%，表明捕捉兴趣偏差的必要性。
- 移除周期偏好导致更大的下降（约 20%），强调了稳定的长期偏好构成了核心基础。
- 同时移除两者（回归到统一掩码）导致了最差的表现，证实了标准的统一扩散对于序列推荐是不够的。
超参数敏感性： 研究发现，结合适度的初始平衡 ( $\lambda_{start} \approx 0.5$ ) 和较大的增长曲率 ( $k=2.0$ ) 能产生最优结果，这使得模型能够在专注于长期一致性之前，先学习两种偏好类型。

5. 意义与主张

论文断言，TDPM 的主要意义在于弥合了标准模型的统一前向扩散过程与本质上非均匀、随时间演变的偏好分布之间的差距。

通过显式建模偏好一致性和兴趣偏差，TDPM 超越了以往基于扩散的 GRs 的“项目无关”特性。作者声称，他们的时序感知标记扩散不仅仅是一个增量式的改进，而是扩散模型在序列推荐场景中发挥效力的必要适配。结果表明，解构偏好可以让扩散过程集中在交互历史中最具信息量的部分，从而实现更准确、更鲁棒的下一项目预测。