Diffusion-EXR: Controllable Review Generation for Explainable Recommendation via Diffusion Models

本文提出了名为 Diffusion-EXR 的基于扩散模型的生成框架，通过向词嵌入序列逐步添加高斯噪声并学习逆向重构，实现了可解释推荐系统中可控的评论生成，并在公开基准数据集上取得了最先进的性能。

要点

想象一下，你正在使用一个购物 APP 想买一双鞋。系统给你推荐了一双，但只告诉你“推荐指数 4.5 星”。你心里会犯嘀咕：“为什么是这双？是因为我脚小吗？还是因为材质好？”这时候，如果系统能像一位贴心的导购员，不仅给出评分，还能用一段生动、具体的文字告诉你推荐理由（比如：“这双鞋特别适合脚型窄的人，而且皮质非常柔软”），你会觉得更放心，也更愿意购买。

这篇论文提出的 Diffusion-EXR，就是为了解决“如何让推荐系统像人一样写出有说服力、有细节的推荐理由”这个问题。

我们可以把这项技术拆解成三个有趣的比喻来理解：

1. 核心难题：以前的“导购员”太死板

以前的推荐系统写评语，要么像填表格一样死板（用固定的模板），要么像背课文一样啰嗦且缺乏重点（比如只会说“质量很好”这种万金油的话）。它们要么不够灵活，要么写不出那种“一针见血”的细腻感。

2. 新武器：像“去噪”一样的生成魔法

这篇论文引入了一个来自图像生成领域（比如 AI 画画）的热门技术——扩散模型（Diffusion Model）。

• 以前的做法：像是一个人在黑暗中摸索着写字，容易写错或者写得千篇一律。

• Diffusion-EXR 的做法：想象一下，系统手里有一张被**完全涂满白色噪点（乱码）**的画布。

  1. 正向过程：它先故意把原本清晰的文字（比如“这双鞋很软”）一点点打乱，变成一堆无意义的噪音。
  2. 逆向过程（核心）：然后，它开始学习如何从噪音中把原本的文字“还原”出来。

  这就好比一个超级侦探，它看过无数张被涂改过的画，学会了如何从混乱的噪点中，一步步把原本清晰的画面（也就是高质量的评论）“洗”出来。因为它是从混乱中重建，所以它生成的文字既灵活又充满细节，不会像以前那样只会说“好”或“不好”。

3. 超能力：不仅能看，还能“听指挥”

这个系统还有两个特别厉害的地方：

• 自带“人设”和“商品档案”：
  系统会先给每个用户和商品建立一个“虚拟档案”。比如，它知道你是个“喜欢复古风的人”，也知道这件商品是“复古夹克”。在写评语前，它会先把这些背景信息像“剧本大纲”一样喂给 AI，确保写出来的话符合你的口味，也符合商品的特色。

• 像“带图说话”和“关键词定制”：

  • 看图说话：如果商品有图片，系统会把图片里的视觉信息（比如颜色、款式）也变成文字的一部分，让评语更生动。
  • 听指挥：这是最酷的一点！你可以给系统几个关键词（比如“便宜”、“适合夏天”）。系统就会像接到指令的作家一样，专门围绕这些词来写评语。你想听它夸“便宜”，它就重点写性价比；你想听它夸“透气”，它就重点写面料。

总结：它带来了什么改变？

简单来说，Diffusion-EXR 就像给推荐系统装上了一颗会思考、会观察、还能听指挥的“创意大脑”。

• 对用户：你不再看到冷冰冰的分数，而是能看到一段段有温度、有细节、甚至能根据你的喜好定制的推荐理由。你会觉得：“哇，这个系统真的懂我！”
• 对系统：它变得更加透明和可信。因为它能解释清楚“为什么推荐这个”，而不是黑箱操作。

这篇论文的实验证明，这套方法在亚马逊（买衣服鞋子）和 TripAdvisor（订酒店）的数据上，写出来的评语比以前的所有方法都要好，既准确又精彩，真正让“推荐”变得“可解释”。

技术摘要

1. 研究背景与问题定义 (Problem)

背景：
推荐系统（RS）旨在向用户呈现符合其偏好的项目。近年来，可解释推荐（Explainable Recommendation, EXR） 因其能增强系统的透明度和可解释性而受到关注。现有的 EXR 方法（如 EFM、NETE、PETER 等）存在以下局限性：

• 灵活性差：基于预定义模板的方法生成的句子缺乏多样性。
• 依赖专家知识：部分方法需要人工设计规则。
• 长距离依赖问题：基于 RNN 的模型难以捕捉长文本依赖。
• 生成内容“安全”但平庸：基于 Transformer 的轻量级模型（如 PETER）倾向于生成通用且缺乏细节的句子（例如“质量很好”），缺乏细粒度的解释。
• 缺乏扩散模型应用：尽管去噪扩散概率模型（DDPM）在图像和音频生成中表现卓越，但在文本生成，特别是推荐系统的评论生成任务中应用极少。

问题定义：
给定用户 $u$ 和项目 $i$（可选地包含历史评论和项目图像），目标是同时生成：

1. 评分预测：预测用户对该项目的评分 $r(u,i)$。
2. 可解释性评论：生成一个高质量的句子 $[w_1, w_2, \dots, w_N]$ 作为推荐理由，并支持用户提供的关键词（如特征词、观点词）进行可控生成。

---

2. 方法论 (Methodology)

作者提出了 Diffusion-EXR，一个基于扩散模型的框架，用于生成可解释的推荐评论。其核心架构包含两个主要部分：自注意力编码器 和 基于 Transformer 的扩散解码器。

A. 伪用户画像与项目画像构建 (Pseudo Persona & Profile Construction)

由于真实数据集中往往缺乏详细的用户画像（如职业、具体偏好），模型构建了“伪画像”：

• 利用 Sentence-BERT 计算评论嵌入。
• 计算目标真实评论与用户历史评论的相似度，选取 Top-k 条评论作为伪用户画像 ($P_u$)。
• 同理构建伪项目画像 ($P_i$)。
• 关键点：训练集和测试集的画像构建是分离的，防止数据泄露。

B. 自注意力编码器 (Self-Attention Encoder)

• 输入包括：伪用户画像 $P_u$、伪项目画像 $P_i$。
• 采用 多头自注意力机制 (Multi-head Self-Attention) 来建模用户兴趣与项目特征之间的复杂关系。
• 输出经过残差连接和层归一化，并接入前馈网络 (FFN) 引入非线性。

C. 基于 Transformer 的扩散解码器 (Transformer-based Diffusion Decoder)

这是模型的核心创新点，结合了扩散过程与多任务学习：

1. 文本与视觉嵌入的扩散 (Diffusion of Text and Visual Embeddings)：

   • 输入序列：$X_0 = [u, i, \text{keywords}, \text{<bos>}, \text{words}, \text{visual tokens}]$。
   • 视觉处理：利用 VQ-VAE 将可选的项目图像转换为离散视觉 Token。
   • 扩散过程：仅对文本词嵌入（Review Embeddings）逐步添加高斯噪声。
     • 前向过程：在 $T$ 步内逐渐向初始嵌入 $X_0$ 添加噪声，直至 $X_T$ 服从各向同性高斯分布。
     • 反向过程：从 $X_T$ 开始，利用模型 $\Theta(Y_t, t)$ 迭代去噪，逐步恢复原始文本表示 $X_0$。
   • 优势：利用 DDPM 的特性，使轻量级 Transformer 能够生成更丰富、更多样化的文本，避免陷入局部最优（即生成“安全”句子）。

2. 多任务学习 (Multi-task Learning)：
   模型同时优化以下三个目标：

   • 评分预测 (Rating Prediction)：利用 Transformer 输出的第一个表示向量，通过 MLP 预测评分。损失函数为均方误差 (MSE)。
   • 上下文预测 (Context Prediction)：预测用户 ID 和项目 ID 之间的上下文概率（类似语言模型任务）。
   • 评论与视觉生成 (Review & Visual Generation)：
     • 预测词汇表中的词概率分布。
     • 预测视觉 Token 的概率分布。
     • 损失函数为负对数似然 (NLL)。

3. 可控生成：
   支持用户输入关键词（特征词、观点词），这些词被作为条件嵌入到序列中，引导扩散过程生成特定主题的评论。

总损失函数：
$$L = \min_{\theta} (\lambda_{ctx}L_{ctx} + \lambda_{r}L_{r} + \lambda_{w}L_{w} + \lambda_{v}L_{v})$$
其中包含上下文、评分、文本生成和视觉生成的加权损失。

---

3. 关键贡献 (Key Contributions)

1. 首次将扩散模型应用于可解释推荐：据作者所知，这是首个利用 DDPM 联合进行个性化评论生成和评分预测的工作。
2. 提出 Diffusion-EXR 框架：
   • 通过向词嵌入逐步添加噪声并学习重构，解决了传统生成模型生成内容单一、缺乏细粒度细节的问题。
   • 引入了伪用户/项目画像机制，弥补了数据集中显式画像缺失的缺陷。
3. 多模态与可控性：
   • 整合了视觉 Token（通过 VQ-VAE），增强了语义捕捉能力。
   • 支持用户提供的关键词引导，实现了可控的评论生成。
4. 轻量级架构：尽管使用了扩散模型，但 backbone 仅使用了轻量级的 2 层 Transformer，保持了计算效率。

---

4. 实验结果 (Results)

实验在两个公开数据集上进行：Amazon-Clothing Shoes & Jewellery (Amazon-CSJ) 和 TripAdvisor。

对比基线：

• NRT (Neural Review Transformer)
• Att2Seq
• PETER (State-of-the-art 轻量级模型)

主要发现：

1. 可解释性显著提升：
   • 在 FMR (特征匹配率) 和 FCR (特征覆盖率) 指标上，Diffusion-EXR 大幅优于基线模型（例如在 Amazon-CSJ 上，FMR 从 PETER 的 0.10 提升至 0.31）。
   • 生成的评论在主题相关性上更高，且具备更细粒度的描述（例如将泛泛的"jewelry"具体化为"bracelet"）。
2. 文本质量优异：
   • 在 BLEU、ROUGE 和 USR (唯一句子比率) 指标上均取得 SOTA 成绩。
   • 证明了扩散模型能生成更多样化、不重复的评论。
3. 评分预测保持竞争力：
   • 在 RMSE 和 MAE 指标上，Diffusion-EXR 与 PETER 等基线模型相当或略优，证明了在增强可解释性的同时未牺牲推荐准确性。
4. 消融实验：
   • 移除扩散模块（Diffusion-EXR w/o diffusion）导致性能显著下降，证实了扩散机制的有效性。
   • 引入用户关键词（EXR-F, EXR-FO）后，各项指标进一步提升，证明了可控生成的有效性。

---

5. 意义与总结 (Significance)

• 理论意义：探索了扩散模型在离散文本生成（特别是推荐系统领域）的潜力，证明了 DDPM 不仅能处理连续数据（图像/音频），也能在文本生成中通过去噪过程捕捉复杂的语义分布。
• 应用价值：
  • 为推荐系统提供了高透明度的解决方案，生成的评论能更具体、更个性化地解释“为什么推荐这个项目”。
  • 通过可控生成，允许用户参与推荐过程（通过关键词），提升了用户体验和系统的交互性。
  • 解决了现有模型生成内容“千篇一律”的痛点，使推荐系统更具人性化。

总结：Diffusion-EXR 通过巧妙结合扩散概率模型、自注意力机制和多模态输入，成功实现了高质量、多样化且可控的可解释评论生成，为下一代可解释推荐系统的设计提供了新的范式。