💬 NLP

Learning Decomposed Contextual Token Representations from Pretrained and Collaborative Signals for Generative Recommendation

本文提出 DECOR，这是一个统一框架，通过学习在保留预训练语义的同时适应协同信号的分解上下文令牌表示，解决了生成式推荐器中语义令牌化与用户交互建模之间的目标不一致问题，从而超越了最先进的基线方法。

原作者： Yifan Liu, Yaokun Liu, Zelin Li, Zhenrui Yue, Gyuseok Lee, Ruichen Yao, Yang Zhang, Dong Wang

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Yifan Liu, Yaokun Liu, Zelin Li, Zhenrui Yue, Gyuseok Lee, Ruichen Yao, Yang Zhang, Dong Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个非常聪明的机器人（大型语言模型）如何向顾客推荐完美的商品，比如一副耳机。为此，机器人需要一种方式来“描述”这些商品。

旧方法：僵化的词典

目前，大多数系统采用两步流程，这有点像使用一本由从未买过耳机的图书管理员编写的词典。

第一步（词典）：首先，系统查看商品的描述（例如，“用于睡眠的降噪耳机”），并为其分配一个固定代码，就像一个秘密 ID 号码。假设这个代码是 [A_3, B_4, C_5, D_95]。这个代码一旦创建就永不改变。
第二步（购物者）：然后，机器人利用这些固定代码，根据用户之前的点击行为来预测下一个商品。

问题所在：这种方法存在两个主要缺陷，论文称之为“次优静态分词”和“被丢弃的预训练语义”。

“一刀切”陷阱：想象三种不同的耳机：一款用于办公室，一款用于健身房，一款用于睡眠。它们听起来很相似，因此词典给它们分配了完全相同的前三个代码：[A_3, B_4, C_5]。机器人看到这些代码会想：“哦，它们都一样！”直到看到最后一位数字，它才知道用户是想睡觉还是想运动。这让机器人感到困惑，并使其难以快速理解用户的真实需求。
“浪费知识”陷阱：这本词典是利用海量通用知识构建的（例如，知道"Apple"既可以是水果也可以是科技品牌）。但一旦机器人开始从用户点击中学习，它往往会忘记这些通用知识。它将代码 [A_3] 仅仅视为一个随机符号，丢弃了其原本丰富的含义。

新方案：DECOR

作者提出了一种名为 DECOR（分解上下文令牌表示）的新框架。可以将 DECOR 想象为给机器人配备了一位智能、灵活的翻译官，而不是一本僵化的词典。

DECOR 通过两个主要技巧解决了上述问题：

1. “上下文翻译官”（上下文令牌组合）

DECOR 不再将商品代码 [A_3, B_4, C_5] 视为固定不变的标签，而是允许机器人根据当前情境重新解读该代码。

类比：想象你听到“银行（Bank）”这个词。如果你在谈论钓鱼，“银行”指的是河岸；如果你在谈论金钱，它指的是金融机构。
工作原理：在旧系统中，“银行”总是意味着同一个东西。而在 DECOR 中，如果用户刚刚浏览了钓鱼装备，机器人查看“银行”的代码时会说：“啊，在这个语境下，这个代码意味着‘河岸’。”如果用户正在浏览信用卡，它则会说：“在这个语境下，这个代码意味着‘金钱’。”
结果：即使商品代码看起来与其他商品完全相同，机器人也能立即理解商品背后的意图。它不再被论文图 1 中所示的“前缀歧义”所困扰。

2. “双引擎记忆”（分解嵌入融合）

DECOR 认识到机器人需要两种记忆协同工作，而不仅仅是一种。

引擎 A（冻结知识）：这是来自词典的原始丰富知识（例如，知道"Apple"是水果）。DECOR 将这部分冻结，使其永远不会被覆盖或遗忘。
引擎 B（习得行为）：这是机器人从用户点击中学到的新知识（例如，“购买笔记本电脑的人通常也会购买鼠标”）。
融合：DECOR 就像一个智能混合器。它将冻结的知识（引擎 A）与新的行为模式（引擎 B）完美地融合在一起。这样，机器人在学习特定用户习惯的同时，永远不会失去其通用智能。

为何重要

该论文在三个真实世界数据集（科学论文、乐器和视频游戏）上测试了这种方法。

更高的准确性：DECOR 始终优于现有的最佳方法。例如，在“乐器”类别中，由于商品具有非常具体的技术名称，DECOR 的准确率比次佳方法提高了 5% 以上。
更快的学习速度：由于 DECOR 无需不断重写词典（这会导致其他方法的不稳定），它的学习速度更快。它比那种试图一次性完成所有任务的竞争方法提前 23 个训练轮次（epochs）达到了峰值性能。
高效性：它几乎不会给推荐过程增加任何延迟（小于 1 毫秒），足以满足实时使用的需求。

总结

简而言之，以前的系统就像一位图书管理员，给每本书都贴上了静态且令人困惑的标签，然后忘记了书里的故事。DECOR 则像是一位图书管理员，他既保留了原始故事，又能立即以适合眼前这位特定读者的方式解释标签。它将深厚的预存知识与实时用户行为相结合，从而做出更智能、更准确的推荐。

技术摘要：从预训练与协同信号中学习分解的上下文令牌表示以用于生成式推荐

1. 问题陈述

本文针对当前两阶段生成式推荐范式（通常涉及物品令牌化 followed by 大语言模型（LLM）训练）中固有的两个关键局限性：

次优的静态令牌化（C1）： 现有方法依赖由预训练令牌器（例如 RQ-VAE）生成的固定语义 ID 来重构物品元数据。这些静态令牌无法适应多样化的用户交互上下文。因此，语义上截然不同的物品（例如用于办公室与用于睡眠的耳机）可能共享相同的前缀令牌，造成“前缀歧义”，使模型直到最终生成步骤之前都无法感知用户意图。这种静态分配造成了表示瓶颈，限制了注意力机制的判别能力。
被丢弃的预训练语义（C2）： 在推荐器训练阶段，预训练嵌入中编码的丰富语义知识实际上被丢弃了。虽然令牌器学习重构这些嵌入，但 LLM 使用的令牌嵌入是随机初始化并仅基于用户交互数据进行训练的。这一过程覆盖了预训练的世界知识（例如"Apple"作为水果或科技品牌的双重含义），导致推荐失准，特别是在稀疏物品上。

作者指出，现有解决这些问题的尝试，例如端到端联合优化（如 ETEGRec），往往由于重复的重新令牌化而引入训练不稳定性和计算开销。

2. 方法论：DECOR

作者提出了 DECOR（分解的上下文令牌表示），这是一个统一的框架，旨在保留预训练语义的同时增强令牌的适应性，且无需迭代重新令牌化。DECOR 包含两个主要组件：

3.1 分解嵌入融合

为了解决预训练语义丢失（C2）的问题，DECOR 维护两个并行的嵌入空间：

冻结的预训练语义嵌入（ $E_{pre}$ ）： 源自预训练 RQ-VAE 令牌器的代码本。这些嵌入保持冻结，以保留原始的语义重构能力。
可学习的协同嵌入（ $E_{collab}$ ）： 从零开始基于用户交互序列进行训练，以捕捉序列模式和共现动态。

这两种模态通过一个轻量级网络进行融合。两个嵌入被投影到共享的潜在空间，归一化，拼接，并通过一个可学习的融合矩阵映射回原始维度。这使得模型能够自适应地整合静态语义知识与动态协同信号。

3.2 上下文令牌组合

为了解决次优的静态令牌化（C1）问题，DECOR 在自回归生成阶段引入了一种动态解释机制。模型不再仅依赖令牌的静态嵌入，而是根据用户的交互上下文细化令牌表示：

上下文向量： 基于注意力的池化机制聚合历史交互序列的融合嵌入，以生成上下文向量（ $u_c$ ）。
软组合： 对于序列中的每个令牌，模型对候选令牌集（具体而言，来自同一 RQ-VAE 代码本层的所有令牌）执行软组合。最终的组合嵌入是候选嵌入的加权和，由上下文向量引导。
残差融合： 上下文组合的嵌入通过由超参数 $\alpha$ 控制的残差连接与原始静态嵌入融合。这使得模型能够动态地重新解释静态令牌，而无需更改底层令牌器。

3.3 可学习的序列开始（BOS）组合

认识到第一个令牌充当全局语义锚点，作者引入了一组可学习的 BOS 查询向量。这些向量被上下文组合以细化初始前缀，确保生成过程从一个与用户特定历史对齐的语义锚点开始，从而减少歧义的传播。

3. 主要贡献

问题分析： 本文首次明确分析了静态令牌化如何限制生成式推荐器将物品表示适应多样化用户上下文动态的能力，并确定前缀歧义为一种关键的失效模式。
新颖框架（DECOR）： 作者提出了一个融合冻结预训练语义嵌入与可学习协同嵌入的框架。关键在于，它引入了一种动态的、感知上下文的令牌组合机制，在生成过程中解释静态输入令牌，避免了端到端重新令牌化的不稳定性。
效率与稳定性： 与联合训练基线相比，该方法实现了更快的收敛和更高的准确率，且仅带来适度的计算开销。

4. 实验结果

作者在来自 Amazon Review 集合的三个真实世界数据集上评估了 DECOR：Scientific、Instrument 和 Game。

性能： DECOR consistently 优于最先进（SOTA）的基线，包括传统的序列推荐器（SASRec, GRU4Rec）和生成式模型（TIGER, LETTER, CoST, ETEGRec）。
- 在 Scientific 数据集上，与最强的基线相比，DECOR 在 NDCG@10 上实现了超过 14% 的相对提升。
- 在 Instrument 数据集（以专业术语和稀疏文本为特征）上，DECOR 将 NDCG@10 提升了 5.0%，超越了最佳基线，证明了其在基于文本先验的模型表现挣扎时的鲁棒性。
消融研究： 移除分解嵌入融合（DEF）或上下文令牌组合（CTC）中的任一项都会导致性能显著下降，证实了保留预训练语义和启用上下文适应性都是必要的。添加可学习的 BOS 查询进一步提升了性能，特别是在将高层语义与用户上下文对齐方面。
收敛性： DECOR 比联合训练基线（ETEGRec）快 23 个 epoch 达到其峰值性能的 95%，并避免了 ETEGRec 在中间训练阶段观察到的学习停滞。
嵌入利用率： DECOR 显著提高了代码本条目的利用率。虽然 TIGER 在第一量化层仅利用了约 26% 的活跃嵌入，但 DECOR 通过在组合过程中利用非活跃令牌，在 Instrument 和 Game 数据集上激活了 100% 的嵌入。
效率： 与 TIGER 基线相比，推理延迟每个样本增加了约 0.85 毫秒（在批量大小为 128 时），同时保持了约 82% 的基线吞吐量。鉴于 5–14% 的准确率提升，这种权衡被认为是非常有利的。

5. 意义与主张

本文主张 DECOR 提供了一种新颖的解决方案，既避免了重新令牌化的不稳定性，又保留了预训练语义的优势。通过将静态语义结构与动态协同信号解耦，并允许在生成时进行上下文重新解释，DECOR 弥合了世界知识与用户行为之间的差距。作者将其定位为现有生成式推荐框架中更稳定、更具表现力的替代方案，特别适用于数据稀疏或物品术语专业、静态文本先验不足的 scenarios。