💬 NLP

Variable-Length Semantic IDs for Recommender Systems

本文提出了一种基于离散变分自编码器的可变长度语义 ID 方法，通过自适应地根据物品频率分配描述长度，解决了现有固定长度语义 ID 在推荐系统中效率低下且与自然语言规律不匹配的问题。

原作者： Kirill Khrylchenko

发布于 2026-02-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Kirill Khrylchenko

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种让推荐系统（比如抖音、淘宝、Spotify 的推荐算法）变得更聪明、更高效的新方法。我们可以把它想象成给商品重新起“名字”的艺术。

为了让你轻松理解，我们把推荐系统想象成一个巨大的图书馆，里面有几亿本书（商品/视频/歌曲）。

1. 以前的做法：给每本书发一张“固定长度的身份证”

在传统的推荐系统里，为了把几亿本书塞进人工智能的“大脑”（大语言模型）里，研究人员给每本书都编了一个固定长度的“身份证号码”（这叫 Semantic IDs，语义 ID）。

比喻：想象一下，图书馆给《哈利波特》（超级畅销书）和一本没人看过的冷门旧书，都发了一张完全一样长的身份证。
- 《哈利波特》的身份证：A-1-2-3-4-5（6 个字符）
- 冷门旧书的身份证：Z-9-8-7-6-5（也是 6 个字符）
问题：这太浪费空间了！
- 大家都知道的《哈利波特》，只需要几个字就能描述清楚（比如“魔法”、“霍格沃茨”）。
- 那本冷门书，因为没人知道，可能需要写一大段详细的介绍（比如“作者是谁、讲了什么、为什么没人看”）才能让人记住。
- 以前的系统不管三七二十一，强行给所有书都发 6 个字符的 ID。结果就是：热门书占用了太多不必要的空间，而冷门书的信息量又不够，导致推荐不准。

2. 这篇论文的新点子：给书发“可变长度的智能标签”

这篇论文的作者（来自俄罗斯 HSE 大学）提出：既然人类说话时，熟悉的东西说得短，陌生的东西说得长，那为什么不给商品也这样呢？

他们发明了一种**“可变长度语义 ID"**。

比喻：
- 热门书（《哈利波特》）：因为大家都熟，系统只给它发一个超短的标签，比如 A。就像你叫朋友“老王”，大家都懂，不用多说。
- 冷门书：因为大家都不熟，系统就给它发一个很长、很详细的标签，比如 B-C-D-E-F-G。就像你向陌生人介绍一个冷门朋友，得说“他是那个在 XX 公司做 XX 工作的、喜欢养蜥蜴的..."。
好处：
- 省空间：热门书占用的“内存”变少了，系统就能在同样的空间里记住更多的用户历史行为。
- 更精准：冷门书有了足够的描述空间，系统能更准确地理解它是什么，从而推荐给可能喜欢它的人。

3. 他们是怎么做到的？（核心魔法）

以前让 AI 学会这种“长短不一”的说话方式很难，因为 AI 容易“发疯”（训练不稳定）。

旧方法（REINFORCE）：就像让一个学生通过“试错”来学习。学生猜一个长度，错了就挨打，对了就奖励。这种方法在几亿本书的规模下，学生容易崩溃，学得很慢。
新方法（dVAE + Gumbel-Softmax）：作者发明了一种更科学的“数学公式”（离散变分自编码器）。
- 比喻：这就像给老师（AI）发了一本**“智能字典”**。老师不需要盲目试错，而是通过计算概率，直接知道：“哦，这本书很火，用 2 个字就够了；那本书很偏，得用 5 个字。”
- 这种方法非常稳定，就像用精密的仪器代替了盲人摸象，让 AI 能迅速学会这种“看人下菜碟”的沟通技巧。

4. 实际效果怎么样？

作者在三个巨大的数据集（音乐、短视频、玩具游戏）上做了测试，结果非常棒：

更省钱：在同样的“内存预算”下（比如只能存 512 个字符），因为热门书变短了，系统能塞进更多的用户历史行为。
- 比喻：以前你的背包只能装 10 本书，现在因为热门书被压缩成了小纸条，你竟然能装下 15 本书！
更聪明：推荐准确率提高了。系统不仅记住了热门书，还能更好地理解和推荐那些冷门的好书。
更稳定：这种新方法比以前的“试错法”训练得更快、更稳，不容易出错。

总结

这篇论文的核心思想就是：不要“一刀切”。

就像我们在生活中，对熟人说话简短，对陌生人说话详细一样，推荐系统也应该根据商品的流行程度，动态调整描述它的“代码长度”。

热门商品 = 短代码（省空间，提效率）。
冷门商品 = 长代码（保信息，提精度）。

这种“可变长度”的标签系统，让未来的推荐系统（尤其是结合了大语言模型的新一代系统）能处理海量数据，同时还能像人类一样灵活、高效地理解世界。

论文技术总结：面向推荐系统的可变长度语义 ID (Variable-Length Semantic IDs for Recommender Systems)

1. 研究背景与问题定义 (Problem)

随着生成式模型（Generative Models）和大语言模型（LLM）在推荐系统中的广泛应用，如何将海量物品（Items）映射到自然语言词汇表成为一个核心挑战。

现有方法的局限性：
- 词汇表鸿沟 (Vocabulary Gap)：直接扩展 LLM 词表以包含数百万甚至数十亿的物品 ID 是不现实的，且物品 ID 与自然语言 token 在语义和抽象层级上不匹配。
- 固定长度语义 ID (Fixed-Length Semantic IDs)：现有的解决方案（如 TIGER 等）通常使用固定长度的语义 ID（即每个物品由相同数量的 token 序列表示）。
- 效率低下：固定长度设计忽略了现实世界物品目录中极度的频率偏斜（长尾分布）。热门物品和冷门物品被赋予了相同的描述长度，这既不符合自然语言中“高频概念用短词描述”的规律（齐普夫缩写定律，Zipf's Law of Abbreviation），也浪费了计算资源。
- 训练不稳定：在涌现通信（Emergent Communication）领域，学习可变长度消息通常依赖 REINFORCE 算法，但在大规模推荐系统场景下，REINFORCE 训练往往不稳定且难以收敛。
核心问题：如何设计一种可变长度的语义 ID 机制，既能根据物品流行度自适应分配编码长度（热门物品短码，冷门物品长码），又能保证训练的稳定性和下游推荐任务的质量？

2. 方法论 (Methodology)

作者提出了一种基于离散变分自编码器 (Discrete VAE) 的框架，结合 Gumbel-Softmax 重参数化技术，用于学习可变长度的语义 ID。

2.1 生成模型设计

共享词汇表：与现有方法不同，该模型假设所有位置的 token 共享同一个词汇表 $V$ ，而不是为每个位置设置独立的词表。
生成过程：
- 输入：物品嵌入 $x$ 。
- 输出：离散消息序列 $z = (z_1, ..., z_L)$ 及其长度 $L$ 。
- 长度先验：使用截断几何分布 (Truncated Geometric Distribution) 作为长度 $L$ 的先验分布，引入显式的长度惩罚项。
- 停止机制：不依赖特殊的 EOS 符号，而是通过编码器在每个步骤预测“停止概率”来决定消息长度。

2.2 变分推断与目标函数

模型通过最大化证据下界 (ELBO) 进行训练，损失函数由三部分组成：

重建损失 (Reconstruction Loss)：衡量解码器根据语义 ID 前缀重建原始物品嵌入 $x$ 的误差。
词汇表正则化 (Vocabulary Regularization)：通过 KL 散度约束，鼓励模型均匀使用共享词汇表，避免坍塌到少数几个 token。
长度正则化 (Length Regularization)：
- 长度惩罚：直接惩罚消息长度，鼓励更短的编码。
- 熵项：防止模型过早坍塌到单一长度，促进长度的多样性。

2.3 关键技术：软残差编码 (Soft Relaxation)

传统残差量化 (RQ-VAE) 使用硬分配（Hard Assignment）。
本文采用 Gumbel-Softmax 重参数化，将离散的 token 选择转化为软分配（Soft Assignment），即取词汇表嵌入的期望值。这使得整个编码过程可微分，支持端到端的梯度回传，避免了 REINFORCE 的高方差问题。

2.4 训练策略

采用 $\beta$ -VAE 策略，在训练初期逐渐增加 KL 正则化权重，防止后验坍塌。
使用 Free Bits 技术，确保每个潜在步骤保留最小信息量。

3. 主要贡献 (Key Contributions)

提出可变长度语义 ID (VarLen Semantic IDs)：首次将可变长度编码引入推荐系统，实现了根据物品流行度自适应分配编码长度（热门物品短码，长尾物品长码）。
稳定的训练框架：提出了一种基于离散 VAE 和 Gumbel-Softmax 的 principled 训练框架。相比涌现通信中常用的 REINFORCE 方法，该方法在大规模数据集上收敛更稳定，且无需复杂的奖励工程。
效率与质量的权衡：证明了在保持甚至提升下游推荐质量的同时，显著减少了平均 token 消耗，实现了更优的效率 - 质量权衡。
跨领域融合：成功 bridging 了推荐系统与涌现通信领域的理论，将自然语言中的“缩写定律”和通信效率原则应用于大规模推荐系统。

4. 实验结果 (Results)

作者在 Yambda (音乐), VK-LSVD (短视频), 和 Amazon Toys & Games 三个大规模数据集上进行了验证。

4.1 语义 ID 的编码效率 (RQ1)

长度与流行度相关：实验数据显示，热门物品（高频交互）自动获得了更短的语义 ID（平均长度显著降低），而冷门物品获得了更长的描述。这符合高效通信原则。
重建质量：可变长度模型在平均 token 数大幅减少（例如从 5 降至 2.3-3.6）的情况下，重建误差 (Reconstruction Loss) 与固定长度模型相当甚至更优。
冷启动表现：对于冷启动物品，模型倾向于生成更长的序列以包含更多信息，表现出良好的泛化能力。

4.2 下游推荐任务表现 (RQ2)

召回率提升：在固定 Token 预算（512 tokens）的序列推荐任务中，可变长度模型显著优于固定长度模型和传统的 R-KMeans 基线。
- 在 Yambda 数据集上，Recall@100 提升了约 11.2%。
- 在 VK-LSVD 上，Recall@100 提升了约 26.5%。
覆盖度 (Coverage)：由于编码效率提高，模型在相同预算下能容纳更多的历史交互事件，从而推荐了更多样化的物品（Coverage@100 显著提升）。
效率：在相同 Token 预算下，可变长度模型能处理的历史交互事件数量增加了约 30%-50%。

4.3 与 REINFORCE 方法的对比 (RQ3)

稳定性：在 Yambda 数据集上对比发现，REINFORCE 方法在可变长度设置下训练不稳定，重建质量差且词表利用率低（Perplexity 极高）。
性能：基于 Gumbel-Softmax 的 dVAE 方法在重建误差和冷启动表现上均优于 REINFORCE，证明了其在大规模场景下的可行性。

4.4 可扩展性 (RQ4)

增加最大允许长度 ( $T$ ) 或词汇表大小 ( $|V|$ ) 均能进一步提升重建质量。
增大词汇表大小不仅能降低重建误差，还能进一步缩短平均编码长度，表明该方法具有良好的扩展性。

5. 意义与结论 (Significance & Conclusion)

理论意义：该工作将自然语言处理中的“信息论”原则（如齐普夫定律）和涌现通信理论成功引入推荐系统，为理解物品表示的编码效率提供了新的视角。
实践价值：
- 降低计算成本：通过缩短热门物品的编码长度，显著降低了生成式推荐模型（尤其是基于 Transformer 的模型）的推理和训练成本。
- 提升长尾覆盖：为冷门物品分配更长的描述，有助于解决长尾物品的表示不足问题。
- LLM 集成：可变长度语义 ID 更自然地适配 LLM 的输入输出机制，是构建下一代生成式推荐系统（Generative Recommenders）的关键组件。
总结：可变长度语义 ID 是一种理论扎实且实践有效的表示方法，它解决了传统固定长度表示在大规模、非均匀分布推荐场景下的效率瓶颈，为大规模生成式推荐系统提供了新的构建基石。