🤖 AI

Beyond Item IDs: Scaling Short-Form-Video Recommendation via Semantic-Native Long Sequence Modeling

本文介绍了一个在十亿级用户规模下生产部署的短视频推荐框架，该框架通过使用紧凑的语义 ID（Semantic IDs）取代稀疏的视频 ID（Video IDs），并引入全局感知压缩 Transformer（Global-Aware Compression Transformer）来高效建模超长用户行为序列，克服了传统的序列建模局限性，从而实现了计算成本的显著降低和用户参与度的实质性提升。

原作者： Ruixiao Sun, Diego Uribe Mora, Zhimeng Jiang, Yuanzhen Lin, Jiarui Wang, Yuening Li, Danfeng Guo, Zhizhong Chen, Chuan He, Liang Liu

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ruixiao Sun, Diego Uribe Mora, Zhimeng Jiang, Yuanzhen Lin, Jiarui Wang, Yuening Li, Danfeng Guo, Zhizhong Chen, Chuan He, Liang Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位试图向读者推荐完美书籍的图书管理员。但这位读者不是看了几本书，而是观看了成千上万个短视频。你的任务是记住所有的这些视频，从而猜出他们接下来想看什么。

这篇论文描述了谷歌构建的一个新系统，专门用于处理这类短视频（如 TikTok 或 YouTube Shorts）的任务。他们面临了两个让这项任务几乎变得不可能完成的巨大难题，并用两个聪明的技巧解决了它们。

两个大问题

1. “名牌”问题（表示瓶颈 / Representation Bottleneck）
想象一下，世界上每个视频都有一个唯一的、随机的 ID 数字，就像烤面包机上的序列号一样。

问题所在： 如果你有十亿个视频，你就需要十亿个不同的 ID 标签。这些标签只是随机数字；它们无法告诉你关于视频的任何信息。一个关于“猫”的视频和一个关于“车”的视频，其 ID 可能看起来完全没有关联。
结果： 计算机必须分别记住每一次交互。这就像试图记住十亿个随机电话号码一样。而且，当出现一个新视频（“冷启动”）时，系统完全不知道它是什么，因为它从未见过这个新的随机 ID。

2. “记忆过载”问题（计算瓶果 / Computational Bottleneck）
想象一下，你在读一本每一页都与其他所有页面相连的书。

问题所在： 为了理解一个包含 2,000 个视频的历史记录，标准的计算机大脑（Transformer）会尝试将每一个视频与每一个其他视频进行比较。如果你将视频数量增加一倍，工作量不仅仅是翻倍，而是变为原来的四倍。这会让计算变得极其沉重，导致计算机内存耗尽并崩溃，或者处理速度过慢。

解决方案：两个新技巧

作者构建了一个能同时解决这两个问题的系统。

技巧 #1：“智能分类”系统（语义原生 ID / Semantic-Native IDs）

他们不再使用随机的序列号，而是根据视频实际的内容赋予了它们有意义的标签。

类比： 想象一下，不再是随机数字，而是每个视频都被贴上了“类别”和“子类别”的标签。
- 旧方式： 视频 #99283（随机）。
- 新方式： 视频 = “游戏” + “射击”。
运作方式： 他们使用一种特殊的 AI 将视频分层归类。对于长期的历史记录，他们只使用了这个层级结构中的前两层（例如，仅使用“游戏”和“射击”）。
益处：
- 更小的图书馆： 他们不再需要十亿个标签，只需要为这些类别准备标签即可。这缩小了存储“字典”所需的内存。
- 更好的预测： 如果一个用户喜欢“游戏-射击”类的视频，而出现了一个新的“游戏-射击”类视频，系统能立刻知道要推荐它，即使它以前从未见过这个视频。这解决了“冷启动”问题。

技巧 #2：“分组”策略（全局感知压缩 / Global-Aware Compression）

系统不再逐一查看每一个视频，而是将它们组合成“超级块”。

类比： 想象你在读一本 2,000 页的日记。
- 旧方式： 你阅读每一个字，并尝试将每一个字与每一个其他字联系起来。太累了！
- 新方式： 你每 4 页一组，将它们粘在一起变成一个“超级页面”。现在你只需要阅读 500 个“超级页面”。
运作方式： 他们将 4 个连续的视频堆叠在一起，组成一个大的“超级 Token”。这使计算机需要处理的项目减少了 4 倍。
益处：
- 速度更快： 因为需要比较的项目变少了，计算机运行得更快，且使用的内存大幅减少（减少了 92%！）。
- 更聪明的阅读： 通过将页面粘合在一起，计算机可以在看到大局的同时，还能看到该组内的细节（例如，用户对特定视频序列的反应）。
- “全局锚点”： 他们在列表开头添加了一个特殊的“全局问题”Token。可以把它想象成一位图书管理员在问：“这个人生活的整体氛围是怎样的？”这有助于系统平衡近期视频的具体细节与用户的长期个性。

结果

当他们在现实世界中使用数十亿用户进行测试时：

它更快了： 该系统使用的计算机内存更少，运行速度更快。
它记得更多了： 因为速度更快，他们可以向系统输入 2,000 个视频的历史记录，而不是之前的 800 个。
人们更开心了： 用户观看他们喜欢的视频更多了，观看时长增加了，并且发现了更多令他们愉悦的新内容。

总结

这篇论文关于构建一个能够记住用户整个视频历史而不产生“头痛”的推荐引擎。他们通过赋予视频有意义的名字（而非随机数字），以及通过将视频分组成块（从而让计算机不必单独对每一个视频进行数学运算）来实现这一目标。结果是一个运行更快、成本更低且能做出更好推荐的系统。

技术摘要：超越物品 ID——通过语义原生长序列建模实现短视频推荐的规模化

1. 问题陈述

短视频推荐系统在尝试对超长用户行为序列（长度 $L > 10^3$ ）进行建模时，面临着双重瓶颈：

表示瓶颈： 传统的正交视频 ID（Video IDs）在语义上是稀疏的。它们将物品视为独立的 Token，未能捕捉内容之间的关系，导致在冷启动内容上的泛化能力较差。此外，它们所需的嵌入表（Embedding Tables）会随着语料库规模的增长而无限扩张，从而产生存储和稀疏性问题。
计算瓶颈： 标准 Transformer 架构依赖于具有二次复杂度（ $O(L^2)$ ）的自注意力机制。这限制了在严格的工业级延迟和资源约束下的最大序列长度，通常需要通过启发式过滤或层次化聚类来解决，但这会导致信号丢失或需要复杂的离线预计算。

2. 方法论

作者提出了一个已在生产环境部署的框架，该框架通过将**语义原生表示（Semantic-Native Representations）与全局感知压缩 Transformer（Global-Aware Compressed Transformer）**相结合，实现了对长度达 $L=2000$ 的序列在十亿级用户规模下的建模。

2.1 语义原生表示 (SIDs)

为了解决表示瓶颈，系统使用通过残差量化 VAE（RQ-VAE）生成的、具有内容原生属性的语义标识符（SIs）取代了原子化的视频 ID。

层次化量化： RQ-VAE 将多模态内容嵌入投影到一个离散的、层次化的潜空间中，生成一个代表从粗到精语义层级的元组 $(c_1, c_2, \dots, c_D)$ 。
非对称粒度策略： 为了在超长序列的表达能力与效率之间取得平衡，作者采用了**截断式二元组（Depth-Truncated Bi-gram）**策略：
- 序列侧（粗粒度）： 用户历史项被限制在层级的头两层 $(c_1, c_2)$ 。这些层级被投影为一个统一的整数 ID（ $ID_{seq} = c_1 \cdot |V| + c_2$ ）。无论语料库如何扩张，这都限制了嵌入表的规模，并利用共享的语义前缀自然地实现了对冷启动内容的泛化。
- 目标/非序列侧（细粒度）： 候选物品和关键交互特征（例如最后观看的视频）保留完整的深度语义层级，以确保精确的判别性匹配。

2.2 全局感知压缩 Transformer

为了克服序列缩放障碍，作者引入了一种在不损失聚合效果的前提下降低计算复杂度的 Transformer 架构。

无参数时间折叠（Parameter-Free Temporal Folding）： 输入序列 $X \in \mathbb{R}^{L \times d}$ 并非通过池化处理，而是被划分为大小为 $k$ 的窗口，并进行通道维度的堆叠，从而形成“超 Token（super-tokens）”。这一操作将输入从 $(L, d)$ 转换为 $(L/k, k \cdot d)$ 。该操作显式地以时间分辨率换取特征维度，在捕捉“超事件”之间密集依赖关系的同时，将序列长度缩减了 $k$ 倍。
全局-局部表示融合： 在压缩序列之前，会预置一个可学习的全局查询 Token（Global Query Token, $G_{init}$ ）。不同于基于用户画像的初始化，该 Token 是特征无关的，迫使注意力机制仅从动态交互中推导表示。它作为一个注意力汇（attention sink）来稳定优化过程。
统一掩码均值池化： 最终的用户表示通过掩码均值池化操作进行计算，将全局状态与细粒度的序列信号进行融合，从而平衡全局意图与局部细节。

2.3 系统架构

该框架运行在一个混合同步-异步框架内：

同步短期模块： 实时编码即时交互尾部（ $S_{short}$ ）。
异步长期模块： 使用所提议的 SID 和压缩 Transformer 对超长序列（ $S_{long}$ ）进行建模。这两个模块共享一个主干网络和优化目标，以确保表示映射到共享的潜空间，防止特征失配。

3. 核心贡献

大规模语义原生表示： 在工业规模上部署了基于 RQ-VAE 的 SIDs 以及截断式二元组策略。这实现了嵌入存储与语料库规模的解耦，并显著提升了对冷启动内容的泛化能力。
高表达能力的效率型序列架构： 利用非参数化时间折叠构建了全局感知压缩 Transformer。该架构在实现计算复杂度降维的同时，通过扩展特征维度来捕捉超长序列中的复杂局部交互，实现了性能无损。
大规模工业验证： 在服务于数十亿用户的顶级短视频平台进行严谨的离线和在线评估，证明了在大幅降低内存和计算成本的同时，实现了显著的在线指标提升。

4. 实验结果

该框架在序列长度 $L=2000$ 的生产流量上进行了评估，并与使用 $L=800$ 视频 ID 的最先进基准模型进行了对比。

语义 ID 有效性： 使用二元组 SIDs（ $L=160$ ）替换视频 ID 后，满意观看数（Satisfied Views）提升了 0.86%，新鲜度（Satisfied Freshness，即观看近期上传内容的满意度）提升了 6.81%，证实了其在冷启动场景下的改进。同时，嵌入参数减少了 38.07%，存储空间减少了 39.33%。
可扩展性： 随着序列长度从 400 扩展到 2000，离线 AUC 呈现出持续的单调递增。模型从增加的宽度（隐藏层维度）和深度（层数）中获益显著，验证了其捕捉复杂交互模式的能力。
效率与性能： 使用 $k=4$ $k = 4$ 的时间折叠实现了帕累托改进（Pareto improvement）：
- 训练步时长： 减少了 83.9%（41.1ms $\to$ 6.6ms）。
- 峰值激活内存： 减少了 92.2%（5758 MiB $\to$ 448 MiB）。
- 准确率： 尽管进行了压缩，AUC 仍分别提升了 +0.06%（任务 1）和 +0.15%（任务 2），这归功于局部去噪和扩展的特征表达力。
全系统影响： 整体升级（SID + 压缩 + $L=2000$ $L = 2000$ ）带来了显著的在线收益：
- 活跃用户： +0.52%
- 满意观看时长： +1.42%
- 满意观看数： +1.08%

5. 意义与主张

本文声称为下一代无限上下文推荐引擎提供了一个实用的蓝图。通过通过语义表示解决词表瓶颈，并通过结构化重组（时间折叠）解决计算瓶颈，作者证明了在十亿级用户规模下实现超长序列建模是可行且无需高昂资源成本的。

该研究指出，内容原生表示与高效压缩的协同作用，使得系统能够捕捉到以往基准模型无法获取的更丰富的长期用户兴趣信号。作者将此定位为迈向**大推荐模型（Large Recommendation Models, LRMs）**的一步，旨在未来进一步研究序列缩放法则（scaling laws）以及硬件-算法的协同设计。