🤖 AI

TokenMinds: Pretrained User Tokens and Embeddings for User Understanding in Large Recommender Systems

TokenMinds 是一个工业级系统，它扩展了 PLUM 框架，通过预训练的 LLM 架构生成离散且具有语义对齐的用户 Token 以及稠密嵌入，成功统一了长视频与短视频行为以降低成本，同时在大规模 YouTube 排序系统中展示了互补价值。

原作者： Qingyun Liu, Bo Yan, Yang Liu, Yuji Roh, Ekansh Sharma, Likang Yin, Emma Olowo, Min-hsuan Tsai, Yuxuan Li, Diego Uribe, Saksham Aggarwal, Siqi Wu, Yuan Hao, Vikas Kedigehalli, Lukasz Heldt, Lichan Hon

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Qingyun Liu, Bo Yan, Yang Liu, Yuji Roh, Ekansh Sharma, Likang Yin, Emma Olowo, Min-hsuan Tsai, Yuxuan Li, Diego Uribe, Saksham Aggarwal, Siqi Wu, Yuan Hao, Vikas Kedigehalli, Lukasz Heldt, Lichan Hong, Li Wei, Xinyang Yi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图了解一个人的电影品味。在过去，推荐系统（比如 YouTube 上的系统）试图通过获取一个人观看视频的整个历史记录，将其压缩成一张单一、微小的、稠密的“总结卡”。这就像是试图通过在便利贴上写一句话来描述一整部小说。你会丢失大量的细微差别、具体细节和独特的风味。

其他系统则尝试为用户写一段长而详细的段落。但这些段落往往很笼统，只能捕捉到宽泛的主题（比如“他们喜欢猫”），而不是他们实际观看的内容及其出现时间背后的具体、深层的模式。

TokenMinds 是由 Google DeepMind 和 YouTube 构建的一个新系统，它通过给用户提供一张由离散标记（discrete tokens）（即一组特定的、有意义的代码）组成的“数字身份证”，并保留旧有的“总结卡”（稠密嵌入/dense embeddings）作为备份，从而解决了这个问题。

以下是它的工作原理，通过简单的类比进行拆解：

1. “语义 ID”（神奇的邮政编码）

TokenMinds 不再给每个视频一个随机数字（如“视频 #49201”），而是给每个视频一个语义 ID (Semantic ID, SID)。

类比： 想象每个视频都有一个基于其内容的“邮政编码”。一个关于“制作酸种面包”的视频，其代码可能以 食物-烘焙-面包 开头。一个关于“修理水槽”的视频，可能以 家居-管道 开头。
为什么有效： 如果用户观看了一个关于“酸种面包”的视频，系统看到的不仅仅是一个随机数字；它看到了代码中的“食物-烘焙”部分。这有助于系统理解观看行为背后的“含义”，而不仅仅是 ID。

2. “双输出”引擎（两件套工具箱）

TokenMinds 使用了一种特殊的 AI 架构（编码器-解码器），它像一把瑞士军刀一样，能同时产生两种东西：

稠密嵌入（总结卡）： 这是现有系统已经熟知的传统连续数值向量。它就像是用户“氛围”的一个快速快照。
SID 标记（详细代码）： 这是全新的部分。AI 会生成一系列代表用户未来兴趣的具体“邮政编码”。这就像 AI 在说：“根据你刚才看的内容，你可能对以下内容感兴趣：食物-烘焙-面包、科技-编程-Python 以及 体育-篮球。”

益处： 该系统兼具了两者的优点。它既能让旧系统保持顺畅运行（使用总结卡），又增加了一个新的、精确的语义理解层（标记）。研究发现，将两者结合使用比单独使用其中之一效果更好。

3. “异步”交付（预订系统）

生成这些详细的标记是一项繁重的工作，就像烹饪一道复杂的菜肴。如果你试图在顾客等在柜台前时才开始烹饪，速度会太慢。

类比： TokenMinds 使用了一个“预订”系统。它在用户只是浏览视频时，就在后台（异步地）生成用户的“身份证”和“标记”。当用户真正点击“推荐”时，系统只需从快速存储柜中取出预先做好的卡片即可。这意味着系统可以处理数十亿用户，而不会导致速度变慢。

4. “通用翻译机”（适用于所有视频的模型）

YouTube 有两类截然不同的视频：长视频（如 20 分钟的纪录片）和短视频（如 15 秒的 Shorts）。通常，你需要两个不同的模型来理解它们，因为人们观看它们的方式不同。

类比： TokenMinds 就像一个通用翻译机。它对长视频和短视频使用相同的“邮政编码”系统。它可以观察一个用户观看 20 分钟烹饪节目和 15 秒烹饪小技巧的历史记录，并意识到：“啊，这个人热爱烹饪！”
结果： 与其训练并运行两个单独且昂贵的模型，它们使用一个模型来完成这两项工作。这使它们的训练计算成本降低了 50%，服务成本降低了 31%，且没有损失任何质量。

5. 结果（证明）

团队在真实的 YouTube 流量（涉及数十亿用户）上进行了测试。

更好的推荐： 当他们将这些新标记添加到排序系统中时，他们观察到用户参与视频的程度以及满意度都有了可衡量的提升。
效率： 通过整合长视频和短视频模型，他们节省了大量的计算能力。
多样性： 系统并不会一遍又一遍地猜测同样的东西；它会生成一个多样化的潜在兴趣列表，就像一个人类朋友向你推荐各种你可能喜欢的东西一样。

简而言之： TokenMinds 是一种更聪明、更高效的方式，用于理解用户的需求。它不再试图将一个人复杂的品味挤压成一个单一的数字，而是为他们提供了一组有意义的“代码”来描述他们的兴趣，同时依靠一个单一且具有成本效益的引擎来处理所有类型的视频内容。

技术摘要：TokenMinds

问题陈述

工业级推荐系统传统上依赖于稠密、固定维度的用户嵌入（embeddings）来建模用户兴趣。虽然这种方法行之有效，但这些表示形式存在固有约束，例如在将用户的完整兴趣谱系压缩为单个向量时，会造成细粒度信号的丢失。相反，利用大语言模型（LLM）生成基于文本的用户画像的新兴方法面临着显著的瓶颈：它们往往只能捕捉到主题性的共现关系，而非深层的序列行为动态；难以将文本输出锚定到特定的物品属性上；并且在集成到非文本的下游系统中时会引入模态鸿沟。此外，尽管语义 ID（Semantic IDs, SIDs）在生成式推荐中的物品标记化（tokenization）方面已被证明非常有效，但其在用户建模领域的应用仍处于探索阶段。

方法论

TokenMinds 是一个工业级系统，旨在通过将 PLUM 框架从物品检索扩展到用户建模来弥补这些差距。它采用了一种改编自预训练 LLM 的统一编码器-解码器架构，用于同时生成两种互补的输出：

稠密用户嵌入（Dense User Embeddings）： 从编码器中提取，确保与依赖连续向量的现有下游模型兼容。
基于 SID 的离散用户标记（Discrete SID-Based User Tokens）： 由解码器自回归生成，提供具有语义基础且离散化的用户兴趣表示。

核心组件

架构： 系统使用编码器-解码器设置。编码器处理序列化用户特征（观看历史、搜索查询）以生成稠密嵌入。解码器通过交叉注意力机制（cross-attention）关注编码器的输出，从而生成基于 SID 的用户标记。这种双输出设计使系统既能服务于传统的稠密嵌入模型，也能服务于新的基于标记的模型。
输入标记化： 用户行为被标记化为包含以下内容的序列：
- SID 标记： 通过残差量化变分自编码器（RQ-VAE）从视频内容特征中导出的层级化离散码字。为了鼓励多样性并减轻记忆效应，仅使用完整 SID 的前缀- $L$ 部分。
- 软标记（Soft Tokens）： 非 SID 特征（如观看时长、设备）通过 MLP 投影编码为软标记。
- 条件标记（Condition Tokens）： 特定场景的标记（如 <LFV>、<SFV>、<Search>）被前置，用以区分内容类型并交织搜索查询。
训练目标： 模型在对 SID 词表进行持续预训练（CPT）后，通过监督微调（SFT）进行训练。它采用了前瞻采样（look-ahead sampling），即随机从 24 小时窗口内选择多个未来的目标观看项，而非仅仅是紧接着的下一个项目。这防止了对即时会话的过拟合，并提高了对未来兴趣的泛化能力。损失函数最小化了预测的 SID 前缀的交叉熵，并由参与度奖励信号进行加权。
跨场景建模： TokenMinds 将长视频（LFV）和短视频（SFV）建模统一在一个框架内。通过前置场景特定的条件标记，单个模型即可处理按时间顺序交织的序列。在推理阶段，**多上下文解码（multi-context decoding）**允许系统从单个共享的编码器传递中生成特定场景的用户标记，从而消除了冗余的推理运行。
服务基础设施： 为了在严格的延迟约束下处理数十亿用户，系统将表示生成与实时打分解耦。用户嵌入和标记通过后台服务异步生成，并缓存到键值存储中。实时打分通过检索这些预计算的表示来确保恒定的延迟，无论底层模型的复杂度如何。

核心贡献

双输出架构： 提出了 TokenMinds，一种统一的架构，能够共同生成标准的稠密连续嵌入和离散的 SID 基础用户标记，在引入新表示能力的同时保持与现有系统的兼容性。
标记化用户表示： 将基于 SID 的离散标记在用户表示中的创新应用。本文确定了将这些标记集成到下游排序模型中的最佳适配策略（特别是可学习嵌入），证明了标记与稠密嵌入能够捕捉到互补的信号。
跨场景建模： 一种高效的范式，将不同场景（LFV 和 SFV）的训练和推理整合到单个模型中。该方法利用多上下文解码实现场景感知的输出，而无需多模型的开销。
工业级规模部署： 通过在多个 YouTube 界面上的广泛离线实验和在线 A/B 测试验证了该系统的成功，服务于全量用户流量（数十亿用户）。

结果

离线性能： 消融实验证实，前瞻采样和粗粒度 SID 前缀对于泛化至关重要。使用 CPT 初始化显著优于随机初始化或标准的预训练检查点。
在线性能： 在生产排序系统上的在线 A/B 测试显示出显著的统计学增益：
- 核心用户指标： 最高提升 +0.11%。
- 核心参与度指标： 最高提升 +0.62%。
- 互补性： 将稠密嵌入和离散标记结合使用，比单独使用其中之一能获得更大的增益，验证了双输出设计的有效性。
效率：
- 训练： 将 LFV 和 SFV 合并为一个模型，减少了 50% 的上游训练计算量。
- 服务： 多上下文解码相比于维护独立模型，减少了 31% 的上游服务计算量。
- 存储： 离散标记表示所需的存储空间比稠密嵌入少 72%（1,280 字节 vs. 4,608 字节）。
可扩展性： 规模化研究表明，模型性能在大约 1,000 个观看历史项时趋于饱和，且更大的批次大小可以加速收敛并提高表示质量。

意义

本文声称 TokenMinds 证明了 SID 基础用户标记在工业规模下的实际可行性。它确立了离散的、具有语义基础的用户表示为超越稠密嵌入限制的、扩展用户建模的方向提供了广阔前景。通过成功地将这些标记集成到生产排序系统中，并展示了它们与稠密嵌入的互补价值，这项工作提出了一种新的用户理解范式，在泛化性、效率和兼容性之间取得了平衡。