🤖 machine learning

PaletteID: Prototype-Composed Semantic Identifiers for Multimodal CTR Prediction

本文提出了 PaletteID，一种基于原型的语义标识符，它利用一组多样化的代表性原型项来桥接预训练的多模态嵌入与推荐模型，从而克服现有离散标识符方法的局限性，以提高 CTR 预测准确率，特别是针对长尾物品。

原作者： Huanyu Liu, Baining Chen, Hui Liu, Zengyang Li, Ziyi Huang

发布于 2026-08-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Huanyu Liu, Baining Chen, Hui Liu, Zengyang Li, Ziyi Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正走在一座巨大且无尽的图书馆里，这里的每一本书都有一个独特的条形码。在在线购物和视频流媒体的世界中，计算机就像是图书管理员，试图猜测你会喜欢下一本什么样的书。为了做到这一点，它们会查看你过去的抉择以及你点击过的物品的“条形码”（标识符）。但问题在于，这些条形码通常只是毫无意义的随机数字。如果一本从未有人见过的书籍到来了，计算机就会感到困惑，因为它没有针对该特定条形码的历史记录。

为了解决这个问题，科学家们尝试赋予物品基于其外观或内容的“有意义”的条形码。他们将一张图片或一段描述转化为一组简短、离散的代码，就像是将一幅复杂的画作转化为一组简单的原色。这有助于计算机理解红苹果和红球在某种程度上是相关的，因为它们共享了“红色”的代码。然而，旧的方法有点过于僵化。这就像是用“红色”或“橙色”来强行描述一场日落，而不允许中间地带的存在。如果日落稍微多了一点点粉色，旧系统可能会突然将整个描述切换为“粉色”，从而丢失所有的细微差别。这篇论文解决了这种僵化问题，提出了一种更聪明的方法来混合这些语义“色彩”，让计算机能够理解我们所喜好的微妙色调。

色彩调色盘问题：为什么旧的条形码很枯燥

由刘焕宇（Huanyu Liu）及其同事领导的研究团队注意到，目前创建这些“有意义条形码”（称为语义 ID）的方法存在两个重大缺陷。首先，它过于非黑即白。它将一个物品强行塞进一个单一的、硬性的类别中，丢弃了使物品变得独特的精细细节。其次，它就像是在搭建一个积木塔，每一个新积木都完全依赖于它下方的那个。如果你改变了底部的积木，整个塔就会摇晃，使得系统不稳定且难以扩展到数百万个物品。

团队提出了疑问：如果我们不把一个物品强行归入仅仅一个类别呢？如果我们把每个物品都描述为多个“母体”物品的独特混合体呢？

走进 PaletteID：色彩混合的艺术

作者提出了一种名为 PaletteID（简称 PID）的新系统。他们的灵感来自于艺术家如何使用一套有限的绘画颜料在调色盘上创造出无限且丰富的画作。PID 不仅仅为一件物品挑选一个“代码”，而是挑选一小组具有代表性的“原型”物品并将它们融合在一起。

以下是这一神奇过程的步骤：

创建大师调色盘： 首先，系统会扫描整个物品库，并挑选出一组特殊且紧凑的“原型”物品。这些物品并非随机选择；它们是使用一种被称为 SQ-DPP 的智能数学技巧选出的。这种方法确保了调色盘既具有多样性（涵盖不同类型的物品），又保证了所选物品的质量（即它们是具有代表性的热门物品）。可以将其想象成一位美术老师挑选了一套完美的 500 幅名画，用以代表世界上所有的风格，从风景画到肖像画，而不会选出 500 幅一模一样的日落图。
混合色彩： 当系统需要描述一个特定物品（例如一段关于“手工珠宝”的新视频）时，它并不仅仅寻找一个匹配项。它会观察大师调色盘，并找到与该物品最相似的前 12 到 15 个原型。也许其中一个原型是“手工饰品”，另一个是“小型企业”，第三个是“推广视频”。
秘密武器（软权重）： 这正是 PID 胜过旧方法的地方。PID 不仅仅是说“这个物品 100% 是原型 A”，它还会计算究竟要使用多少比例的每个原型。它利用物品与原型之间的实际相似度来分配“权重”。如果一个物品与“手工”原型非常相似，而与“商业”原型的相似度较低，系统就会给“手工”原型分配一个重权重，而给“商业”原型一个轻微的触感。这就像是混合 70% 的红漆和 30% 的黄漆来得到完美的橙色，而不是仅仅大喊“红！”或“黄！”！

研究发现：更聪明、更强大、更稳定

研究人员在两个巨大的真实世界数据集上测试了这一新系统：一个是来自淘宝（一个拥有 100 万件商品和 720 万用户的庞大中国购物网站），另一个是来自快手（一个拥有 1.07 万件商品的视频应用）。他们将 PaletteID 与标准的“硬编码”方法进行了对比。

结果令人振奋。论文表明，PaletteID 持续提高了预测用户是否会点击某个物品的准确性。但真正的胜利在于那些“长尾”物品——即那些稀有的、冷门的或还没有太多点击量的崭新事物。因为 PaletteID 可以混合多种语义概念，它能比旧的僵化系统更好地帮助计算机理解这些稀有物品。例如，在淘宝数据集中，与旧方法相比，新方法在预测最稀有物品的得分方面有了显著的提升。

作者还发现 PaletteID 具有更强的鲁棒性。如果稍微调整一个物品的描述（比如改变标题中的一个词），旧系统可能会突然跳转到一个完全不同的代码，从而让模型感到困惑。然而，PaletteID 的变化是平滑的。如果一个物品变得稍微更具“商业性”，那么“商业”原型的权重只会略微增加，而不是整个身份发生翻天覆地的变化。

为什么这很重要

这种方法提供了一种更灵活、更具可解释性的方式来教计算机认识世界。与其将一个物品隐藏在像“Token #492”这样晦涩的代码背后，PaletteID 让我们能够清晰地看到计算机正在利用哪些现实世界的实例来理解该物品。这是一种转变：不再是将物品强行塞入僵化的盒子，而是让它们成为与其相似之物的独特、融合的组成部分。

论文总结道，虽然这个系统需要一些离线工作来构建调色盘并计算混合比例，但在实时使用时非常快速。它指出，通过将物品视为原型的“调色盘”而非单一的代码，我们可以构建出不仅更准确，而且更擅长理解我们为何点击行为背后那微妙且复杂原因的推荐系统。

技术摘要：PaletteID（用于多模态 CTR 预测的基于原型组合的语义标识符）

1. 问题陈述

多模态信息（如图像、文本、视频）对于提升点击率（CTR）预测具有巨大潜力，尤其是在交互数据稀疏的冷启动和长尾物品场景下。虽然近期的研究方法通过将预训练的多模态嵌入离散化为**语义标识符（Semantic Identifiers, SIDs）**来连接内容与行为，但现有方法面临两个关键局限性：

连续语义信号的丢失： 标准的硬码本分配（如 VQ-VAE 或 RQ-KMeans）强制将物品归入离散的桶中，丢弃了细粒度的连续信号，导致难以区分不同程度的语义相关性。
残差编码的可扩展性与歧义性： 层级残差 SIDs 存在前缀依赖问题。在更深层级的相同代码索引可能因前缀不同而代表不同的语义，从而导致协作信号不一致。此外，为每个代码路径创建独立的嵌入会导致参数呈指数级增长，而跨前缀共享嵌入则会引入语义歧义。此外，硬标识符是不稳定的；嵌入空间中的微小扰动会导致标识符发生剧烈变化，尤其是在更深的量化层级。

2. 方法论：PaletteID (PID)

作者提出了 PaletteID (PID)，一种受色彩组合启发、基于原型的语义标识符。PID 不再分配单一的硬代码，而是将每个物品表示为多个代表性语义原型的软组合（soft composition）。

2.1 通过 SQ-DPP 进行原型选择

PID 的核心是一个“原型调色板（prototype palette）”——一组从多模态嵌入空间中选出的具有代表性的精简物品集合。

语义质量感知行列式点过程 (SQ-DPP)： 不同于标准的聚类或重构方法，PID 选择真实的物品作为语义锚点。
余弦-RBF 核函数： 为了避免高维空间中的秩瓶颈，作者构建了一个通过 RBF 函数映射的余弦相似度核（ $K_{ij} = \exp(-\gamma(1 - \cos(\hat{x}_i, \hat{x}_j)))$ ）。
质量评分： 使用近似最近邻（ANN）搜索计算内容密度得分（ $\rho_i$ ）。该得分引导选择过程向语义密集且具有代表性的区域倾斜，防止选择孤立的物品。
优化： 最终的核矩阵 $L_{ij} = q_i K_{ij} q_j$ 结合了多样性（通过 $K$ 的行列式）和局部代表性（通过质量得分 $q$ ）。采用贪心 MAP 推断算法在离线阶段选择最优的 $M$ 个原型子集。

2.2 PID 嵌入生成

对于目标物品 $i$ ：

检索： 系统根据多模态相似度从调色板中检索前 $K$ 个最相似的原型。
聚合： 聚合这些对应原型的可训练嵌入。
软权重化： 与硬分配不同，PID 使用对相似度得分进行轻量级仿射变换来生成软权重（ $\alpha_i$ ）。单调正则项确保排名较高的原型获得相等或更高的置信度。
组合： 最终的 PID 嵌入为加权和形式： $e^{PID}_i = \alpha_i^T E_i$ ，从而保留了细粒度的连续接近性。

2.3 下游集成

PID 嵌入作为额外的物品侧特征，集成到标准的 CTR 主干网络（如 DeepFM, DCNv2, DIN）中。训练目标结合了用于 CTR 的标准二元交叉熵损失与单调正则化损失。

3. 核心贡献

基于原型的标识符： 本文提出了 PID，它摒弃了离散码本分配，转向一种软性的、基于原型组合的方法。这既保留了多模态相似性，又提供了更高的组合能力。
用于调色板构建的 SQ-DPP： 一种用于选择真实物品原型的创新方法，能够同时优化全局语义多样性和局部内容密度，避免了纯聚类或随机采样的缺陷。
实验验证： 在两个公开数据集（TAOBAO-MM 和 KuaiRec）上的广泛实验表明，PID 在 CTR 预测、长尾泛化、鲁棒性和可解释性方面均优于现有的残差 SID 方法。

4. 实验结果

作者在不同的 CTR 主干网络（DCNv2, RankMixer）上将 PID 与基准模型（VQ-VAE, RQ-VAE, RQ-KMeans）进行了对比评估。

CTR 预测： PID 始终取得了最高的 AUC 和 GAUC 分数。例如，在带有 DCNv2+ 的 TAOBAO-MM 数据集上，PID 的 AUC 达到 0.6314，超过了表现最好的 SID 基准模型（RQ-VAE 为 0.6297）。
长尾性能： PID 的增益在长尾物品上最为显著。与基准模型相比，PID 在长尾组（占物品总数的 40%）中将 AUC 提升了 +0.0128，明显优于 RQ-VAE (+0.0098)。这表明 PID 能有效地将语义知识迁移到交互稀疏的物品上。
鲁棒性： 在输入嵌入受到高斯噪声扰动的情况下，PID 比残差 SID 方法保持了显著更高的分配稳定性（Assignment Cosine）。当 SID 的一致性随噪声剧烈下降时，PID 的加权原型混合机制依然保持稳定。
可扩展性： 所需的调色板大小 ( $M$ ) 取决于语义复杂度而非原始目录规模。在拥有 100 万个物品的 TAOBAO-MM 数据集上，仅需 650 个最优调色板大小即可，这表明随着物品目录的扩大，PID 不需要线性增长其参数量。
可解释性： 个案研究显示，PID 原型对应于真实的、可解释的内容维度（如“手工”、“商务”、“促销”），而 SID 代码则是抽象的索引。

5. 意义与主张

本文声称 PaletteID 解决了离散标识符的高效性与连续嵌入的高表达性之间的根本权衡。通过使用真实物品原型的软组合，PID：

弥合差距： 它有效地连接了预训练的多模态语义与行为驱动的 CTR 目标，且不会丢失细粒度的信息。
增强泛化能力： 它通过允许物品通过多个互补的语义锚点而非单一刚性代码来共享知识，为长尾推荐提供了一种鲁棒的机制。
提高稳定性： 它缓解了硬量化带来的不稳定性问题，即微小的输入变化会导致标识符发生剧烈偏移。
提供可解释性： 不同于抽象的码本索引，PID 的组成部分可以追溯到具体的原型物品，使得语义表示是可检查的。

作者总结道，PID 提供了一种可扩展、鲁棒且可解释的方案，可以作为现有 SID 方法的替代方案，适用于需要高效部署离线原型选择和在线轻量级聚合的大规模工业级推荐系统。