MMQ: Multimodal Mixture-of-Quantization Tokenization for Semantic ID Generation and User Behavioral Adaptation

本文提出了 MMQ 框架，通过结合多专家架构的共享 - 特定混合量化分词器与行为感知微调机制，有效解决了多模态语义 ID 生成中跨模态协同与特异性平衡及语义 - 行为对齐的难题，显著提升了推荐系统的可扩展性与泛化能力。

要点

这篇论文介绍了一种名为 MMQ 的新方法，旨在解决推荐系统（比如淘宝、抖音、Netflix 给你推东西）中的一个核心难题：如何给海量的商品打上“智能标签”，让系统既能理解商品的“内涵”，又能精准猜中你的“喜好”。

为了让你轻松理解，我们可以把推荐系统想象成一个超级巨大的图书馆，而 MMQ 就是这位图书馆里最聪明的图书管理员。

1. 以前的痛点：死记硬背的“编号”

在传统的推荐系统里，每个商品（比如一件 T 恤、一双鞋）都有一个唯一的身份证号（ItemID）。

• 问题：这就好比图书馆给每本书编了一个毫无意义的数字编号（比如 001, 002）。
  • 如果新书上架了，系统得重新学它的编号，学得很慢。
  • 如果是一本冷门书（长尾商品），没人读过，系统就完全不知道它讲什么，只能把它扔在一边。
  • 系统只知道“这是 001 号书”，却不知道“这是一本关于夏天的冒险小说”。

2. 现在的尝试：给商品贴“语义标签”

为了解决这个问题，研究人员开始用语义 ID。

• 做法：不再用冷冰冰的数字，而是根据商品的文字描述和图片，提取出像“夏天”、“海滩”、“时尚”这样的关键词作为标签。
• 好处：即使是一本新书，只要它写着“海滩”，系统就能把它推荐给喜欢“海滩”的人。
• 新问题：
  1. 顾此失彼：有的方法把文字和图片强行揉在一起（像把咖啡和牛奶混在一起），结果既没尝出咖啡味也没尝出牛奶味，丢失了细节。
  2. 水土不服：有的标签虽然很“文艺”（语义上很准），但跟用户的实际购买行为对不上号。比如，用户看了一百次“性感泳衣”的图片（语义），但最后只买了“保守的沙滩裤”（行为）。系统如果只懂“语义”，就会推错东西。

3. MMQ 的解决方案：双管齐下的“超级管理员”

MMQ 就像给图书馆管理员配备了一套双核大脑和实战演练机制。

第一阶段：双核大脑（多模态混合量化）

想象管理员有两个助手：

• 助手 A（特定专家）：专门负责看文字，只懂文字里的独特细节（比如这件衣服是“纯棉”的）。
• 助手 B（特定专家）：专门负责看图片，只懂图片里的独特细节（比如这件衣服是“亮黄色”的）。
• 助手 C（共享专家）：负责看文字和图片的结合，发现它们共同传达的信息（比如“这是一件适合度假的亮黄色纯棉 T 恤”）。

MMQ 的巧妙之处：
它不让助手们互相打架或抢着说话，而是用一种特殊的“正交规则”（就像让三个助手分别站在房间的三个角落，互不干扰但又能协作），确保：

• 文字的独特性被保留。
• 图片的独特性被保留。
• 两者的结合点（协同信息）被精准捕捉。
  这样生成的标签，既全面又精准。

第二阶段：实战演练（行为感知微调）

光有完美的标签还不够，还得看用户买不买账。

• 以前的做法：管理员先给书贴好标签，然后就不管了，直接扔给推荐算法。
• MMQ 的做法：管理员会盯着用户的实际购买记录进行“微调”。
  • 如果系统发现用户虽然看了“性感泳衣”（语义标签），但只买了“沙滩裤”，管理员就会立刻调整标签的权重，让“沙滩裤”这个标签在推荐时更重。
  • 这就像管理员在贴标签时，一边贴一边问：“嘿，用户真的喜欢这个吗？”如果答案是否定的，就马上修正。

4. 为什么这很厉害？（比喻总结）

• 传统方法：像是一个死板的图书管理员，只认编号。新书来了他不知道，冷门书他直接忽略。
• 普通语义方法：像是一个文艺的图书管理员，能写出优美的书评，但有时候太理想化，推给你的书你可能根本不想读（因为不懂你的真实口味）。
• MMQ：像是一个既懂书又懂人性的金牌销售。
  • 他既能通过文字和图片精准描述商品（懂内涵）。
  • 又能通过观察你的购买行为，动态调整推荐策略（懂人性）。
  • 他还能把海量商品分类得井井有条，哪怕是很冷门的商品，也能找到懂它的人。

5. 实际效果

论文在阿里巴巴的电商平台上进行了测试（就像在真实的淘宝上试运行）：

• 广告收入增加了 0.90%。
• 转化率（用户看了就买）提升了 4.33%。
• 订单量增加了 3.52%。

一句话总结：
MMQ 就是给推荐系统装上了一双“慧眼”（看懂图文细节）和一颗“红心”（懂用户真实喜好），让推荐不再只是机械的匹配，而是真正懂你、懂商品的智能服务。

技术摘要

1. 研究背景与问题定义 (Problem)

在推荐系统中，传统的物品表示通常使用唯一的物品 ID (ItemID)。然而，面对大规模、动态变化的物品语料库以及稀疏的长尾数据，这种基于 ID 的方法存在显著局限性：

• 可扩展性与泛化性差：静态 ID 嵌入难以适应高物品周转率和流行度趋势的变化，且长尾物品因数据稀疏导致泛化能力弱。
• 语义 ID 的挑战：虽然基于多模态内容（文本、图像）生成的语义 ID (Semantic IDs) 提供了一种替代方案，但现有方法面临两个核心挑战：
  1. 协同性与独特性的平衡：如何在捕捉跨模态协同信息（Synergy，即文本和图像结合产生的细粒度特征）的同时，保留各模态独有的特异性信息（Uniqueness）。现有方法要么过度融合导致细节丢失，要么完全分离导致协同信息缺失。
  2. 语义 - 行为鸿沟 (Semantic-Behavioral Gap)：语义 ID 通常在语义空间训练，而推荐系统依赖用户行为。纯语义表示可能与实际用户偏好不匹配，导致推荐噪声。现有方法缺乏动态适应下游推荐目标的能力。

2. 核心方法论 (Methodology)

为了解决上述问题，作者提出了 MMQ (Multimodal Mixture-of-Quantization)，这是一个两阶段的框架，旨在生成高质量的语义 ID 并实现用户行为适应。

阶段一：多模态共享 - 特定 Tokenizer 训练 (Multimodal Shared-Specific Tokenizer Training)

该阶段旨在构建一个能够同时捕捉模态协同信息和模态特异性信息的 Tokenizer。

• 多专家架构 (Multi-Expert Architecture)：
  • 模态共享专家 (Modality-Shared Experts)：接收文本和图像输入，专门学习跨模态的协同信息（Synergistic Information）。
  • 模态特定专家 (Modality-Specific Experts)：分别处理文本和图像输入，专门学习各模态独有的特征（Unique Information）。
  • 门控机制：通过门控网络动态加权特定专家的输出，与共享专家输出融合。
• 正交正则化 (Orthogonal Regularization)：
  • 为了防止不同专家学习重叠信息（专家坍塌），在共享专家和特定专家之间引入正交约束，强制它们学习正交的特征方向，确保信息的解耦和多样性。
• 余弦量化器 (Cosine Quantizer)：
  • 在码本查找（Codebook Lookup）阶段，用余弦相似度替代传统的 L2 距离。这消除了不同模态子模型输出值分布尺度不匹配的影响，使量化更关注语义方向而非幅度。
• 训练目标：
  • 多模态重建损失：确保量化后的表示能高保真地重构原始多模态嵌入。
  • 辅助特定重建损失：辅助特定专家学习判别性特征。
  • 正交损失：最大化专家间的正交性。

阶段二：行为感知微调 (Behavior-Aware Fine-Tuning)

该阶段旨在弥合语义空间与用户行为空间之间的鸿沟，使语义 ID 适应下游推荐任务。

• 软索引机制 (Soft Indices)：
  • 借鉴索引反向传播量化 (IBQ) 思想，将离散的码本索引查找替换为可微的“软”索引机制。
  • 计算潜在嵌入与码本中所有码字的余弦相似度 logits，通过 Softmax 得到概率分布（Soft Indices）。
  • 使用直通估计器 (STE) 策略：前向传播使用硬索引 (Hard Indices) 进行离散查找，反向传播时梯度通过软索引流动，从而实现 Tokenizer 与下游推荐模型的联合优化。
• 联合优化目标：
  • 结合下游任务损失（如点击率预测）与重建损失，在微调过程中动态调整语义 ID 的聚类中心，使其既保留预训练的语义知识，又符合用户行为模式。

3. 主要贡献 (Key Contributions)

1. 首个统一框架：提出了首个能够同时捕捉多模态协同性与独特性，并能动态适应用户行为的语义 ID 统一框架。
2. 创新架构设计：
   • 设计了带有正交正则化的多专家架构，成功解耦了模态共享信息和模态特定信息。
   • 提出了行为感知微调机制，利用可微软索引桥接了语义表示与下游推荐目标，有效解决了语义 - 行为不匹配问题。
3. 全面的实验验证：在生成式检索 (Generative Retrieval) 和判别式排序 (Discriminative Ranking) 任务上进行了广泛实验，证明了 MMQ 的有效性、可扩展性和通用性。

4. 实验结果 (Results)

作者在工业级数据集（东南亚电商平台，3000 万用户，4000 万广告）和公开数据集（Amazon Beauty）上进行了评估。

• 整体性能 (RQ1)：
  • MMQ 在生成式检索和判别式排序任务中均显著优于现有的最先进基线（包括 RQ-VAE, RQ-Kmeans, OPQ 等，以及模态对齐和模态分离范式）。
  • 在工业数据集上，MMQ 的 NDCG@5 提升了 40.27%，AUC 提升了 0.04%。
  • 重建误差最低，码本利用率 (Utilization) 达到 100%，表明其生成的语义 ID 质量更高且分布更均匀。
• 消融实验 (RQ2)：
  • 移除正交正则化会导致码本利用率和 Token 分布熵急剧下降，证明其对防止专家坍塌至关重要。
  • 移除行为感知微调会导致 Recall 和 NDCG 显著下降，证实了弥合语义 - 行为鸿沟的必要性。
• 长尾物品表现 (RQ3)：
  • 在长尾物品（数据稀疏）上，MMQ 相比传统 ID 模型和其他语义 ID 方法取得了最大的性能提升，证明了其通过语义相似性进行知识迁移的有效性。
• 可扩展性与通用性 (RQ4, RQ5, RQ6)：
  • 行为感知微调策略可无缝集成到其他量化方法（如 RQ-VAE）中并带来提升。
  • 增加语义 ID 序列长度能持续提升推荐精度，且不影响量化质量。
  • 共享专家的存在显著提高了参数效率，比单纯增加特定专家数量效果更好。
• 在线 A/B 测试 (Online Experiments)：
  • 在电商平台的 30 天在线测试中，相比基线系统：
    • 广告收入 (Advertising Revenue) 提升 0.90%
    • 转化率 (CVR) 提升 4.33%
    • 订单量 (Orders) 提升 3.52%

5. 意义与价值 (Significance)

• 理论突破：MMQ 通过多专家架构和正交约束，从理论上解决了多模态信息中“协同”与“独特”难以兼得的难题，为多模态表示学习提供了新的范式。
• 工程落地：提出的行为感知微调机制解决了语义 ID 难以直接应用于推荐排序的痛点，使得语义 ID 不仅能用于检索，还能直接优化排序效果。
• 实际效益：在线 A/B 测试的显著收益证明了该方法在大规模工业场景下的实用价值，能够直接提升商业指标（收入、转化、订单）。
• 通用性：该框架不仅适用于推荐系统，还可扩展至个性化搜索、广告投放及跨域内容理解等场景，为多模态大模型在工业界的应用提供了可扩展的解决方案。

综上所述，MMQ 通过创新的架构设计和两阶段训练策略，成功构建了高质量、行为适配的多模态语义 ID，显著提升了推荐系统的性能，特别是在处理长尾数据和动态用户偏好方面表现卓越。