🤖 AI

SA-RSQ: A Versatile Sparse Representation Framework for Multi-modal Recommender Systems

该论文提出了 SA-RSQ，这是一个用于多模态推荐系统的通用框架，它利用基于稀疏激活的残差软量化来存储紧凑的（索引，概率）元组，在有效平衡存储效率与重构质量的同时，在工业应用中实现了 CTR 和 CPM 的显著提升。

原作者： Xiang Wang, Shigang Quan, Tingzhen Chang, Kang Yang, Sitong Chen, Yabo Fan, Xingxing Wang, Zhaodian He

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Xiang Wang, Shigang Quan, Tingzhen Chang, Kang Yang, Sitong Chen, Yabo Fan, Xingxing Wang, Zhaodian He

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在当今庞大的数字市场中，推荐系统扮演着我们生活中的“隐形图书管理员”的角色，为我们建议下一部要观看的视频、下一首要聆听的歌曲或下一顿要订购的餐食。为了做好这一点，这些系统依赖于对所提供物品的深度理解。近年来，工程师们开始使用强大的人工智能模型，通过极其详尽的高维地图来描述这些物品。请想象一下，一个产品的描述不再是一个简单的标签，而是一个复杂的、多层级的肖像，包含了关于其外观、含义和语境的数千个独特细节。虽然这些丰富的描述有助于系统理解相似物品之间的细微差别，但它们也带来了沉重的代价。存储和处理数十亿件物品的这些庞大肖像需要如此多的计算机内存和能量，以至于它会拖慢整个系统的速度，使其在实际应用中变得过于缓慢且昂于成本。

为了解决这个问题，工程师们传统上尝试将这些详细的肖像压缩成微小的、离散的代码，就像将一张高分辨率照片压缩成一个微小的图标一样。然而，这种极端的压缩往往会使图像变得模糊，导致系统丢失区分不同物品所需的精细细节。这是一个艰难的权衡：是保留丰富的细节但减慢系统速度，还是缩小数据量但失去进行精准推荐所需的精确度。天津大学和美团的研究人员提出了一种新方法，试图寻找一个中间地带，使系统能够在保持详细描述丰富性的同时，以一种不牺牲准确性的空间高效方式进行存储。

研究人员开发了一种名为“基于稀疏激活的残差软量化”（Sparse Activation-based Residual Soft Quantization，简称 SA-RSQ）的方法。该框架不再强迫每个物品进入一个单一、僵化的类别或一个微小的固定代码，而是将物品的描述视为由少量关键构建块组成的灵活组合。这就像是在描述一种复杂的风味时，不是从字典中挑选一个单词，而是选择一小把配料并精确规定每种配料的使用量。系统会观察一个物品的高维描述，并从庞大的可能性库中识别出最相关的“配料”。然后，它仅存储这些被选中的配料名称以及它们混合的精确比例。

这种方法比以往的方法具有显著优势。旧技术通常被迫在单一代码或稠密数字块之间做出选择，从而导致细节流失或存储成本激增。然而，这种新方法将存储空间的大小与信息的复杂度解耦。通过仅存储描述中最重要的部分及其权重，系统可以在需要时重建高度准确的原物品肖像。至关重要的是，这个过程是可微的，这意味着系统可以直接从训练过程中收到的反馈中学习并改进其选择，而不是依赖于经常导致误差的粗略近似。

团队在一个来自外卖广告平台的庞大真实数据集上测试了这个框架，该数据集涉及数亿件物品。他们在严格的存储限制下（每件物品 8 字节到 48 字节不等）将其方法与几种现有的压缩技术进行了对比。结果显示，该方法始终优于其他方法。即使在受到极小存储容量的限制时，新方法也能保持更高的预测用户点击行为的准确度。当允许稍多一些空间（如 32 或 48 字节）时，性能进一步提升，并在所有测试方法中取得了最高分。该系统能够保留物品的细粒度细节，防止了旧压缩系统中常见的不同物品相互混淆的“碰撞”问题。

除了离线测试外，研究人员还在外卖平台上部署了该系统的在线实时实验。在为期一周的时间里，他们进行了一项受控测试，将新方法展示给一部分实际的用户流量。结果是切实的：使用该新框架的系统使用户的广告点击率增加了 2.51%，并使每千次展示产生的收入增加了 3.66%。这些收益是在没有降低系统速度的情况下实现的，证明了在不损失智能推荐所需的智能度的前提下，压缩复杂数据是可行的。

该研究还探索了一个潜在的未来应用场景，即系统不仅预测下一个单一物品，而且预测可能出现的下一个物品的概率分布，类似于语言模型预测句子中的下一个词。虽然这还处于初步调查阶段，但早期结果表明，这种概率方法可以很好地应用于生成式推荐任务，为这些系统如何演进开辟了新路径。研究人员指出，尽管结果令人鼓舞，但这些结果是基于专有数据和特定配置的，仍需进一步工作以确认这些发现是否适用于不同的领域。

最终，这项工作证明了存储效率与数据质量之间的僵化权衡并非不可避免。通过使用一种能够通过关键特征的加权组合来捕捉物品本质的灵活、稀疏的表示法，构建既快速又精准的推荐系统是可能的。该方法在真实工业环境中的成功表明，此类技术可以成为处理驱动数字世界的海量数据的标准工具，确保引导我们选择的系统能像其处理的信息一样，保持智能与细腻。

技术摘要：SA-RSQ

1. 问题陈述

工业级推荐系统正越来越多地采用由多模态大语言模型（MLLM）提取的高维语义特征（例如 2048+ 维），以提升对冷启动问题的处理能力和语义理解能力。然而，大规模部署这些稠密向量会带来极高的存储和推理延迟成本。

现有方案面临着一个关键的权衡：

极端压缩（硬量化）： 如 RQ-VAE 等方法将特征压缩为短的离散语义 ID（例如 8 字节）。虽然存储效率高，但存在边界失真问题（即语义相似的项被强制分配为相同或完全不同的离散 ID）以及不可微性。依赖直通估计器（STE）进行梯度近似会引入偏差、导致训练不稳定，并造成量化器的重构目标与下游推荐目标（CTR/CVR）之间的根本性错位。
软量化： 如 SoftVQ-VAE 等方法通过使用稠密软分配来避免 STE。然而，在严格的存储预算下（例如 32 字节），将高维向量投影到如此狭窄的瓶颈中往往会导致严重的语义坍缩。反之，增加维度以保持质量则会抵消存储带来的收益。

目前尚缺乏一种原则性的机制，能够在不引起不可逆的信息丢失或存储膨胀的情况下，在极端压缩与高维表示质量之间实现平滑权衡。

2. 方法论：SA-RSQ

作者提出了基于稀疏激活的残差软量化（SA-RSQ），该框架旨在将存储占用与表示维度解耦，同时保持可微性。

核心架构

SA-RSQ 利用了类似于 RQ-VAE 的具有级联残差结构的编码器-解码器架构，但用可微的稀疏软路由机制取代了不可微的 arg min 硬分配。

迭代残差公式：
- 输入嵌入被映射到潜空间。
- 量化过程通过 $L$ 个阶段进行级联。在每个阶段 $l$ ，残差向量 $r_{l-1}$ 通过码本条目的加权组合进行近似。
- 最终的重构 $\hat{x}$ 是由解码器解码的这些近似值的总和。
可微稀疏路由（带掩码 Softmax 的 Top- $K$ ）：
- SA-RSQ 并非对所有 $V$ 个码字应用 Softmax（这在存储上是不可行的），而是计算相似度逻辑值并选择最相关的 Top- $K$ 个码字。
- 通过掩码操作将非选中词的逻辑值设为 $-\infty$ ，随后进行 Softmax 以生成稀疏概率分布 $p^{(l)}$ 。
- 量化表示是活跃码字的凸组合，权重由这些概率决定： $\hat{r}_{l-1} = \sum_{i \in \mathcal{I}_K} p^{(l)}_i c^{(l)}_i$ 。
- 存储格式： 仅将 Top- $K$ 的索引及其对应的非零概率作为紧凑的 (Index, Prob) 元组进行存储。这实现了单项存储与码本维度之间的解耦。
课程稀疏退火：
- 为了防止过早剪枝并确保全局语义探索，该框架采用了余弦稀疏退火计划。训练开始于全稠密激活（ $K=V$ ），并逐渐衰减到目标稀疏度 $K_{tgt}$ ，以平衡探索与利用。

优化目标

该框架使用包含四个部分的联合目标函数进行训练：

全局与层级重构： 最小化原始嵌入与重构嵌入之间的 MSE，并结合层级残差损失以稳定级联训练。
几何正则化（正交性）： 强制要求每一阶段内的码本向量保持正交，以最大化线性组合的跨度能力并消除空间冗余。
互信息正则化（MIR）： 通过最大化输入与软分配之间的互信息来防止码本坍缩。这包括最小化样本熵（鼓励每个样本具有尖锐分布）和最大化批次熵（确保码本使用均匀）。
总损失： $\mathcal{L}_{total} = \mathcal{L}_{recon} + \lambda_1 \mathcal{L}_{residual} + \lambda_2 \mathcal{L}_{ortho} + \lambda_3 \mathcal{L}_{MIR}$ 。

部署范式

两阶段范式： 离线生成稀疏路由元组并将其冻结。在线上，模型执行轻量级的查找和基于可训练码本的加权求和。这使得 CTR 模型能够以极低的内存开销利用高保真语义。
端到端对齐： 不同于硬 ID，稀疏概率作为一个可微媒介。对于固定的 Top- $K$ 支持集，下游梯度可以通过加权和进行反向传播，从而在不使用 STE 的情况下更新编码器和码本，使表示学习与下游任务对齐。

3. 核心贡献

可微稀疏软量化： SA-RSQ 用可微的 Top- $K$ 稀疏路由取代了启发式的基于 STE 的路由，实现了灵活的存储-性能权衡（每项 8–48 字节），且不会产生不可逆的失真。
卓越的压缩-性能权衡： 该框架在存储效率和推荐性能之间取得了良好的平衡。它引入了一种用于生成式推荐的“下一分布预测”公式，利用概率表示进行建模。
工业验证： 该方法已部署在某外卖广告平台中。在线 A/B 测试显示，相比于生产基准，其 CTR 相对提升了 +2.51%，CPM 提升了 +3.66%。

4. 实验结果

实验是在一个拥有数亿级项目和 2048 维 MLLM 嵌入的自有外卖广告数据集上进行的。

判别式任务（CTR 预测）：
- 8 字节： SA-RSQ（仅索引， $L=4, K=1$ ）在 8 字节基准模型中实现了最高的 AUC (64.616%)，优于 RQ-VAE 和 R-Kmeans。
- 32 & 48 字节： 当存储完整的 (Index, Prob) 元组时，SA-RSQ 一致优于稠密嵌入基准和其他量化方法。在 48 字节时，它达到了最高的 AUC (64.913%) 和 gAUC (63.013%)。
- 重构质量： 与传统方法相比，SA-RSQ 显著降低了重构损失（RL）至 0.1553（在 48 字节时），而传统方法大于 0.3，这表明其能更好地保留细粒度语义。
生成式推荐（初步研究）：
- 一项对比“下一 Token 预测”（NTP）与提出的“下一分布预测”（NDP）的研究表明，使用 SA-RSQ 稀疏概率的 NDP 在 Recall@K 和 NDCG@K 上比离散 ID 基准有进一步提升。
消融实验：
- 去除互信息正则化会导致灾难性的码本坍缩（使用率降至 24.5%）。
- 去除课程学习会导致探索不足（使用率 15.9%）。
- 去除代理协同训练会显著降低语义凝聚力，凸显了将离线压缩与协同信号对齐的重要性。

5. 意义与声明

论文声称 SA-RSQ 通过建立一个可度量且可微的语义空间，有效地弥合了极端硬压缩与高内存消耗稠密嵌入之间的鸿沟。

解耦： 它成功地将存储约束与表示维度解耦，允许系统存储紧凑的元组，同时在线上重构高维特征。
可微性： 通过避免使用直通估计器（STE），它实现了表示学习与下游目标之间真正的端到端对齐。
实用性： 该框架已在真实的工业环境中得到验证，并带来了可衡量的业务指标提升。

局限性与谦逊说明：
作者对其声明中的局限性进行了明确说明：

结果基于专有数据集，在未进行进一步评估前，不声称其对公共基准具有迁移性。
“下一分布预测”范式目前仅作为初步研究展示，而非已证实的通用范式。
论文承认由于缺乏公开数据、多次运行的不确定性以及详细的延迟统计（p99），这限制了对其系统级性能广泛声明的强度。
报告的在线 A/B 测试结果是特定配置下的峰值，由于未提供流量计数和置信区间，应将其视为部署证据而非严谨的显著性分析。