🤖 AI

Understanding Generative Recommendation with Semantic IDs from a Model-scaling View

本文指出语义 ID 的有限容量是基于 SID 的生成式推荐模型扩展过程中的一个根本瓶颈，并证明了直接利用大语言模型作为推荐器具有更优越的扩展特性和性能提升。

原作者： Jingzhe Liu, Liam Collins, Jiliang Tang, Tong Zhao, Neil Shah, Clark Mingxuan Ju

发布于 2026-06-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Jingzhe Liu, Liam Collins, Jiliang Tang, Tong Zhao, Neil Shah, Clark Mingxuan Ju

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个超级聪明的机器人成为一名顶级的购物助手。你希望它能观察你以前买过的东西，并预测你下一步会买什么。这篇论文介绍了两种教导这个机器人的方法，以及随着你提供更多“脑力”（计算资源）时，它们表现如何提升。

研究人员发现，其中一种广受欢迎的方法很快就会撞上“玻璃天花板”，而另一种方法则会随着你喂给它的信息越来越多而变得越来越聪明。

以下是使用简单类比对他们发现的详细解读：

两位老师：“身份证” vs. “讲故事的人”

论文对比了两种让机器人了解产品（比如一本书、一个玩具或一双鞋）的方法。

1. “身份证”法 (基于 SID 的 GR)

工作原理： 想象你有一个拥有数百万本书的图书馆。你并不让机器人阅读标题或摘要，而是强迫它只学习每个书本的一个微小的、4 位数的 ID 数字（例如：“书籍 #4921”）。
过程： 首先，一位聪明的老师（大语言模型）阅读这本书并写下一个秘密代码（ID）。然后，机器人根据你的历史记录尝试预测下一个 ID 数字。
问题： 论文称这种方法为语义 ID (Semantic ID, SID) 方法。研究人员发现，无论你如何升级“聪明的老师”或“ID 生成器”，机器人都会撞上一堵墙。这就像试图用一个简单的数字来描述一部复杂的电影。你会丢失所有的细节。即使你把机器人的大脑扩大 100 倍，它也无法学到更多，因为“身份证”本身太简单了，无法承载所有的信息。

2. “讲故事的人”法 (基于文本的 GR)

工作原理： 你不再使用秘密代码，而是让机器人直接阅读产品的实际标题和描述。
过程： 你说：“你买了《哈利·波特》，然后买了《霍比特人》……”机器人预测：“你将会购买《指环王》。”它直接阅读文字。
结果： 这种方法就像是给了机器人一张借书证，并让它去读那些书。随着你给机器人更大的大脑（更多的计算能力），它在理解故事和预测你下一步需求方面会变得显著更加聪明。它不会撞墙；它会持续进步。

重大发现：“瓶颈”

研究人员测试了从小型（4400 万个“神经元”）到庞大（140 亿个“神经元”）规模的机器人。

“身份证”机器人： 当他们把机器人做大时，它起初会变得稍微聪明一点，但随后就停止了进步。这就像是用消防水管往杯子里注水；杯子（ID 系统）太小了，装不下所有的水（知识）。“身份证”本身就是瓶颈。它们太简单了，无法携带丰富的含义。
“讲故事的人”机器人： 当他们把这个机器人做大时，它变得越来越聪明。它不仅学会了人们购买行为的模式（协同过滤），还学会了物品本身的实际含义（语义信息）。

挑战一个普遍观点

在科技界曾有一个流行的观点，认为“大型语言机器人不擅长理解购物习惯”。人们认为它们过于关注语言，而无法学习“买了 X 的人也买了 Y”这种数学逻辑。

这篇论文证明了这是错误的。 他们展示了随着“讲故事的人”机器人变得越来越大，它实际上在学习这些购物习惯方面变得更好了。它不需要一个单独的、特殊的数学模块来学习这些；当规模扩大时，大容量的大脑会自然而然地学会这一切。

权衡：速度 vs. 力量

论文还研究了运行这些机器人的成本：

“身份证”机器人： 它运行起来非常快且便宜。它只需要预测几个数字。如果你预算有限或者需要即时响应，它是赢家。
“讲故事的人”机器人： 它运行起来更慢、更贵，因为它必须阅读和编写完整的句子。然而，如果你有足够的预算并想要绝对的最佳性能，它显然是赢家。在规模化应用时，它的准确度可以比 ID 方法高出多达 20%。

核心结论

如果你想构建下一代推荐系统（例如针对亚马逊或 TikTok），论文建议，**使用原始文本（“讲故事的人”）**是构建能够不断进化的“基础模型”的前进之路。

“身份证”法之所以正撞向极限，是因为它丢弃了太多的信息。为了充分利用大规模 AI 模型，我们需要让它们阅读实际的文字，而不是仅仅观察秘密代码。

技术总结：从模型缩放视角理解基于语义 ID 的生成式推荐

问题陈述

生成式推荐（Generative Recommendation, GR）已成为一种变革性的范式，旨在将丰富的物品语义与协同过滤（Collaborative Filtering, CF）信号相统一。一种主流的方法是基于语义 ID（SID）的 GR，它利用从模态编码器（如 LLM 或 VLM）嵌入中量化得到的离散代码（即语义 ID）来在自回归序列建模框架下表示物品。虽然其他领域的生成式模型展现出了成熟的缩放法则（即性能随模型规模扩大而可预测地提升），但本文研究了基于 SID 的 GR 是否也遵循类似的趋势。作者指出一个关键的空白点：目前尚不清楚扩展 SID-based GR 的各个组件（模态编码器、量化分词器以及推荐器主干网络）是否能带来比例化的性能增益，或者是否存在阻碍有效缩放的基础性瓶颈。

研究方法

作者针对两种不同的 GR 范式——基于 SID 的 GR 和 基于文本的 GR，进行了全面的经验分析，以研究模型的缩放行为。

1. 理论框架

本研究基于风险分解（risk decomposition）构建了一个 GR 缩放法则方程，将协同过滤（CF）和语义信息（SI）视为两种不同的模态。总误差（ $L$ ）被建模为分配给 SI 学习（ $N_{SI}$ ）和 CF 学习（ $N_{CF}$ ）的参数量函数：
$L(N_{SI}, N_{CF}) = E + \frac{A}{N_{SI}^a} + \frac{B}{N_{CF}^b}$
其中 $E$ 是可达到的最小误差， $A, B, a, b$ 是通过经验确定的参数。使用的指标是缺失率（$MR@k = 1 - Recall@k$）。

2. 实验设置

数据集： Amazon Review 数据集（Beauty, Sports and Outdoors, Toys and Games）。训练和评估的数据量保持固定，以隔离模型缩放的影响。
基于 SID 的 GR： 使用三组件流水线：
1. 模态编码器： 使用冻结的 LLM（如 Flan-T5 系列）将物品文本编码为嵌入。
2. 量化分词器： 使用 RQ-VAE 将嵌入量化为离散的 SIDs。
3. 推荐器（RS）： 一个序列模型（Transformer 或 LLM）用于预测下一个 SID。
- 缩放变量： 作者分别对 RS 的规模（ $N_{RS}$ ）、LLM 编码器的规模（ $N_{LLM}$ ）以及分词器配置（码本数量或大小， $N_{QT}$ ）进行独立缩放。
基于文本的 GR： 一种 LLM 直接处理包含用户交互历史的原始文本提示，并预测下一个物品标题的范式。
- 缩放变量： 作者缩放了冻结的 LLM 主干（ $N_{LLM}$ ）和可训练的 LoRA 权重（ $N_{LoRA}$ ）。
消融实验： 为了识别瓶颈，作者向 RS 模块中注入外部 CF 嵌入（来自 SASRec）和原始 LLM 嵌入，以测试 SID 是否为限制因素。

核心贡献与发现

1. 基于 SID 的 GR 存在严重的缩放瓶颈

研究表明，基于 SID 的 GR 并不遵循标准的缩放法则。

推荐器缩放（ $N_{RS}$ ）： 性能迅速饱和。对于基于 Transformer 的 RS，当参数超过 $\sim 10^7$ 时，增益便停止了。基于 LLM 的 RS 仅显示出微小的增益，且表现逊于 Transformer。
编码器缩放（ $N_{LLM}$ ）： 增加冻结 LLM 编码器的规模（从 77M 到 11B 参数）几乎没有带来性能提升。小规模编码器生成的 SID 质量似乎已经足够，更大的编码器并不会产生更具信息量的 SID。
分词器缩放（ $N_{QT}$ ）： 扩大量化分词器（增加码本数量或大小）会导致性能下降或停滞。更长的 SID 所带来的复杂度增加超过了其在信息密度上的边际收益。
根本原因： 通过消融实验，将原始 LLM 嵌入直接注入 RS 模块（绕过 SIDs）后，性能得到了显著提升，尤其是在模型规模较大时。这证实了离散量化过程（SIDs）是根本性的瓶颈，它丢弃了语义信息，导致下游模型无法充分利用编码器的全部容量。

2. 基于文本的 GR 展示了卓越的缩放特性

与基于 SID 的 GR 不同，基于文本的 GR 范式展现出了持续的缩放行为。

持续改进： 当模型规模从 44M 扩展到 14B 参数时，性能（Recall@5）稳步提升，未出现饱和迹象。
双重能力： 本研究挑战了“LLM 难以捕捉 CF 信号”的普遍观点。通过拟合缩放方程，作者展示了可训练的 LoRA 权重和冻结的 LLM 主干均能同时贡献于学习语义信息（ $\gamma > 0$ ）和协同过滤信号（ $\beta > 0$ ）。
性能差距： 在使用相同的训练数据进行缩放时，基于文本的 GR 比基于 SID 的 GR 所能达到的最佳性能高出多达 20%。

3. 效率与冷启动分析

效率： 基于 SID 的 GR 在推理阶段更具计算效率（生成短的 ID 序列而非完整的文本标题），且在训练期间收敛更快。当计算预算允许且以性能为首要目标时，基于文本的 GR 更具优势。
冷启动： 基于文本的 GR 在冷启动物品（训练中未见过的物品）上始终优于基于 SID 的 GR，由于其直接依赖于语义文本而非离散 ID，展现出了更强的对新物品的迁移能力。

意义与主张

本文将 基于文本的 GR 定位为构建推荐系统基础模型（Foundation Models）的一条极具前景的路径，认为当前对语义 ID（SIDs）的依赖限制了模型的缩放极限。

重新审视范式： 该工作表明，通过 SIDs 实现语义与 CF “统一”的方式可能是次优的。相反，通过直接利用 LLM 的丰富语义进行文本生成，可以实现更好的缩放法则。
LLM 能力： 它提供了经验证据，证明 LLM 随着规模的扩大，可以有效地建模协同过滤信号，这反驳了 LLM 纯粹是语义模型的观点。
适度的声明： 作者澄清，本研究并非声称基于文本的 GR 在所有场景下都具有普适性的优越性（例如在对效率要求极高的资源受限环境中，基于 SID 的 GR 的效率至关重要）。其目标是提供对当前范式缩放极限的细致理解，从而指导未来推荐基础模型的发展。

研究结论指出，克服 SID 量化过程中固有的语义信息损失，是释放 LLM 在生成式推荐领域全部潜力的关键。