🤖 machine learning

Grounded Token Initialization for New Vocabulary in LMs for Generative Recommendation

该论文指出将新词元初始化为现有词嵌入均值会导致表示退化，并提出了“基于语 grounding 的词元初始化（GTI）”方法，通过在微调前利用配对语言监督将新词元映射到预训练嵌入空间中具有语义意义的不同位置，从而在生成式推荐任务中显著优于传统初始化策略。

原作者： Daiwei Chen, Zhoutong Fu, Chengming Jiang, Haichao Zhang, Ran Zhou, Tan Wang, Chunnan Yao, Guoyao Li, Rui Cai, Yihan Cao, Ruijie Jiang, Fedor Borisyuk, Jianqiang Shen, Jingwei Wu, Ramya Korlakai Vinay

发布于 2026-04-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Daiwei Chen, Zhoutong Fu, Chengming Jiang, Haichao Zhang, Ran Zhou, Tan Wang, Chunnan Yao, Guoyao Li, Rui Cai, Yihan Cao, Ruijie Jiang, Fedor Borisyuk, Jianqiang Shen, Jingwei Wu, Ramya Korlakai Vinayak

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲了一个关于**如何让大语言模型（LLM）学会“新单词”**的故事。

想象一下，你有一个博学多才的老教授（预训练好的大语言模型），他肚子里装着海量的知识，认识成千上万个单词。现在，你希望他学会一门新语言，或者认识一批全新的“物品代码”（比如在推荐系统里，给每一件衣服、每一个职位分配一个独特的数字代号，叫“语义 ID"）。

1. 传统做法的尴尬：把新学生都塞进同一个空房间

以前，当我们要教老教授认识这些新单词时，最常用的办法是**“平均初始化”**。

比喻：这就好比你要给 1000 个新学生（新单词）安排座位。为了省事，你把他们所有人都安排在了教室正中央的同一个座位上，而且每个人都长得一模一样（初始向量完全相同）。
后果：刚开始上课（微调训练）时，教授看着这一堆挤在一起、毫无区别的学生，根本分不清谁是谁。虽然经过一番努力（微调），教授能勉强把他们分开，但因为起点太差（大家都挤在同一个点），他们之间的“性格差异”很难被完全拉开，导致教授学得很吃力，效果也不够好。

2. 论文的核心发现：起点决定终点

作者通过仔细观察发现，这种“把所有人塞进一个点”的做法，就像把一群原本性格迥异的人强行按在同一个位置，导致他们失去了原本的独特性。哪怕后来努力训练，这种“先天不足”也很难完全弥补。

3. 提出的新方案：GTI（给新学生找个“好邻居”）

为了解决这个问题，作者提出了一个名为 GTI（Grounded Token Initialization，基于语境的令牌初始化） 的新方法。

比喻：
在正式上课（微调）之前，我们先给这 1000 个新学生安排一个**“预习课”。
在这堂预习课上，我们不教老教授新知识**（冻结模型主体），只教这些新学生怎么**“找位置”**。
- 如果新单词是“苹果”，我们就把它安排在“水果区”的“红色区域”；
- 如果新单词是“香蕉”，就把它安排在“水果区”的“黄色区域”；
- 如果新单词是“汽车”，就把它安排在“交通工具区”。
我们利用这些新单词对应的自然语言描述（比如“苹果”的描述是“一种红色的水果”），让它们在老教授熟悉的“知识地图”上，各自找到属于自己的、有逻辑的位置。
好处：
当正式上课开始时，这些新学生已经各就各位了。他们不再是挤在一起的一团乱麻，而是已经根据含义排好了队。老教授只需要稍微引导一下，就能迅速理解他们之间的关系，学习效率大大提升。

4. 实际效果：在“招聘”和“租衣服”场景中的大胜利

作者用两个实际场景测试了这个方法：

LinkedIn 的招聘系统：给成千上万个“职位”和“求职者”分配代码，看模型能不能精准匹配。
公开的租衣服数据集：给衣服分配代码，看模型能不能根据用户喜好推荐衣服。

结果非常惊人：

使用旧方法（大家挤在一起），推荐准确度提升有限。
使用新方法（GTI，大家各就各位），推荐准确度大幅提升（在某些指标上甚至提升了 20% 以上）。
更重要的是，这种“各就各位”的结构，即使在后续的高强度训练中，依然保持得很好，没有乱成一团。

总结

这篇论文告诉我们一个朴素的道理：“好的开始是成功的一半”。

在教大模型认识新事物时，不要偷懒把它们都扔在同一个起点。相反，应该利用它们原本的含义，帮它们在模型已有的知识世界里先找个好位置（Grounding）。这样，模型就能利用自己原本的智慧，更快地学会这些新东西，效果自然事半功倍。

这就好比搬家：与其把所有人的行李都堆在门口（平均初始化），不如在进屋前就帮每个人把箱子放到他们该去的房间（GTI 初始化），这样收拾起来自然又快又好。

这是一份关于论文《Grounded Token Initialization for New Vocabulary in LMs for Generative Recommendation》（面向生成式推荐的大语言模型新词表词元接地初始化）的详细技术总结。

1. 研究背景与问题定义 (Problem)

背景：
随着大语言模型（LLM）在特定领域（如生成式推荐系统）的应用，需要将大量新的可学习词元（如语义 ID，Semantic-ID, SID）扩展进预训练模型的词表中。生成式推荐的核心思想是将物品（Item）离散化为语义代码（SID），并由 LLM 自回归生成这些代码，从而替代传统的稠密向量内积检索。

核心问题：
当向预训练 LLM 添加新词元时，**如何初始化这些新词元的嵌入向量（Embeddings）**是一个关键瓶颈。

现有做法（Mean Initialization）： 业界标准做法是将所有新词元的嵌入初始化为现有词表嵌入的均值。
现有做法的缺陷： 这种初始化方法将所有新词元坍缩到嵌入空间中的同一个点（退化子空间），抹去了词元之间的区分度和语义结构。
微调的局限性： 论文通过谱分析和几何诊断发现，即使后续进行有监督微调（SFT），模型也难以从这种“退化”的初始状态中完全恢复出词元间的精细语义结构。
替代方案的不足： 另一种方法（如 LC-Rec）在微调阶段引入辅助任务来学习新词元，但这会导致目标函数不匹配（Objective Mismatch），且收益有限且不一致。

2. 核心假设与方法论 (Methodology)

核心假设：接地词元初始化假设 (Grounded Token Initialization Hypothesis)
论文提出：在微调之前，利用语言监督将新词元**“接地”（Grounding）**到预训练嵌入空间中具有语义意义的位置，能更好地让模型利用其通用知识来处理新词元领域。即，新词元应被放置在预训练嵌入空间的几何结构中，使其与相关语义区域邻近，而非随机或坍缩。

提出的方法：GTI (Grounded Token Initialization)
GTI 是一个轻量级的初始化阶段，插入在标准端到端微调之前。其具体流程如下：

冻结主干： 冻结预训练 LLM 的所有参数（包括原始词表嵌入和模型权重），仅训练新引入的词元嵌入矩阵（ $E_{new}$ ）。
配对语言监督： 构建一个包含“自然语言描述（如物品标题/描述）”与“对应新词元序列（SID）”的配对数据集。
双向训练： 训练模型执行两个方向的生成任务：
- 文本 $\to$ 词元： 根据物品描述生成对应的 SID。
- 词元 $\to$ 文本： 根据 SID 恢复物品描述。
目标函数： 最小化负对数似然（NLL），仅更新新词元的嵌入参数。
后续微调： 完成 GTI 阶段后，将学到的新词元嵌入作为初始化值，解冻所有参数进行标准的下游任务微调（SFT）。

3. 主要贡献 (Key Contributions)

诊断分析 (Diagnosis)：
- 通过谱分析（奇异值分解 SVD）和几何诊断，揭示了“均值初始化”导致新词元坍缩到低秩退化子空间，且后续微调无法完全修复这一结构损失。
- 证明了随机初始化虽然保留了区分度，但缺乏与预训练流形的语义关联。
方法论创新 (Methodology)：
- 提出了 GTI 框架，将词表扩展重新定义为“词元接地”问题。
- 设计了一个简单高效的预微调阶段，仅通过冻结主干和语言监督，为新词元赋予丰富的语义结构。
实证结果 (Finding)：
- 在多个生成式推荐基准（包括工业级招聘候选检索和公开数据集）上，GTI 显著优于均值初始化（Vanilla SFT）和现有的多任务辅助方法（LC-Rec）。
- 实验证明，GTI 初始化产生的嵌入结构在微调后依然保持，验证了初始化质量是词汇扩展的关键瓶颈。

4. 实验结果 (Results)

实验设置：

基座模型： Qwen3-0.6B。
数据集：
1. 工业级数据集： 某全球领先招聘平台的候选人与职位匹配数据（Candidate Retrieval）。
2. 公开数据集： Vibrent Clothes Rental（衣物租赁数据）。
对比基线：
- Vanilla SFT： 均值初始化 + 标准微调。
- LC-Rec： 均值初始化 + 微调期间加入辅助语言任务。
- GTI (Ours)： 接地初始化 + 标准微调。

关键数据表现：

工业级数据集（招聘场景）：
- 在 Precision@5 (Good Match) 指标上，GTI 相比基线提升了 +21.63%，而 LC-Rec 仅提升 +6.38%。GTI 带来的额外增益（ $\Delta$ ）高达 15.25%。
- 在 NDCG@5 上，GTI 提升 17.88%，LC-Rec 提升 6.94%。
- 结论：GTI 在不同候选池大小（Pool Size）下均表现出鲁棒的性能提升。
公开数据集（衣物租赁）：
- 在 Recall@20 上，GTI 相比基线提升 26.02%，LC-Rec 提升 13.41%。
- 即使在微调阶段不加入辅助任务（仅用 GTI 初始化 + 标准 SFT），GTI 依然取得了最佳性能，证明了接地初始化本身的有效性。

深入分析 (Analysis)：

几何结构保持： 图 5 和图 6 显示，GTI 初始化后的词元在微调后仍保留了清晰的块状层次结构（Blockwise Hierarchical Structure），而均值初始化导致结构扁平化，随机初始化导致噪声。
谱分析： GTI 初始化后的嵌入矩阵具有更慢的奇异值衰减和更高的有效秩（Effective Rank），表明其保留了更丰富的特征空间，避免了维度坍缩。
表示相似性分析 (RSA)： GTI 学习到的嵌入与 RQ-VAE 生成的真值语义结构具有最高的相关性（Pearson/Spearman），证明其更好地保留了原始语义几何。

5. 意义与影响 (Significance)

解决关键瓶颈： 论文指出了词汇扩展中常被忽视的“初始化瓶颈”，证明了仅仅依靠微调无法弥补初始化的语义缺失。
通用性潜力： GTI 方法不依赖于特定的下游任务目标，仅利用语言监督进行接地，因此具有推广到其他需要扩展词表的 LLM 应用场景（如工具调用、视觉概念 grounding 等）的潜力。
工业价值： 在工业级推荐系统中，GTI 显著提升了检索准确率，为生成式推荐（Generative Recommendation）的落地提供了更优的初始化策略，降低了训练成本并提高了模型上限。
理论洞察： 将“维度坍缩”（Dimensional Collapse）的概念引入到词表扩展领域，为理解预训练模型与新词元的交互提供了新的几何视角。

总结：
该论文通过严谨的几何与谱分析，揭示了传统均值初始化的缺陷，并提出了一种简单但强大的“接地初始化”策略（GTI）。该方法通过在微调前利用语言监督为新词元赋予语义结构，显著提升了生成式推荐系统的性能，为 LLM 的词汇扩展提供了新的范式。