💬 NLP

The Role of Vocabularies in Learning Sparse Representations for Ranking

该论文通过对比实验发现，在稀疏检索模型中，输出词汇表的大小及其预训练权重（如 ESPLADE 方法）不仅决定了查询与文档的表示规范，还能在保持检索成本与 BM25 相当的前提下，显著提升剪枝后的检索效果。

原作者： Hiun Kim, Tae Kwan Lee, Taeryun Won

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Hiun Kim, Tae Kwan Lee, Taeryun Won

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文主要研究了如何让搜索引擎在“快”和“准”之间找到更好的平衡点。

为了让你更容易理解，我们可以把搜索引擎想象成一个巨大的图书馆，把“搜索”想象成找书的过程。

1. 背景：图书馆的两种找书方式

在这个图书馆里，以前主要有两种找书的方法：

方法 A：关键词匹配（像 BM25 算法）
- 比喻：就像你拿着书脊上的标签去找。如果你搜“苹果”，图书管理员只找标签上写着“苹果”的书。
- 优点：非常快，因为标签是固定的。
- 缺点：太死板。如果你搜“苹果手机”，但书里写的是"iPhone"，管理员就找不到了（这就是“词汇不匹配”问题）。
方法 B：智能理解（像传统的神经网络/稠密检索）
- 比喻：你告诉管理员“我想找关于智能手机的书”，管理员会去理解你的意思，然后去书架深处翻找。
- 优点：很聪明，能理解意思。
- 缺点：太慢了！因为管理员需要把每本书都读一遍再对比，图书馆太大时，这根本来不及。

SPLADE（本文的主角） 是一种聪明的中间派。它试图让管理员既像“关键词匹配”那样快（利用倒排索引，就像查标签），又像“智能理解”那样准（利用 AI 学习词汇的深层含义）。

2. 核心问题：标签不够用怎么办？

SPLADE 的工作原理是：把“苹果”这个词，转换成一系列扩展的标签（比如“水果”、“手机”、“红色”、“乔布斯”等）。

原来的 SPLADE：它的标签本（词表）只有 32,000 个常用词。
- 比喻：就像一本只有 3 万字的字典。虽然够用，但为了表达复杂的意思，它不得不把很多词“打包”在一起（比如把"apple"拆成"app"和"##le"）。这导致标签太粗糙，找书时容易把不相关的书也拉进来，或者为了找全所有相关书，需要翻很多很多标签，速度变慢了。
新的尝试（ESPLADE）：作者把标签本扩大到了 100,000 个词，甚至更多。
- 比喻：现在我们有了一本 10 万字的超级字典！里面的词更细、更精准。

3. 实验：两个新管理员的较量

作者训练了两个拥有"10 万字超级字典”的新管理员，看看谁更厉害：

管理员 A（随机初始化）：给他一本 10 万字的字典，但他没读过书，里面的词义是随机分配的。他就像个刚入职、完全不懂业务的实习生，拿着大字典瞎猜。
管理员 B（ESPLADE 预训练）：给他一本 10 万字的字典，并且让他先读了很多书（预训练），知道这些词大概是什么意思。他是个有经验的专家。

关键操作：剪枝（Pruning）
为了测试速度，作者给管理员设了个规矩：“你每次找书，最多只能看 5 个或 10 个最相关的标签，剩下的必须扔掉。”

比喻：这就像强迫管理员在 1 秒钟内，只能从 10 万本书里挑出最关键的几本，不能全翻。

4. 实验结果：大字典 + 经验 = 赢家

结果非常有趣：

如果不限制标签数量（不剪枝）：
- 原来的小字典（32K）反而表现更好。因为标签少，翻起来快，虽然不够细，但够用。
- 大字典（100K）虽然词多，但如果不加限制，翻找成本太高，反而慢。
如果限制标签数量（剪枝，模拟真实高速场景）：
- 原来的小字典（32K）：惨败！因为字典太小，强行只选几个词，根本选不出最精准的那几个，找到的书要么不相关，要么漏掉了。
- 随机大字典（100K 随机）：表现不错！虽然管理员没读过书，但因为字典够大，里面总有一些词能碰巧对上。这证明了**“字典的大小”本身就是一种能力**，给了模型更多的选择空间。
- 经验大字典（100K 预训练）：大获全胜！ 既快又准。因为字典大（选择多），加上管理员读过书（知道哪个词最准），在只能选几个词的情况下，他能精准地挑出最核心的标签。

5. 核心结论：字典不仅仅是字典

这篇论文得出了一个反直觉的结论：

在搜索引擎的 AI 模型里，词表（字典）的大小和预训练，不仅仅是为了“理解语言”（像人类学单词那样）。

比喻：在搜索引擎里，这些“词”更像是一种**“信号发射器”**。
- 字典越大，就像发射器的频道越多，模型就能把“查询”和“文档”之间的连接做得更精细、更稀疏（不杂乱）。
- 预训练，就像是给这些发射器调好了频率，让它们一开始就能发对信号，而不是乱发。

一句话总结：
如果你想让搜索引擎在极快的速度下还能精准找书，你需要一个巨大的、经过预训练的“超级字典”。这个字典里的词，不再仅仅是为了让人读懂，而是为了帮 AI 在海量数据中，用最少的时间、最精准的信号，把用户和问题完美匹配起来。

这对我们意味着什么？
未来的搜索引擎会更聪明、更快速，因为它不再依赖死板的关键词，而是学会了用更丰富的“信号”来理解我们的意图，哪怕我们只给它一点点时间。

这是一份关于论文《The Role of Vocabularies in Learning Sparse Representations for Ranking》（词汇表在学习排序稀疏表示中的作用）的详细技术总结。

1. 研究背景与问题 (Problem)

背景：

学习稀疏检索 (LSR)： 如 SPLADE 模型，利用 BERT 的掩码语言建模 (MLM) 输出生成稀疏向量，结合倒排索引实现高效的语义检索。它试图在保持神经匹配效果的同时，利用倒排索引的高效性。
现有挑战：
1. 计算成本： 相比传统的 BM25，标准 SPLADE 模型在检索时的计算成本（FLOPS）仍然较高。这主要是因为标准 SPLADE 使用 Wordpiece 子词（粒度较粗），导致激活项的多样性较低，倒排索引的 Posting List（ postings list）较长。
2. 词汇表的作用未被充分研究： 虽然已有工作（如 ESPLADE）尝试扩展词汇表以学习自定义词汇，但关于词汇表的大小和预训练权重如何具体影响稀疏表示的表达能力、检索效率（FLOPS）和效果（MRR/Recall），尚缺乏深入的系统性研究。
3. 剪枝与效率的平衡： 为了平衡效率，通常需要对查询 (Q) 和文档 (D) 的稀疏向量进行剪枝（保留 Top-k 高分项）。然而，不同大小和初始化方式的词汇表在剪枝后的表现差异尚不明确。

核心问题：
词汇表的大小（Size）和初始化方式（预训练权重 vs 随机初始化）在 LSR 模型中究竟扮演什么角色？它们如何影响模型在严格剪枝（低 FLOPS）场景下的检索性能？

2. 方法论 (Methodology)

作者构建并对比了三种不同配置的 BERT 模型，均基于 100K 大小的输出词汇表（除了作为基线的 32K SPLADE）：

模型构建与初始化：
- ESPLADE-100K： 使用 ESPLADE 方法预训练。基于原始 BERT 的 MLM 头，通过子词分词重组，构建了一个 100K 大小的自定义词汇表，并初始化了相应的权重和偏置。
- Rand-100K： 同样构建 100K 大小的词汇表，但 MLM 头的权重是随机初始化的。
- Splade-32K (Baseline)： 标准的 32K 词汇表 SPLADE 模型。
训练策略：
- 预训练 (Pretraining)： 使用大规模语料（新闻、书籍等）对 EMLM（扩展掩码语言模型）进行预训练，目标是让模型适应新的 100K 词汇分布。
- 微调 (Finetuning)： 使用真实的搜索点击日志（Query-Document pairs）进行微调。
  - 损失函数： 使用 Batch 内负采样损失 (In-batch negative loss) 作为排序目标；使用联合 FLOPS 正则化损失 (Joint FLOPS regularization) 来优化查询和文档表示的稀疏性和效率。
- 静态剪枝 (Static Pruning)： 在推理阶段，基于微调后的 MLM Logit 分数，对查询和文档的稀疏表示进行剪枝，仅保留 Top-k 高分项（ $q_k$ 和 $d_k$ ），以进一步降低计算成本。
评估指标：
- 有效性： MRR@10, Recall@10, Recall@100。
- 效率 (FLOPS)： 定义了一个近似指标，基于倒排索引中 Posting List 的长度总和，模拟检索时的计算开销。

3. 关键贡献 (Key Contributions)

揭示了词汇表大小作为“表示容量”的核心作用：
研究发现，在 LSR 任务中，词汇表的大小不仅仅是语言单位的集合，更定义了模型在稀疏空间中的表示容量 (Representational Capacity)。更大的词汇表（100K）允许模型构建更细粒度的决策边界，即使在随机初始化的情况下，也能比小词汇表（32K）模型在剪枝场景下提供更好的区分度。
证明了预训练权重对效率与效果平衡的重要性：
虽然随机初始化的 100K 模型（Rand-100K）比 32K 模型更有效，但预训练的 ESPLADE-100K 模型在保持相同检索成本（FLOPS）的情况下，显著优于随机初始化模型。这表明预训练权重为微调提供了更好的初始近似，使模型能更有效地利用大词汇表的容量。
重新定义了词汇表在检索中的角色：
论文提出，经过排序损失和 FLOPS 正则化微调后，词汇表中的项（无论是 Wordpiece 还是随机项）逐渐转化为**“用于排序的潜在项 (Latent Terms for Ranking)"**。它们不再单纯代表语义或词汇，而是作为倒排索引中的“坐标”，用于定义查询和文档在向量空间中的交互规范。
验证了剪枝策略下的性能差异：
在严格剪枝（低 FLOPS，接近 BM25 成本）的场景下，大词汇表模型（尤其是 ESPLADE）表现出更强的鲁棒性。小词汇表模型在剪枝后性能急剧下降，因为其倒排索引的 Posting List 较长，剪枝会导致大量潜在相关文档被跳过。

4. 实验结果 (Results)

未剪枝场景 (Q, D Not Pruned)：
- 32K 模型 (Splade-32K) 在 MRR 和 Recall 上略优于 100K 模型，但其 FLOPS（计算成本）几乎是 100K 模型的两倍。
- 100K 模型利用更丰富的词汇空间，生成了更稀疏的表示，导致 Posting List 更短，从而显著降低了计算成本。
剪枝场景 (Q, D Pruned)：
- 低 FLOPS 设置 (接近 0.002x BM25)：
  - ESPLADE-100K 表现最佳：在保持极低 FLOPS 的同时，MRR 和 Recall 显著优于 32K 模型和 Rand-100K 模型。
  - Rand-100K 优于 Splade-32K：证明了大词汇表本身的维度优势（即使随机初始化）也能提供比小词汇表更好的区分能力。
  - Splade-32K 性能大幅下降：由于词汇表小，剪枝导致大量信息丢失，且其倒排索引结构在剪枝后效率低下。
- 剪枝对 ESPLADE 的增益： 有趣的是，对 ESPLADE-100K 进行适度剪枝（如 $q_k=7, d_k=20$ ）甚至略微提升了效果，说明全量表示中可能包含噪声，而 Top-k 高分项更能捕捉核心语义。
统计特征：
- 大词汇表模型（100K）的文档平均激活项数 ( $L_0 d$ ) 虽然比 32K 模型多，但其 Posting List 的平均长度和方差却更小（见表 3），这意味着检索时遍历的文档更少，效率更高。

5. 意义与结论 (Significance & Conclusion)

理论意义： 论文挑战了传统 NLP 中仅将词汇表视为语言单位的观点。在 LSR 中，词汇表是检索引擎中交互规范的配置器。词汇表的大小和初始化权重直接决定了模型在稀疏空间中的表示能力。
实践指导：
1. 扩大词汇表是提升 LSR 效率的关键： 对于需要严格剪枝以控制成本的工业级检索系统，使用更大尺寸（如 100K）的词汇表比单纯优化小词汇表模型更有效。
2. 预训练不可或缺： 虽然大词汇表本身有效，但结合基于扩展词汇的预训练（ESPLADE）能进一步挖掘大词汇表的潜力，在同等成本下获得最佳效果。
3. 剪枝策略优化： 针对大词汇表模型，适当的静态剪枝不仅能降低成本，还能去除噪声，提升检索精度。

总结：
这项工作表明，通过配置更大的输出词汇表并配合预训练，可以显著优化稀疏检索模型。词汇表在 LSR 中不仅是语义的载体，更是构建高效倒排索引结构和定义查询 - 文档交互空间的基础设施。这一发现为未来设计更高效的神经检索系统提供了新的优化方向。