🤖 AI

Latent Terms: Dense Retrievers Contain Trivially Extractable BM25-ready Zipfian Vocabularies

本文介绍了“潜在术语”方法，该方法证明稠密检索模型内在学习到的表示可通过稀疏自编码器被轻易分解为符合齐普夫分布的词汇表，从而适用于 BM25 评分，进而无需额外监督或扩展目标即可实现高性能的稀疏检索。

原作者： Benjamin Clavié, Sean Lee, Aamir Shakir, Makoto P. Kato

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Benjamin Clavié, Sean Lee, Aamir Shakir, Makoto P. Kato

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位非常聪明的图书管理员（稠密检索器），他读过数百万本书。当你提出问题时，这位图书管理员不仅仅查找关键词；他理解你问题的“氛围”和“含义”，并找出那些“感觉”正确的书籍。他通过将你的问题和书籍转换为单一、复杂的数字代码（向量），并检查这些代码之间的接近程度来实现这一点。

然而，这篇论文认为，这位图书管理员实际上隐藏着一项秘密超能力。在他的“大脑”中，他将所有知识组织成了一个巨大的、隐藏的“概念标签”列表（潜在词汇）。问题在于，图书管理员只被训练来向你展示“氛围评分”（点积），而不是标签列表。

以下是该论文的方法（称为潜在术语）如何解锁该隐藏列表：

1. “翻译器”（稀疏自编码器）

作者构建了一种名为**稀疏自编码器（SAE）**的特殊工具。将其想象为一个翻译器或解码环。

他们提取图书管理员内部的“思想”（复杂的数字代码），并将其输入到这个解码器中。
解码器并不试图猜测答案；它只是试图重构图书管理员的思想。
在此过程中，它迫使图书管理员的大脑将这些复杂的思想分解为简单、独特的“标签”或“特征”。

2. “齐普夫”惊喜

当解码器提取出这些标签时，神奇的事情发生了。这些标签的频率遵循人类语言中发现的自然模式（称为齐普夫定律）。

类比：想象一本词典，其中少数单词（如“的”或“和”）频繁出现，许多单词出现频率适中，而大量单词出现频率极低。这就是人类语言的工作方式。
论文发现，解码器从 AI“大脑”中提取的“标签”自然地形成了完全相同的模式。它们不是随机噪声；它们像真正的词典一样具有结构。

3. “老派”记分卡（BM25）

由于这些隐藏标签看起来非常像真实的单词，作者意识到他们可以使用一种非常古老、简单且可靠的评分系统，即BM25（通常仅计算单词出现的次数）来对结果进行排名。

转折：他们并没有训练 AI 使用 BM25。甚至在解码器的训练过程中，他们甚至没有向 AI 展示任何搜索问题。他们只是让解码器在随机文本上完成其工作，然后将生成的标签“插入”到老派的 BM25 系统中。
结果：这种“即插即用”的方法效果惊人。在许多情况下，它找到的答案比图书管理员原始的“氛围评分”方法更好。

为什么这很重要（"LIMIT"测试）

该论文在名为LIMIT的特定挑战上对此进行了测试。

场景：想象一个游戏，图书管理员被要求根据非常具体、棘手的细节找到一本书，这些细节不依赖于“氛围”，而是依赖于确切、罕见的信息。
失败：图书管理员原始的“氛围评分”方法在此完全失败（得分接近零）。这就像试图通过猜测针的颜色来在干草堆中寻找针。
成功：使用隐藏标签和老派记分卡的潜在术语方法几乎完美地找到了针。这表明图书管理员从一开始就“知道”答案；只是“氛围评分”不是访问该特定知识点的正确方式。

“混合”性质

当作者仔细查看解码器发现的标签时，他们意识到它们是两种事物的混合：

词汇性：像特定单词一样起作用的标签（例如，“桥”、“正常”）。
语义性：像概念一样起作用的标签（例如，“买/购买”、“古代/考古学”）。

这就像解码器将图书管理员复杂的理解转化为一个关键词列表，该列表既涵盖了确切的单词，也涵盖了更深层的含义。

总结

该论文声称，稠密检索器（聪明、现代的图书管理员）包含一个隐藏的、结构化的“标签”词汇表，这些标签天然适合稀疏检索（老派的、基于关键词的方法）。通过使用简单的解码器工具（SAE）提取这些标签，你可以将现代 AI 转变为强大的关键词搜索引擎，而无需重新训练它或教它如何搜索。AI 已经学会了结构；我们只需要正确的钥匙来解锁它。

技术摘要：潜在术语：密集检索器包含可 trivially 提取的、适用于 BM25 的齐普夫词汇表

问题陈述

神经信息检索模型通常根据其推理时暴露的特定表示形式以及用于评估它们的评分算子进行分类。密集单向量检索器将查询和文档编码为固定大小的向量，并通过点积或余弦相似度进行评分；而学习到的稀疏检索器（例如 SPLADE）则显式学习词汇权重以实现高效索引。一个普遍假设是，模型的默认评分接口捕捉了其检索相关结构的全部。然而，最近的研究表明，单向量检索器可能在其默认接口之外编码了有用的结构。

本研究解决的核心问题是：密集检索器（即使那些未被训练以产生稀疏表示的检索器）是否包含潜在的、可索引的稀疏结构，且这些结构可以在没有检索特定监督的情况下被恢复？具体而言，作者研究了冻结的密集检索器的内部表示是否可以被分解为一种“准词汇”词汇表，使其适用于经典的稀疏检索评分（BM25），而无需学习扩展目标、硬负样本或稀疏性正则化。

方法论：潜在术语

作者提出了潜在术语（Latent Terms），这是一种利用稀疏自编码器（SAE）将冻结密集检索器的令牌级激活转换为稀疏的、可被 BM25 搜索的表示的方法。该过程包含三个主要阶段：

在冻结检索器上训练 SAE：
- 冻结一个密集检索器 $R$ （单向量或多向量）。
- 在检索器 $R$ 处理未标记网络文本（具体来自 FineWeb-Edu）时产生的令牌级激活（ $h_i$ ）上训练一个 SAE。
- 关键在于，SAE 仅基于标准的重构目标（ $L_{SAE} = \|h - \hat{h}\|^2_2 + \lambda\|z\|_1$ ）进行训练，没有任何检索监督、任何领域内数据或任何稀疏检索训练信号。
- SAE 将密集激活映射到更高维的稀疏代码（ $z \in \mathbb{R}^{m}_{\geq 0}$ ），具有固定的词汇表大小（32,768）和 top- $k$ 稀疏性约束（每个令牌 16 个活跃特征）。
构建潜在稀疏表示：
- 在索引和查询时，训练好的 SAE 编码器将来自冻结检索器的令牌级激活投影到潜在词汇表中。
- 通过**求和池化（sum-pooling）**聚合每个令牌的稀疏代码，为每个输入创建一个单一的稀疏向量。
- 对池化后的向量应用逐元素激活变换 $\phi$ （通常为平方根变换， $\phi(u) = \sqrt{u}$ ）。这种变换是必要的，因为 SAE 激活代表信号幅度而非简单的词频计数，这与自然语言中的词频不同。
BM25 评分：
- 生成的稀疏向量被视为词汇权重。特征索引充当词汇术语，变换后的幅度充当词频。
- 直接将这些潜在特征应用于Okapi BM25公式。该方法通过将有实数值的激活幅度视为频率项 $f(t, D)$ 来调整 BM25，同时保留标准的逆文档频率（IDF）和文档长度归一化机制。

主要贡献

本文做出了三项主要贡献：

引入潜在术语： 一种简单、即插即用的方法，利用仅通过重构训练的 SAE 将冻结检索器的激活转换为可被 BM25 搜索的稀疏表示，无需检索特定的训练数据或目标。
展示无监督稀疏检索： 证明了这些潜在词汇表支持强大的稀疏检索性能，且无需稀疏检索监督，在特定情境下优于基础模型的本地评分。
潜在结构分析： 分析表明，生成的词汇表表现出类似术语的集合统计特性（近似齐普夫分布），并捕捉了词汇、窄语义和广主题单位的混合，有效地弥合了密集检索与稀疏检索之间的差距。

实验结果

该方法在三个密集检索器骨干网络上进行了评估：Contriever（单向量）、Nomic-embed-text-v1.5（单向量）和GTE-ModernColBERT（多向量）。

BEIR 基准测试： 潜在术语从所有冻结骨干网络中一致地提取出了强大的稀疏检索性能。
- 它达到或超过了可比的 SPLADE 变体（例如，潜在术语 + Nomic 优于 SPLADE-v3）。
- 它显著优于基础模型的本地单向量余弦相似度评分，特别是对于 Contriever。
- 在特定领域任务（FiQA, TREC-Covid）上，潜在术语显著优于 SPLADE 变体。
LIMIT 基准测试： 旨在揭示单向量检索的失败，LIMIT 显示单向量模型会崩溃（Recall@20 < 10%）。潜在术语恢复了大量性能，其 Recall@20 比 Contriever 的本地设置高出 25 倍以上，这表明潜在结构捕捉到了单向量评分机制无法获取的信号。
与 MaxSim 的比较： 虽然潜在术语优于单向量基线，但它通常落后于多向量 GTE-ModernColBERT 的本地 MaxSim 评分，尽管它在长尾召回率（Recall@1000）方面表现优于密集模型。

意义与主张

作者声称，他们的结果提供了关于神经检索模型的不同视角：

隐藏的表达性： 密集检索器包含比其默认评分函数所暴露的更具表达力和可索引性的结构。密集检索器的“黑盒”并未被其本地推理接口充分利用。
评分与表示的解耦： 研究表明，评分算子（例如点积）并非访问模型检索知识的唯一途径。在检索训练期间学到的内部表示足够丰富，可以被分解为适合经典信息检索方法（如 BM25）的稀疏特征。
自然统计特性： SAE 成功恢复了一个具有齐普夫集合统计特性的词汇表，这是 BM25 有效性的关键属性，尽管 SAE 仅基于重构进行训练且没有检索监督。
混合性质： 定性分析揭示，潜在术语捕捉了词汇匹配和语义概念的“混合”体，这可能解释了该方法为何能在多样化的数据集上表现良好。

本文结论指出，这些发现鼓励未来的研究将评分算子的研究与检索表示学习解耦，以更好地理解检索器表达性的极限。作者指出了局限性，包括专注于英语、使用的特定 SAE 变体，以及稀疏性和评分机制进一步优化的潜力。