Enhancing Lexicon-Based Text Embeddings with Large Language Models

该论文提出了首个利用大语言模型构建的基于词表的文本嵌入方法 LENS，通过聚类令牌词表解决冗余问题并优化注意力与池化策略，在保持紧凑维度的同时实现了超越传统稠密嵌入的性能，且无需特殊目标即可高效降维，与稠密嵌入结合后更在检索任务上达到最先进水平。

要点

这篇论文介绍了一种名为 LENS 的新方法，它利用目前最火的大语言模型（LLM）来生成“文本向量”（Text Embeddings）。

为了让你轻松理解，我们可以把这项技术想象成是在给大语言模型“戴上一副特制的眼镜”，让它能更清晰、更精准地理解文字的含义。

以下是用通俗语言和比喻对这篇论文的解读：

1. 背景：大模型虽然聪明，但“视力”有点模糊

• 什么是文本嵌入？
  想象一下，计算机不懂人类语言，它只认识数字。为了把“苹果”和“香蕉”这两个词放进计算机里，我们需要把它们变成一串数字（向量）。这串数字就像它们的“身份证”，如果两个词意思相近，它们的“身份证”数字长得很像。
• 现在的两种主流方法：
  • 稠密嵌入（Dense Embeddings）： 就像把整段话压缩成一个抽象的“味道”。比如“苹果”的味道是“甜、脆、红”。这种方法很流行，但有时候太抽象了，你很难知道它具体是哪里像。
  • 词典嵌入（Lexicon-based）： 就像把这段话拆解成具体的“关键词”。比如“苹果”直接对应“水果”、“红色”、“甜”。这种方法很透明，你知道它为什么像，但以前的方法有个大毛病：太乱、太冗余。

2. 问题：大模型的“字典”太乱了（LENS 要解决什么？）

以前的词典嵌入方法直接拿大模型的“字典”来用，结果发现字典里充满了噪音和重复：

• 比喻：同义词的“变装舞会”
  在大模型的字典里，"what"（什么）、"What"（大写）、" what"（前面带空格）可能被当成三个完全不同的词。这就像一个人穿了件红衣服叫“张三”，穿了件蓝衣服也叫“张三”，计算机傻傻分不清楚，导致匹配时很混乱。
• 比喻：把单词拆得七零八落
  大模型喜欢把长词拆开。比如"education"（教育）被拆成了"edu"和"cation"。这就像把“苹果”拆成“苹”和“果”，如果只搜“苹”，可能搜不到“苹果”。这种碎片化让匹配变得很困难。
• 单向视野的局限
  大多数大模型（像 LLaMA, Mistral）是“单向”阅读的，只能看前面的字，不能看后面的字。就像一个人戴着眼罩走路，只能看前面，看不到身后的路，理解力就受限了。

3. 解决方案：LENS 的三大绝招

LENS 就像给大模型做了一次“视力矫正手术”，主要做了三件事：

第一招：把“乱字典”整理成“分类柜”（聚类）

• 做法： 既然字典里有很多长得像但意思一样的词（比如"what", "What"），LENS 就用一种叫“聚类”的方法，把它们强行归为一类。
• 比喻： 以前字典里有一万个抽屉，每个抽屉里都放着"what"的各种变体。LENS 把这 10000 个抽屉合并成1 个大柜子，贴上“疑问词”的标签。
• 效果： 这样不仅减少了噪音，还把原本巨大的字典（几万维）压缩到了几千维（比如 4000 维），和现在的稠密嵌入一样小巧，但保留了“关键词”的透明性。

第二招：摘下眼罩，拥有“全景视野”（双向注意力）

• 做法： 大模型通常是单向的（只看前面），LENS 在微调时强行让它既能看前面，也能看后面。
• 比喻： 以前大模型是“管中窥豹”，只能看到前面。LENS 给它摘掉眼罩，让它能360 度无死角地观察整个句子。这对于理解上下文（比如“苹果”是指水果还是手机）至关重要。

第三招：只取精华，自动“瘦身”（Top-K 剪枝）

• 做法： LENS 生成的向量虽然比原始字典小，但依然可以进一步精简。它不需要特殊的训练，直接只保留最重要的前 256 个关键词，其他的直接扔掉。
• 比喻： 就像写文章总结，LENS 能自动帮你把 4000 个字的草稿，提炼成最核心的 256 个字，而且不丢信息。这比那些需要专门训练才能“瘦身”的模型要聪明得多。

4. 成果：既快又准，还能“强强联合”

• 单打独斗也很强： 在著名的 MTEB 测试（文本嵌入界的“奥林匹克”）中，LENS 的表现超过了很多只用公开数据训练的顶级稠密模型。它生成的向量既紧凑（体积小），又透明（你知道它为什么这么判断）。
• 1+1 > 2 的魔法： 论文发现，如果把 LENS（关键词派）和传统的稠密嵌入（抽象派）结合起来，效果直接封神，在检索任务上达到了目前的世界最高水平（SOTA）。
  • 比喻： 就像找东西，稠密模型告诉你“大概在这个区域”，LENS 告诉你“具体是红色的那个”。两个一起用，就能精准定位。

5. 总结：LENS 是什么？

简单来说，LENS 就是给大语言模型装了一个“智能分类器”和“全景镜头”。

它解决了大模型字典太乱、太碎的问题，把成千上万个重复的单词变体整理成清晰的类别，让模型既能像以前一样理解深层含义，又能像查字典一样透明地展示它关注的关键词。

一句话总结：
LENS 让大模型在理解文字时，既拥有了抽象的直觉，又保留了具体的关键词，而且还能自动瘦身，是目前文本检索和语义理解领域的一项重大突破。

技术摘要

这是一份关于论文《Enhancing Lexicon-Based Text Embeddings with Large Language Models》（利用大语言模型增强基于词表的文本嵌入）的详细技术总结。

1. 研究背景与问题 (Problem)

尽管基于大语言模型（LLM）的稠密嵌入（Dense Embeddings）在通用文本嵌入任务中表现卓越，但基于词表的嵌入（Lexicon-Based Embeddings, LBE）（如 SPLADE）因其可解释性和与预训练目标的天然契合度，仍具有独特优势。然而，将 LBE 应用于现代 LLM 时面临两大核心挑战：

1. 词表冗余与噪声（Token Redundancy & Noise）：
   • LLM 的分词器（Tokenizer）通常基于子词（Subword）切分，导致同一个词被拆分成多个碎片（如 "education" 被分为 "edu" 和 "cation"）。
   • 存在大量语义等价但形式不同的 Token（如 "what", "What", " what"），导致词表空间碎片化，增加了词表匹配的复杂性和不一致性。
2. 单向注意力机制的限制（Unidirectional Attention）：
   • 大多数生成式 LLM（Causal LLMs）在预训练时仅使用单向注意力（仅关注前文）。
   • 基于词表的嵌入依赖于所有 Token 的输出，单向注意力限制了每个 Token 利用完整上下文的能力，导致语义表示不完整。

现有的尝试（如 PromptReps, Mistral-SPLADE）主要通过提示工程（Prompting）来缓解这些问题，但效果不佳，且主要局限于检索任务，未能在聚类、分类等任务上验证其通用性。

2. 方法论 (Methodology)

作者提出了 LENS (Lexicon-based Embeddings from LLMs) 框架，旨在解决上述挑战并生成低维、高质量的基于词表的嵌入。

核心组件：

1. Token 嵌入聚类（Token Embedding Clustering）：

   • 原理： 不再直接使用原始词汇表中的每个 Token 作为嵌入的一维，而是对语言模型头（LM Head）输出的 Token 嵌入进行 K-means 聚类。
   • 操作： 将语义相似或同源的 Token（如 "rapid", "quickly", "fast"）归为一类，用聚类中心（Centroid）的嵌入向量替代原始 Token 嵌入。
   • 效果： 显著减少了词表维度的冗余和噪声，将嵌入维度压缩至与稠密嵌入相当的大小（如 4000 维或 8000 维），同时保留了词表的可解释性。

2. 双向注意力机制（Bidirectional Attention）：

   • 改进： 在微调阶段，将 LLM 的注意力机制从单向修改为双向（类似 BERT 的掩码语言模型机制）。
   • 目的： 使每个 Token 能够关注整个上下文，从而生成更准确的上下文相关表示，这对于基于词表的嵌入至关重要。

3. 表示生成与池化策略：

   • 输入构造： 使用指令（Instruction）构建查询输入，引导模型适应特定任务。
   • Logits 处理： 获取序列的 Logits 向量，应用 Log-saturation 变换（$\log(1 + \text{ReLU}(l))$）将权重非负化，然后沿序列维度进行 Max-pooling 以得到最终的词表嵌入向量。
   • 移位处理： 考虑到 LLM 的自回归特性，在池化时将 Logits 向左移位，使每个 Token 的 Logit 对应其左侧邻居的特征。

4. 训练策略：

   • 严格遵循 SOTA 稠密模型（BGE-en-ICL）的训练配方，使用公开数据集，单阶段训练，仅使用 InfoNCE 损失函数（对比学习），未使用复杂的合成数据或两阶段训练。

3. 关键贡献 (Key Contributions)

1. 首个基于 LLM 的高效词表嵌入框架： 提出了 LENS，证明了基于词表的嵌入在 LLM 时代依然具有竞争力，且能处理检索、聚类、分类等多种任务。
2. 解决 LLM 词表冗余问题： 通过 Token 聚类技术，有效合并了语义相似的 Token，显著降低了嵌入维度（从数万维降至数千维），使其能无缝集成到现有的稠密嵌入框架（如 FAISS）中，无需稀疏约束。
3. 架构改进的实证发现： 发现对于基于词表的嵌入，双向注意力比保留原始单向注意力更为关键；Max-pooling 优于 Last-token pooling。
4. 天然支持稀疏化（Natural Sparsity）： LENS 的每个维度对应一个语义簇，因此支持无需特殊训练（如 Matryoshka Representation Learning）的 Top-K 剪枝。在推理时仅保留 Top-K 激活维度即可保持高性能。
5. 混合嵌入的 SOTA 性能： 将 LENS 与稠密嵌入（BGE-en-ICL）结合，在 MTEB 的检索子集（BEIR）上取得了截至 2024 年 12 月 1 日的最先进（SOTA）性能。

4. 实验结果 (Results)

实验在 MTEB（Massive Text Embedding Benchmark）和 AIR-Bench 上进行，对比了包括 E5-Mistral, NV-Embed, BGE-en-ICL 等在内的多个 SOTA 模型。

• MTEB 综合表现：
  • LENS-8000 在完全使用公开数据训练的模型中，平均得分最高（71.63），优于其稠密对应版本 BGE-en-ICL（71.24）。
  • 在检索（Retrieval）、重排序（Reranking）、聚类（Clustering）等 7 个任务类别中的 6 个上表现优于 BGE-en-ICL。
  • 尽管 NV-Embed-v2（使用复杂训练策略和私有数据）总分略高，但 LENS 仅用公开数据和简单训练流程即达到了极具竞争力的水平。
• AIR-Bench（跨领域检索）：
  • LENS-8000 在跨领域 QA 任务上表现优异，甚至在某些指标上超越了 NV-Embed-v2，展示了强大的泛化能力。
• 效率与稀疏性：
  • Top-K 剪枝： 将 LENS-4000 从 4000 维剪枝至 256 维，在 BEIR 上的性能下降极小（从 60.76 降至 57.19），远优于专门训练支持多尺寸的 Gecko 模型。
• 混合模型：
  • LENS + BGE-en-ICL 组合在 BEIR 上达到 63.00 的平均分，超越了所有单一模型（包括 NV-Embed-v2 的 62.65），证明了词表嵌入与稠密嵌入的互补性。
• 定性分析：
  • 聚类结果显示 LENS 能正确将 "rapid/quickly"、"shows/showed" 等语义或形态相似的词归为一类。
  • 嵌入权重能反映深层语义（如 "hypoxia" 对应 "oxygen"），而不仅仅是浅层词匹配。

5. 意义与局限性 (Significance & Limitations)

意义：

• 重新定义 LBE 的地位： 证明了基于词表的嵌入不再是检索任务的专属，而是可以作为一种通用、透明且高效的文本表示方法。
• 可解释性优势： 每个维度对应具体的语义簇，使得模型决策过程比黑盒的稠密向量更具可解释性。
• 工程价值： 提供了无需复杂训练即可实现高效稀疏化和维度剪枝的方案，降低了存储和检索成本。
• 架构启示： 强调了在利用 LLM 进行嵌入任务时，双向注意力和适当的池化策略的重要性。

局限性：

• 语言限制： 目前仅针对英语（Mistral-7B），未探索多语言场景。
• 模型依赖： 仅使用了 Mistral-7B 作为骨干，未验证其他模型架构的效果。
• 计算成本： 相比传统的稀疏模型（如 SPLADE），使用 LLM 作为骨干显著增加了计算开销。
• 子词匹配错误： 由于 LLM 分词器的子词特性，偶尔会出现语义无关但字形相似的 Token 被错误激活（如 "tutoring" 激活了 "tuple"），这是未来需要改进的方向（如转向实体级表示）。

总结：
LENS 通过Token 聚类和双向注意力，成功克服了 LLM 词表冗余和单向注意力的缺陷，构建了一种兼具高性能、高可解释性和天然稀疏性的新型文本嵌入方法。其不仅独立表现优异，与稠密嵌入结合后更达到了检索任务的新高度。