技术摘要：用还是不用 Case：关于学习型稀疏检索的实证研究

问题陈述

学习型稀疏检索（Learned Sparse Retrieval, LSR）方法（如 SPLADE）利用预训练语言模型（PLM）构建查询和文档的稀疏词汇表示，以实现通过倒排索引进行高效搜索。从历史上看，LSR 研究几乎完全依赖于**未区分大小写（uncased）**的主干模型（例如 BERT-base-uncased）。这些模型将大小写敏感的区别（例如 "Apple" 和 "apple"）合并为单一标记（token），从而减少了词表不匹配问题，并与传统的信息检索（IR）预处理流程（通常会对文本进行小写化处理）保持一致。

然而，最先进语言模型的格局正在发生变化。近期强大的架构，包括仅解码器（decoder-only）模型和像 ModernBERT 这样较新的编码器，都是仅提供区分大小写（cased）版本的。Cased 模型保留了大小写特征，根据大小写区分标记，这对于命名实体识别（NER）等任务是有益的，但如果查询和文档的大小写不完全一致，则会在检索中引入词表不匹配的风险。尽管如此，主干模型的大小写对 LSR 性能的影响仍未得到探索。随着社区转向使用新的、仅提供 cased 版本的模型，这一差距可能对 LSR 方法的可行性构成潜在风险。

研究方法

为了填补这一空白，作者进行了一项系统性的实证评估，对比了相同主干模型（BERT 和 DistilBERT）的成对 cased 和 uncased 版本在多个数据集上的表现。该研究采用了基于 Margin-MSE 损失的教师-学生蒸馏框架，并结合 FLOPs 正则化以诱导稀疏性。

实验设计包含三个特定的干预策略，以隔离大小写的影响：

1. 预处理策略：

   • 无（None）： 使用输入文本的原型（保留大小写）。
   • 小写化（Lowercasing）： 在编码前将所有输入标记转换为小写。

2. 后处理策略（应用于模型输出）：

   • 无（None）： 保留完整的输出嵌入。
   • 仅限 uncased 词表（Uncased Vocabulary Only）： 将对应于 cased 标记的嵌入维度归零；仅以其小写形式存在的单词被视为其对应的低写形式。
   • Cased 正则化项（仅限训练阶段）（Cased Regularizer）： 增加一个额外的损失项，惩罚对应于 cased 维度的 L2 范数，从而在训练期间抑制对大小写特定特征的依赖。

3. 评估基准：

   • 领域内（In-domain）： MSMARCO Passage V1 (Dev set), TREC Deep Learning 2019, 以及 TREC Deep Learning 2020。
   • 跨领域（零样本/Zero-shot）： BEIR 基准测试，涵盖多种检索任务。
   • 指标： MSMARCO 使用 MRR@10 和 R@1000；其他数据集使用 nDCG@10 和 R@1000；使用 FLOPs 进行效率评估。

关键发现与结果

1. 大小写对领域内性能的影响 (RQ1 & RQ2)

• 无预处理时的 uncased 优越性： 当不应用预处理时，cased 模型表现得明显差于其对应的 uncased 版本。在 MSMARCO Dev 上，BERT-cased（无预处理）实现的 MRR@10 约为 31.7%，而 BERT-uncased 约为 35.8%（下降了约 4–5%）。这种性能退化归因于词表不匹配，即大小写敏感的查询无法匹配文档中的小写标记（或反之），这在像 MSMAR套 MSMARCO 这样查询通常经过小写化处理的开放域语料库中是一个常见问题。
• 通过小写化缓解： 对 cased 模型应用小写化预处理步骤可以有效消除这一性能差距。对于 BERT-cased，小写化将其 MRR@10 提升至约 35.4%，使其与 uncased 基准模型的差距缩小到 0.3 个百分点。在 DistilBERT 中也观察到了类似结果，其 cased 模型与 lowercased-cased 模型之间的差距变得微乎其微（约 0.3%）。
• 标记级分析： 作者分析了标记映射，发现如果不进行预处理，cased 模型经常将 cased 输入映射到 uncased 标记，表明即使在输入保留大小写的情况下，模型也存在对 uncased 词表的系统性偏好。当应用小写化时，cased 模型几乎完全抑制了 cased 词表项（依赖它们的时间少于 1%），从而有效地表现得像 uncased 模型一样。

2. 效率与准确率的权衡 (RQ3)

• 用于效率的后处理： 诸如限制输出至 uncased 词表或应用 cased 正则化等策略显著提高了效率。例如，限制 logits 使 FLOPs 降低了近 50%（例如，DistilBERT 从 4.1 降至 2.8），而准确率仅有轻微下降（<0.2% MRR@10）。
• 局限性： 虽然这些方法提高了效率，但它们增加了实现复杂度，并且需要对词表结构有特定的了解，从而限制了它们在未知词表的新领域或新模型中的泛化能力。它们并不能在准确率上超越基准的 lowercased cased 模型。

3. 零样本迁移性能 (RQ4)

• Uncased 模型的鲁棒性： Uncased 模型在 BEIR 基准测试的零样本迁移中表现出更强的鲁棒性，在 BERT 的 14 个数据集中有 9 个领先，在 DistilBERT 的数据集中有 3 个领先。
• Lowercased Cased 模型的竞争力： 经过小写化预处理的 cased 模型保持了竞争力，偶尔能在特定数据集（如 NFCorpus 和 Quora）上超越 uncased 模型。然而，没有预处理的 cased 模型表现持续不佳，在多个数据集（如 Climate-FEVER, SciFact）上仅勉强超过 BM25。

重要性与贡献

本文对学习型稀疏检索领域做出了以下贡献：

1. 对大小写影响的实证验证： 本研究提供了首个系统性的证据，证明虽然 cased 主干模型由于大小写引起的词表不匹配而在 LSR 中默认表现较差，但这并非架构本身的固有局限。
2. 为现代架构提供的实用解决方案： 研究表明，简单的小写化预处理可以让 cased 模型达到与 uncased 模型相当的性能。这一发现对于在稀疏检索设置中采用先进的、仅提供 cased 版本的模型（如 ModernBERT）至关重要，确保了 LSR 的长期可行性。
3. 行为洞察： 标记级分析揭示了 cased 模型在被迫进入小写化输入空间时，会有效地抑制大小写敏感的词表，并模仿 uncased 的行为。这解释了为什么性能差距可以通过预处理来消除。
4. 效率优化： 本文确定了可以将计算成本（FLOPs）减半且准确率损失极小的后处理技术，为资源受限的应用提供了权衡方案。

总之，作者断言，只要应用适当的预处理（特别是小写化），cased 模型在 LSR 中是可行的。这扩大了近期强大的 cased 架构在稀疏检索中的适用性，促进了在不牺牲检索效能的前提下集成更强主干模型。