💬 NLP

Tevatron-Elastic: A Unified Abstraction for Training Elastic Retrievers and Rerankers

该论文介绍了 Tevatron-Elastic，这是一个统一的框架，它通过在一个简单的抽象下结合层缩减、标记压缩和嵌入截断，使训练出的单个基于 Transformer 的模型检查点能够动态适配检索器和重排序器的各种尺寸，从而在无需为每种配置设置单独训练方案的情况下，提供灵活的部署权衡。

原作者： Yu Wang, Shengyao Zhuang, Xueguang Ma, Zongyu Wu, Jimmy Lin, Vivek Srikumar, Zhichao Xu

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yu Wang, Shengyao Zhuang, Xueguang Ma, Zongyu Wu, Jimmy Lin, Vivek Srikumar, Zhichao Xu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

搜索引擎的困境：速度、规模与智慧

想象一下，你正试图在草堆中寻找一根特定的针，但这个草堆是整个互联网。这就是搜索引擎每天的工作。为了完成这项任务，计算机使用“检索器”（retrievers）和“重排序器”（rerankers）——这些是聪明的程序，它们首先抓取一大堆可能的“针”，然后从中选出最完美的那一根。这些程序是基于被称为“Transformer”的强大 AI 模型构建的。可以将 Transformer 想象成一个巨大的、超级聪明的脑子，它能阅读文本并理解其含义。

然而，问题在于，这些“脑子”非常沉重。它们占用大量的计算机硬盘空间（存储），并且需要很长时间来思考（计算）。有时，搜索引擎需要极快的速度，在瞬间回答问题，因此它需要一个更小的脑子。其他时候，它需要存储数十亿份文档，因此它需要一个能产生极其紧凑笔记的脑子。在过去，工程师必须为每一个特定的工作构建一个不同的脑子：一个为了速度，一个为了存储，一个为了最大程度的准确性。这就像是为了每一次旅行都必须买一辆不同的车——赛车用于赛道，面包车用于家庭，卡车用于搬运家具。这篇论文提出了一个疑问：为什么我们不能拥有一个能根据我们的需求进行变形的神奇载具呢？

形状变换的脑子：Tevatron-Elastic

这篇论文介绍了一个名为 Tevatron-Elastic 的新框架。作者意识到，这些 AI 脑子的“沉重”部分可以通过三种不同的方式进行压缩，他们构建了一个能同时实现这三种方式的单一工具。

将 AI 模型想象成一座多层塔楼。

深度（高度）： 你可以决定在读到塔楼一半时停止。如果你只使用底部的 5 层而不是全部 28 层，这个脑子思考起来会更快，因为它要做的工作变少了。这就像是因为你已经理解了情节，所以跳过了书的最后几章。
Token（人群）： 在塔楼内部，脑子在观察一群词汇（token）。有时，它可以忽略掉一半的人群，只专注于最重要的那些人。这缩小了上层楼层需要处理的群体规模，从而节省了能量。
宽度（背包）： 当脑子完成工作后，它会写下一份总结笔记。通常，这份笔记非常庞大。但你可以选择写一份更短的笔记，只保留最重要的细节。这会让笔记变得极小，从而节省大量的存储空间。

在这篇论文之前，如果你想要一个既快（浅层）又小（短笔记）的模型，你必须构建两个独立的模型，并寄希望于它们能协同工作。Tevatron-Elastic 通过将这三个选项视为单个旋钮上的简单设置，改变了游戏规则。你可以告诉系统：“训练我成为一个拥有 28 层高度和完整背包的塔楼”，或者“训练我成为一个 10 层高度且只有半个背包的塔楼”，甚至可以“训练我同时具备所有这些特征”。

一个检查点，无限尺寸

Tevatron-Elastic 的魔力在于它训练的是一个单一的模型，它可以瞬间变成上述任何一种版本。作者称之为“统一抽象”（unified abstraction）。他们并没有为每种新形状编写新代码，而是创建了一个“调度表”（schedule）——一个简单的列表，上面写着：“嘿，请学习同时在小型、中型和大型状态下都表现出色。”

训练完成后，你会得到一个“检查点”（checkpoint，即模型的保存文件）。当你部署它时，你可以命令它进行“剪枝”（prune）。如果你需要速度，就切掉顶层的楼层；如果你需要节省空间，就缩小背包。模型不需要重新训练，它只需切换模式即可。

研究人员在 20 个不同的检查点上进行了测试，使用了三种不同类型的 AI 脑子（称为骨干网络/backbones：BERT、ModernBERT 和 Qwen3）。他们发现：

曲线是平滑的： 随着他们将模型变得更小或更浅，质量并没有崩溃；它只是像预期的那样平缓下降。一个在第 16 层停止的模型仍然非常聪明，只是比完整版稍逊一筹。
它是高效的： 训练这个能胜任一切的“超级模型”所花费的成本仅比训练单个固定尺寸的模型高出一点点。为了获得如此多的灵活性，这是一个微小的代价。
加速效果是真实的： 当他们实际运行这些模型时，那些层数较少的模型确实运行得更快。例如，一个在第 16 层停止的模型比完整版本快了 1.75 倍，同时保持了几乎相同的质量。一个在第 6 层停止的模型在阅读文档时快了 4.6 倍。

它没做到的事情（以及为什么这没关系）

了解这篇论文没有声称什么非常重要。作者明确表示：他们并没有发明一种让 AI 比以前更聪明的新方法。如果你使用那个完整、未经裁剪的模型，它的表现与之前的模型一样出色。他们也没有证明你应该始终同时使用这三种技巧。有时，你只需要速度，有时你只需要存储。重点在于，你现在有了选择权，可以在不重建整个系统的情况下，针对你的特定情况选择完美的权衡方案。

他们还注意到，对于某些任务，如“重排序”（从列表中挑选出最好的结果），脑子的行为会有所不同。如果你把塔楼切得太短，质量最初会大幅下降，然后趋于平缓。但对于“检索”（在草堆中找针），质量的下降非常平滑。这有助于工程师了解在特定需求下，应该在哪里“切断”塔楼。

总结

Tevatron-Elastic 就像是搜索引擎的瑞士军刀。你不再需要携带各种不同模型的工具箱，而是可以携带一个能够根据手头工作进行收缩、拉伸和重塑形状的单一模型。无论你是在大型服务器集群上运行搜索引擎，还是在手机上的小型应用上运行，你现在都可以通过调节旋钮，精准控制所需的速度、规模与智慧之间的平衡，而这一切都源于一次灵活的训练过程。作者已经发布了他们的代码和所有训练好的模型，邀请他人在此基础上构建更加具有弹性的系统。

技术摘要：Tevatron-Elastic

问题陈述

生产环境中的检索系统面临着一个根本性的灵活性挑战：单一的模型规模无法同时满足多样化的部署约束。某些场景需要更快的推理速度，而另一些场景则要求更小的索引占用空间，且最优的权衡点会随工作负载的变化而移动。虽然基于 Transformer 的信息检索（IR）模型可以沿着三个不同的维度进行压缩——深度（减少层数）、Token（减少上层序列长度）和宽度（减少嵌入维度）——但先前的研究一直将这些视为独立的、相互竞争的方法。

现有的方法，例如用于宽度的 Matryoshka 表示学习（MRL）、用于深度的早期退出机制以及用于 Token 的逐层 Token 压缩（LTC），各自需要独特的模型类定义、训练目标和代码库。因此，组合这些策略或将它们适配到新的骨干网络（backbone）时，需要大量的重新实现工作。目前缺乏一种统一的抽象，使得这些互补的压缩维度能够从同一个检查点（checkpoint）中被定义、训练和部署。

方法论

作者提出了 Tevatron-Elastic，这是一个基于现有 Tevatron 工具包并将这些压缩维度统一在单一抽象下的框架。其核心设计理念是将压缩视为一种对模型内部架构的修改，而是将其视为对模型残差流（隐藏状态）读取方式的一种“操作点（operating point）”的选择。

核心抽象

粒度（Granularity）： 一个冻结的 dataclass，通过为每个维度提供可选字段来命名任何操作点：
- layer：读取隐藏状态的深度（早期退出）。
- dim：保留的嵌入宽度（MRL 截断）。
- keep_ratio 和 pool_layer：Token 压缩比例以及进行序列池化（pooling）所在的层。
粒度调度表（GranularitySchedule）： 一个声明式列表（通过字符串或 JSON 指定），用于定义要训练的操作点集合。

训练机制

Tevatron-Elastic 并不使用独立的训练循环，而是对骨干模型（设置 output_hidden_states=True）进行单次前向传播。训练损失是为调度表中每个操作点计算的损失之和，这些损失源自共享的隐藏状态：

深度： 在中间层读取隐藏状态。
Token： 在指定的层应用序列池化，然后在缩短后的序列上运行剩余的上层。
宽度： 截断输出向量的维度。
联合训练： 框架会汇总各粒度的损失（例如，检索器的 InfoNCE 或重排序器的交叉熵），从而生成一个能服务于所有列出的操作点的单一检查点。

接口与兼容性

该框架利用了标准的 Hugging Face Transformers 接口（隐藏状态元组、层模块列表和池化步骤）。这种设计确保了添加新的骨干网络（编码器或解码器）仅需更改配置或针对 Token 路径处理编写一个小的适配器（shim），而无需编写新的建模代码。该框架支持五种骨干网络家族：BERT、ModernBERT、Qwen3、Llama3 和 Mistral。

新能力：MLTC

该框架实现了 Matryoshka 层级 Token 压缩（MLTC），这是 LTC 的一种扩展。MLTC 在单个检索器检查点内联合训练多个 Token 压缩比例，允许单个模型在不修改模型类的情况下服务于各种 Token 长度。

核心贡献

统一抽象： 一个单一框架跨越了两个任务（检索和重排序）、三个压缩维度（深度、Token、宽度）以及五个骨干网络家族，且无需为每个骨干网络编写新的模型代码。
复现先前方法： 该框架将 MRL、早期退出、2D Matryoshka、Starbucks 和 LTC 复现为同一系统中的简单配置。
MLTC： 引入了一种新配置，在单个检查点中联合训练多个 Token 压缩比例，扩展了以往 Token 压缩方法的能力。
实证验证： 作者在三个骨干网络和两个任务上训练了 20 个检查点，证明了其质量曲线是平滑且单调的。

结果

质量曲线： 在 BEIR-15 基准测试上的实证研究表明，随着压缩程度的增加，性能呈现平滑下降。对于检索器，质量随深度和宽度的增加而单调提升。对于重排序器，深度曲线表现出“先跌落后平台化（cliff-then-plateau）”的行为，即浅层会导致性能较差，随后趋于稳定。
弹性税（Elasticity Tax）： 联合训练的成本（即“弹性税”）极小。与针对特定尺寸训练的模型相比，弹性模型的全点性能在编码器上仅下降了 $-0.013 $到$ -0.026$，而在 Qwen3 解码器上甚至有轻微增益（ $+0.008$ ）。重排序器的税率在 $\pm 0.006$ 以内。
效率： 测量的推理速度与分析成本模型高度吻合。
- 深度： 减少了离线文档编码和在线查询编码的计算量。
- Token： 主要减少长文档的计算量；对于短查询（如 8 个 Token），它提供的加速效果微乎其微，因为底层仍需处理完整的序列。
- 宽度： 减少了索引存储和搜索成本，但不影响单次输入的计算量。
骨干网络无关性： 框架成功验证了跨编码器（BERT、ModernBERT）和解码器（Qwen3、Llama3、Mistral）家族的端到端训练。

意义与主张

论文声称，Tevatron-Elastic 提供了一种统一的抽象，使弹性建模变得易于获取且模块化。通过将操作点的定义与模型实现解耦，它允许研究人员和从业者：

组合不同的压缩策略（例如：深度 $\times$ 宽度 $\times$ Token），而无需重新实现模型类。
训练单个检查点，以服务于一系列部署权衡（延迟 vs 存储 vs 计算）。
通过配置轻松地将系统扩展到新的骨干网络或压缩维度。

作者明确指出，Tevatron-Elastic 并不声称提高了优于先前方法的绝对质量，也不声称结合所有三个维度在所有情况下都是最优的。相反，其意义在于灵活性和可复现性：它提供了一个构建弹性检索系统的资源，使得在部署时可以从一个高效训练的模型中选择合适的权衡方案。该框架及所有 20 个检查点均已发布，以促进弹性建模领域的进一步研究。