💬 NLP

BitNet Text Embeddings

BITEMBED 是一个极低比特框架，它将预训练的 LLM 主干网络转换为三值权重、量化激活值的嵌入编码器，并通过蒸馏技术对其进行训练，以在显著降低存储和带宽成本的同时，实现全精度水平的性能，并提供灵活的多精度输出嵌入。

原作者： Zhen Li, Xin Huang, Liang Wang, Nan Yang, Ting Song, Yan Xia, Xun Wu, Shaohan Huang, Huishuai Zhang, Furu Wei, Dongyan Zhao

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhen Li, Xin Huang, Liang Wang, Nan Yang, Ting Song, Yan Xia, Xun Wu, Shaohan Huang, Huishuai Zhang, Furu Wei, Dongyan Zhao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个巨大的图书库，你想从中找到最符合你某个特定问题的书。为了快速实现这一目标，计算机将每一本书和每一个问题都转化成了一个“数字指纹”——一个被称为**嵌入（embedding）*的长数字列表。这些指纹捕捉了文本的含义*，以便计算机可以通过数学方式进行比较。

长期以来，制作这些指纹的最佳方法是使用一个巨大的、超级聪明的脑子（大语言模型或 LLM）。但问题在于：这些庞大的大脑运行起来很慢，而且它们的指纹会占用大量的存储空间。这就像是为了找一个事实，却要背着一整座百科全书图书馆在背包里到处跑。

这篇论文介绍了一种名为 BITEMBED 的新方法，用于制作这些数字指纹，它既超级快又体积微小，且不会损失太多“聪明度”。

以下是他们是如何实现的，我们使用了一些简单的类比：

1. 问题所在：沉重的背包

目前的系统使用“全精度”模型。把这想象成背着一个装满了沉重、高清晰度金砖的背包。每一块砖（模型中的一个数字）都非常精确且珍贵，但这个背包太重了，以至于：

推理（运行模型）： 抬起和移动这个背包需要很长时间。
存储： 你需要一个巨大的仓库来存放数百万个这样的背包。

2. 解决方案：“BitNet”背包

作者决定将那些沉重的金砖换成轻量级的三值块。与其使用广泛的数值范围，不如将模型的内部权重简化为仅有的三种状态：-1, 0, 或 +1。

类比： 想象一下，将一幅复杂的、色彩丰富的画作替换成一幅仅使用黑、白、灰三色的简单素描。它轻得多，也更容易携带，但如果你做得对，它看起来仍然像原画一样。

3. 训练过程：如何教导素描艺术家

你不能直接把一个聪明的脑子突然变“笨”（低比特），否则它会崩溃。论文描述了一个三步走的训练过程来解决这个问题：

步骤 A：“再教育”（持续预训练）
当你简化模型时，它会遗忘一些世界知识。作者首先使用海量的文本对（例如“问题”和“答案”）对简化后的模型进行重新教学，以重建它对单词之间关系的理解。
- 类比： 这就像是让一位退休教授参加一个关于新、简化语言的速成班，然后再让他开始重新教学。
步骤 B：“影子学生”（蒸馏）
他们让原始的、沉重的、聪明的模型（“老师”）在后台运行。新的、轻量级的模型（“学生”）试图模仿老师。
- 相似性蒸馏（Similarity Distillation）： 学生不仅学习哪个答案是正确的，还学习老师对于不同答案之间关系的“信心程度”。
- 注意力蒸馏（Attention Distillation）： 学生观察老师的脑子是如何聚焦于句子中不同部分的（例如哪些词是最重要的），并尝试模仿这种聚焦方式。
- 类比： 学生不仅是在背诵答案；他们还在观察老师的思考过程，并试图像老师一样思考，尽管他们的脑容量更小。

4. 魔法技巧：“Matryoshka（俄罗斯套娃）”指纹

通常，如果你想要一个更小的文件，你必须训练一个全新的模型。BITEMBED 则不同。它训练模型使其能够同时生成多种尺寸的指纹。

类比： 想象一下俄罗斯套娃（Matryoshka）。
- 如果你有充足的存储空间，你可以使用全 16 位的娃娃（最大、最详细的版本）。
- 如果空间不足，你也可以只使用 8 位或 4 位的内层娃娃。
- 即使是 1 位版本（最小的娃娃），在寻找正确的书方面依然表现得足够好。
模型学会了变得“鲁棒”，这意味着它知道如何在缩小自身规模的同时，不丢失核心含义，从而允许用户在速度/存储与完美准确度之间进行即时选择。

结果：他们发现了什么？

作者在名为 MMTEB 的巨大基准测试（一个测试模型理解文本能力的巨大测试）上进行了测试。

速度： 与沉重的、全精度的版本相比，新的 BITEMBED 模型在标准计算机芯片（CPU）上运行速度快了 2 倍。
聪明度： 尽管它们是“轻量级”的，但 BITEMBED 模型的表现几乎与沉重的老师模型一样出色。在一项测试中，两者的差距不到 1%。
存储： 通过使用较小的“内层娃娃”（较低的比特精度），他们可以将存储需求降低高达 16 倍，同时仍保持模型寻找信息的能力。

总结

BITEMBED 就像是把一位超级聪明但沉重的图书管理员，交给他们一个简化语言的速成班，并教会他们如何用一个微小的、轻量级的背包来携带他们的知识。他们寻找正确书籍的速度和准确度可以与沉重的图书管理员一样快且精准，但他们可以做得更轻便，且速度更快。这使得强大的 AI 搜索工具能够在那些没有庞大计算能力或存储空间的设备和系统中成为可能。

技术摘要：BitNet 文本嵌入 (BITEMBED)

问题陈述

虽然基于大语言模型（LLM）的文本嵌入模型显著提升了检索和语义表示的质量，但其在实际部署中面临两个关键瓶颈：

高推理延迟： 与传统的仅编码器（encoder-only）模型相比，LLM 主干网络的计算成本更高，这减慢了查询（query）和文档（document）的嵌入过程。
巨大的存储与带宽开销： 高维、全精度嵌入带来了沉重的内存和数据传输成本，尤其是在维护拥有数百万或数十亿文档的大规模检索系统中。

现有的极低比特 LLM 方法（例如 BitNet）侧重于通用任务模型，尚未系统地适配文本嵌入的特定需求，而文本嵌入要求在进行激进量化后仍能保持高保真度的语义完整性。

方法论

作者提出了 BITEMBED，一个将预训练 LLM 主干网络转换为极低比特嵌入编码器的框架。该方法遵循一个三阶段训练流水线：

1. BitNet 式主干网络转换

将预训练的 LLM 转换为具有以下特征的 BitNet 式架构：

三值权重（Ternary Weights）： Transformer 块中的线性权重被量化为 1.58 比特的值 $\{-\Delta_w, 0, \Delta_w\}$ 。
量化激活值（Quantized Activations）： 对进入 BitLinear 层的 token 级激活值进行 8 比特量化。
子层归一化（Sub-layer Normalization, SubLN）： 为了减轻量化引起的对激活值异常值（outliers）和尺度漂移（scale drift）的敏感性，在每个 Transformer 块内部插入 SubLN 模块，以便在投影前对中间状态进行归一化。
直通估计器（Straight-Through Estimator, STE）： 用于在反向传播过程中近似非微分量化操作的梯度。

2. 训练流水线

为了使量化后的主干网络适应表示学习，BITEMBED 采用了多阶段优化策略：

持续对比预训练（Continual Contrastive Pre-training）： 量化后的模型使用大规模文本对并通过 InfoNCE 损失进行预训练。这一步旨在重建被极端量化所破坏的广泛语义空间，随后再进行监督微调。
基于蒸馏的监督微调（Distillation-Based Supervised Fine-tuning）： 在高质量监督数据（包含硬负样本）上对低比特学生模型进行微调，同时由全精度（FP16）教师模型进行引导。这涉及两个蒸馏目标：
- 相似度分布蒸馏（Similarity-Distribution Distillation）： 最小化学生模型与教师模型在候选集上软相似度分布之间的 KL 散度，从而捕捉细微的相对偏好。
- 注意力关系蒸馏（Attention-Relation Distillation）： 将学生模型的 token 级交互结构（注意力图）与教师模型进行对齐，特别是在中后期 Transformer 层进行对齐，以保留结构依赖性。

3. 多精度输出嵌入训练

除了量化主干网络外，BITEMBED 还训练输出嵌入，使其在多种存储精度（1, 2, 4, 8, 16 比特）下均具有鲁棒性。

机制： 在训练期间，模型优化所有支持比特宽度的平均损失。对于较低的比特宽度，嵌入会被量化（例如，针对 1 比特采用缩放二值化）并进行重建以进行相似度计算。
目标： 这使得单个模型检查点能够支持不同的内存预算，允许从业者在不重新训练的情况下，通过权衡存储成本来获取性能。

核心贡献

首次系统性研究： 本文首次针对 LLM 文本嵌入进行了极低比特量化的系统性调查，同时针对编码器推理效率和向量索引存储进行了优化。
有效的训练框架： 提出了一个结合了持续对比预训练、监督微调和双重蒸馏（相似度分布和注意力关系）的新颖框架，以恢复量化过程中损失的表示质量。
多精度适应性： 引入了一种多精度输出嵌入训练策略，证明了单个模型可以在支持灵活存储配置的同时，达到接近全精度的性能。

实验结果

作者在 MMTEB (eng, v2) 基准测试上使用 Qwen3-0.6B 和 Gemma3-270M 作为主干网络对 BITEMBED 进行了评估。

性能对齐： BITEMBED 在很大程度上与全精度教师模型相当。
- 在 Qwen3-0.6B 上，BITEMMENT 达到了 67.60 的平均分，仅比 FP16 教师模型（67.95）低 0.35 分。
- 在 Gemma3-270M 上，它达到了 66.10，与教师模型的 66.71 非常接近。
推理效率： 该框架显著提高了 CPU（8 线程）上的 token 吞吐量：
- Qwen3-0.6B：从 364.36 增加到 830.50 tokens/s（约 2.3 倍）。
- Gemma3-270M：从 1181.28 增加到 2055.47 tokens/s（约 1.7 倍）。
多精度权衡：
- 8 比特和 4 比特 嵌入与 16 比特相比几乎是无损的。
- 1 比特和 2 比特 嵌入保留了可用的性能（例如，Qwen3-0.6B 为 64.43），同时分别减少了约 16 倍和 8 倍的存储。
消融实验发现：
- 移除 SubLN、蒸馏或持续预训练会导致性能显著下降。
- 直接对转换后的 BitNet 主干进行微调而不使用这些组件，结果表现很差（平均分 58.92），证实了完整流水线的必要性。
- 来自中后期层（例如 Qwen3 的第 18 层）的注意力蒸馏被证明最为有效。
与 MRL 的比较： 在大多数存储场景下，尤其是极端压缩水平下，BITEMBED 优于 Matryoshka 表示学习（MRL），因为它保持了对低比特重建具有鲁棒性的完整嵌入空间。

意义与主张

论文声称，BITEMBED 证明了极低比特训练是实现高效语义表示的一个可行且有前景的方向。通过同时解决编码效率和向量存储问题，该框架允许 LLM 嵌入模型在资源受限的场景（如在线检索服务）中部署，且不会牺牲高性能任务所需的语义质量。通过多精度嵌入灵活权衡存储与性能的能力，为扩展文本嵌入系统提供了切实可行的解决方案。