💬 NLP

BitLM: Unlocking Multi-Token Language Generation with Bitwise Continuous Diffusion

BitLM 提出了一种新颖的语言模型架构，通过将 token 表示为二进制码并利用轻量级扩散头在块内并行去噪多个 token，从而克服了传统一次生成一个 token 的瓶颈，在保留自回归建模核心因果结构的同时实现了更快的推理和更高效的预训练。

原作者： Shaobin Zhuang, Yuang Ai, Jiaming Han, Xiaohui Li, Huaibo Huang, Xiangyu Yue, Xuefeng Hu, Kun Xu, Yali Wang, Hao Chen

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shaobin Zhuang, Yuang Ai, Jiaming Han, Xiaohui Li, Huaibo Huang, Xiangyu Yue, Xuefeng Hu, Kun Xu, Yali Wang, Hao Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试写一个故事，但被迫一次只能写一个字母。每写完一个字母，你就必须停下来，思考，并问自己：“下一个字母是什么？”这就是目前大多数人工智能语言模型的工作方式。它们极其聪明，却被困在“一步一个脚印”的节奏中，这使得它们速度缓慢，并限制了它们对自然成组出现的词组（如“一杯咖啡”或“很久很久以前”）的思考方式。

这篇论文介绍了BitLM，这是一种关于人工智能如何写作的全新思维方式。BitLM 不再强迫人工智能一次选择一个字母（或单词），而是让人工智能同时以块的形式书写单词，但它通过一种涉及二进制代码和去噪的巧妙技巧来实现这一点。

以下是使用简单类比进行的分解说明：

1. 旧方法：“词汇彩票”

目前，人工智能模型就像一个站在巨大的 Scrabble 字母板墙（词汇表）前的人。为了写出下一个单词，模型必须查看这些字母板，计算每一个字母板的概率，并精确地挑选出一个。

问题所在： 这很慢。这就像试图通过一次只放一块砖、等待水泥干燥，然后问“下一块砖是什么？”来建造一座房子。
局限性： 它将每个单词视为孤立的选择，忽略了单词通常以自然配对或组合形式出现的事实。

2. BitLM 方法：“去噪雕塑家”

BitLM 彻底改变了游戏规则，完全停止了“彩票”式的方法。BitLM 不再从单词列表中挑选，而是以二进制代码（0 和 1 的字符串，或者在本例中是 -1 和 +1）进行思考。

将人工智能的工作想象成从雾中雕刻一尊雕像，而不是“挑选一个单词”。

二进制代码： 想象字典中的每个单词都有一个由 18 个开关（二进制代码）组成的独特、简短的 ID。
过程：
1. 设置： 人工智能查看到目前为止的故事（“上下文”）。
2. 迷雾： 人工智能不是挑选下一个单词，而是从一块纯粹的静态噪声（就像满是雪花的电视屏幕）开始。
3. 雕刻： 人工智能使用“扩散头”（一种专用工具）慢慢清理这些噪声。它会问：“鉴于到目前为止的故事，接下来几个单词的模式看起来像什么？”
4. 揭示： 随着噪声被移除，二进制开关会 snap 到位，呈现出清晰的模式。然后，该模式被翻译回实际的单词。

3. 超能力：以块为单位写作

BitLM 的魔力在于，它不仅仅一次清理一个单词。它会同时清理一整块单词（例如 4 个单词）。

类比： 想象你正在绘制一幅壁画。
- 旧人工智能： 你画一个小点，退后一步，思考，画下一个点，再退后一步。
- BitLM： 你看着墙上 4 英尺宽的区域。你脑海中已经有整个区域的粗略草图。然后，你一次性对整个 4 英尺的区域进行喷漆，不断细化细节，直到图像清晰。
为何有效： 因为人工智能正在观察整个块，它可以决定“杯”和“咖啡”必须完美地搭配在一起，而不是分别猜测“杯”，然后猜测“的”，再猜测“咖啡”。

4. 遵守规则：“因果”护栏

你可能会问：“如果它一次写 4 个单词，它是在作弊吗？它会偷看未来吗？”
论文表示不会。BitLM 使用“块因果”规则。

类比： 想象一场接力赛。第一名选手（第 1 块）跑完并将接力棒传给第二名选手（第 2 块）。第二名选手可以冲刺并为他们自己的赛段做出决定，但他们不能看到第三名选手在做什么。他们只知道第一名选手做了什么。
这确保了人工智能仍然遵循故事的逻辑流程（从左到右），但由于它处理的是块而不是单步，因此速度要快得多。

5. 论文的实际发现

作者使用不同规模的模型（从小型到大型）测试了这种新方法（BitLM）。

可扩展性： 随着他们扩大模型规模，模型在任务上的表现变得更好，就像标准人工智能模型一样。
有效性： 他们在摘要任务（将长篇新闻文章浓缩为简短摘要）上进行了测试。结果令人鼓舞：模型学会了撰写有意义的摘要，证明了这种“二进制去噪”方法是生成文本的一种可行方式。
不足之处： 它尚未完美。生成的摘要并不完全像最好的传统模型那样好，但论文认为这只是个开始。它证明了该概念是可行的，并且我们不需要旧的“一次一个单词”的彩票系统来构建伟大的人工智能。

总结

BitLM 是一种新架构，它阻止人工智能逐个挑选单词。相反，它将文本生成视为清理一块静态噪声，以一次性揭示一组单词。它保持了故事的逻辑流程完整，但允许人工智能并行工作，使其在理解单词如何成组搭配方面可能更快、更高效。

BitLM 技术摘要：通过按位连续扩散解锁多 Token 语言生成

问题陈述

当前的大语言模型（LLM）在“下一个 Token"范式下运行，通过词汇级 softmax 一次生成一个 Token。虽然这种自回归（AR）方法推动了显著的成功，但它给推理时间带来了根本性的顺序瓶颈。自然语言本质上是以多 Token 单元（短语、n-gram）结构化的，然而标准接口却强制逐个进行原子化的类别决策。

现有的缓解这一瓶颈的尝试，如推测性解码（speculative decoding）或分块并行解码，往往保留了底层的词汇 softmax 接口，将并行性视为一种外部优化而非原生属性。相反，非自回归或纯扩散模型往往牺牲了有效语言建模所必需的因果结构。该论文认为，词汇 softmax 是一种历史性的接口选择，而非根本要求，改变输出空间的几何结构可以在不损害因果依赖的前提下，实现更高效的预训练和更快的推理。

方法论：BitLM

BitLM 提出了一种新颖的架构，用固定长度二进制空间中的条件去噪取代了标准的词汇 softmax。该模型将因果 LLM 骨干网络与轻量级扩散头相结合，以在块内并行实现多个 Token。

1. 二进制 Token 接口

BitLM 不直接预测 Token ID，而是将词汇表大小为 $V$ 的每个 Token $y_i$ 映射为长度为 $B = \lceil \log_2 V \rceil$ 的固定长度二进制码。

映射：Token ID 被转换为二进制向量 $\{-1, 1\}^B$ （类似于“模拟位”），其中 $0 \to -1$ ， $1 \to 1$ 。
嵌入：这些二进制码通过逐位置的多层感知机（MLP）从维度 $B$ 提升到骨干网络的隐藏维度 $d$ ，取代了标准的 Token 嵌入。

2. 块因果分解

模型以大小为 $m$ 的块生成文本。它采用块因果注意力掩码：

同一块内的 Token 可以相互关注（允许联合实现）。
第 $n$ 块中的 Token 只能关注第 $1 $到$ n-1$ 块中的 Token（保持块间的因果依赖）。
这使得模型可以在保持标准 AR 模型因果归纳偏置的同时，调整并行度（ $m$ ）。

3. 条件扩散头

对于每个目标块 $n$ ，模型将生成视为以先前块（ $n-1$ ）的隐藏状态为条件的去噪问题：

噪声过程：干净的二进制块 $A_0$ 通过线性插值被高斯噪声污染，从而在时间步 $t \in [0, 1]$ 创建噪声状态 $A_t$ 。
去噪：给定噪声输入 $A_t$ 、时间步 $t$ 以及上下文条件 $C_{n-1}$ （来自骨干网络的隐藏状态），轻量级扩散头预测干净块 $\hat{A}_0$ 。
训练目标：模型被训练以最小化预测的干净块与真实干净块（ $x_0$ 预测）之间的 $L_2$ 损失。
推理：生成过程通过用高斯噪声初始化一个块，并在 $K$ 步内对其进行迭代去噪来进行。最后，硬符号投影（ $\text{sign}(\cdot)$ ）将连续输出映射回离散二进制超立方体，然后将其解码回 Token ID。

4. 架构细节

骨干网络：遵循 Qwen-3 的架构（因果 Transformer）。
扩散头：遵循 BitDance 的架构（轻量级，使用自适应层归一化进行条件控制）。
训练：在 FineWeb（350B 个 Token）上预训练，并在 XSum 上进行微调。

主要贡献

二进制码表述：引入了一种语言建模框架，用紧凑二进制空间中的去噪取代词汇级预测，将 Token 生成重新框架化为迭代承诺而非类别选择。
原生块因果并行性：提出了一种架构，自然地在块内实现多 Token 联合生成，同时保持块间的因果依赖。与推测性解码不同，这种并行性是生成接口的原生结果，而非事后解码技巧。
几何视角：推进了符号输出空间几何结构（单纯形与二进制超立方体）从根本上改变解码机制的观点，表明大词汇 softmax 并非语言建模唯一可行的终点。

实验结果

作者评估了参数规模从 0.6B 到 8B 的 BitLM 模型。

可扩展性：在 FineWeb 上的预训练损失随着模型规模的增加而一致下降，表明二进制扩散接口具有良好的可扩展性。
推理设置：在 XSum 摘要任务上，使用 15 个去噪步长和无分类器引导尺度（classifier-free guidance scale）为 9.0 时取得了最佳性能。
XSum 性能：
- 微调后，带有扩散头的 8B BitLM 取得了 26.05 / 6.44 / 20.12 的 ROUGE-1/2/L 分数。
- 该性能超过了 Lead-3 基线和预训练的 BitLM，表明模型学习了非平凡的摘要映射。
- 然而，结果仍低于强大的指针生成器基线（例如 PTGEN+COV）。作者将这些结果描述为“有希望但初步”，指出二进制表述尚未针对需要高度精确词汇实现的任务进行完全优化。

意义与主张

该论文声称，BitLM 证明了“一次一个 Token"的范式是一种接口选择，而非根本要求。通过将因果推理（由 LLM 骨干网络处理）与符号实现（由扩散头处理）解耦，BitLM 提供了一个新的设计维度：符号输出空间的几何结构。

作者并不声称 BitLM 目前在所有指标上都优于最先进的基于 softmax 的模型。相反，他们主张：

改变输出几何结构能够在不牺牲因果结构的情况下实现原生并行生成。
二进制扩散接口是下游文本生成的可行替代方案，成功的预训练和微调已证明了这一点。
这种方法为未来关于学习二进制码、自适应块大小以及结合并行生成效率与高质量语言建模的混合架构的研究开辟了途径。

这项工作被呈现为迈向下一代架构的一步，表明“大词汇 softmax"是一种可以被替代以解锁效率和表现力的历史产物。