🤖 machine learning

Fast and Expressive Multi-Byte Prediction with Probabilistic Circuits

本文介绍了 MTPC，这是一个基于概率电路的多 Token 预测框架，它通过对未来 Token 的联合分布进行编码，优化了表达能力与延迟之间的权衡，从而在保持原模型性能的同时，显著加速了字节级和子词级大语言模型的生成。

原作者： Andreas Grivas, Lorenzo Loconte, Emile van Krieken, Piotr Nawrot, Yu Zhao, Euan Wielewski, Pasquale Minervini, Edoardo Ponti, Antonio Vergari

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Andreas Grivas, Lorenzo Loconte, Emile van Krieken, Piotr Nawrot, Yu Zhao, Euan Wielewski, Pasquale Minervini, Edoardo Ponti, Antonio Vergari

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试写一个故事，但你有一个非常严格的规则：你一次只能写一个字母。每当你输入一个字母时，你都必须停下来，思考一下，并询问你超级聪明的脑子（AI）下一步该写什么。这就是目前大多数大语言模型（LLMs）的工作方式。这种方式很准确，但速度极慢，尤其是当你以“字节”（文本的原始构建模块）而不是整个单词进行写作时，因为你需要输入数千个字母才能写出一个句子。

这篇论文介绍了一种名为 MTPC（多 Token 预测电路）的新方法，旨在解决这个速度问题，同时又不损失故事的质量。

以下是它的工作原理，使用了日常类比：

1. 问题：“猜谜游戏” vs. “水晶球”

为了提高速度，研究人员尝试了一个叫做**多 Token 预测（Multi-Token Prediction, MTP）**的技巧。与其猜测一个字母，不如尝试一次猜测一整块字母（比如猜测一个单词接下来的 8 个字母）。

旧方法（独立性假设）： 想象你在猜测一个单词接下来的 8 个字母，但你把每个字母都当作与其他字母无关的个体。你猜第一个字母，然后是第二个，然后是第三个，完全忽略了如果第一个字母是“C”，第二个字母不太可能是“Z”。
- 结果： 这种方法很快，但会导致胡言乱语。你可能会得到“Cretoria”而不是“Pretoria”或“Craporia”，因为模型没有意识到这些字母应该如何相互契合。这就像是在盖房子时随机挑选砖块，而不检查它们是否匹配一样。
新方法 (MTPC)： 作者说：“让我们停止孤立地猜测字母。让我们把整块内容作为一个连接的整体来猜测。”他们使用了一种叫做**概率电路（Probabilistic Circuit）**的数学工具。
- 类比： 把旧方法想象成一排人传递纸条，每个人都低声说出一个随机的词。而新方法则像是指挥家带领管弦乐队。指挥家（电路）知道，如果第一个乐器演奏的是 C 大调和弦，那么接下来的乐器必须演奏符合该和弦的音符。它理解字母之间的依赖关系。

2. 工具箱：“电路架构师”

论文提出了一个灵活的框架（MTPC），让你能够选择字母之间的“连接程度”。他们提供了不同的“架构”（电路的形状）来平衡速度与智能：

FF (完全分解型)： “随机猜测”模式。快，但很笨。（乐队成员各自演奏）。
CP (典型张量分解/Canonical Polyadic)： “分组猜测”。他们猜测几个主要主题，并围绕这些主题构建字母。稍微聪明一点。
HMM (隐马尔可夫模型)： “连锁反应”。第一个字母影响第二个，第二个影响第三个，依此类推。这非常聪明，但很慢，因为你必须等待一个字母完成后才能开始下一个。
BTree (二叉树)： 这是论文中的明星。想象将 8 个字母分成两组，每组 4 个。模型同时猜测第一组和第二组，但它们通过一个“团队领导”（隐藏变量）联系在一起，以确保它们在整体主题上达成一致。
- 为什么它很棒： 它既拥有“连锁反应”的智能，又拥有“随机猜测”的速度，因为它能同时进行两件事。

3. 安全网：“投机采样”（Speculative Decoding）

你可能会担心：“如果 AI 一次猜测一整块内容，万一它猜错了怎么办？”

论文使用了一种叫做**投机采样（Speculative Decoding）**的技术。

类比： 想象一名快速的跑者（草稿模型）和一位缓慢但极其精准的裁判（验证器）。
1. 快速跑者向前冲刺，猜测接下来的 8 个字母。
2. 缓慢的裁判逐一检查这些字母。
3. 如果裁判同意跑者的猜测，太好了！我们保留这些字母。
4. 如果裁判不同意，我们就停在那里，丢弃错误的猜测，只保留裁判批准的部分。

由于草稿模型（MTPC）非常擅长理解字母是如何连接的（得益于 BTree 电路），裁判同意跑者猜测的次数比以前更多了。这意味着我们能够保留更多的快速猜测，从而加快整个过程。

4. 结果：在不破坏质量的前提下提升速度

作者在两个特定的 AI 模型上测试了该方法：

EvaByte： 一个已经以字节进行写作的模型。
Llama 3.2 3B (Byte)： 一个转换为以字节进行写作的流行模型。

研究结果：

巨大的加速： 与旧的“一次一个字母”的方法相比，MTPC 使 EvaByte 快了 5.15 倍，使 Llama 快了 2.24 倍。
优于“独立性”技巧： 即使与通过单纯独立猜测字母的其他快速方法相比，MTPC 也快了 1.17 倍。
无质量损失： 至关重要的一点是，由于有了“安全网”（投机采样），最终输出的质量与 AI 一个字母一个字母编写的质量完全相同。你不会为了速度而牺牲准确性。

总结

这篇论文提出了一种让 AI 文本生成更快的新方法，其原理是教 AI 将文本块作为一个连接的整体进行猜测，而不是孤立的字母。通过使用一种智能的“二叉树”（BTree）结构来组织这些猜测，并使用一个“裁判”来进行验证，他们实现了巨大的速度提升（高达 5 倍），同时保证了文本的完美。这就像是教打字员一次输入整个单词，同时还配备了一个能瞬间捕捉错别字的保险机制。

技术摘要：基于概率电路的高速且具有表现力的多字节预测

问题陈述

自回归（AR）大语言模型（LLMs）逐个 token 生成文本，这导致了高延迟和高能耗。这种瓶颈在字节级 LLM 中尤为严重，因为这类模型虽然没有分词器（tokenizer），但与子词模型相比，生成相同长度的文本需要多得多的解码步骤。虽然**多 Token 预测（MTP）提供了一种解决方案，即同时预测未来的一组 token，但现有方法面临着表现力（expressiveness）与效率（efficiency）**之间的关键权衡：

独立性假设： 许多当前的 MTP 方法假设未来的 token 是相互独立的（完全分解，FF）。虽然这种方式效率很高，但牺牲了表现力，导致生成“字节沙拉”式的后续内容（例如，由有效字节组成的无意义组合）以及在投机采样（speculative decoding）中接受率较低。
浅层自回归头： 其他替代方法（如 Hydra、EAGLE）在预测窗口内保留了自回归生成。虽然更具表现力，但它们更接近于加速的 AR 解码而非真正的联合 MTP，并且无法将依赖结构作为一种可调节的模型选择进行暴露。
延迟与表现力的权衡： 目前缺乏一个系统性的框架来在完全分解模型与复杂的联合分布之间进行导航，而不引入过高的延迟。

方法论：MTPC 框架

作者提出了 MTPC（多 Token 预测电路） 框架，该框架利用**概率电路（Probabilistic Circuits, PCs）**来参数化未来 token 的联合分布。MTPC 将联合分布视为一个可计算的图，该图编码了层次化混合模型，从而允许对架构变体进行系统性的探索。

核心组件

概率电路架构： MTPC 泛化了现有方法，并引入了新的结构来建模未来字节之间的依赖关系：
- MTPC-FF： 一个完全分解的模型（等同于标准的独立 MTP），表示为输入单元的乘积。
- MTPC-CP： 引入离散隐变量的典型张量分解（Canonical Polyadic decomposition），通过创建分解组件的混合来恢复部分依赖关系。
- MTPC-HMM： 使用一系列隐变量进行参数化的隐马尔可夫模型，通过随时间变化的转移矩阵来捕捉长距离依赖。
- MTPC-BTree： 一种新型的**二叉树（Binary Tree）**分解，编码了隐变量的层次结构。该结构能够实现 token 和隐变量的并行采样，解决了 HMM 中的不对称性和延迟问题。
使用 LLM 进行参数化：
- 该框架使用 LLM 主干网络（带有可选的 LoRA 适配器）从输入历史中提取上下文特征。
- 一个神经网络头将这些特征映射到 PC 的参数（输入单元分布和求和单元权重），从而创建一个神经条件电路。
- 这使得模型能够抽象出特定的电路结构（FF、CP、HMM、BTree），并专注于学习张量化参数。
投机采样集成：
- MTPC 采用自我投机解码（self-speculative decoding），其中草稿模型（MTPC 头）和验证器（AR LLM）共享相同的主干网络。
- 草稿模型从 PC 中并行采样一个 token 窗口。
- 验证器并行地接受或拒绝这些 token。
- 保证： 该框架保证贪婪解码的输出与目标 AR LLM 完全一致，且采样在期望上与目标匹配，确保不会损失生成质量。
权衡维度：
- 电路架构： 在 FF、CP、HMM 或 BTree 之间进行选择，以平衡依赖建模和计算成本。
- 层共享： 通过调整草稿模型中 LoRA 层的数量（0 到 4 层），来控制草稿模型与验证器表示之间的差异，从而进一步调节表现力与延迟的权衡。

主要贡献

MTPC 框架： 引入了一种基于概率电路的高速 MTP 框架，它放宽了独立性假设，并将张量分解方法（如 CP）统一到了一个 PC 框架中。
系统性权衡分析： 严谨地识别了接受的 token 数（表现力）与生成延迟之间的权衡。论文证明，最优吞吐量并不总是由最具表现力的模型（如 HMM）实现的，而是由像 BTree 这样提供更好并行性的架构实现的。
实证验证： 将 MTPC 应用于两个字节级 LLM：
- EvaByte (6.5B)： 一个预训练时具备 MTP 能力的字节级模型。
- Llama 3.2 3B (Byte)： 一个流行的子词模型的字节化版本，未针对 MTP 进行预训练。

实验结果

作者在 NVIDIA L40S 和 RTX 3090 GPU 上使用 Tulu 3 数据集对 MTPC 进行了评估。

吞吐量增益：
- EvaByte： MTPC 相比标准 AR 生成实现了 5.15× 的加速，相比具有独立性假设的 MTP (FF) 实现了 1.17× 的加速。
- Llama 3.2 3B： MTPC 相比 AR 生成实现了 2.24× 的加速，相比 FF MTP 实现了 1.17× 的加速。
架构性能：
- BTree vs. HMM： 虽然 HMM 实现了较高的接受率，但其自回归特性引入了高延迟，导致整体吞吐量较低。BTree 架构达到了最佳平衡，实现了并行采样并获得了最高的吞吐量，尤其是在较大的窗口大小（ $n=16$ ）下。
- LoRA 层： 向草稿模型添加 LoRA 适配器增加了表现力（接受的 token），但也增加了延迟。最优配置因模型而异：1 个 LoRA 层对 EvaByte 最优，而 2 个 LoRA 层则对 Llama 更有利。
窗口大小： 将预测窗口扩展到 $n=16$ 显著提升了表现力电路（HMM、BTree）的吞吐量，尤其是与 LoRA 适配器结合使用时，效果优于 $n=8$ 。

重要性与主张

本文声称 MTPC 提供了一种系统性的方式来导航 MTP 架构变体的光谱，超越了“独立预测”与“浅层自回归头”之间的二元选择。通过利用概率电路，该框架允许研究人员在保持可处理性的同时，显式地建模 token 间的依赖关系。

作者强调，这些吞吐量增益是在不牺牲生成质量的前提下实现的，因为投机解码过程保证了与目标 AR LLM 的一致性。这项工作表明，字节级 LLM 虽然常受限于计算开销，但可以通过这种高效的多字节预测策略变得更加主流。该框架被呈现为一个灵活的工具，用于优化下一代字节级模型的效率，相关的代码和模型已公开。