💬 NLP

Compute Optimal Tokenization

本文表明，在计算最优的语言模型配置中，参数量与以字节而非令牌计量的数据规模成比例扩展，揭示了最优令牌压缩率不同于标准字节对编码，并随计算量的增加而降低。

原作者： Tomasz Limisiewicz, Artidoro Pagnoni, Srini Iyer, Mike Lewis, Sachin Mehta, Alisa Liu, Margaret Li, Gargi Ghosh, Luke Zettlemoyer

发布于 2026-05-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tomasz Limisiewicz, Artidoro Pagnoni, Srini Iyer, Mike Lewis, Sachin Mehta, Alisa Liu, Margaret Li, Gargi Ghosh, Luke Zettlemoyer

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在建造一座终极知识图书馆。你有一笔固定的资金（你的计算预算）来建造这座图书馆。你主要有两个选择：

购买一座拥有数百万个空书架的巨大建筑（模型规模）。
购买一大堆书来填满这些书架（训练数据）。

多年来，专家一直告诉图书管理员：“要获得最好的图书馆，每建造一个书架，就购买 20 本书。”但这条建议有一个隐藏的缺陷：它假设每本书的大小都一样。事实上，有些书是厚厚的百科全书，而另一些则是薄薄的宣传册。

这篇题为**“计算最优分词”**的论文认为，我们一直用错误的单位来衡量我们的“书”。与其数“书”（token），不如数“页”（字节）。

以下是他们研究发现的简要说明，使用了简单的类比：

1. “书的大小”问题（压缩率）

在人工智能领域，文本被切分成称为token的块。

低压缩：想象将一句话切分成单个字母。你会得到一大堆微小的碎片（许多 token）。
高压缩：想象将完整的单词甚至短语组合成单个块。你会得到一小堆大块（较少的 token）。

这篇论文问道：我们切分块的大小重要吗？
答案是肯定的。块的大小（称为压缩率）会改变我们建造图书馆的效率。

2. 找到最佳点：“字节与 token"规则

研究人员训练了近 1,000 个不同的 AI 模型，调整块的大小和模型的大小。他们发现了一条关于完美平衡的新规则：

旧规则：“每参数购买 20 个 token。”（这仅在 token 具有特定大小时有效，例如标准的 BPE token）。
新规则：“每参数购买60 字节的文本。”

类比：
把你的 AI 模型想象成一位厨师，数据就是食材。

如果你给厨师提供切好的小份食材（高压缩），他们可以很快烹饪出很多餐食。
如果你给他们提供整颗蔬菜（低压缩），他们必须先切菜，这需要时间。
论文发现，无论你怎么切蔬菜，厨师在每单位技能（参数）拥有特定重量的食材（60 字节）时表现最佳。无论这重量是 20 个大块还是 100 个碎屑，重要的是总重量。

3. “金发姑娘”压缩率

你可能会想：“如果我让块变得更大，就能节省更多时间，所以我应该把它们做得尽可能大！”
论文说：别急。

他们发现块的大小存在一个**“金发姑娘区”**（即大小适中）。

太小：模型会被过多的微小数据碎片压垮。
太大：模型会丢失太多细节，因为块太粗糙。
刚刚好：存在一个特定的压缩率，能在给定预算下产生最智能的模型。

转折：随着你拥有更多资金（更多计算能力），“刚刚好”的大小实际上会变得更小。

类比：如果你有一个小厨房，你可能想要切好的蔬菜以节省时间。但如果你有一个巨大的专业厨房，拥有无限的工作人员，你可能更喜欢整颗蔬菜，因为你可以如此高效地处理它们，以至于额外的细节值得付出努力。

4. 一种尺寸并不适合所有情况（语言很重要）

研究人员在不同语言（英语、印地语、阿拉伯语、俄语等）上测试了这一点。他们发现，“刚刚好”的块大小取决于语言。

类比：想象为不同的旅行打包行李箱。
- 对于前往一个人们使用非常紧凑单词的语言（如英语）的国家旅行，你可能会打包稍大一点的物品。
- 对于前往一个单词较长或使用不同脚本（如印地语或阿拉伯语）的国家旅行，“最佳”的打包方式会发生变化。
论文发现，流行的 AI 工具（如 Llama 3 或 Qwen）通常使用“一种尺寸适合所有”的打包方法。这对英语来说还可以，但对某些语言来说往往压缩过度，而对另一些语言来说则压缩不足。它们本质上是为特定旅行打包了错误大小的物品。

关键要点总结

停止数 token，开始数字节。 在规划向 AI 喂入多少数据时，测量文本的原始大小（字节），而不是块的数量（token）。比例应大致为模型中每 100 万参数对应60 字节的文本。
存在一个完美的块大小。 将 token 做得太大或太小都会损害性能。压缩存在一个特定的“最佳点”。
最佳点会变化。 随着你拥有更强大的计算机，实际上应该使用稍小的块（较低的压缩率）以获得最佳结果。
语言很重要。 印地语的最佳块大小与英语不同。当前的 AI 模型通常使用一种通用的设置，这对每种语言来说都不是最优的。

简而言之：要构建尽可能智能的 AI，不要仅仅遵循“每参数 20 个 token"的旧规则。相反，将文本的重量与大脑的大小相匹配，并根据你拥有的计算能力以及你正在教授的语言来调整文本块的大小。

技术摘要：计算最优分词

问题陈述

缩放定律传统上通过规定模型规模与训练数据量之间的最佳平衡，指导大语言模型（LLM）的高效设计。然而，标准方法将数据量表示为token，这是一个本质上依赖于特定分词器及其压缩率（每个 token 的平均字节数）的单位。这种依赖性忽视了数据单元本身的信息密度。因此，现有的缩放发现与特定的分词方案（例如 BPE）绑定，可能掩盖计算、数据与模型参数之间的真实关系。本文旨在解决关于压缩率（ $T$ ）如何影响计算最优缩放趋势，以及最优数据与参数之比应以 token 还是字节表示的理解空白。

方法论

为了在不混淆词汇表大小等变量的情况下系统性地研究压缩率的作用，作者采用了**字节潜在 Transformer（BLT）**架构。BLT 允许通过基于熵阈值将字节级输入分割为潜在 token，从而精确控制压缩率，使得在保持词汇表大小（即参数数量）不变的情况下，训练具有不同 $T$ 值的模型成为可能。

实验设置：

模型： 研究训练了988 个潜在分词模型（BLT）和320 个子词分词模型（使用 Character、BPE、SuperBPE 和掩码 BPE 变体）。
规模： 模型参数范围从 50M 到 7B。
计算预算： 实验涵盖从 $5 \times 10^{18}$ 到 $2 \times 10^{21}$ FLOPs 的预算。
压缩率（ $T$ ）：
- 潜在模型： $T \in \{1, 2, 4, 6, 8, 12\}$ 字节/token。
- 子词模型： $T \in \{1.01, 3.71, 4.16, 4.57, 6.16\}$ 字节/token。
数据： 训练主要在 DCLM 语料库（纯英语）上进行，并扩展至其他五种语言（法语、越南语、俄语、阿拉伯语、印地语）以及一个人工膨胀的英语数据集。
评估： 模型使用 C4 验证集的**每字节比特数（BPB）**进行评估，确保上下文长度以字节（例如 8192 字节）而非 token 衡量，以在不同压缩率下保持一致性。

分析方法：
作者分两个阶段拟合幂律：

缩放定律 I： 通过寻找等 FLOP 曲线（损失与数据/参数关系）的最小值，确定给定计算预算（ $C$ ）和压缩率（ $T$ ）下的最优训练数据量（ $B^\star$ ）和模型规模（ $N^\star$ ）。
缩放定律 II： 将最优损失（ $L^\star$ ）的动态建模为 $C$ 和 $T$ 的函数，具体调查是否存在最优压缩率。

主要贡献与结果

1. 缩放定律 I：字节与 Token

研究确立，在计算最优配置中，训练数据字节与模型参数之间的最优比率保持大致恒定，不受压缩率影响。

发现： 对于英语数据，最优的每参数字节数比率（ $\rho^\star$ ）接近60 字节/参数。
含义： 广泛引用的“奇美拉”（Chinchilla）规则（约 20 token/参数）是 BPE 分词器特定压缩率（ $T \approx 4.57$ ）的产物。当在不同分词器之间推广缩放方案时，开发者应匹配训练字节与参数的比率，而非 token 与参数的比率。
数学形式： $B^\star(C, T) \approx B_0 C^\alpha T^\beta$ 且 $N^\star(C, T) \approx N_0 C^{1-\alpha} T^{1-\beta}$ ，其中 $\alpha \approx 0.465$ ， $\beta \approx 0.471$ 。由于 $\alpha$ 和 $\beta$ 接近 0.5，比率 $\rho^\star = B^\star/N^\star$ 在不同的 $C$ 和 $T$ 下几乎保持恒定。

2. 缩放定律 II：最优压缩率

论文发现存在一个特定的最优压缩率（ $T^\star$ ），能在固定计算预算下最小化损失。

非单调性： 损失相对于压缩率呈非单调性；偏离 $T^\star$ 向任一方向（压缩过低或过高）都会增加损失。
计算依赖性： 最优压缩率随着计算预算的增加而降低。例如，在 $C=10^{20}$ FLOPs 时， $T^\star \approx 3.69$ ，而在 $C=2 \times 10^{21}$ FLOPs 时， $T^\star \approx 3.33$ 。
子词验证： 这一趋势同样适用于子词分词模型。令人惊讶的是，掩码了 90% BPE 词汇表的模型（有效压缩率更低）在大规模下优于标准 BPE 模型，这表明对于非常大的模型，较低的压缩率可能更有益。

3. 多语言泛化

这些发现延伸至英语以外的语言，最优值与跨语言对等性（在不同语言中表达相同信息所需的字节长度比率）相关联。

语言特异性： 具有更高对等性（每字节信息密度更低，如印地语、俄语）的语言需要更高的最优压缩率和更高的最优每参数字节数比率。
当前分词器： 流行的多语言分词器（如 Llama 3、Qwen 3）往往对高资源语言（如英语）过度压缩，而对低资源语言（如印地语）压缩不足，偏离了计算得出的最优 $T^\star$ 。

4. 推理权衡

虽然较低的压缩率（更接近训练时的最优 $T^\star$ ）能带来更好的性能，但它会增加每字节的推理计算成本。论文指出了一种权衡：较高的压缩率降低了推理成本，但如果显著偏离训练最优率，可能会降低性能。

意义与主张

本文声称提供了关于压缩率对语言模型计算效率影响的首次全面研究。其主要意义在于：

推广缩放定律： 通过确立字节而非 token 作为数据缩放的基本单位，将缩放定律与特定分词器解耦。
最优分词策略： 证明“最优”压缩率并非静态，而是取决于训练计算预算和特定语言领域。
对开发者的指导： 建议模型开发者选择与计算最优的每参数字节数比率一致的分词方案，并考虑特定语言的压缩率，特别是对于标准子词分词器往往无法实现最优压缩的多语言模型。

作者总结道，虽然潜在分词（BLT）提供了精确控制以发现这些趋势，但推导出的缩放定律对于子词分词模型同样一致适用，为选择分词方案以最大化计算效率提供了可操作的指导。