💬 NLP

Effective Context in Transformers: An Analysis of Fragmentation and Tokenization

本文建立了一个有限上下文的信息论框架，证明虽然碎片化（使用更小的单元）会通过增加最优对数损失而本质上降低预测性能，但贪婪分词（使用更大的单元）能有效扩展模型可用的上下文窗口，从而解释了基于字节/字符的 Transformer 模型与基于子词的 Transformer 模型之间的性能差异。

原作者： Amirmehdi Jafari Fesharaki, Mohammadamin Rami, Aslan Tchamkerten

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Amirmehdi Jafari Fesharaki, Mohammadamin Rami, Aslan Tchamkerten

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试预测故事中的下一个词。你拥有一个“记忆窗口”，但它只能容纳特定数量的项目。这篇论文提出了一个简单却深刻的问题：我们将故事拆解为这些项目的方式是否重要？

作者 Amirmehdi J. Fesharaki、Mohammadamin Rami 和 Aslan Tchamkerten 探讨了两种拆解文本的方法：将其切分为微小的片段（如单个字母或字节）， versus 将其分组为更大的块（如单词或子词标记）。他们利用数学证明，即使数据本身完全相同，你切割数据的方式也会改变计算机预测未来的能力。

以下是他们发现的分解，使用了简单的类比：

1. “过多细节”的问题（碎片化）

类比： 想象你正在尝试猜测国际象棋游戏中的下一步棋。

场景 A（子词）： 你看着棋盘，清晰地看到棋子：“马”、“兵”、“王”。你可以轻易地看到模式。
场景 B（碎片化）： 现在，想象有人给棋盘涂上了颜料，并将每个棋子都打碎成微小的彩色像素。为了看到相同数量的历史，你必须观察更广阔的像素区域。

论文的主张：
作者发现，如果你将一个源符号（如一个字母）分解为更小的无损片段（如比特或字节），你实际上会让预测变得更困难，即使你为模型提供了更大的观察窗口。

为什么？ 这是一个对齐问题。
- 如果你查看一个单词，你确切地知道它从哪里开始，到哪里结束。
- 如果你查看构成该单词的比特，你的“窗口”可能会正好切断字母的中间。你可能会看到一个字母的结尾和另一个字母的开头，但你不知道自己正在看哪个字母。
- 隐喻： 想象试图阅读一个句子，其中单词之间的空格被随机移动了。即使你有一把足够长的尺子来测量整个句子，你也无法分辨一个单词在哪里结束，下一个单词从哪里开始。这种混乱产生了“相位模糊”。模型会浪费能量去猜测边界在哪里，导致错误率升高，这种错误无法仅通过延长训练时间或增加计算能力来修复。

2. “智能分组”的力量（分词）

类比： 现在，想象你在阅读一本书，但你不是逐字阅读，而是按“意义块”阅读。

设定： 你有一个有限的记忆窗口，只能容纳 10 个项目。
场景 A（原始文本）： 如果你的项目是字母，你的窗口只能容纳 10 个字母。那 barely 是一两个单词。你无法看到太多上下文。
场景 B（分词）： 如果你的项目是“标记”（组成常见单词或单词部分的字母组），你的 10 个项目的窗口可能容纳 50 个字母，甚至整整一个句子。

论文的主张：
作者证明，将符号分组为更大的标记可以使短窗口表现得像长窗口一样。

条件： 这仅在“块”可靠时才有效。如果你的分词器足够智能，以至于 10 个标记总是（或几乎总是）覆盖原始故事的很长一段，那么模型就可以利用小窗口来学习整个故事的模式。
指标： 他们引入了一种称为“有效源上下文”（Effective Source Context）的测量方法。这不在于你有多少个标记，而在于这些标记实际上代表了多少个原始字符。如果你的 10 个标记覆盖了 100 个字符，那么你的模型就拥有"100 个字符的记忆”，即使它只看到了 10 个项目。

3. “松弛”因素

论文还指出，现实世界的分词器并不完美。有时一个标记可能非常短（只是一个字母），有时可能很长（整个单词）。

发现： 只要“坏”的情况（标记太短）很少见，模型的表现几乎与标记完美时一样好。数学精确地展示了在收益消失之前，你可以容忍多少“松弛”（误差）。

两方面的总结

该论文建立了一个关于我们如何向 AI 表示数据的资产负债表：

变得更小（碎片化）： 将数据分解为微小的比特（如字节）会产生“相位失配”。模型会对原始单位的起止位置感到困惑，导致效率的永久性损失，这种损失无法仅通过扩大模型规模来修复。
变得更大（分词）： 将数据分组为智能块（如 BPE 或 WordPiece）就像一种压缩工具。只要这些块足够一致，它就能让模型在相同的固定窗口大小内看到更长的故事历史。

核心结论：
“上下文窗口”的大小不仅仅是一个项目数量；它是原始源单位的数量。如果你将数据切分得太细，你就会失去看到大局的能力。如果你明智地将其分组，你就可以用更少的努力看到更远的地方。该论文提供了数学规则，以确切地知道何时分组有帮助，何时切分有害。

技术摘要：Transformer 中的有效上下文

1. 问题陈述

现代语言建模依赖于 Transformer 架构，但在训练之前存在一个根本性的选择：输入序列的表示方式。同一段文本可以被编码为字节、字符或子词标记。尽管这些编码通常是无损的，但 Transformer 中固定的上下文窗口会根据表示方式的不同，覆盖不同数量的原始源历史。

这引出了一个核心理论问题：表示方式的选择如何改变有限上下文预测器所能达到的效果？

现有文献观察到了性能差距：基于字节或字符运行的无标记模型（如 ByT5、CANINE）在有限上下文预测方面往往表现不佳，即使将其上下文窗口扩大以覆盖相同的标称源历史，仍不如基于子词标记的模型。相反，使用 BPE 或 WordPiece 的标记化模型通常能在更短的标记窗口下实现高性能。本文旨在提供一个信息论框架来解释这些现象，超越经验观察，刻画在不同无损重编码下有限上下文预测的内在极限。

2. 方法论

作者使用平稳有限阶马尔可夫源来分析这一问题。该设定允许明确定义“相关历史”：一旦上下文窗口达到马尔可夫阶数 $k$ ，最优有限上下文损失即达到熵率。通过隔离表示层，作者可以确定重编码如何在固定窗口内影响可用信息。

本研究沿两个互补方向展开：

碎片化（细化）： 分析将源符号分解为更小单元（例如从字符到比特）的影响。
标记化（聚合）： 分析将源符号组合为更大单元（例如从字符到子词）的影响。

分析采用了信息论工具，特别是条件熵和互信息，以量化由表示选择引入的“超额损失”。理论结果通过在合成马尔可夫源和真实世界数据集（WikiText-103）上进行的实验得到验证，使用了 Transformer 架构和 N 元模型。

3. 主要贡献

A. 碎片化效应

本文引入了碎片化的概念：一种无损重编码，其中每个源符号被替换为一组 $M$ 个更小的符号。

现象： 作者证明，即使将上下文窗口扩大以覆盖相同数量的标称源符号（$Mw $个碎片对比$ w$ 个源符号），碎片化也会严格增加最优有限上下文对数损失。
机制： 超额损失源于两个因素：
1. 相位模糊： 预测器无法区分当前碎片在其源符号内的“相位”（例如，这是字符的第一位还是第二位？）。不同的相位会导致下一个碎片的条件分布不同，但预测器只能看到原始碎片上下文。
2. 上下文赤字： 碎片化窗口可能会切断源符号边界，无法与最优预测所需的源历史对齐。
理论结果： 定理 3.1 量化了碎片化预测器与源级预测器之间的最优损失差距。该差距被证明是表示方式固有的，而不仅仅是优化或容量问题。这为字节/字符级模型（ByT5、CANINE）相对于子词模型所观察到的性能差距提供了理论解释。

B. 标记化增益

本文分析了贪婪标记化（如 BPE、WordPiece）作为一种扩展有效上下文的机制。

机制： 标记化将源符号分组为更大的单元。 $w$ 个标记的固定窗口可能跨越远多于 $w$ 个源符号。
源跨度： 作者将标记窗口的源跨度 $S$ 定义为其中包含的原始源符号数量。
理论保证： 定理 4.1 和推论 4.2 表明，如果每个 $w$ 个标记的窗口至少跨越 $w_s$ 个源符号，那么标记级预测器可以复现具有 $w_s$ 上下文的源级预测器的行为，且无渐近损失。
典型跨度分析： 认识到真实标记器的标记长度是可变的，作者引入了概率分析（定理 4.3）。他们表明，如果一个标记器是 $(\epsilon, w, w_s)$ -典型的（意味着 $w$ 个标记的窗口以 $1-\epsilon$ 的概率至少跨越 $w_s$ 个源符号），那么标记级损失的上界为跨度 $w_s$ 处的源级损失加上一个与 $\epsilon$ 和标记器压缩率成正比的松弛项。
诊断： 该框架为真实标记器提供了一个简单的诊断方法：测量“松弛”（即标记窗口未能跨越目标源历史的概率），可以基于标记器提供的有效源上下文而非仅仅是平均标记长度来比较标记器。

4. 结果

碎片化实验： 在合成马尔可夫源上，预测碎片化序列（比特/字符）的模型收敛到的损失严格高于源级模型，即使上下文窗口被缩放以覆盖相同的源历史。观察到的损失差距与相位模糊和上下文赤字的理论分解相符。
标记化实验： 在 12 阶二进制马尔可夫源上，Transformer 需要 12 个源符号的窗口才能达到熵率。标记化后，相同的架构在更小的标记窗口下（例如 $w < 12$ ）即可达到熵率，前提是这些标记跨越了必要的源历史。
真实世界分析： 对 WikiText-103 上标记器的分析表明，对于固定的标记窗口（例如 $w=128$ ），有效源跨度通常是标记窗口长度的 3 到 5 倍，直到“松弛”项变得显著。这证实了标记化有效地扩展了模型可用的上下文。

5. 意义与主张

本文声称建立了一个用于推理 Transformer 中表示选择的有限上下文信息论框架。

理论解释： 它严谨地解释了为什么字节/字符级模型面临的预测问题比子词模型更困难，将这种困难归因于固有的表示属性（相位模糊），而不仅仅是架构限制。
设计标准： 它将标记器质量的衡量标准从平均标记长度转移到了源跨度分布的下尾。一个标记器之所以有效，不仅因为它压缩了数据，更因为它能可靠地确保固定标记窗口包含足够的源历史。
局限性： 作者明确指出，他们的结果隔离了一种可实现损失效应。他们并未证明特定的 Transformer 架构总能学会这些最优预测器，也未完全解决优化动力学问题（尽管实证结果表明标记化可能会提高收敛速度）。这项工作刻画了给定表示方式下的最佳可能性能，而非特定训练模型的性能。

总之，本文认为对于有限上下文预测器，“有效上下文”由表示方式决定。碎片化可能通过掩盖相位和历史而降低性能，而标记化则可以通过扩展固定窗口所覆盖的源历史来提升性能，前提是标记器的跨度分布是有利的。