💻 computer science

Adaptive Targeted Dynamic Chunking for Tokenization-Free Hierarchical Model

本文介绍了自适应目标动态分块（ATDC），这是一种基于课程学习的机制，能够在无标记分词的分层模型中动态优化压缩比率，从而在 FineWeb-Edu 100B 数据集上实现稳定的训练和具有竞争力的性能。

原作者： Thang Dang, Akira Nakagawa, Kenichi Kobayashi, Koichi Shirahata

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Thang Dang, Akira Nakagawa, Kenichi Kobayashi, Koichi Shirahata

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人阅读并理解一个庞大的图书馆藏书。

旧方法：“子词”翻译器

传统上，我们教机器人阅读时，会先将单词拆解为更小的、预定义的块，称为“令牌”（tokens）。这就像一位只掌握有限一组代码词的翻译员。

问题所在： 如果机器人遇到一个从未见过的单词（比如拼写错误、新的俚语或另一种语言中的名字），这位翻译员就会卡住。它可能会将单词拆解成毫无意义的碎片，或者干脆拒绝阅读。这就像试图阅读一个缺失了某些单词的句子，而翻译员只是猜测其余部分。

新想法：直接读取原始字节

本文的研究人员提出了一种不同的方法：无令牌化模型。他们不是使用翻译员，而是教机器人直接读取原始的“字节”（文本的数字构建块）。

类比： 想象机器人是通过观察屏幕上单个像素来学习阅读，而不是识别完整的字母。这种方式非常灵活，可以轻松处理拼写错误或奇怪的字体，因为它看到的是原始数据。
局限性： 逐像素读取极其缓慢且低效。如果你有一整本小说，机器人必须一个接一个地处理数百万个微小的像素。它会不堪重负。

解决方案：“自适应目标动态分块”（ATDC）

为了解决速度问题，研究人员创建了一个名为ATDC的智能系统。你可以把它想象成一个智能编辑器，位于原始像素和机器人“大脑”之间。

1. “课程学习”方法（训练营）
想象你在教一名学生总结一本书。

第一阶段（初学者）： 在开始时，你告诉学生要仔细阅读每一个句子。他们不能跳过任何内容。这有助于他们在不感到困惑的情况下掌握基础知识。
第二阶段（专家）： 随着学生变得更聪明、对故事理解更深，你告诉他们：“好吧，现在你可以开始将句子分组为段落了。你可以跳过显而易见的部分，专注于核心思想。”
论文的主张： ATDC 系统正是这样做的。它起初对文本的压缩非常少（几乎阅读所有内容），并随着模型对数据的理解能力增强，逐步教导模型进行更多压缩（将字节分组为更大的块）。

2. “智能编辑器”（动态分块）
ATDC 系统不像强制机器人将文本分组为固定大小的块（例如“总是将 6 个字节分组在一起”）那样运作，而是像一个灵活的编辑器。

类比： 想象阅读这样一个句子："The quick brown fox jumps."（那只敏捷的棕色狐狸跳了起来。）
- 固定编辑器可能会奇怪地将其切断："The qu" | "ick bro" | "wn fox" | " jumps." 这破坏了句子的含义。
- ATDC 编辑器则关注含义。它看到 "The quick brown fox" 是一个完整的思想，因此将其保持在一起。它只在含义真正改变的地方分割文本。
结果： 模型保持了重要单词的完整性（例如将"checking"作为一个整体单元保留），而不是在中间将其切碎。

他们发现了什么？

研究人员将这种新系统（称为H-Net with ATDC）与旧的基于令牌的模型（如 Llama 3.2）以及其他字节级模型进行了测试。

更好的理解能力： 即使新系统的“脑细胞”（参数）更少，它在语言学习方面（通过“每字节比特数”衡量）也比基于令牌的模型表现更好。
卓越的韧性： 当用充满拼写错误、奇怪大小写或随机字符删除的杂乱文本测试这些模型时，新系统依然运行良好。而旧的基于令牌的模型则陷入混乱并失败。
- 类比： 如果你写了一个带有拼写错误的句子，比如"Helo"，旧模型可能不知道"Helo"是什么。而新模型只需看到字母 H-e-l-o，就能理解它是"Hello"。
更智能的分组： 他们可视化了模型如何分组单词。新系统将像"checking"这样的单词保持在一个块中，而旧的固定系统则将其切碎为"ch"和"ecking"。

总结

这篇论文介绍了一种方法，使“原始数据”读取模型变得更快、更智能。通过使用课程（从简单开始，逐渐变难）和一个智能编辑器（根据含义而非固定规则对文本进行分组），他们创造了一个模型，该模型：

比原始数据模型读取得更快。
比传统模型更能理解杂乱的文本。
通过随着变得更聪明而调整其压缩策略，从而更高效地学习。

作者得出结论，这种方法是将 AI 模型推向更稳健、更灵活、更高效的重要一步，而无需依赖僵化的预定义词汇表。

技术摘要：面向无词元化分层模型的自适应目标动态分块

问题陈述

传统大型语言模型（LLM）在预处理阶段严重依赖子词词元化技术（例如 BPE、WordPiece）。尽管这些方法行之有效，但也引入了显著的局限性，包括复杂的词汇表设计、未登录词（OOV）错误、对拼写错误和形态多样性的敏感性，以及对高资源语言的偏见。

为解决这些问题，无词元化分层模型直接处理原始字节序列。然而，这些基于字节的方法面临一个核心效率障碍：处理单个字节或有意义的分块需要大幅压缩，以应对扩展上下文并控制计算开销。现有的分层设计（如 H-Net）利用动态分块来构建更高层的抽象。尽管如此，当前方法主要依赖静态压缩比（例如，每个分块固定平均 6 字节）。这种启发式方法无法适应训练过程中数据分布不断演变的复杂性，往往导致优化不稳定或压缩动态次优。

方法论：自适应目标动态分块（ATDC）

作者提出了自适应目标动态分块（ATDC），这是一种旨在动态调节分层架构中字节压缩的新机制。ATDC 将压缩管理视为一种课程学习形式，随着模型对数据分布理解的加深，逐步将压缩比从低（细粒度）调整至高（粗粒度）。

核心组件

自适应路由调度：
- 不同于固定的压缩比 $N$ ，ATDC 在训练期间采用 $N(t)$ 的调度线性增长。
- 预热阶段： 在初始阶段（ $t < T_w$ ）， $N$ 保持在 $N_{init}$ 不变，以使路由模块收敛于基本模式。
- 线性插值： 随后， $N$ 线性插值至目标值 $N_{fnl}$ 。
- 基于指标的自适应： 系统监控滑动窗口内的语言建模损失。如果平均损失低于阈值 $\tau$ （表明已具备熟练度），则应用自适应率 $\gamma$ 以加速压缩能力的提升。
平衡损失（ $L_{bal}$ ）：
- 为防止退化解并确保结构完整性，ATDC 利用平衡损失，使路由器的软概率输出与离散路由决策保持一致。
- 损失函数包含边界惩罚，以激励随着 $N$ 增加而提高压缩率，以及一致性项，以稳定非边界 token 的梯度。
- 归一化因子确保损失在 $N$ 调度的不同阶段保持数值稳定。
指标框架（BPIC）：
- 该论文建立了目标压缩比与**最内层分块字节数（Bytes-Per-Innermost-Chunk, BPIC）**之间的形式化关系。
- BPIC 作为一种诊断工具，用于追踪训练过程中分块大小的演变，验证自适应调度是否准确反映了模型内部的语义分割。
分层架构：
- 该模型保留了 H-Net 结构，利用带有 Mamba-2 状态空间模型（SSMs）和多头注意力机制的编码器。
- 路由模块基于语义不连续性（通过学习的余弦相似度测量）预测离散边界。
- 去分块通过指数移动平均（EMA）递归执行，允许对原始序列长度进行可微重构。

主要贡献

新颖的压缩控制： 引入 ATDC，利用课程学习方法动态调节分层架构中的字节压缩。
理论框架： 提供了将目标压缩比与 BPIC 联系起来的正式分析，从而能够追踪分块大小的演变。
实证验证： 在FineWeb-Edu 100B数据集上的广泛训练表明，配备 ATDC 的模型在与基于字节的基线模型以及基于词元的 Llama 3.2 模型相比时，实现了具有竞争力的每字节比特数（BPB）性能。
增强的鲁棒性： 证明与固定压缩率模型相比，自适应方法在应对文本扰动（如拼写错误、大小写变化、字符删除）时具有更优越的鲁棒性。

实验结果

评估在 FineWeb-Edu 100B 数据集上进行，将增强 ATDC 的 H-Net 模型（3.5 亿至 13 亿参数）与静态 H-Net 基线模型及基于词元的 Llama 3.2 模型进行了对比。

语言建模质量： ATDC 模型始终取得了最低（即最佳）的验证 BPB 分数。值得注意的是，H-Net 680M (ATDC) 实现了 50.7% 的平均零样本准确率，显著超越了 Llama 3.2 770M (42.1%)，甚至优于更大的 Llama 3.2 1.5B (48.5%)。
对扰动的鲁棒性： 在包含五种文本扰动类型（Antspeak、Drop、RandomCase、Repeat、Uppercase）的 HellaSwag 基准测试中，ATDC 模型保持了比基于词元的模型更高的准确率。例如，在字符级噪声下，Llama 3.2 的准确率降至约 27.7%，而 H-Net 1.3B (ATDC) 保持了 31.6%。
消融研究： 在 3.5 亿参数变体上的实验证实，自适应压缩（范围从 8.0 到 9.5）在标准基准测试和鲁棒性测试中均优于固定率配置（7.0、8.0、9.0），实现了最高的平均准确率（47.3%）。
边界可视化： 对分块边界的视觉分析显示，ATDC 比固定率方法更有效地保持了语义完整性（例如，将单词"checking"保留在单个分块中），而固定率方法往往将单词分割到多个分块中。

意义与主张

该论文声称，ATDC 通过实现既高效又鲁棒的直接字节级处理，解决了词元化的“开销”问题。这项工作的意义主要体现在三个方面：

卓越的效率与质量： 结合 ATDC 的字节级建模能够捕捉子词词元化可能掩盖的语言细微差别和结构信息，以比同类基于词元的模型更少的参数实现了最先进的性能。
韧性： 通过避免词元化预处理，该模型在存在拼写错误、大小写变化和格式偏移的情况下仍能保持高性能，而这些正是传统基于词元的模型表现严重不佳的领域。
动态适应： 研究证实，自适应目标分块对于有效的分层建模至关重要。与可能分割语义单元的固定率压缩不同，ATDC 学习将分块边界与有意义的形态结构对齐，从而在复杂推理任务中产生更稳定的表示并提高泛化能力。

作者总结道，他们的方法为传统大型语言模型提供了一种有前景的替代方案，提供了一个稳健、灵活且高性能的框架，用于处理不受词汇表设计约束的原始字节数据。