🤖 AI

EntropyMoE: Entropy-Aware Sparse Expert Routing for Tokenizer-Free LLMs

EntropyMoE 引入了一种用于无分词器大语言模型的熵感知混合专家架构，该架构根据字节级补丁（byte-level patches）的熵和长度将其动态路由至专门的专家，在不依赖固定分词器的情况下，实现了卓越的压缩效率和相当的准确度。

原作者： Bo Liu, Muxuab Yu, Yu Zhang, Pengfei Gao, Yongping Zhang

发布于 2026-08-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Bo Liu, Muxuab Yu, Yu Zhang, Pengfei Gao, Yongping Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图教一个机器人阅读。长期以来，教它阅读最好的方法是将每个句子切成预先制好的“块”，称为“标记”（tokens），就像在端上菜之前就把披萨切成固定大小的薄片。但如果机器人可以直接阅读“原材料”——即单个字母或字节呢？这就是“无标记”（tokenizer-free）模型的世界。它们就像不会使用预切食材，而是根据食材纹理的复杂程度，实时决定切片大小的大厨。如果蔬菜很硬（不确定性高），他们就切一小片；如果蔬菜很软（可预测性高），他们就切一大片。这使得阅读过程变得更加灵活。

然而，这里有一个问题。尽管这些机器人足够聪明，能够将文本切成大小不一的碎片，但一旦这些碎片到了案板上，它们处理每一个碎片的方式都是完全一样的。无论是一个简单、枯燥的词，还是一个复杂、令人困惑的词，它们投入的脑力都是一样的。这就像雇佣了一支由100位天才组成的团队来解决数学题，但却要求这100个人参与到每一个题目中，无论题目是“2+2”还是“量子物理学”。这是一个巨大的能量浪费。科学家们正在问的一个大问题是：我们能否让机器人变得更聪明，只为合适的任务调用合适的专家，而不至于在简单的事情上浪费时间？

这正是论文《EntropyMoE》所要解决的问题。研究人员构建了一个名为 EntropyMoE 的新系统，它就像是一个管理 AI 专家团队的超级高效经理。这个经理并不需要通过观察一段文本块的整个复杂含义来决定谁来处理它，而仅仅是看一个简单的数字：熵（entropy）。用通俗的话说，这里的熵就是一种“惊讶度”或“不确定性”的度量。如果一段文本非常容易预测（低熵），经理就知道它很简单；如果它充满了惊喜（高熵），那么它就很难。

奇迹发生在这里：经理利用这个“惊讶得分”从八个专家的团队中精准挑选出两个专家来处理每个文本块。最棒的部分在于，经理不需要阅读全文就能做出这个决定；他只需要那个单一的“惊讶”数值。这就像是一个夜店的保安，只需要看一眼你的身份证件就能决定你是否可以入内，而不需要通过面试来了解你的生平故事。通过这种方式，该系统节省了大量的计算机内存和处理能力。在测试中，EntropyMoE 系统仅使用 400 个微小的参数来进行这些路由决策，而旧的方法为了完成同样的工作则需要超过 400,000 个参数。

结果令人印象深刻。当他们用这个新系统与旧有的“稠密”（dense）模型（即每个人都处理所有事情的模型）以及其他智能路由模型进行对比时，EntropyMoE 在预测下一个字节的准确度方面表现得最为出色。它的错误率最低，以“每字节比特数”（bits per byte）来衡量。虽然它并没有在每一场比赛中都彻底碾压对手（例如在一个名为 HellaSwag 的特定知识问答竞赛中，它的表现略好），但它证明了使用“惊讶度”作为引导是一种获胜策略。论文指出，这种方法是构建更智能 AI 的一种稳健且高效的方式，尽管研究人员也承认，由于“专家切换”需要额外的时间，当前版本的运行速度仍比旧的、更简单的模型稍慢。最终，他们展示了你并不需要一个超级复杂的头脑来决定谁来干活；有时，仅仅通过文本有多么“令人惊讶”这一简单的度量，就足以组织起一支专家团队。

技术摘要：EntropyMoE

问题陈述
近期，无分词器（tokenizer-free）大语言模型（LLM）的进展，特别是字节潜在 Transformer（Byte Latent Transformer, BLT），通过根据局部预测不确定性（熵）将原始字节动态分组为大小不一的补丁（patches），提升了效率。在这种架构中，可预测的字节序列形成较长的补丁，而具有不确定性的序列则形成较短的补丁。然而，现有的字节补丁架构对每个补丁都应用统一的、稠密的前馈计算，而不考虑其语义难度或粒度。这种“一刀切”的方法无法使模型容量适应补件语义的变化。此外，标准的混合专家（Mixture-of-Experts, MoE）模型通常是面向分词器的（token-native），基于高维隐藏状态进行路由，这忽略了在补丁化过程中已经计算出的显式不确定性信号，并引入了不必要的路由开销。

方法论：EntropyMoE
本文提出了 EntropyMoE，一种补丁原生（patch-native）的稀疏专家架构，旨在用 Top-K MoE 层替换全局补丁 Transformer 中的稠密前馈层。其核心创新在于使用标量补丁熵作为路由机制的唯一输入，而非高维隐藏状态。

架构： 构建于 BLT 风格的流水线之上，EntropyMoE 保留了局部字节编码器、全局自注意力机制和解码器，但将稠密前馈子层替换为专家池。每个动态补丁作为一个单一的路由单元。
仅基于熵的路由： 与将隐藏状态投影到专家逻辑值（logits）的传统路由器不同，EntropyMoE 路由器通过学习到的仿射变换（$s = aH + b $）仅将归一化的标量熵（$ H_i $）映射到专家逻辑值。这使得路由参数从$ O(d \times M) $降低到$ O(M) $，其中$ d $是隐藏维度，$ M$ 是专家数量。在报告的实验中（25 层，8 个专家），这使得可训练的路由参数仅为 400 个，而隐藏状态路由器的参数超过 400,000 个。
Top-K 选择： 路由器根据熵衍生的逻辑值，为每个补丁精确选择 $K=2$ 个专家。补丁的隐藏状态由选定的专家处理，但明确排除在选择过程之外。
字节加权工作量统计： 由于补丁长度各异，仅统计补丁数量无法准确反映计算负载。EntropyMoE 引入了字节加权的工作量平衡目标。专家的负载计算为分配给该专家的补丁长度之和，并按总字节数进行归一化。这确保了处理长（低熵）补丁的专家不会相对于处理许多短（高熵）补丁的专家出现利用不足的情况。
初始化： 稀疏模型通过复制稠密 BLT 检查点中的稠密前馈权重来初始化所有专家，以确保模型在持续训练开始前具有一致的行为。

核心贡献

补丁原生稀疏计算： 提出了针对无分词器 LLM 的稀疏条件计算公式，其中动态字节补丁是基本的路由单元，实现了路由决策与高维语义表示的解耦。
仅基于熵的路由器： 引入了一种仅基于熵的 Top-2 路由器，利用了补丁化流程中固有的因果不确定性信号。它将补丁粒度（由补丁器决定）、专家选择（由熵决定）和工作量统计（由字节长度决定）进行了分离。
受控实证验证： 在匹配的数据、更新次数、激活参数量和初始化条件下，对 Dense BLT、Hidden-only MoE 和 Hidden+Entropy MoE 进行了严格对比。

实验结果
作者在 FineWeb-Edu 数据集上使用 BLT-1B 骨干网络对 EntropyMoE 进行了评估。

建模质量： 在所有测试配置中，EntropyMoE 实现了最低的持有验证每字节比特数（BPB）（0.8351），优于 Dense BLT 基线（0.8442）以及两种基于隐藏状态的 MoE 变体。该改进具有统计学显著性（95% 置信区间严格低于零）。
下游性能： 下游准确率与基线大致相当。值得注意的是，EntropyMoE 在 HellaSwag 任务上表现出统计学显著的提升（比 Dense BLT 高出 +1.16%），同时在 PIQA 和 MMLU 等其他任务上保持了竞争力的表现。
路由效率： 与隐藏状态路由器相比，EntropyMoE 将路由参数减少了三个数量级（400 对比约 400k）。它实现了测试的稀疏模型中最佳的迭代时间和有效字节吞吐量，尽管由于 MoE 分发和通信开销，其速度仍约为 Dense BLT 的两倍。
路由模式： 分析显示，EntropyMoE 诱导了一种高度选择性的路由结构。与广泛分配任务的隐藏状态路由器不同，EntropyMoE 将分配集中在极少数专家上（前 2 个专家占据了 89.1% 的质量）。它还展示了低熵与高熵补丁之间明显的路由行为差异（Entropy JSD 分别为 0.1263 和 0.0040，对于 Hidden-only 而言），表明熵有效地区分了专家利用率。
工作量统计： 字节加权的工作量平衡始终比补丁计数统计能改善 BPB，验证了在可变长度补丁场景下考虑字节覆盖范围的必要性。

意义与主张
论文声称，补丁熵可以作为无分词器 LLM 中稀疏条件计算的一个有效的低维路由坐标。通过利用补丁化过程中已经计算出的不确定性信号，EntropyMoE 在不消耗完整语义表示进行路由决策的情况下，组织了稀疏计算。

作者谦虚地指出，虽然这些结果确立了补丁熵作为一种有前景的条件计算基础，并证明了其改进了字节级建模，但他们并未声称已经确立了不可或缺的专家身份，也未证明其相对于稠密骨干网络的计算匹配优势（因为当前的稀疏实现仍然较慢）。观察到的改进归功于熵调节的路由几何结构和字节感知的工作量平衡，而非仅仅是稀疏容量本身，因为具有相似容量的隐藏状态 MoE 变体并未取得同样的增益。这项工作将 MoE 建模扩展到了分词器之外，为更高效、更具适应性的字节级语言建模提供了一条路径。

技术摘要：EntropyMoE

类似论文