🤖 AI

L $^3$ : Large Lookup Layers

本文介绍了大型查找层（Large Lookup Layers, L $^3$ ），这是一种将嵌入表泛化的新型架构，旨在为解码器层实现基于标记的静态路由，从而在语言建模和下游任务中提供比混合专家（MoE）模型更具硬件效率且更稳定的替代方案，并取得更优异的性能。

原作者： Albert Tseng, Christopher De Sa

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Albert Tseng, Christopher De Sa

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对“Large Lookup Layers (L3)”论文的解释，使用了简单的语言和日常类比。

核心问题：AI 中的“交通拥堵”

想象一下，现代 AI 语言模型就像一座巨大且繁忙的办公大楼。为了写出一个句子，AI 必须处理数以千计的词（token）。

目前，让这些模型在不变得过于庞大的情况下变得更聪明，最流行的方法叫做混合专家模型 (Mixture-of-Experts, MoE)。你可以把它想象成一个巨大的办公室，对于 AI 处理的每一个词，都有一个“路由 (router)”来决定应该由哪支特定的专家团队（一小组计算机）来处理这个词。

问题所在： 这个路由就像一名交通警察，必须拦下每一辆车（词），查看它们要去哪里，然后决定把它们引导到哪条车道。这非常耗时，会造成交通拥堵（硬件效率低下），而且有时警察会做出错误的决策，把太多的车发往一条车道，而让其他车道空置。此外，它还需要额外的“训练”来保持交通顺畅。

旧方案：字典

另一方面，每个 AI 都有一个基础的嵌入表 (embedding table)（就像一本字典）。当 AI 看到“Apple”这个词时，它只需在字典中查找并抓取定义即可。

优点： 速度极快。不需要交通警察。
缺点： 它很“笨”。它不懂得语境 (context)。在“Apple Pie”（苹果派）中的“Apple”与在“Apple Computer”（苹果电脑）中的“Apple”获取的是完全相同的定义。它缺乏句子的细微差别。

新思路：“智能图书馆” (L3)

本文作者引入了 Large Lookup Layers (L3)。他们提出了一个问题：如果我们能让“字典”变得足够聪明，能够理解语境，同时又能保持像简单查表一样快，会怎样？

想象一下，AI 不仅仅拥有一本字典，还拥有一个巨大且组织严密的图书馆。

静态路由（无需交通警察）： 与其根据整个句子的内容来决定将一个词发送到哪里，L3 系统直接观察词本身（例如“Apple”），并立即知道应该去图书馆的哪些书架。这就像一个条形码扫描器，能瞬间告诉你：“去 4 号货架，第 2 层。”你不需要思考句子的语境就能找到正确的书；系统仅凭词的 ID 就知道位置。
语境聚合（智能读者）： 一旦系统知道该去哪些书架，它就会抓取与该词相关的一组书籍（嵌入/embeddings）。然后，AI 当前的“思维”（隐藏状态）就像一名快速扫描这些书籍并挑选出符合当前句子细节的“读者”。
- 类比： 如果词是“Apple”，图书馆可能会取出关于“水果”、“技术”和“健康”的书。如果句子是关于“派 (Pie)”的，AI 的“读者”就会专注于“水果”这本书，而忽略其他书籍。

他们是如何组织图书馆的（算法）

最大的挑战在于：我们如何决定为每个单词放置多少本书？

如果我们给每个词分配相同数量的书，常用词（如“the”）会得到太少，而罕见词会得到太多。
作者使用了一种压缩算法（类似于 ZIP 文件的工作方式）来组织这个图书馆。
- 隐喻： 想象一位图书管理员注意到，每天有数百万人询问“The”和“And”，但一年只会被问到一次“Zephyr”。于是，管理员为“The”建立了一个庞大且详细的部分（拥有数百本书），而为“Zephyr”建立了一个微小的、只有一本书的部分。
- 这确保了最常用的词拥有最多的“脑力”支持，而罕见词不会浪费空间。

为什么它更快、更好

论文声称 L3 在两个主要方面优于目前的“交通警察”方法 (MoE)：

没有意外（对硬件友好）： 在 MoE 方法中，计算机在处理句子进行到一半之前，并不知道它需要哪些专家。这迫使计算机必须让所有专家都处于待命状态，从而浪费内存。
- L3 的优势： 因为在输入词的那一刻，系统的“书架位置”就已经确定了，所以计算机可以在思考前一个词的同时，就去提取下一个词所需的书籍。这就像厨师在烹饪当前菜肴的同时，已经在准备下一道菜的食材。这使得他们可以将“图书馆”存储在较慢、较便宜的硬盘（CPU）上，并在最后一秒才将极小部分数据拉取到高速处理器（GPU）上。
性能更佳： 当他们在高达 26 亿活跃参数的模型上进行测试时，L3 模型生成的句子质量更高，语言理解能力更强，且比现有的“稠密 (dense)”模型和当前的“MoE”模型消耗更少的计算资源。

总结

本文介绍了一种构建 AI 的新方法，使其表现得像一个智能且预先分类好的图书馆。

它通过在看到词的一瞬间就明确查找位置，避免了当前 AI 面临的交通拥堵问题。
它使用了一种智能的归档系统（基于词频出现情况），以确保常用词能获得最多的关注。
它让 AI 在保持庞大且聪明的同时，不会降低速度，因为它可以将内存“卸载”到更便宜的存储设备中，而不会因为等待数据而卡顿。

简而言之：L3 为 AI 提供了一个庞大的、具备语境感知能力的记忆库，其访问速度如同简单的字典一样快。

技术摘要：大查找层 (Large Lookup Layers, L3)

问题陈述

现代稀疏语言模型主要依赖混合专家（Mixture-of-Experts, MoE）架构来提高总参数与活跃参数的比率。虽然 MoE 通过将 token 动态路由到特定的“专家”MLP 来提升下游性能，但这种基于上下文的路由引入了显著的系统挑战。具体而言，动态路由需要辅助损失（如负载均衡）来防止路由器崩溃，增加了训练稳定性方面的复杂性，并阻碍了硬件效率。由于在 token 到达路由器之前，模型无法预知其将激活哪些特定的专家，因此在推理过程中将参数卸载（offloading）到 CPU 内存会产生巨大的开销，且由于数据移动具有不可预测性，并行策略也会变得复杂。

相反，标准的分词器嵌入表（tokenizer embedding tables）本质上是稀疏且硬件高效的（每个 token 仅选择一个嵌入），但它们缺乏上下文信息，仅作为静态查找使用。本文认为，需要一种既能保留上下文路由优势，又无需承担动态 MoE 路由器带来的“系统包袱”的稀疏架构。

方法论

作者引入了 大查找层 (L3)，这是一种新型架构，它将分词器嵌入表的概念推广到解码器层中，使其能够以上下文相关的方式运行。

核心架构

L3 层接收隐藏状态 $x$ 和 token ID $t$ 作为输入。L3 不再根据 $x$ 动态路由到一组专家，而是使用基于 token 的静态路由。

静态路由： 在生成 token ID $t$ 时，模型立即知道应检索哪组嵌入。该集合由从 token ID 到大型嵌入表子集的预计算映射决定。
上下文相关聚合： 一旦根据 token ID 检索到特定的嵌入（键 $K_t$ 和值 $V_t$ ），模型便使用隐藏状态 $x$ 对这些嵌入进行基于注意力的聚合。这使得模型能够利用上下文信息来辅助选择和加权缓存的嵌入。
数学公式： 该层的输出为 $W_{mix} \begin{bmatrix} \text{LayerNorm}(W_{up}(V_t^T \text{Softmax}(K_t x))) \\ x \end{bmatrix}$ ，其中 $K$ 和 $V$ 是分配给 token $t$ 的嵌入矩阵。

信息论嵌入分配

L3 的一个关键组成部分是如何在词表（ $|\tau|$ ）中分配固定的嵌入预算（ $v$ ）。作者提出了 算法 1，这是 LZW（Lempel-Ziv-Welch）压缩算法的一个变体。

机制： 该算法扫描语料库以识别频繁出现的上下文后缀。它将分配嵌入的问题视为无损文本压缩的对偶问题：频繁出现的上下文后缀会被分配更多的嵌入。
约束： 分配受到限制，确保每个 token 至少获得一个嵌入，且最多不超过 $k$ 个嵌入（例如 $k=512$ ）。这确保了每个 token 的活跃参数数量在最坏情况下保持有界，从而保证了可预测的 FLOPs 和内存使用。
结果： 这创建了一个重尾分布，使得常见 token（如 "then"）可以获得数百个嵌入，而稀有 token 获得的嵌入较少，从而有效地模拟了具有动态开销的上下文相关路由器。

系统友好型设计

L3 旨在实现硬件高效性：

CPU 卸载： 由于所需的参数在 token 生成时即可立即获知，L3 参数可以在计算前序层期间从 CPU 预取到 GPU。这实现了 I/O 与计算的重叠，而这在 MoE 中是难以实现的。
批次排序： 在训练期间，可以通过 token ID 对批次中的 token 进行排序。这可以将 L3 层的“注意力掩码”转化为块对角结构，从而允许使用高度优化的注意力算子（如 FlexAttention、MegaBlocks），并避免了 MoE 典型的非规则内存访问模式。

核心贡献

L3 架构： 一种新型稀疏层，它将嵌入表推广到解码器层，通过静态基于 token 的路由实现上下文相关聚合。
基于 LZW 的分配算法： 一种基于语料库频率向 token 分配嵌入的信息论方法，其表现显著优于均匀分配。
系统效率： 证明了静态路由可以实现 CPU 卸载和高效的批次排序，消除了动态 MoE 路由带来的开销。
实证验证： 通过在插入 L3 层的 Llama 类 Transformer 中进行预训练（目标稀疏度为活跃参数数的 2–4 倍），展示了其相对于密集模型和 MoE 基准模型的卓越性能。

结果

作者通过在解码器层之间插入 L3 层来预训练 Llama 类 Transformer，目标是将稀疏度设定为活跃参数数的 2–4 倍。

性能对比密集模型： L3 模型在困惑度（在 FineWeb-Edu 上）和下游任务（Wikit提取2、ARC、Hellaswag 等）方面均显著优于等 FLOPs 的密集模型。例如，一个拥有 7B 总参数、2.6B 活跃参数的 L3 模型达到了 14.51 的困惑度，而 2.6B 密集模型的困惑度为 15.43。
性能对比 MoE： L3 模型优于等 FLOPs 和等稀疏度 MoE 等效模型。值得注意的是，在 800M 参数规模下，两个 L3 层的效果甚至不如单个 L3 层对应的 MoE。与 MoE 在学习路由器时初期可能表现不如密集基准不同，L3 的改进在整个训练过程中是即时且持续的。
扩展性： 通过 L3 层增加稀疏度，其参数量相对于等效密集模型呈近似线性增长，这模仿了 MoE 的缩放法则，但没有路由不稳定的问题。
推理速度： 在单块 B200 GPU 上，带有 CPU 卸载参数的 L3 模型相比密集模型增加的推理开销极小（例如在最坏情况下约为 10%），因为数据传输被前序层的计算过程所掩盖。

意义与主张

本文声称 L3 为语言模型提供了一个新的、更高效的稀疏扩展维度。通过将稀疏性的收益（大规模参数量）与动态路由的系统成本解耦，L3 允许模型缓存信息于学习到的嵌入中，并实现计算的“捷径”。

作者强调，L3 在很大程度上与 MoE 是正交的，它被提议作为进一步扩展稀疏度的一种方法，而非直接的替代方案。这项工作证明，即使采用上下文相关路由，也可以实现大规模稀疏模型的性能增益，同时保持硬件友好的特性（快速训练、低开销卸载以及可预测的内存访问），而这些特性在动态路由架构中通常会丢失。结果表明，“系统的包袱”并非稀疏性的固有要求，而是上下文相关路由的后果，而这种路由可以被静态的信息论分配所取代。