💬 NLP

Tapered Language Models

本文介绍了渐进式语言模型（Tapered Language Models, TLMs），这是一种与架构无关的设计原则，通过在固定参数预算下，使 MLP 宽度从前层到后层单调递减，从而提升困惑度（perplexity）和下游任务性能，证明了非均匀容量分配优于传统的等宽堆叠结构。

原作者： Reza Bayat, Ali Behrouz, Aaron Courville

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Reza Bayat, Ali Behrouz, Aaron Courville

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

将现代语言模型（比如这个聊天背后的 AI）想象成一条漫长的工厂流水线。这个工厂有很多层叠在一起的工作站（层）。在每一个工作站，工人们被分配到的工具数量、空间大小和工作时间都是完全一样的。自从第一代“Transformer”模型问世以来，这一直都是标准规则。

论文《锥形语言模型》（Tapered Language Models）提出了一个简单的问题：如果流水线前端的工人实际上比后端的工人需要更多的工具呢？

发现：并非所有工作站都平等

研究人员注意到，在这些 AI 工厂中，后期的工作站通常只是在润色或精炼前期工作站已经构建好的内容，而不是在创造全新的东西。这就像是一个编辑团队：前几位编辑承担了寻找故事和修改情节的重任，而最后几位编辑则只是在检查错别字。

如果你给“检查错别字”的团队分配与“创作故事”团队同样庞大的办公空间和预算，你就是在浪费资源。论文证明，如果你从末端拿走那部分多余的空间并将其交给前端，整个工厂的运作效率会更高。

实验：重新分配工具

为了测试这一点，研究人员拿了一个标准的 AI 模型并进行了一次“预算交换”。他们保持了总工具数和总成本完全不变，但移动了它们的分布：

“宽前型”设置： 他们给了前几层（流水线的开始）更大、更强大的工具，并使后几层变小。
- 结果： AI 变得显著更聪明了。它犯错更少（更低的“困惑度”），并且对语言的理解也更好了。
“宽后型”设置： 他们做了相反的操作，把大工具给了流水线的末端，把小工具给了开头。
- 结果： AI 的表现变得糟糕得多。由于早期层级太弱，无法建立稳固的基础，导致它难以理解基础内容。

解决方案：“锥形”设计

作者并没有提议在大小工具之间做一个剧烈的跳跃，而是提出了一种被称为**锥形语言模型（TLMs）**的平滑过渡方式。

把它想象成一个漏斗或金字塔：

**顶部（模型的开始）**是宽阔且强大的。
随着向下的堆叠，宽度逐渐且平滑地缩小。
**底部（模型的末端）**是狭窄且高效的。

他们测试了三种塑造这个漏斗形状的方法：

线性（Linear）： 一个向下的直坡。
Sigmoid： 中间陡峭下降，两头平坦。
余弦（Cosine）： 一条平滑、柔和的曲线，开始时较宽，中间放缓，最后缓缓收缩。

胜出者： **余弦（Cosine）**曲线（这种平滑、柔和的漏斗）在所有测试中表现最好。

为什么这行得通？

论文深入探讨了为什么会发生这种情况。他们观察了 AI 在每一层到底在“思考”什么。

早期层： 它们正在进行繁重的体力活，创造新的特征并理解核心含义。它们需要大量的“脑力”（参数）。
后期层： 它们大多只是在重复或强化已经发现的内容。它们不需要那么多新的容量；它们只需要进行润色。

通过缩小后期层，模型停止了在冗余工作上浪费能量，转而将其力量集中在真正需要的地方：即起始阶段。

结果

研究人员在四种不同类型的 AI 架构（不仅仅是标准类型）和三种不同规模（从小型到大型）上测试了这个想法。在每一种情况下：

“锥形”模型的表现都优于标准的“均匀”模型。
它们实现这一点时没有增加任何额外的成本、额外的工具或额外的计算能力。这仅仅是通过重新排列现有资源实现的“免费升级”。

核心结论

多年来，AI 设计师一直假设神经网络中的每一层都应该是相同的。这篇论文表明事实并非如此。通过将 AI 处理成一个漏斗——在开始时给予更多容量，在结束时减少容量——我们可以让它更聪明、更快、更高效，而无需多花一分钱。这是一个隐藏在显而易见之处的简单设计改进。

技术摘要：渐缩语言模型 (Tapered Language Models)

问题陈述
现代语言模型（LM），包括 Transformer、循环变体以及基于记忆的架构，都共享一个共同的结构默认值：由一系列相同的层组成的堆栈，其参数在深度方向上均匀分配。尽管越来越多的证据表明，各层对最终输出的贡献是非均匀的——即早期层通常捕捉浅层语法模式，而后期层更多是精炼残差流而非对其进行转换——但这种均匀分配仍然是标准做法。本文指出，这种“一刀切”的方法未能反映层重要性的不对称性，可能在利用率较低的后期层中浪费了参数容量。

方法论
作者引入了渐缩语言模型（TLMs），这是一种在固定总预算下，参数化组件随深度单调渐缩的架构原则。

目标组件： 研究将这一原则实例化于 MLP 中间宽度 ( $d_{ff}$ )。选择 MLP 是因为它们在现代语言模型中占据了主要的参数量，并且能够使宽度成为一个独立于 Token 混合模块的单一、纯净的变化轴。
渐缩方案： 作者没有采用离散的分块分配，而是提出了三种平滑且连续的衰减方案，使 $d_{ff}(l)$ $d_{f f} (l)$ 随层数 $l \in \{0, \dots, L-1\}$ $l \in {0, \dots, L - 1}$ 变化。评估的方案包括：
1. 线性 (Linear)： 恒定的衰减率。
2. 余弦 (Cosine)： 遵循半余弦曲线，在端点处衰减缓慢，在中部剧烈衰减。
3. Sigmoid： 将转换过程集中在中间位置的一个窄带内。
约束条件： 渐缩过程严格遵守预算守恒。每层的平均宽度被约束为等于基准均匀宽度 ( $\frac{1}{L}\sum d_{ff}(l) = d_{ff}^{baseline}$ )，从而确保总参数量和 FLOPs（包括训练和推理）与均匀基准模型保持一致。
实验设置： 该原则在四种不同的架构（标准 Transformer、门控注意力机制、Hope-attention 和 Titans）以及三种模型规模（440M、760M 和 1.3B 参数）上进行了评估。研究使用固定的训练设置（Llama 3 分词器，4K 序列长度），并将渐缩模型与均匀基准模型在分布内验证困惑度、分布外困惑度（WikiText, LAMBADA）以及八个常识推理基准测试上进行了对比。

核心结果

分配方向至关重要： 在一个针对 440M Transformer 的启发式实验中，研究者将层划分为早期、中期和后期组。将更多容量分配给早期层（“宽前型”）比均匀基准模型的困惑度提升了 0.32 点。相反，将更多容量分配给后期层（“宽后型”）则导致性能下降超过 1.0 点，这证明了容量的方向性至关重要。
最优方案与比例： 在 440M 模型上进行的宽度比例与方案搜索显示，余弦方案 (Cosine schedule) 始终优于线性方案和 Sigmoid 方案。研究发现最优配置为 1.50 $\to$ 0.50 的起始到结束宽度比例，实现了 14.44 的验证困惑度（相比于均匀基准模型的 16.28 提升了 1.84 点）。
泛化能力： 将固定的最优配置（余弦，1.5/0.5）应用于所有四种架构中的 760M 和 1.3B 模型，均一致地提升了困惑度和下游常识推理准确率。无论 Token 混合模块使用的是 Softmax 注意力、门控注意力还是循环/记忆机制，都能观察到收益。
机制见解： 对预训练 Transformer 的分析表明，随着深度的增加，MLP 输出与现有残差流的对齐程度逐渐提高（通过余弦相似度衡量）。这表明后期的 MLP 更多是在强化现有内容而非计算新特征。渐缩设计通过减少在利用率最低处（后期层）的容量，并将其重新分配到更具正交性和实用性的早期层，从而使架构与这一模式相契合。

意义与主张
本文确立了深度感知容量分配作为一种简单且与架构无关的设计杠杆。作者声称，渐缩 MLP 宽度提供了一种“免费”的性能提升——在不增加参数量或计算成本的情况下，增强了困惑度和下游任务的准确性。

其意义在于挑战了 Transformer 继承而来的均匀性。结果表明，渐缩原则涉及的是参数在深度方向上的通用分配问题，而非针对注意力机制的特定属性。虽然作者指出，特定的最优方案（余弦，1.5/0.5）是在 440M 模型上推导出的，可能并非所有规模下的全局最优，但跨多种架构和规模的一致性收益表明该原则具有鲁棒性。论文总结道，深度感知分配是一个显而易见的“隐藏杠杆”，可以应用于除语言建模之外的基础模型，包括视觉和多模态 Transformer。