💬 NLP

What Matters in Linearizing Language Models? A Comparative Study of Architecture, Scale, and Task Adaptation

本文对七种线性化语言模型架构进行了对比研究，揭示了架构归纳偏置——特别是纠错更新规则和门控增量公式——是决定性能和长上下文能力的决定性因素，因为这些在训练早期建立的优势在不考虑参数规模或 Token 预算的情况下依然持续存在。

原作者： Patrick Haller, Jonas Golde, Alan Akbik

发布于 2026-02-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Patrick Haller, Jonas Golde, Alan Akbik

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一位才华横溢、世界级的厨师（Transformer），他可以用一个庞大、缓慢但极其精准的厨房来烹饪复杂的菜肴。这位厨师使用一种特殊的技巧：他会同时观察储藏室里的每一件食材，以此来决定下一步该添加什么。这种方法很完美，但速度很慢，而且需要一个巨大的厨房。

现在，想象你想雇佣一名更快速、更高效的学徒（线性化模型/Linearized Model）。这位学徒同样能做出同样美味的菜肴，但使用的是一个微型且高效的厨房。为此，你并不是从零开始教这个学徒，而是试图将大师级厨师的知识**蒸馏（Distill）**到学徒的大脑中。你告诉他们：“不要盯着整个储藏室看；只需保持一份关于你目前为止所见到的最重要的事物的运行清单即可。”

这篇论文是一个大型实验，旨在观察当你尝试将大师级厨师的技能复制到这种更快、更小的厨房中时，哪种类型的学徒表现最好。

核心问题

构建这种“运行清单”（称为Token Mixer）有很多不同的方式。有些学徒只是不断地在长长的卷轴上添加新笔记（加法模式/Additive）。另一些则使用一个“门控”来决定保留什么和丢弃什么（门控模式/Gated）。还有一些使用“删除并替换”规则，即如果新信息与旧信息匹配，则用新信息覆盖旧信息（Delta规则/Delta-rule）。

研究人员想知道：学徒使用的“记笔记风格”重要吗？ 或者我们是否可以通过把学徒变得更大、更聪明来弥补任何坏习惯？

实验过程

研究人员选取了七种不同类型的学徒（架构如 xLSTM、Gated DeltaNet、GLA 等），并尝试使用相同的名厨、相同的食谱（数据）以及相同的练习时间来教导他们。他们测试了三种规模：

小型（1.4 亿参数）
中型（3.6 亿参数）
大型（17 亿参数）

他们还在另外两个挑战中测试了他们：

“大海捞针”测试： 学徒能否在一个非常长的故事中找到一个特定的事实？
“遵循指令”测试： 学徒能否理解并遵循复杂的命令？

他们的发现

1. “记笔记风格”比规模更重要

最令人惊讶的发现是，学徒的类型比其规模更重要。

优胜者： 使用**“门控 Delta 规则”**（可以想象成拥有一个智能橡皮擦，能够精确地删除旧的、无关的笔记并用新的进行替换）的学徒表现最好。即使随着规模变大，他们依然保持领先地位。
落后者： 那些只顾着不断添加笔记而不进行任何删除的学徒（线性注意力机制/Linear Attention）陷入了困境。无论他们如何变大，都无法赶上那些聪明的学徒。他们就像是一个试图通过在纸上写下电影中每一个单词来记住一部 10 小时长电影的人——这张纸最终会被垃圾填满，导致他们找不到重要的部分。

类比： 这就像学习一门语言。一个学生在笔记本上写下听到的每一个单词（加法模式）。另一个学生则拥有一个可以在必要时划掉旧词并写上新词的笔记本（门控 Delta 模式）。无论学习多少年，第二个学生学得更快，也记得更牢。

2. 你无法用更多的数据来弥补坏习惯

研究人员想知道：“如果我们给那些‘差劲’的学徒更多的数据（更多的训练 Token），他们最终能赶上吗？”

答案是： 不行。
即使在海量数据（100 亿个 Token）上进行了训练，性能差距依然存在。“差劲”的笔记风格触及了天花板。而“优秀”的风格则仍在持续进步，但主要还是保持领先。
教训： 你不能仅仅通过喂养更多的信息来修复一个破碎的记忆系统。记忆的结构才是瓶颈。

3. “长时记忆”问题

当故事变得非常长（数千个单词）时，大多数学徒在“大海捞针”测试中失败了。他们忘记了故事的开头。

例外情况： 只有 Gated DeltaNet（那个拥有智能橡皮擦的模型）仍能找到大海里的那根针。
失败案例： “加法”模型（那些只会不断添加笔记的模型）完全忘记了超过一定程度后的所有内容。它们的记忆被噪声“饱和”了。

4. 教导指令无法解决核心缺陷

最后，他们尝试教这些学徒如何遵循指令（例如“写一首诗”或“解决数学题”）。

结果： 聪明的学徒在遵循指令方面变得更出色了。弱小的学徒虽然也有所进步，但依然很弱。
转折： 在复制过程（蒸馏）期间教导他们指令并不能帮助弱小的学徒赶上。事实上，这有时会让他们的长时记忆变得更糟。
总结： 如果一个人的大脑结构不是为此设计的，你就无法教导他成为长时记忆方面的天才。架构（大脑结构）是主要的约束因素。

底线结论

如果你想构建一个既快速、高效，又能处理复杂任务并记住长篇故事的 AI，你不能仅仅通过扩大规模来弥补糟糕的设计。

论文得出结论：模型更新其记忆的方式（特别是使用能够选择性地删除和覆盖旧信息的规则）是最重要的因素。如果你选错了“记笔记的风格”，再多的训练数据或模型规模也无法让它变得像正确的风格那样优秀。

简而言之： 重要的不是你的大脑有多大，而是你组织笔记的方式有多聪明。

技术总结：线性化语言模型中真正关键的是什么？

问题陈述

线性化已成为开发高效语言模型（LM）的主要策略，其通过使用亚二次方（subquadratic）的 Token 混合器（例如线性注意力、门控循环神经网络）来取代 Transformer 中 $O(L^2)$ 的自注意力机制。虽然这种方法旨在保留大规模 Transformer 的性能，同时提供线性时间的推理和常数级的内存开销，但在理解该领域方面仍存在显著差距。

现有文献存在评估条件异质性的问题，其模型规模、训练预算和蒸馏目标各不相同。因此，目前尚不清楚哪些特定的归纳偏置（如门控、衰减或 Delta 规则更新）最适合继承 Transformer 的能力。此外，这些线性化模型的参数量与 Token 预算的缩放行为，以及它们在下游任务（如指令微调和长上下文检索）中的可行性，仍然是一个开放的研究领域。

研究方法

为了填补这些空白，作者提出了一个统一的实证框架，用于比较七种具有代表性的亚二次方架构：xLSTM、GLA、Gated DeltaNet、DeltaNet、RetNet、Kimi (KDA) 和 Linear Attention。

实验设置

本研究通过采用三阶段蒸馏流水线来隔离 Token 混合器作为主要变量，该流水线使学生模型与预训练的 Transformer 教师模型（SmolLM2 系列）对齐，同时保持教师模型、数据分布和训练方案不变。

Token 混合器（注意力输出）对齐： 使用均方误差（MSE）损失将学生的 Token 混合器与教师的注意力输出进行对齐。这在整个混合路径上提供了密集的监督信号。
隐藏状态对齐： 通过 MSE 损失对齐教师和学生的中间隐藏表示。
端到端知识蒸馏： 使用标准的知识蒸馏（下一 Token 预测 + KL 散度）对学生进行端到端训练。

评估维度

研究从三个不同的实验轴向评估模型：

缩放法则（Scaling Laws）： 在固定的 3B Token 预算下，在三个参数规模（140M、360M 和 1.7B）上训练模型，以观察性能层级。
渐近成熟度（Asymptotic Maturity）： 将模型固定在约 1.7B 参数，并在 10B Token 的扩展预算下进行训练，以确定性能差距是由于训练不足还是由于根本性的架构限制。
下游适配： 对蒸馏后的学生模型进行指令微调（后训练 SFT）和指令感知蒸馏，以评估其遵循指令和执行长上下文检索（大海捞针任务/NIAH）的能力。

核心贡献与结果

1. 性能层级与缩放指数的稳定性

研究发现，性能层级在不同规模（140M 到 1.7B）之间表现出极高的稳定性。

门控架构： 带有门控机制的模型（xLSTM、Gated DeltaNet）始终优于无门控基准模型（Linear Attention、RetNet）。
交叉点（Crossover Point）： 一个关键发现是在 1.7B 规模处存在一个“交叉”。虽然 xLSTM 在较小规模时领先，但 Gated DeltaNet 在 1.7B 时成为了表现最佳的模型（恢复了教师性能的 94.2%）。这表明纠错更新规则（Delta 规则）相比纯加法替代方案，在模型容量增加时具有更优的缩放指数。
内在缺陷： Linear Attention 与门控模型之间的性能差距随规模扩大而扩大（从 140M 时的 ~14% 扩大到 1.7B 时的 ~20%），这表明加法线性注意力的缺陷是架构本身固有的，无法仅通过增加参数量来克服。

2. 状态分辨率是根本瓶颈

将训练扩展到 10B Token 揭示了相对性能差距在早期便已建立，并随着模型接近渐近极限而持续存在。

成熟度： 门控模型的性能在 6–7B Token 后进入平台期，而无门控模型在较低水平就更早饱和。这证实了这些差距并非由于训练不足，而是代表了不同混合器在压缩信息方面的根本限制。
检索能力： 在大海捞针（NIAH）任务中，大多数架构在序列长度增加时都会出现状态分辨率坍缩。Linear Attention 和 RetNet 在超过 512 个 Token 后几乎完全失效。
Gated Delta-Rule 的优越性： Gated DeltaNet 是唯一能在长上下文中保持显著检索精度（例如在 2k tokens 时准确率为 81.8%）的架构，这表明门控 Delta 规则为针对性的状态更新和防止状态饱和提供了更有效的机制。

3. 指令适配与蒸馏

研究评估了指令微调是否可以补偿架构缺陷。

差异放大： 后训练指令微调提升了所有架构的性能，但也放大了既有差异。更强的模型（Gated DeltaNet、xLSTM）受益显著，而较弱的模型收益有限。
蒸馏局限性： 指令感知蒸馏（使用经过指令微调的教师进行训练）并未比标准后训练微调提供一致的优势，在某些情况下甚至会降低长上下文检索性能。
关于适配的结论： 指令适配并不能改变线性化过程中施加的根本架构约束。选择性保留和覆盖信息的能力仍然是决定下游性能的主导因素。

意义与主张

论文认为，对于成功的线性化而言，架构归纳偏置是主要的约束条件，无法仅通过增加训练计算量或增加蒸馏 Token 预算来克服。

设计层级： 该研究建立了一个清晰的亚二次方设计层级，指出纠错更新规则（Delta 规则）结合门控（特别是头级或标量门控）对于成功的决定性作用，高于加法累积或通道级门控。
状态分辨率： 研究认为状态分辨率是一个比蒸馏预算更根本的瓶颈。无法管理内部状态精度（避免饱和）的模型，无论训练时长如何，都无法实现有效缩放或处理长上下文。
可复现性： 为了促进进一步研究，作者公开释放了所有基础模型、指令微调模型及指令蒸馏模型，以确保这些发现的可复现性。

作者总结道，虽然亚二次方模型可以实现稳定训练，但 Token 混合器的选择决定了性能的天花板，其中门控 Delta 规则公式目前为构建高效且具备长上下文能力的语言模型提供了最稳健的路径。