💬 NLP

Tying the Loop -- Tied Expert Layers in Mixture-of-Experts Language Models

本文介绍了专家绑定（Expert Tying），这是一种在混合专家模型中跨连续 Transformer 层共享专家参数的方法，该方法能以微乎其微的性能影响几乎减半内存需求，从而显著改善大规模语言模型训练与扩展过程中的计算与内存权衡。

原作者： Martin Jaggi

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Martin Jaggi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和日常类比对论文《Tying the Loop》进行的解释。

核心问题：“巨型图书馆” vs. “小读者”

想象你正在建造一个巨大的、超级聪明的机器人图书管理员（大语言模型），用来帮助人们写故事或解决问题。

为了让这个图书管理员变得极其聪明，你给了他们一个拥有数十亿本书（这些是“参数”或“专家”）的庞大图书馆作为后盾。然而，为了保持图书管理员的速度和效率，你决定对于他们读到的每一句话，他们只打开一两本特定的书来寻找答案。这就是所谓的**混合专家（Mixture-of-Experts, MoE）**模型。

症结所在： 尽管图书管理员在任何时刻都只阅读极小比例的书籍，但你仍然必须让整个图书馆物理性地存在于房间里（在计算机内存中）。如果图书馆有 1,000 本书，而图书管理员一次只读 10 本，你仍然需要一个足够大的房间来容纳所有 1,000 本书。这使得系统非常昂贵且缓慢，因为尽管“阅读”（计算）很小，但“房间”（内存）却非常巨大。

解决方案：“系紧环路”（Tying the Loop）

作者提出了一种被称为**专家绑定（Expert Tying）**的聪明技巧。

想象图书管理员在一个由 32 个房间（层）组成的漫长走廊里工作。在标准设置下，每个房间都有自己一套独特的 1,000 本书。

旧方法： 房间 1 有书 A–Z。房间 2 有书 A–Z（但这是另一个副本）。房间 3 有书 A–Z（又是另一个副本）。你需要 32 套书。
新方法（专家绑定）： 你意识到房间 1、房间 2 和房间 3 所做的工作其实非常相似。所以，你将它们绑定在一起。你把一套书放在一个移动推车上，让它从房间 1 移动到房间 2，再到房间 3。图书管理员在所有三个房间里使用的都是同一套实物书籍。

结果： 你不再需要 32 套书；你每 3 个房间只需要 1 套书。这使“图书馆”（内存）的大小减少了近一半，但图书管理员阅读的速度依然很快，因为他们每次仍然只打开一本书。

秘诀：什么该绑定，什么该保持独立

研究人员并没有盲目地将一切都绑定在一起。他们通过实验确定了究竟什么可以共享而不会让图书管理员变笨。

把图书馆中的一个房间想象成由四个部分组成：

书（专家/Experts）： 实际的知识。
图书管理员的眼镜（注意力/Attention）： 他们观察文字的方式。
索引卡（路由/Router）： 选择哪本书。
书桌（归一化/Normalization）： 他们如何整理笔记。

发现：

共享书籍没问题： 你可以在多个房间之间共享相同的书。图书管理员仍然可以做得很好，因为每个房间的眼镜（注意力）是不同的。眼镜改变了图书管理员看文字的方式，这使得即使书是一样的，每个房间的感觉也是独特的。
不要共享眼镜： 如果你也共享眼镜，图书管理员会感到困惑，质量会下降。
“序曲与尾声”规则： 最开始的房间（图书管理员获取书的地方）和最后的房间（他们写出答案的地方）需要拥有自己独特的书。如果你强迫图书管理员在开头和结尾使用共享推车，质量会受损。因此，保持前两个和后两个房间的独立性，并将中间的房间进行绑定。

结果：更快、更小、同样聪明

论文在三个著名的 AI 模型（OLMoE, Qwen3, 和 DeepSeek）上进行了测试。结果如下：

内存节省： 通过将专家以 4 个为一组进行绑定，他们减少了近 40% 到 50% 的总内存需求。这就像把图书馆的大小砍掉了一半。
没有脑损伤： “聪明程度”（困惑度与准确度）几乎没有下降。它几乎与原始的巨大模型一样出色。
速度提升： 因为计算机不需要将那么多书加载到内存中，训练过程快了 23%。
“再投资”技巧： 由于通过共享书籍节省了大量空间，他们利用节省下来的空间在共享推车上增加了更多的书。这创造了一个甚至比原版更好的模型，尽管两者使用的总内存量是相同的。

总结类比

想象一支建筑队正在建造一座摩天大楼。

旧方法： 每一层楼都有自己独特的、配备齐全的工具箱。运送所有工具箱的卡车既巨大又昂贵。
新方法（系紧环路）： 第 3 层到第 28 层都共享同一个工具箱，并通过电梯向上传递。第 1、2 层以及第 29、30 层保留各自特殊的工具箱。
结果： 卡车现在减小了一半（节省了金钱和空间），建筑队移动得更快，因为他们不再搬运额外的重量，而且建筑同样坚固。事实上，因为他们在卡车上省了钱，所以为共享工具箱买了更好的工具，使建筑变得更加坚固。

底线： 通过在模型的多个层之间重复使用相同的“知识”，你可以让 AI 模型变得更小、更快，只要你保持每一层的“眼镜”（注意力）是独特的，并让最开始和最后几层保持独立即可。

技术摘要：系紧循环 —— Mixture-of-Experts 语言模型中的专家层系紧技术

问题陈述

混合专家（Mixture-of-Experts, MoE）架构已成为通过将总参数量与单 Token 计算量解耦来扩展大语言模型（LLM）的标准。通过在每个 Token 激活一小部分专家前馈网络（FFN），MoE 模型实现了高容量与高效推理的结合。然而，一个关键的瓶颈仍然存在：内存占用。尽管在任何前向传播过程中只有一小部分参数处于激活状态，但完整的参数集（由专家权重主导）必须驻留在训练和推理内存中。

这与“参数效率”的新兴趋势产生了冲突——即旨在从每个唯一参数中提取更多计算量的推理及循环深度模型。标准的 MoE 架构被认为在这方面效率较低，因为它们通过闲置参数增加了内存负担。本文旨在调和 MoE 的低单 Token 计算量与追求更高“单位唯一参数计算效率”的目标，且不牺牲模型质量。

方法论：专家系紧（Expert Tying）

作者提出了一种名为专家系紧的架构修改方案，该方案在保持层特定组件的同时，在连续的一组 Transformer 层之间共享专家 FFN 参数。

核心机制

参数共享： 对于连续的 $g$ 个层，其 $N$ 个专家的门控（gate）、上升投影（up projection）和下降投影（down projection）权重被别名化（即共享）。这使唯一的 FFN 参数减少了 $g$ 倍。
保留独立性： 至关重要的是，路由（门控网络）、自注意力投影（Q, K, V, O）以及归一化层在每一层中保持独立。
实现方式： 该方法通过在模型代码（例如 Hugging Face Transformers）中进行简单的指针赋值来实现。除了确保优化器能正确累积来自多个使用位置的梯度外，它不需要对训练或推理基础设施进行任何更改。
学习率缩放： 为了管理来自 $g$ 个层的梯度累积，系紧专家权重的学习率按 $1/\sqrt{g}$ 进行缩放。

设计原理

作者假设专家池可以在相邻层之间共享，因为**逐层注意力（per-layer attention）**确保了每一层的有效算子保持独特。即使使用相同的专家权重，在不同的 Token 位置组合上进行注意力计算也会在每个深度产生不同的变换。

核心贡献

1. 受控组件消融实验

在扩展到生产级模型之前，作者在较小的架构上进行了受控的消融研究，以确定哪些组件可以系紧而不降低质量。

发现： 逐层注意力是层间差异性的主要驱动力。保持注意力独立（不系紧）比系紧路由对损失函数的改善更为显著。
路由影响： 虽然系紧路由会增加路由多样性（跨循环一致性下降），但如果注意力是独立（未系紧）的，对最终损失的影响微乎其微。
结论： 最优策略是系紧专家权重，保持逐层注意力，并将路由视为可系紧或未系紧（两者成本差异极小）。
序幕与尾声（Prelude/Coda）： 堆栈的第一层和最后一层（嵌入输入和 LM-head 输出）应保持不系紧。采用“2+2”模式（即开头和结尾各 2 层不系紧）的序幕与尾声设计，相比于完全循环的设计，能获得最大的架构收益。

2. 扩展至生产级架构

该方法被应用于三种最先进的 MoE 架构：OLMoE、Qwen3-MoE 和 DeepSeekMoE。

配置： 每 $g=4$ 层为一个组共享专家权重，并在开头和结尾保留 2 层不系紧。
参数缩减： 这种配置将总参数量减少了 29% 到 52%（取决于架构和组大小），且在困惑度或下游任务准确度上的退化可以忽略不计。
吞吐量： 由于减少了权重加载带宽和优化器状态更新，减少的唯一参数量带来了 23.7% 的实际训练速度提升。

3. 异构宽度扩张

论文引入了一种对节省下来的参数的新颖用法：将它们**重新投入（reinvesting）**到系紧的中间层中。

作者不仅是进行压缩，而是加宽了系紧的中间层（增加专家数量），以匹配原始的总参数量（即“等参数量/iso-parameter”设计）。
结果： 具有宽度扩张后的系紧中间层的模型，其表现始终优于标准的未系紧基准模型。这使得专家系紧不再仅仅是一种压缩技术，而是一个深度与宽度之间的设计轴线。

4. 大规模验证

实验扩展到了一个 7B 参数的模型（OLMoE-1B-7B）。

$g=4$ 的系紧模型在达到等同的损失和下游准确度的同时，使用的总参数量不到基准模型的一半（3.50B vs 7.12B）。
宽度扩张后的变体进一步提升了性能，尽管参数量仅为一半，却超越了在两倍数据量上训练的官方 OLMoE-1B-7B 检查点。

结果总结

内存效率： 专家系紧将内存占用减少了近 2 倍（高达 52% 的参数缩减），且几乎没有造成困惑度的退化。
质量保持： 在 $g=4$ 时，损失惩罚极小（例如验证损失增加 0.05 到 0.07），下游准确度下降最多为 1.9%。
性能增益： 由于减少了数据移动和优化器开销，训练吞吐量提高了 15.7% 至 23.7%。
等参数量优越性： 当节省的参数被重新投入以加宽系紧层时，生成的模型性能优于相同规模的标准未系紧 MoE。

意义与主张

本文声称，**专家系紧（Expert Tying）**成功地调和了 MoE 扩展（低单 Token 计算量）与参数效率（高单位唯一参数计算量）这两个相反的趋势。通过利用 MoE 路径中固有的参数冗余，该方法在保留稀疏性的同时，移除了内存惩罚。

作者强调，他们的贡献不仅仅在于配置本身（这与之前的研究如 Megrez2 有相似之处），而在于识别了哪些组件可以共享的受控研究。他们证明了注意力而非路由，才是维持层间差异性的关键组件，从而允许在质量成本最低的情况下共享最大的参数池（专家）。

这项工作将专家系紧定位为现有 MoE 代码库的一种“即插即用”式修改，能够推动下一代 LLM 的高效训练与扩展，提供了一个极具吸引力的计算与内存权衡方案。作者对局限性保持谦逊，指出目前的实验主要限于 7B 参数规模，且由于缺乏专门的系紧层算子，所获得的效率提升仍是下限。