💬 NLP

Dynamic sparsity in tree-structured feed-forward layers at scale

该论文提出了一种基于树结构的稀疏前馈层作为 Transformer 中稠密 MLP 块的替代方案，通过无需额外路由网络的硬分层路由实现条件计算，在激活少于 5% 单元的情况下实现了与稠密基线相当的性能，并揭示了硬路由与非线性激活相互作用可自发产生“自动剪枝”效应，从而将动态路由转化为静态结构稀疏性。

原作者： Reza Sedghi, Robin Schiewer, Anand Subramoney, David Kappel

发布于 2026-04-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Reza Sedghi, Robin Schiewer, Anand Subramoney, David Kappel

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文主要解决了一个大模型（比如现在的 AI 聊天机器人）面临的核心痛点：太“胖”了，太费电，太慢了。

想象一下，现在的 AI 模型就像是一个拥有100 个大脑皮层的超级天才，但每次思考问题时，它都要把这 100 个皮层全部调动起来，哪怕有些皮层根本用不上。这就好比你要去楼下买瓶水，却把全家老小、甚至邻居都叫上一起出门，既浪费人力又浪费时间。

这篇论文提出了一种聪明的新方法，叫做**“树状快速前馈层”（Fast FeedForward, 简称 FFF）**。

1. 核心比喻：从“大食堂”到“智能树屋”

传统 AI（密集层）： 就像一个大食堂。不管你是想吃米饭还是面条，食堂里的所有厨师（神经元）都会同时开始忙碌，最后把所有菜都端上来，再让你挑。这非常浪费，因为大部分菜你根本不吃。
混合专家模型（MoE，现有的稀疏方案）： 像一个有 100 个窗口的大厅。你进门时，有一个专门的“领号员”（路由器）告诉你去哪个窗口。虽然只开了几个窗口，但这个“领号员”本身很复杂，而且如果大家都挤在一个窗口，那个窗口就会崩溃（负载不平衡）。
这篇论文的方案（树状结构 FFF）： 像一个精心设计的树屋迷宫。
- 当你（输入数据）进入树屋时，不需要一个专门的领号员。
- 树屋的每一层都有两个岔路口（左或右）。
- 你只需要根据当下的情况，硬着头皮（Hard Routing）选一条路走。
- 一旦你选了左边，右边的路就彻底关闭，那里的所有房间（神经元）都休息了，完全不消耗能量。
- 你只需要走完一条从树根到树梢的单一路径，就能得到答案。

结果是什么？ 每次计算，只有不到 5% 的“房间”被点亮，其余 95% 都在睡觉。这就像你买水时，只叫了家里那个会做饭的弟弟出门，其他人都在家睡觉。

2. 三个惊人的发现

论文团队在测试中发现了一些非常有趣的现象：

A. “越懒越聪明”：自动修剪效应

通常我们认为，让 AI 随机地、动态地选择路径是最好的。但研究发现，在训练过程中，AI 自己学会了“偷懒”。

现象： 由于某种数学上的“不对称性”（就像树屋的楼梯有点歪），AI 发现某些路径特别好用，而另一些路径几乎没用。
结果： 随着训练进行，AI 会自动把那些没用的路径“关掉”，甚至永久性地不再访问它们。
比喻： 就像你在森林里走，发现左边的小路总是通向宝藏，而右边的小路总是通向沼泽。走几次后，你甚至不再看右边的路，直接把右边的路封死，只走左边。这种“自动修剪”让模型在保持灵活性的同时，变得像静态结构一样高效。

B. 不需要“交警”

以前的稀疏模型（MoE）需要一个专门的“路由器”网络来分配任务，这就像需要一个交警指挥交通，交警自己也要消耗能量，而且容易指挥失误（负载不均）。

FFF 的优势： 树状结构本身就是规则。左还是右，由数据自己决定，不需要额外的“交警”。这让模型更简单、更稳定。

C. 规模越大，效果越好

以前这种树状结构只在小模型（比如 3 亿参数）上试过。这篇论文证明，把它用到10 亿甚至更大的模型上（比如 OPT-1.3B），效果依然和那些“全员出动”的笨重模型一样好，甚至在某些任务上更好。

3. 实际效果：快了多少？

速度： 在同样的硬件上，使用这种树状结构的模型，推理速度比传统模型快了 8 到 9 倍！
能耗： 因为 95% 的神经元在休息，所以省电是必然的。
质量： 尽管只用了很少的“脑子”，但它在写文章、回答问题、做逻辑推理上的表现，并没有因为“偷懒”而变差，反而和那些“拼命三郎”式的模型打得有来有回。

4. 总结：这对我们意味着什么？

这篇论文就像给 AI 行业提供了一把**“手术刀”**。

以前我们为了追求更强的 AI，只能不断堆砌参数，让模型越来越“胖”，导致训练和运行成本极高，只有大公司玩得起。
现在，这种树状稀疏技术告诉我们：我们不需要把模型做得那么“胖”。通过让模型学会**“按需分配”，只调用必要的部分，我们可以在不牺牲智能的前提下，把模型变得更轻、更快、更便宜**。

一句话总结：
这就好比给 AI 装上了一个智能导航系统，让它不再盲目地遍历所有知识，而是像走迷宫一样，只走那条通往答案的最短路径。这不仅省了电，还让 AI 跑得更快了。

这是一份关于论文《Dynamic sparsity in tree-structured feed-forward layers at scale》（大规模树结构前馈层中的动态稀疏性）的详细技术总结。

1. 研究背景与问题 (Problem)

计算瓶颈： 在现代 Transformer 架构（特别是大语言模型 LLM）中，前馈神经网络（FFN/MLP）块占据了绝大部分的参数和计算量。随着模型规模扩展到数十亿参数，密集（Dense）的 FFN 块成为主要的计算瓶颈。
现有方案的局限：
- 混合专家模型 (MoE)： 虽然通过激活部分参数实现了动态稀疏性，但通常依赖独立的路由网络（Router）、辅助负载均衡损失（Auxiliary Losses）以及专门的基础设施，增加了架构复杂度和训练不稳定性。
- 现有树结构计算： 之前的树结构条件计算（如 Fast Feedforward, FFF）主要局限于小型编码器模型（如 BERT），在大规模自回归语言模型（GPT 风格）中的可扩展性、训练稳定性及下游任务表现尚未得到系统验证。
核心问题： 能否设计一种无需独立路由网络、无需辅助损失，且能直接替换密集 MLP 块的树结构前馈层，使其在大规模自回归语言模型中既保持高性能，又能实现极高的动态稀疏性？

2. 方法论 (Methodology)

论文提出并系统研究了快速前馈层 (Fast Feedforward, FFF) 作为密集 MLP 块的替代方案。

架构设计：
- FFF 层由 $P$ 个并行的完美二叉树组成，深度为 $D$ 。
- 硬路由 (Hard Routing)： 对于每个输入 Token，从根节点开始，通过硬决策（Hard Decision）逐层选择左子树或右子树，最终激活一条从根到叶的路径。
- 计算过程： 每个节点包含路由参数（决定走向）和输出参数（生成特征）。只有被选中的路径上的节点参与计算，其余节点完全静默。
- 输出聚合： 所有并行树的输出通过拼接（Concatenation）和最终线性投影进行整合。
关键机制：
- 无独立路由网络： 路由决策直接由树节点内部的线性层和激活函数（GELU）产生，无需额外的 Router 模块。
- 自动剪枝 (Auto-Pruning)： 研究发现，硬路由与 GELU 非线性的相互作用会导致一种“涌现”现象：在训练过程中，某些路径的梯度逐渐消失，导致这些路径被永久“剪枝”，从而将动态路由转化为静态的结构稀疏性。
- 平衡性控制： 论文分析了路由不平衡问题（倾向于选择左侧子树），并提出了一种简单的架构变体（FFFpost），将非线性激活函数移至稀疏输出聚合之后，从而消除梯度抑制，实现更平衡的树利用。

3. 主要贡献 (Key Contributions)

大规模可扩展性验证： 首次证明了 FFF 层可以扩展到超过 10 亿参数（1.3B）的自回归语言模型中，并在零样本（Zero-shot）和少样本（Few-shot）任务中达到与密集基线相当甚至更优的性能。
发现自动剪枝机制： 揭示了硬路由与非对称非线性（GELU）相互作用导致的自动剪枝效应。这种机制无需辅助损失或显式剪枝规则，即可在训练过程中将动态路由转化为稳定的结构稀疏性，进一步提升了效率。
路由不平衡的可控性： 证明了路由不平衡并非总是有害的（甚至可能带来计算优势），但可以通过简单的架构调整（如 FFFpost 设计）来消除，从而在需要时获得平衡的树利用，而无需复杂的负载均衡损失。
效率基准测试： 提供了层级的运行时基准测试，量化了稀疏性带来的计算节省与顺序遍历开销之间的权衡。

4. 实验结果 (Results)

语言建模性能：
- 在 1.3B 参数规模的 OPT 模型上，使用深度 $D=6$ （约 94% 稀疏度）的 FFF 层，其困惑度（Perplexity）与密集基线非常接近（差异通常在 10% 以内）。
- 在微调（Fine-tuning）场景下，将预训练密集模型的 MLP 层替换为 FFF 层，模型能迅速收敛并保持高性能。
下游任务表现：
- 在常识推理（HellaSwag, ARC 等）和阅读理解（DROP, MMLU）任务中，FFF 模型在零样本和少样本设置下，表现与密集基线相当，甚至在某些任务（如 MMLU）上略胜一筹。
- 与在更大规模数据（300B tokens）上训练的参考模型相比，仅在 26B tokens 上训练的 FFF 模型在多个基准测试中表现优异。
效率与加速：
- 稀疏度： 树深度 $D=6$ 可实现约 94% 的 MLP 块稀疏度； $D=13$ 可超过 99%。
- 推理加速： 在 A100 GPU 上，深度为 6 的 FFF 层相比密集 FFN 层实现了约 8.7 倍 的推理速度提升（Speedup）。尽管存在顺序遍历开销，但计算量的大幅减少带来了显著的实际加速。
- FLOPs 节省： 有效模型稀疏度（考虑 Attention 层仍为密集）在 $D=6$ 时达到约 58%，FLOPs 减少至密集模型的约 9.5%。
通用性： 实验还表明 FFF 层可成功应用于视觉任务（如 DETR 目标检测模型），证明了其作为通用 Transformer 组件的潜力。

5. 意义与影响 (Significance)

高效的大模型架构： 该工作提供了一种无需复杂路由网络和辅助损失的稀疏化方案，证明了树结构条件计算是替代密集 MLP 和传统 MoE 的可行且可扩展的机制。
训练与推理的双重优化： 通过“自动剪枝”机制，模型不仅在推理时稀疏，在训练过程中也能自发地简化结构，减少了冗余计算，降低了能耗。
可解释性与可控性： 树结构提供了可预测的激活模式，且通过简单的架构调整（如激活函数位置）即可控制路由行为，为设计更透明、更高效的神经网络提供了新方向。
未来展望： 虽然目前的加速受限于硬件对动态稀疏计算的支持（需要专用内核），但该研究为未来开发支持动态树遍历的硬件和软件栈奠定了理论基础，推动了大规模高效 AI 模型的发展。

总结： 这篇论文通过系统性的实证和理论分析，确立了树结构前馈层（FFF）作为大规模 Transformer 中密集 MLP 块的高效替代方案。它不仅解决了 MoE 的复杂性问题，还揭示了训练过程中自动产生的结构稀疏性，为构建更节能、更快速的大语言模型提供了新的架构范式。