💬 NLP

Sparser, Faster, Lighter Transformer Language Models

该论文提出了一种结合新型稀疏打包格式与定制 CUDA 核函数的方法，利用 L1 正则化在 Transformer 语言模型的前馈层中实现超过 99% 的非结构化稀疏度，从而在几乎不影响下游任务性能的前提下，显著提升了推理与训练过程中的吞吐量、能效及内存效率。

原作者： Edoardo Cetin, Stefano Peluchetti, Emilio Castillo, Akira Naruse, Mana Murakami, Llion Jones

发布于 2026-03-25

📖 1 分钟阅读☕ 轻松阅读

CC0 1.0

原作者： Edoardo Cetin, Stefano Peluchetti, Emilio Castillo, Akira Naruse, Mana Murakami, Llion Jones

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种让大型语言模型（LLM，比如现在的 AI 聊天机器人）变得更快、更轻、更省电的新方法。

想象一下，现在的 AI 模型就像是一个超级繁忙的巨型图书馆。

1. 现状：拥挤的图书馆

目前的 AI 模型非常庞大，拥有数百亿甚至上千亿个“书架”（参数）。每次你问一个问题，图书馆的管理员（AI）必须跑遍每一个书架，哪怕那里只有几本书，或者根本是空的。

问题：这就像让一个快递员去送快递，但他必须把整栋大楼的每一个房间都走一遍，不管里面有没有人。这导致计算量巨大、速度变慢、耗电惊人，而且需要非常昂贵的超级计算机才能运行。

2. 核心发现：其实大部分书架是空的

研究人员发现了一个有趣的现象：当 AI 处理你的问题时，它其实只激活了很少一部分神经元（就像只打开了图书馆里很少的几盏灯）。

比喻：虽然图书馆有 100 万个书架，但每次你问“今天天气怎么样”，真正被用到的可能只有 100 个书架。剩下的 999,900 个书架都在“睡觉”（数值为 0）。
痛点：以前的技术就像是一个死板的搬运工，不管书架上有没有书，他都要把每个书架都搬一遍。因为现代电脑（GPU）是为“搬运满箱货物”设计的，如果强行只搬空箱子，反而因为整理空箱子的过程太麻烦，导致速度比直接搬满箱还慢。

3. 解决方案：聪明的“打包”与“快递”

这篇论文的作者（来自 Sakana AI 和 NVIDIA）发明了一套全新的**“打包格式”和“快递路线”**，专门用来处理这些“空书架”。

A. 新的打包方式 (TwELL 格式)

旧方法：把书按行排列，如果一行只有 1 本书，后面也要留 99 个空位，浪费空间。
新方法 (TwELL)：他们把图书馆切分成一个个小方块（Tile）。在每个小方块里，他们只记录“哪几本书在”以及“书的内容”，把空位直接扔掉。
比喻：就像你打包行李。以前是无论有没有东西，都要把整个行李箱填满泡沫；现在，他们发明了一种智能压缩袋，只装实际有的衣服，把空气（零值）全部抽走，并且把打包过程直接集成到了“装箱”这个动作里，不需要额外花时间。

B. 融合运算 (Fused Kernels)

旧方法：先算一步，存起来，再算下一步，中间要反复读写硬盘（显存），非常慢。
新方法：他们把“计算”和“打包”这两个动作合并成一个超级动作。
比喻：以前是“先切菜，装盘，再端给厨师，厨师炒好再装盘”。现在是**“切菜的同时直接下锅炒，炒好直接装盘”**。中间少了很多搬运和等待的时间。

4. 训练时的“混合模式”

在训练模型（教 AI 学习）时，内存（显存）是最大的瓶颈。

创新：他们设计了一种**“混合存储”**。对于大多数稀疏（空）的行，用极小的空间存储；只有极少数特别“活跃”的行，才用普通的大空间存储。
比喻：就像开一家酒店。99% 的房间没人住，你就把它们锁起来，只保留一个“前台”记录谁住了；只有那 1% 住满人的房间，才需要全套服务。这样，酒店（显存）就能容纳更多的客人（更大的模型），或者用更小的酒店（更便宜的显卡）来运营。

5. 结果：快、省、强

通过给模型加上一点点“懒惰”的惩罚（L1 正则化），让 AI 学会只使用必要的神经元，同时配合这套新工具：

速度提升：推理（回答问题）速度提升了 17% - 20%，训练速度提升了 20% - 25%。
更省电：因为做的无用功少了，能耗降低了约 12% - 18%。
更省内存：训练时需要的显存减少了 20% - 28%。这意味着以前需要昂贵显卡才能跑的模型，现在可能用消费级显卡就能跑。
质量不变：最重要的是，虽然 AI“变懒”了（只用了 1% 的神经元），但它回答问题的准确率几乎没有下降，依然很聪明。

总结

这篇论文就像给 AI 行业带来了一套**“极简主义装修方案”。
它告诉我们要利用 AI 天生的“懒惰”特性**（大部分神经元不工作），通过更聪明的打包和运输方式（新算法和代码），让 AI 在不牺牲智商的前提下，跑得更快、更省电、更便宜。

这对于未来让 AI 在普通手机、笔记本电脑甚至更便宜的服务器上运行，具有巨大的意义。作者还承诺开源所有代码，让所有人都能使用这种技术。

这篇论文《Sparser, Faster, Lighter Transformer Language Models》由 Sakana AI 和 NVIDIA 的研究人员合作完成，旨在解决大型语言模型（LLM）在训练和推理过程中面临的巨大计算成本和内存开销问题。文章提出了一种利用**非结构化稀疏性（Unstructured Sparsity）**的新方法，通过定制化的 CUDA 内核和新的稀疏数据格式，显著提升了 LLM 的吞吐量、能效和内存效率。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

计算成本高昂： 随着 LLM 参数量的增加（达到数百亿甚至万亿级），其训练和推理所需的计算资源（FLOPs）和内存需求呈指数级增长，导致高昂的能源消耗和硬件门槛。
稀疏性的悖论： 尽管 LLM 的前馈网络（Feed-Forward, FFN）层中，对于任意给定的 token，只有极少部分的隐藏神经元被激活（天然稀疏），但现有的 GPU 硬件和软件栈主要针对**稠密计算（Dense Computation）**进行了优化。
现有方案的局限性： 传统的非结构化稀疏格式（如 ELLPACK）在 GPU 上往往因为索引管理开销、非对齐的内存访问以及无法与优化后的矩阵乘法内核融合，导致实际运行速度反而比稠密计算更慢。此外，之前的尝试往往需要大幅修改训练流程或模型架构，难以在实际中普及。

2. 方法论 (Methodology)

作者提出了一套完整的解决方案，包括新的稀疏数据格式、针对推理和训练优化的 CUDA 内核，以及诱导稀疏性的训练策略。

2.1 诱导稀疏性 (Inducing Sparsity)

简单策略： 在标准交叉熵损失的基础上，添加一个可调节的 L1 正则化项，作用于前馈层的激活值。
激活函数： 使用 ReLU 作为门控投影后的激活函数（相比 SiLU 等平滑函数，ReLU 天然产生稀疏性）。
效果： 实验表明，仅需微弱的 L1 正则化（例如 $L1 = 2 \times 10^{-5}$ ），即可在几乎不损失下游任务性能的前提下，将激活稀疏度提升至 99% 以上（即非零神经元极少）。

2.2 新的稀疏数据格式：TwELL (Tile-wise ELLPACK)

为了解决传统 ELL 格式在 GPU 上的瓶颈，作者提出了 TwELL 格式：

设计思路： 传统的 ELL 按行存储，需要全局同步来对齐非零元素。TwELL 将矩阵列划分为水平的一维Tile（瓦片）。
优势： 在每个 Tile 内部，非零值和索引被本地对齐存储。这种格式可以直接在稠密矩阵乘法（MatMul）的**Epilogue（尾声）**中生成，无需额外的内核启动或全局同步。
融合能力： 它允许将门控投影（Gate Projection）的计算与稀疏格式的构建融合在同一个内核中，消除了数据转换的开销。

2.3 推理内核 (Inference Kernels)

融合操作： 设计了一个单一的内核，利用 TwELL 格式存储的门控激活值，直接融合**上投影（Up Projection）和下投影（Down Projection）**的计算。
流程： 内核遍历稀疏激活，动态加载对应的权重列/行，计算点积并累加结果。
优化： 通过最小化 CTA（线程块）大小来最大化并发度，利用 L2 缓存的局部性，并隐式地实例化中间激活值，减少 DRAM 访问。

2.4 训练内核与混合格式 (Training Kernels & Hybrid Format)

训练过程中的内存瓶颈在于需要存储大量的中间激活值以进行反向传播。

混合稀疏格式 (Hybrid Format)： 由于训练过程中不同 Token 的稀疏度差异巨大（最大非零数远大于平均值），直接使用 TwELL 会导致严重的内存浪费或溢出。作者提出了一种混合格式：
- 稀疏部分： 对于非零数较少的行，使用紧凑的 ELL 矩阵存储。
- 稠密备份： 对于非零数超过阈值的行，路由到稠密矩阵备份。
动态分区： 根据 TwELL 中计算出的非零计数，动态将行路由到稀疏或稠密部分。
内核优化： 设计了专门的 Hybrid-to-Dense 和 Dense-to-Hybrid 矩阵乘法内核，以及高效的转置内核，确保在反向传播中无需进行昂贵的稠密计算。

3. 主要贡献 (Key Contributions)

新型 CUDA 内核： 发布了针对现代 NVIDIA GPU（如 H100）优化的推理和训练内核，利用非结构化稀疏性实现了显著加速。
TwELL 格式： 提出了一种新的稀疏打包格式，能够无缝集成到现代 GPU 的优化执行流水线中，解决了稀疏数据在 GPU 上“慢于稠密”的痛点。
定量分析： 证明了通过微弱的 L1 正则化即可实现 >99% 的稀疏度，且对模型性能影响可忽略不计。
可扩展性验证： 展示了随着模型规模增大（从 0.5B 到 2B+），稀疏化带来的收益（吞吐量、能效、内存）显著增加。

4. 实验结果 (Results)

实验在 H100 PCIe GPU 上进行，模型基于 Transformer++ 架构（Gated FFN），在 FineWeb 数据集上训练。

性能保持： 在 $L1 = 2 \times 10^{-5}$ 的系数下，稀疏模型在 7 个下游任务（如 ARC, HellaSwag 等）上的平均准确率与稠密基线相比几乎没有下降（差异在随机波动范围内）。
推理加速：
- 在 2B 参数模型上，推理吞吐量提升了 20.5%。
- 随着稀疏度增加，加速比进一步提升，最高可达 30%。
- 能耗降低约 17%。
训练加速与内存节省：
- 训练步骤速度提升最高达 21.9%。
- 峰值显存占用减少超过 24%（即使在最低稀疏度下），这使得在相同硬件上训练更大模型或更大 Batch Size 成为可能。
规模效应： 模型越大，稀疏性带来的收益越明显。2B 模型比 0.5B 模型具有更低的平均非零元素数，进一步放大了内核的加速效果。
硬件兼容性： 在 RTX 6000（显存带宽较低但 SM 数量较多）上，稀疏内核带来的加速比甚至高于 H100，表明该技术能显著降低对高端硬件的依赖。

5. 意义与影响 (Significance)

打破稀疏性悖论： 该工作证明了非结构化稀疏性在现代 GPU 上不仅可以实现，而且能带来实质性的性能提升，关键在于内核融合和数据格式设计。
降低门槛： 通过减少内存需求和计算量，使得在消费级或次旗舰级 GPU 上训练和部署大规模 LLM 变得更加可行，降低了 AI 研究的硬件门槛和能源成本。
实用化路径： 提出的方法（L1 正则化 + 稀疏内核）对现有架构侵入性极小，易于集成到现有的训练框架中，为未来 LLM 的扩展提供了一条新的效率优化路径。
开源贡献： 作者承诺开源所有代码和内核，推动社区采纳稀疏性作为提升基础模型效率的新维度。

总结： 这篇论文通过创新的 TwELL 格式和高度优化的 CUDA 内核，成功将 LLM 前馈层中的天然稀疏性转化为实际的计算和内存优势，在不牺牲模型能力的前提下，显著提升了推理速度和训练效率，为构建更绿色、更高效的下一代大模型提供了强有力的技术支撑。