🤖 machine learning

Dynamic Short Convolutions Improve Transformers

本文介绍了动态短卷积（dynamic short convolutions），这是一种依赖输入的神经原语，通过在各种架构和任务中超越标准及静态卷积变体，同时通过定制的 Triton 内核保持硬件效率，从而增强了 Transformer 的性能和扩展效率。

原作者： Oliver Sieberling, Bharat Runwal, Rameswar Panda, Yoon Kim

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Oliver Sieberling, Bharat Runwal, Rameswar Panda, Yoon Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图理解一个长篇故事，比如一部小说或电影剧本。为了做到这一点，你需要记住之前发生了什么，以及这些内容与当前发生的事情是如何联系起来的。

几年来，理解这种长篇故事的最佳方式是使用一种被称为“注意力机制”（Attention）的工具（专门针对名为“Transformer”的 AI 模型）。你可以把“注意力机制”想象成一个超强力的聚光灯。当计算机阅读一个词时，这个聚光灯会扫描整个故事，寻找所有可能相关的其他词汇，无论它们离得有多远。这种方式非常灵活，但由于计算机必须同时观察所有内容，因此速度较慢且耗能较高。

几年前，一些研究人员尝试将“卷积”（Convolutions）引入其中。你可以把卷积想象成一个小的、局部的“放大镜”，它只观察当前词语周围紧邻的 3 或 4 个词。它快速且高效，但它是“静态的”。它就像一个带有固定镜片的放大镜；无论当前的词是名词、动词还是令人困惑的短语，它都会以同样的方式进行缩放。

新思路：“智能、变形”的放大镜

这篇论文介绍了一种名为“动态短卷积”（Dynamic Short Convolutions）的新工具。

如果说静态卷积是一个固定的放大镜，那么动态卷积就是一个能够变形、且聪明的放大镜。

它是这样工作的（用简单的术语来说）：

它进行局部观察： 像旧款放大镜一样，它只观察当前词语旁边的几个词。这保持了它的快速和高效。
它会改变主意： 与旧版本不同，这个新工具会观察当前的词，并询问：“我现在需要什么样的镜片？”
- 如果这个词是“can”（指金属罐子），该工具可能会决定回看前一个词“old”，以理解“old can”（旧罐子）。
- 如果这个词是“can”（指能够），该工具可能会决定看向下一个词“swim”，以理解“can swim”（能够游泳）。

计算机根据每一个词本身的内容，为每一个词生成一个独特的滤波器（即镜片）。这使得 AI 能够更好地理解局部语境，而不会因为只观察一个小窗口而失去速度优势。

研究人员的发现

作者在各种 AI 模型上测试了这种新的“变形”工具，涵盖了从小型模型（1.5 亿参数）到大型模型（20 亿参数）的范围。以下是他们的发现：

它更聪明： 在旨在测试 AI 是否能记住特定细节（例如“大海捞针”任务）的测试中，使用这种新工具的模型比使用旧有静态工具的模型表现得明显更好。
它更高效： 他们发现，要达到同样的智能水平，使用这种新工具的模型所需的计算能力更少。他们计算出它具有 1.33 倍至 1.60 倍的优势。
- 类比： 想象两辆车试图行驶相同的距离。使用新工具的车比标准车节省 30% 的燃料，或者在消耗相同燃料的情况下行驶得更快。
它无处不在： 他们不仅在标准的 AI 模型上进行了测试，还将该工具应用于更新类型的 AI（如 “Mamba” 和 “DeltaNet”），并发现它也提升了这些模型的性能。
它足够快： 通常情况下，当你让一个工具变得更“聪明”时，它会变得更慢。作者构建了特殊的软件（称为 “Triton kernels”）来确保这个新工具能在现代计算机芯片上高效运行。他们发现，速度损失非常小（对于最常用的版本，仅慢了约 8%），对于换取巨大的智能提升而言，这是一个很小的代价。

核心结论

该论文认为，动态短卷积是下一代 AI 必不可少的、全新的构建模块。它们结合了两者的优点：既拥有只观察几个词时的速度，又拥有根据语境改变观察方式的灵活性。

研究人员得出结论，这是一种实用且可扩展的方法，可以在无需从头发明全新架构的情况下，让 AI 模型变得更聪明、更高效。这就像是为一辆标准汽车引擎升级了一个智能涡轮增压器，它能根据路况自动调节，从而在不需要更大引擎的情况下提供更强的动力。

技术摘要：动态短卷积提升 Transformer 性能

问题陈述

尽管 Transformer 因注意力机制的可扩展性而成为大语言模型（LLM）的主导架构，但它们缺乏对局部序列结构的内在归纳偏置。虽然静态短卷积（具有小卷积核宽度的深度可分离卷积）已被用于引入局部性，但它们在所有位置应用固定的滤波器，限制了其建模上下文相关局部组合的能力。本文认为需要一种更具表达力的原语——这种原语既要保留卷积的效率和局部偏置，又要允许滤波机制根据输入进行动态调整，从而在不牺牲可扩展性的前提下，提高对需要动态局部聚合任务的性能。

方法论

动态短卷积

作者引入了动态短卷积作为一种神经网络原语。与权重 $w$ 固定不变的静态卷积不同，动态卷积在每个时间步 $t$ 生成与输入相关的滤波器 $w(t)$ 。

机制： 对于激活序列 $x_t$ ，输出计算为 $y_t := \sum_{k=0}^{W-1} w(t)_k \odot x_{t-k}$ 。
参数化： 滤波器 $w(t)$ $w (t)$ 通过当前隐藏状态的一个学习到的线性变换生成。为了保持参数效率，作者提出了两种特定的参数化方案：
1. 低秩分解： 投影通过一个秩为 $R$ 的低秩变换进行分解。
2. 头向绑定（Head-wise tying）： 将维度拆分为多个头，其中单个权重滤波器在连续的 $H$ 个通道间共享。
放置位置： 在主要实验中，动态卷积在旋转位置嵌入（RoPE）之前应用于查询（Q）、键（K）和值（V）投影，并带有残差连接（ $X = X + \text{dynamicShortConv}(X)$ ）。作者还实验了将它们应用于 Transformer 中的每一个线性层之后。

高效训练实现

由于算术强度较低，动态卷积受限于内存带宽。朴素实现会导致过高的显存带宽（HBM）流量。为了解决这个问题，作者开发了定制的 Triton 内核：

片上计算： 内核读取激活值和动态权重，在芯片上执行完整的卷积运算，然后仅将最终结果写入 HBM。
融合低秩内核： 对于低秩变体，内核将分解的第二步投影直接融合进卷积中。它读取低秩输入（ $z$ ）和投影矩阵（ $U$ ），在芯片上生成权重（$zU$），并立即应用卷积，从而避免了在 HBM 中生成完整的动态权重张量。
性能： 这些内核实现的延迟与优化的静态卷积内核（如 causal_conv1d）相当甚至更快，在 2B 参数规模下的端到端训练吞吐量下降约为 QKV 变体的 8% 和全线性变体的 22%。

核心贡献

新型原语： 提出动态短卷积作为一种输入依赖、具有局部偏置的原语，它泛化了静态短卷积。
缩放法则分析： 实证证据表明，动态卷积相比标准 Transformer 具有计算优势。
- 应用于 Q、K 和 V 向量时具有 1.33× 优势。
- 应用于每个线性层之后时具有 1.60× 优势。
硬件效率： 开发了定制的 Triton 内ло内核，使动态卷积能够在现代 GPU（H100）上进行高效训练，且开销可控。
广泛适用性： 该方法在多种架构中得到了验证，包括密集 Transformer、混合专家模型（MoE）以及线性 RNN（Mamba-2 和 Gated DeltaNet）。

实验结果

合成基准测试

可变键 MQAR： 在一个修改后的多查询关联回忆（Multi-Query Associative Recall）任务中，其键具有可变长度且共享 Token，动态卷积的表现显著优于 vanilla Transformer 和带有静态卷积的 Transformer。这突显了模型动态解析可变长度局部结构的能力。
MAD 基准测试： 动态卷积在机械架构设计（Mechanistic Architecture Design）基准测试中表现强劲，特别是在“模糊回忆（Fuzzy Recall）”任务上，即键和值由可变的 Token 数量组成。

语言建模

实验在 Nemotron-CC 语料库上进行，模型规模从 150M 到 2B 参数不等，并包含一个 7B 参数的 MoE 模型。

困惑度与准确率： 与以下模型相比，动态卷积一致地降低了困eluk度并提高了常识推理任务（lm-eval-harness）中的零样本准确率：
- 标准 Transformer。
- 带有静态短卷积的 Transformer。
- 为了匹配动态变体参数预算而增加参数量（加宽 FFN）的 Transformer。
线性 RNN： 在 Mamba-2 和 Gated DeltaNet 中用动态卷积替换静态卷积显著改善了困惑度，这表明动态卷积提供了一种比重新设计序列混合器更有效的序列混合机制。
RULER 基准测试： 动态卷积在多键、多查询和多值子任务中表现出特别的增益，这与其进行输入依赖型局部聚合的能力相契合。

消融研究

卷积核宽度： 研究发现宽度 $W=3$ 或 $4$ 是最佳平衡点。
放置位置： 将动态卷积应用于所有三个投影（Q、K、V）效果最好，其中值（Value）投影提供的单项增益最为显著。
QK-Norm： 即使结合 QK-norm，动态卷积的优势依然存在，而静态卷积在这种设置下几乎没有收益。

重要性与主张

本文声称，动态短卷积代表了一种可扩展、硬件高效且具有表达力的原语，用于推进基于 Transformer 的语言模型。作者认为：

他们成功弥合了卷积的局部偏置与注意力机制的表达力之间的差距。
观察到的计算优势（1.33× 至 1.60×）表明，动态卷积可以提升 LLM 的性能-效率前沿。
定制的 Triton 内核证明，这些增益可以通过可控的端到端训练减速（8–25%）来实现，这使得该方法在实际部署中具有可行性。

作者对研究范围保持谦逊，指出虽然在 2B 参数和 7B MoE 规模上趋势一致，但仍需进一步研究以确认其在更长训练周期、更大规模数据混合以及更前沿规模下的优势。他们也承认，为了完全优化推理并支持更广泛的硬件，仍需进一步的工程化工作。