🤖 machine learning

The Routing and Filtering Structure of Attention

本文提出了 $S$ - $D$ 注意力机制，这是一种稳定的参数化方法，它将注意力的路由和过滤组件解耦，从而揭示出一种依赖于深度的谱级联，使得在最小化困惑度损失的同时实现显著的模型压缩和早期层的线性化。

原作者： Shafayeth Jamil, Rehan Kapadia

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Shafayeth Jamil, Rehan Kapadia

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，将 Transformer（GPT 等模型背后的 AI 大脑）视为一座拥有 12 层楼的庞大且繁忙的办公楼。每一层楼都有相同数量的员工、相同的办公空间以及相同的工作量。这些建筑的架构师一直假设每一层都需要同等程度的复杂性，因此他们以完全相同的方式建造了所有楼层。

本文认为这一假设是错误的。事实证明，“员工”（即注意力机制）实际上在执行两项截然不同的工作，但它们被迫共用同一张办公桌，导致无法分辨谁在做什么。

以下是作者利用简单类比所发现的要点分解：

1. 两项工作：“交通警”与“过滤器”

在标准 AI 模型中，每次它查看一个句子时，都会计算出一个巨大的分数网格。作者意识到，这个网格实际上是两项不同任务的混乱混合体：

交通警（路由）： 这项工作关乎方向。它决定"Token A 应该向 Token B 发送信息，但反之则不行”。这就像一条单行道。它在移动信息，而不改变其总量。
过滤器（筛选）： 这项工作关乎相关性。它决定"Token A 和 Token B 非常相似，因此增强它们的连接”，或者“它们互不相关，因此忽略它们”。这就像一个音量旋钮，用于调高或调低信号。

问题所在： 在标准模型中，这两项工作纠缠在一个巨大且混乱的矩阵中。“过滤器”的工作过于响亮且占据主导地位，淹没了“交通警”。由于它们混合在一起，AI 会浪费大量能量去构建一个它几乎不使用的复杂“交通警”系统。

2. 实验：解开死结

为了看清究竟发生了什么，作者构建了一种名为S–D 注意力的新型注意力机制。这就像建造一座新办公室，让“交通警”和“过滤器”拥有各自独立且专用的办公桌。

交通警（S）： 构建得完美平衡（数学上为“斜对称”）。它只能移动信息，绝不能创造或销毁信息。
过滤器（D）： 构建为一份简单的“音量旋钮”列表（对角矩阵）。它仅负责放大或缩小数值。

通过将它们分离，研究人员得以观察 AI 如何在没有“过滤器”噪音主导一切的情况下自行组织。

3. 发现：“谱级级联”

当他们让 AI 以这种新的、分离的方式自行组织时，出现了一种美妙的模式，他们称之为谱级级联。

再次想象那 12 层办公楼。

底层（第 0–5 层）： 这些楼层极其简单。它们只需要两个“交通警”方向就能完成工作。它们就像一条简单的走廊，每个人只需向左或向右移动。它们不需要复杂的交通系统。
中间楼层： 复杂性缓慢增加。
顶层（第 10–11 层）： 只有这些楼层才需要拥有多个方向的庞大且复杂的交通系统。

重大揭示： 在标准模型中，AI 在不需要的底层构建了一个“复杂交通系统”（高秩）。它过度设计了简单的部分。当它们将工作分离后，AI 自然地组织起来：底层简单，顶层复杂。

4. “手术”：切除冗余

因为他们现在可以确切地看到每一层需要多少复杂性，所以他们对这些模型进行了“手术”：

底层线性化： 他们将前 7 层中复杂的注意力机制替换为一种非常简单且廉价的线性数学技巧（就像用直线代替曲线）。
- 结果： 模型的性能几乎没有下降（恶化不到 5%）。
- 标准模型： 如果你尝试在普通模型上做同样的事，它会立即崩溃。普通模型即使在不需要复杂性的地方也依赖那种复杂性。
反转： 在普通模型中，如果你尝试简化“过滤器”（音量旋钮），模型就会失效。但在他们新的分离模型中，将“过滤器”简化为每个头仅一个数字，几乎没有任何损害。“交通警”才是真正的干将。

5. 新蓝图

作者利用这张“谱级级联”地图重新设计了 AI 架构。他们不再给每一层分配相同数量的算力，而是构建了一个定制模型：

底层： 微小、狭窄且简单。
顶层： 宽大且复杂。

结果： 他们创造了一个在注意力参数方面**小 47% 到 65%**的模型，但其表现几乎与巨大的均匀模型一样好。他们本质上意识到，底层正携带着它们不需要的沉重行李箱，于是他们把这些行李箱扔掉了。

总结

该论文声称，当前的 AI 模型效率低下，因为它们将大脑的每一层都视为需要同等程度的复杂性。通过将信息的“移动”与信息的“过滤”分离开来，他们发现早期层实际上非常简单。

通过构建符合这种自然“由简至繁”结构的模型，他们可以使 AI 模型显著更小、运行成本更低，而不会损失太多智能。这就像意识到去杂货店不需要法拉利引擎；你只需要在高速公路上才需要它。

技术摘要：注意力的路由与过滤结构

问题陈述

标准 Transformer 架构在所有层中均匀分配注意力资源，无论该层执行的具体功能如何，均分配相同的头维度和计算复杂度（ $O(N^2)$ ）。这种均匀性之所以持续存在，是因为缺乏一种原则性的度量来指导非均匀分配。最近的混合架构（例如 Nemotron-H、Jamba、Griffin）试图通过广泛的超参数搜索来寻找二次项层与线性层之间的最优比例，但这些比例具有特定的规模依赖性且缺乏可迁移性。

识别出的核心问题在于，注意力交互矩阵 $QK^\top$ 将两个截然不同的计算功能纠缠在一个无约束的矩阵中：

路由（Routing）： 一个反对称分量，负责引导位置间的信息流（保守传输）。
过滤（Filtering）： 一个对称分量，用于缩放 Token 之间的相互相关性（增益控制）。

在标准注意力机制中，这些功能争夺相同的矩阵容量。对五个预训练模型（GPT-2 变体、BERT-base、Pythia-410M）中 1,776 个头的实证分析显示，过滤占据了主要的频谱预算，而路由则以远低于权重核所分配容量的低秩运行。此外，所有标准注意力头均被发现是动态不稳定的（具有正实部的特征值），严重依赖层归一化（LN）来抑制这种不稳定性，从而掩盖了路由机制真实的频谱结构。

方法论

为了将这些功能解耦并揭示潜在的频谱结构，作者引入了S–D 注意力，这是一种通过构建分离路由和过滤的诊断性参数化方法：

路由（ $S$ ）： 建模为学习到的反对称矩阵（ $S = -S^\top$ ）。这确保了特征值为纯虚数，代表保守的、零和的信息传输（模式间的旋转）。
过滤（ $D$ ）： 建模为学习到的正对角矩阵（ $D = \text{diag}(d_1, \dots, d_N)$ ）。这代表耗散性过滤，其中每个 Token 都有一个标量阻尼系数。

交互矩阵定义为 $L = S - D$ 。作者证明，对于任何实反对称矩阵 $S$ 和半正定对角矩阵 $D$ ，每个特征值的实部均满足 $\text{Re}(\lambda) \le 0$ 。这保证了架构稳定性，而无需层归一化。

作者在 OpenWebText 数据集上训练了不同规模（700 万至 3.55 亿参数）的 S–D 模型，包括带和不带层归一化的配置，以观察当路由不再受纠缠或归一化引起的均等化约束时，它是如何自组织的。

主要发现与结果

1. 频谱级联

当路由和过滤被解耦且移除归一化后，路由在深度上自组织成一种频谱级联（秩的层级结构）：

第 0 层： 收敛至有效秩为 2（用于广泛信息重分布的单一旋转平面）。
中间层： 维持低秩平台（有效秩 $\approx 2$ –$3$）。
终端层： 扩展至更高秩（多达 10+ 个独立旋转平面），最终秩由头维度而非深度决定。
尺度不变性： 这种上升的级联模式在所有测试规模（700 万至 3.55 亿参数）中均成立。随着模型规模增大，以最小频谱秩运行的层比例增加（从 1800 万参数时的 33% 增加到 3.55 亿参数时的 92%）。

2. 过滤坍缩

在解耦的 S–D 架构中，过滤分量坍缩为每个头的一个标量。将过滤分量截断为每个头的平均标量仅带来可忽略的困惑度成本（+0.3 PPL），而完全移除路由则会导致灾难性失败。这与标准注意力形成对比，在标准注意力中，过滤占主导地位，而路由是低秩的。

3. 可操作的频谱手术

频谱级联允许对架构进行“手术式”简化：

线性化： 1.25 亿参数的 S–D 模型的前 7 层可以被线性化（替换为 ELU+1 因果线性注意力），且困惑度下降幅度小于 5%。相比之下，标准注意力在同样的干预下，到第 3 层就会崩溃。
参数重分配： 通过将头维度（ $d_{head}$ ）与测量的频谱秩相匹配（例如，早期层 $d_{head}=8$ ，终端层 $d_{head}=64$ ），作者将注意力参数减少了 47–65%，仅增加了 +3.9% 至 +8.4% 的困惑度。
反转： 本文展示了一种结构性反转：在标准注意力中，过滤截断是禁止的，而路由截断是廉价的；在 S–D 中，路由截断是禁止的，而过滤截断是免费的。

意义与主张

本文声称其主要贡献是度量，而非架构本身。其意义在于使注意力的“频谱预算”变得清晰且可操作：

诊断： S–D 参数化作为一种诊断工具，用于测量每一层所需的真实路由容量，揭示了标准注意力在低秩层上分配了过多的容量。
混合架构的指导： 频谱级联提供了一种连续、可度量的指标，用于确定哪些层需要完整的二次注意力，哪些层可以被线性或低秩机制替代。这将混合架构的设计从“搜索”（搜索比例）转变为“度量”（基于秩进行规定）。
对线性注意力的重新评估： 结果表明，简单线性注意力（如 ELU+1）历史上的失败是由于分配不当（将其应用于高秩层）而非内在容量限制。本文表明，线性注意力在级联所识别的低秩“平台”中能有效工作。

作者得出结论，频谱级联是当消除纠缠和归一化后优化器的自然解决方案，且该结构可以指导构建更高效、非均匀的 Transformer 架构。