Routing Absorption in Sparse Attention: Why Random Gates Are Hard to Beat

该论文指出，在端到端训练的稀疏注意力机制中，由于模型参数会自适应地吸收路由信号，导致学习到的门控网络性能并不优于随机门控（即“路由吸收”现象），因此后验的解耦稀疏化方法比直接学习路由更为有效。

要点

这篇论文探讨了一个非常有趣且反直觉的现象：为什么在训练 AI 模型时，试图让它自己学会“偷懒”（只关注重要的信息），往往效果很差，甚至不如让它随机瞎蒙？

为了让你轻松理解，我们可以把这篇论文的核心思想比作**“一个超级聪明的团队和一个只会指路的实习生”**的故事。

1. 核心故事：聪明的团队 vs. 指路的实习生

想象你有一个超级聪明的团队（这就是 AI 模型中的 Q/K/V 投影层，负责处理信息），他们非常擅长解决问题。现在，你雇佣了一个实习生（这就是“门控网络”或 Gate），他的工作是在团队开始工作前，先快速扫一眼，告诉团队：“嘿，只关注这 10% 的重要文件，其他的都扔掉。”

• 理想情况（事后诸葛亮）： 如果团队已经训练好了，非常成熟，这时候你让实习生来指路。实习生只要看一眼，就能精准地指出哪些文件重要。因为团队已经很强了，他们能完美配合实习生的指令，只处理那 10% 的文件，效果几乎和看所有文件一样好。

  • 论文发现： 这种“事后训练”的方法非常有效。

• 现实情况（边干边学）： 如果你让实习生和团队同时开始工作，一边学一边指路。结果会怎样？

  • 团队（超级聪明，参数多）发现：“哎呀，实习生指的路好像不太准，或者有时候指错了。没关系，我们太聪明了，我们可以自己调整，不管实习生指哪条路，我们都能把活干好。”
  • 于是，团队开始“吸收”实习生的指令。他们不再依赖实习生的判断，而是根据实习生的指令自我适应。
  • 结局： 最后，实习生（门控网络）学没学会指路已经不重要了。因为团队已经学会了“无论实习生指哪，我都能搞定”。这时候，如果你把实习生换成一个完全随机乱指的人（随机门控），团队依然能完美工作。
  • 论文发现： 这就是**“路由吸收”（Routing Absorption）**。团队太强大，把实习生的作用“吸收”掉了，导致实习生学不学都一样，甚至不如随机乱指。

2. 为什么会出现这种情况？（参数不对称）

这就好比大象和蚂蚁的力量对比。

• 大象（模型主体）： 有 3100 万个参数（大脑神经元），非常强壮。
• 蚂蚁（门控网络）： 只有 39 万个参数（只有大象的 1/80）。

当大象和蚂蚁一起走路时，大象觉得：“蚂蚁指的方向有点偏？没关系，我调整一下我的步伐，照样能走到目的地。”
因为大象（模型）的调整能力（参数）远远大于蚂蚁（门控）的指挥能力，所以大象总是能“吃掉”蚂蚁的指令。蚂蚁的努力在大象的自我适应面前显得微不足道。

3. 论文做的四个实验（四个小故事）

作者为了证明这个现象，做了四个有趣的实验：

1. 随机 vs. 学习： 他们训练了一个能学习的实习生，也训练了一个只会随机指路的实习生。结果发现，两者带领团队干活的效果几乎一模一样。这说明学习的实习生根本没学会什么真本事，因为团队自己把活干了。
2. 硬指令 vs. 软指令： 如果给实习生一个“死命令”（必须选前 10 个，不能改），实习生连话都说不出来（没有梯度反馈）。但有趣的是，即使给实习生“软指令”（可以商量），团队依然能自我适应，让实习生的努力白费。
3. 换人测试（蒸馏对比）： 作者把“随机指路”的实习生，强行安插到“已经和随机指路配合好的团队”身上。结果团队崩溃了，因为团队已经习惯了随机指路的节奏，突然换了一个“真正学过”的实习生，团队反而不会干活了。这证明团队是专门为了配合那个特定的（哪怕是随机的）指令而进化的，而不是真的学会了筛选信息。
4. 随机干扰测试： 作者试图在训练时随机打乱指令（像给团队戴眼罩一样），希望团队能学会“不管指令如何都能干活”。结果团队变笨了，因为这种随机干扰破坏了团队原本专注的注意力模式，导致他们什么都学不好。

4. 规模越大，问题越严重

论文还发现，模型越大（比如从 3100 万参数变成 17 亿参数），这个问题越严重。

• 模型越大，大象越强壮，蚂蚁越渺小。
• 大象不仅能适应蚂蚁的指令，还能通过跨层补偿（大象的不同部位互相配合）来抵消蚂蚁的干扰。
• 在大模型中，注意力分布本身变得非常尖锐（大象只盯着极少的信息看），这使得“随机指路”和“精准指路”之间的界限在大象的自我适应下变得模糊。

5. 结论与启示：该怎么办？

这篇论文并不是说“稀疏注意力”（只关注重要信息）没用，而是说**“边训练边学怎么偷懒”这条路走不通**。

• 错误的做法： 试图在训练模型的同时，让模型自己学会“只关注重要信息”。这就像让大象和蚂蚁一起学走路，最后大象学会了无视蚂蚁。
• 正确的做法（事后诸葛亮）： 先让大象完全训练好（学会看所有信息，变得非常聪明）。等它完全成熟了，再请一个聪明的实习生（门控网络）来给它做减法，告诉它：“以后只看这些。”
  • 因为大象已经很强了，它不需要再适应新的规则，它只需要执行指令。这时候，实习生才能真正发挥作用，而且效果极佳。

一句话总结：
不要试图让 AI 在“学习知识”的同时还要“学习如何偷懒”。先让它把知识学透，再教它如何偷懒。 否则，它强大的学习能力会把它“偷懒”的指令给“吸收”掉，让你白忙一场。

技术摘要

论文技术总结：稀疏注意力中的路由吸收（Routing Absorption）

论文标题：Routing Absorption in Sparse Attention: Why Random Gates Are Hard to Beat
作者：Keston Aquino-Michaels (No Way Labs)
日期：2026 年 2 月

1. 研究背景与问题定义

核心问题

在 Transformer 架构中，注意力机制（Attention）的分布通常高度集中（即大部分注意力权重集中在少数几个 Key 位置上）。理论上，应该存在一个轻量级的“门控网络”（Gate Network）能够在学习过程中识别出哪些注意力条目是重要的，从而实现稀疏注意力（Sparse Attention）并降低计算成本。

然而，端到端（End-to-End）训练的稀疏注意力方法往往表现不佳。当模型试图同时学习注意力投影（Q/K/V）和路由门控（Gate）时，学习到的门控效果往往与随机门控（Random Gates）相差无几，甚至无法显著优于随机选择。

核心假设：路由吸收（Routing Absorption）

作者提出“路由吸收”这一概念来解释上述现象：

• 定义：在端到端训练中，庞大的模型参数（Q/K/V 投影、前馈层等）会迅速适应（Co-adapt）任何被施加的掩码（Mask），无论该掩码是由学习到的门控还是随机门控生成的。
• 机制：模型参数通过调整自身的表示，补偿了门控带来的信息损失。最终，门控的预测信号被“吸收”进 Q/K/V 的表示中，导致门控本身变得无关紧要。
• 参数不对称性：这是吸收发生的根本原因。在典型的设置中，模型主体（约 31M 参数）的参数量是门控网络（约 0.4M 参数）的 80 倍。模型拥有更多的自由度来适应门控，而不是门控去适应模型。

2. 方法论与实验设置

为了验证“路由吸收”假说，作者在受控环境下进行了多项实验：

• 模型架构：
  • 主实验：6 层、256 维、4 头的前缀归一化 Transformer（约 31M 参数），在 WikiText-103 上训练。
  • 扩展实验：在 Qwen3-1.7B（55 倍规模）上进行部分层解冻微调，验证现象是否随规模放大。
• 门控设计：
  • 使用轻量级双线性门（Bilinear Gate），输入为 Query 和 Key 的投影，输出为注意力掩码分数。
  • 参数量约为模型的 1.3%。
• 对比设置：
  • 端到端训练：门控与模型 Q/K/V 同时训练。
  • 事后蒸馏（Post-hoc）：冻结训练好的稠密模型，仅训练门控以拟合 Oracle（最优）掩码。
  • 随机门控：使用冻结的随机掩码作为基准。
  • 消融实验：包括硬 Top-k 梯度、随机掩码训练（Stochastic Masking）、单层吸收测试等。

3. 关键实验结果与证据

作者提供了四条独立的证据链证明路由吸收的存在：

证据 1：学习到的门控与随机门控表现趋同

• 现象：在端到端训练 50,000 步后，学习到的软门控（Soft Gate）的困惑度（PPL）为 48.73，而冻结的随机门控 PPL 为 49.83。
• 结论：两者差距仅为 2.2%。尽管门控有 50,000 步的梯度更新，但它仅捕捉到了从随机到稠密模型潜在改进空间的 9%。这表明模型主体已经适应了掩码的存在，而非掩码的内容。
• 对比：同样的门控架构在冻结模型上进行事后训练，仅需 1,000 步即可收敛到接近 Oracle 的水平（PPL 48.83），证明门控本身具备学习能力，问题出在联合训练。

证据 2：硬 Top-k 门控的零梯度问题

• 现象：使用不可微的硬 Top-k 掩码时，门控接收到的梯度为零。实验显示，学习到的硬门控（PPL 71.22）与随机硬门控（PPL 71.24）表现完全一致。
• 结论：即使软门控（有梯度）也无法显著超越随机门控，说明瓶颈不在于梯度流动，而在于 Q/K/V 对信号的快速吸收。

证据 3：蒸馏对比实验（Distillation Contrast）

• 设置：
  1. 在稠密模型（从未见过掩码）上训练门控。
  2. 在软门控联合训练模型（Q/K/V 已适应特定掩码）上训练门控。
• 结果：
  • 两者在拟合 Oracle 掩码时 F1 分数都很高（>0.8）。
  • 部署时：稠密模型上的门控表现良好（PPL 48.6）；而联合训练模型上的门控在部署时表现灾难性（PPL 601.6）。
• 结论：联合训练模型的 Q/K/V 表示已经深度依赖于特定的软掩码形式（Sigmoid 分布），一旦切换到硬掩码（Top-k），表示即失效。这直接证明了 Q/K/V 与门控发生了严重的共适应（Co-adaptation）。

证据 4：随机掩码训练失败

• 假设：如果在训练过程中随机化掩码（类似 Dropout），是否能防止共适应？
• 结果：训练带有随机掩码的模型，即使在部署时不使用任何掩码，其 PPL 也高达 78.19（基线为 37.32）。
• 结论：随机掩码并没有使模型对掩码鲁棒，反而破坏了 Q/K/V 的注意力结构，迫使模型学习平坦的注意力分布以应对噪声，导致性能永久下降。

规模效应验证（Qwen3-1.7B）

• 在 1.7B 模型上，仅解冻单层 Q/K/V 进行微调，学习到的门控与随机门控的 PPL 完全一致（均为 8.80）。
• 随着解冻层数增加（共适应容量增加），随机门控的性能迅速提升（从 42 降至 17），而学习门控性能保持稳定（约 10）。这证实了参数不对称性是吸收的驱动力，且随模型规模增大而加剧。

4. 核心贡献

1. 提出“路由吸收”概念：明确指出了端到端稀疏注意力训练中，模型主体参数吸收路由信号导致门控失效的机制。
2. 揭示参数不对称性的作用：证明了当路由网络（Gate）的参数量远小于计算主体（Q/K/V）时，模型会优先适应路由策略，而非路由策略去优化模型。
3. 区分 MoE 与 Attention 的共适应机制：
   • 在混合专家（MoE）中，专家是独立模块，共适应局限于模块内部。
   • 在 Attention 中，Q/K/V 是共享参数，允许跨层补偿（Cross-layer compensation），使得吸收现象比 MoE 更严重、更难以避免。
4. 确立“解耦”原则：证明了**事后蒸馏（Post-hoc Distillation）**之所以有效，是因为它解耦了表示学习（Representation Learning）与稀疏化（Sparsification），阻止了共适应的发生。

5. 意义与启示

对稀疏注意力方法的启示

• 警惕端到端学习：任何声称通过端到端训练学习 Token 级稀疏掩码的方法，都可能面临路由吸收问题，其“学习到的路由”可能只是随机路由的伪装。
• 推荐策略：稀疏化应被视为训练后（Post-training）的压缩步骤，而非端到端训练目标。
• 验证方法：对于任何声称学习路由的方法，应进行“随机路由消融实验”（Ablation against Random Routing）。如果学习到的路由与随机路由性能无显著差异，则说明发生了路由吸收。

对 MoE 文献的启示

• 虽然 MoE 中也存在路由吸收，但 Attention 中的共享参数结构使得共适应更加紧密和严重。
• 在 MoE 中引入可微分门控（如 ReLU 代替 Top-k）可能无法解决吸收问题，因为根本原因在于参数不对称性，而非不可微性。

理论贡献

• 挑战了“注意力分布高度集中，因此容易学习稀疏路由”的直觉。虽然结构存在，但在联合优化框架下，模型会“吸收”这种结构，使得路由网络变得多余。
• 提出了解耦原则（Decoupling Principle）：当一个小辅助网络需要为一个大计算基底做路由决策时，必须将路由决策与基底训练解耦（如冻结基底、蒸馏等）。

总结

这篇论文通过严谨的受控实验证明，在当前的 Transformer 架构下，端到端训练稀疏注意力门控是徒劳的，因为模型参数会迅速适应并吸收路由信号，使得学习到的门控与随机门控无异。解决这一问题的唯一有效途径是解耦，即在模型训练完成后，再单独训练路由门控（事后蒸馏）。这一发现对未来的稀疏模型设计、MoE 架构优化以及模型压缩策略具有重要的指导意义。