💬 NLP

What Layers When: Learning to Skip Compute in LLMs with Residual Gates

本文提出了一种名为 GateSkip 的残差门控机制，通过在预训练模型基础上引入可微门控实现逐 token 的层跳过，在保持高准确率的同时显著降低了推理计算量，且具有训练稳定、易于结合其他加速技术等优势。

原作者： Filipe Laitenberger, Dawid Kopiczko, Cees G. M. Snoek, Yuki M. Asano

发布于 2026-02-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Filipe Laitenberger, Dawid Kopiczko, Cees G. M. Snoek, Yuki M. Asano

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

1. 现状：死脑筋的“超级学生”

现在的 AI 模型（比如 ChatGPT 的底层架构）有一个特点：无论问题难还是简单，它每一层、每一个字都要进行“全功率运转”。

比喻：
想象你在做数学题。

遇到“1+1=？”这种送分题，你只需要大脑转一下（1秒钟）就能得出答案。
遇到“证明黎曼猜想”这种难题，你需要翻遍图书馆、推演几天几夜。

但现在的 AI 就像一个**“死脑筋学生”：哪怕面对“1+1=？”这种送分题，它也要像面对难题一样，调动全身所有的脑细胞、翻开所有的书、写满几十页草稿纸。这不仅浪费时间**，还极其耗电。

2. GateSkip 的核心思想：给大脑装上“智能开关”

研究人员提出了 GateSkip。它给 AI 的每一层大脑都装上了一个**“智能闸门”（Gate）**。

这个闸门的作用是：在处理每一个字（Token）时，先快速判断一下：“这个字重要吗？我需要动用全身力量来处理它吗？”

比喻：
这就像给学生配了一个**“智能助教”**。

当学生看到“的”、“了”、“是”这些没啥营养的虚词时，助教会按住闸门说：“这些字不重要，直接跳过，别浪费脑细胞！”
当学生看到“黎曼猜想”、“化学武器”或者“复杂的逻辑推理”时，助教会立刻打开闸门，大喊：“注意！重点来了！全速运转！”

这就是“按需分配计算资源”：简单的字“走捷径”，难的字“走正道”。

3. 这项技术厉害在哪里？（三大亮点）

① 它是“温和的进化”，而不是“推倒重来”

以前的方法（比如 Mixture-of-Depths）试图强行改变 AI 的思考方式，结果往往会导致 AI “学傻了”（训练不稳定）。
GateSkip 采用的是一种**“平滑的调节”**。它不是直接切断，而是通过一个“调节阀”来控制信息的流量。这就像是在高速公路上加装了智能分流器，而不是直接拆掉路面，所以 AI 能够非常稳定地学会如何“偷懒”。

② “偷懒”的同时，智商反而可能更高

这是一个非常神奇的发现：在某些任务上，即使我们让 AI 跳过了一些计算，它的表现反而变好了！
比喻：
这就像一个学生，因为学会了“抓重点”，不再被那些琐碎的废话干扰，反而能更专注地思考核心逻辑，考试成绩反而提升了。

③ 它是“全能型选手”

GateSkip 不挑食。它不仅能让模型跑得快，还能和现有的其他“瘦身技术”（比如量化、剪枝）完美配合。就像给一个原本就精干的运动员又穿上了轻便的智能运动服，速度更快，负担更轻。

4. 总结：它改变了什么？

更省钱、更省电： 减少了不必要的计算，意味着运行 AI 的成本更低。
更快速： 遇到简单问题秒回，不再“磨磨唧唧”。
更聪明： 能够识别出哪些是“锚点”（比如句首、标点符号），哪些是“核心内容”，从而把精力花在刀刃上。

一句话总结：GateSkip 让 AI 学会了“看菜吃饭”，在简单问题上“走捷径”，在复杂问题上“拼全力”，实现了效率与智力的双赢。

这是一篇关于大语言模型（LLM）高效推理的研究论文，发表于 ICLR 2026。以下是对该论文的详细技术总结：

1. 问题背景 (Problem)

当前的大语言模型在推理时存在严重的计算浪费问题：无论输入的 Token 是简单的标点符号还是复杂的逻辑推理词，模型都会在每一层、为每个 Token 分配完全相同的计算量（即 Attention 和 MLP 模块）。
现有的改进方法主要分为两类，但各有缺陷：

基于路由的方法 (Router-based, 如 Mixture-of-Depths): 使用离散的路由决策，训练过程不稳定，通常需要从头开始训练，且难以平衡负载。
早期退出方法 (Early-exit): 通过辅助头判断置信度并停止计算，但这会改变预训练模型的隐藏层表示，且难以进行良好的校准。

2. 核心方法：GateSkip (Methodology)

作者提出了一种名为 GateSkip 的轻量级残差流门控机制，旨在实现逐 Token 的层跳过 (Token-wise layer skipping)。

A. 残差门控机制 (Residual Gating Mechanism)

GateSkip 不改变模型的主体结构，而是在每个 Attention 和 MLP 分支的输出端添加一个可学习的门控单元。

数学表达： 传统的残差连接为 $h_{\ell+1} = h_\ell + o_\ell$ 。GateSkip 修改为：
$h_{\ell+1} = h_\ell + o_\ell \odot g_\ell(h_\ell)$
其中 $g_\ell(h_\ell) = \sigma(W_G h_\ell + b)$ 是一个通过 Sigmoid 激活的线性投影，用于对分支输出进行逐元素缩放。
设计优势： 门控是平滑且可微的，这使得模型可以在预训练模型的基础上进行稳定的微调，而不会破坏原有的表示空间。

B. 训练目标 (Training Objective)

训练由两部分组成：

语言模型损失 ( $L_{CE}$ ): 标准的交叉熵损失，确保模型保持语言建模能力。
稀疏性惩罚 ( $L_S$ ): 对门控激活值施加 $L_2$ 范数惩罚，鼓励门控趋向于零，从而实现模块输出的压缩。
$\mathcal{L} = \mathcal{L}_{CE} + \lambda_S \mathcal{L}_S$

C. 推理时的 Token 选择 (Token Selection)

在推理阶段，模型根据门控值的大小来决定哪些 Token 需要执行计算：

重要性评分： 将门控向量压缩为标量评分 $\bar{g}_{\ell,i}$ 。
分位数阈值 (Quantile Thresholding)： 根据预设的计算预算 $b_t$ （即允许运行的 Token 比例），计算评分的分位数作为阈值 $\tau_t$ 。
跳过决策： 评分低于阈值的 Token 将直接跳过当前层，其隐藏状态和 KV Cache 直接向上复制。

3. 主要贡献 (Key Contributions)

提出 GateSkip 机制： 一种通过平滑可微门控实现硬跳过（Hard Skip）的方案，解决了离散路由训练不稳定的问题。
卓越的计算-精度权衡： 在长文本推理任务中，能节省高达 15% 的计算量，同时保持 90% 以上的精度；在指令微调模型上，甚至能在节省 50% 计算量的情况下匹配基准质量。
高度的兼容性： 证明了 GateSkip 可以与量化 (Quantization)、剪枝 (Pruning) 和自投机解码 (Self-speculative decoding) 等其他优化技术无缝结合。
信息流洞察： 通过分析门控值，揭示了 Transformer 的内部机制（例如 BOS Token 作为上下文锚点的作用）。

4. 实验结果 (Results)

生成任务 (Generative Benchmarks): 在 GSM8K 和 CommonsenseQA 上，GateSkip 远优于随机跳过和现有的 MoD 方法。
语言模型评估 (Log-likelihood): 在 MMLU、HellaSwag 等任务上，GateSkip 在大幅减少计算量的情况下，性能下降极小，甚至在某些任务上优于基准。
指令微调模型 (Llama-3-Instruct): 表现惊人，在 0% 跳过时甚至能提升模型的生成精度，这表明门控机制起到了一种正则化作用。
实际效率: 在 vLLM 环境下的测试显示，理论上的 FLOPs 减少能有效转化为实际的延迟 (Latency) 降低和吞吐量 (Throughput) 提升。

5. 研究意义 (Significance)

GateSkip 的意义在于它提供了一种稳定、实用且非破坏性的自适应计算方案。它不仅是一种提高推理效率的工具，更通过门控值的可视化，为理解 LLM 的**安全性（识别敏感词汇）和可解释性（识别关键推理步骤）**提供了新的维度。该方法为在资源受限的环境中部署高性能大模型开辟了新的路径。