💬 NLP

The Diminishing Returns of Early-Exit Decoding in Modern LLMs

该论文指出，随着现代大语言模型预训练方法和架构的改进，层间冗余度降低导致早期退出机制的效能呈下降趋势，且密集 Transformer 架构、大参数量模型及未经微调的基础模型相比混合专家模型、状态空间模型及小模型具有更高的早期退出潜力。

原作者： Rui Wei, Rui Du, Hanfei Yu, Devesh Tiwari, Jian Li, Zhaozhuo Xu, Hao Wang

发布于 2026-03-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Rui Wei, Rui Du, Hanfei Yu, Devesh Tiwari, Jian Li, Zhaozhuo Xu, Hao Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个非常有趣的问题：在大语言模型（LLM）越来越聪明的今天，我们还能不能通过“中途退场”来让它们跑得更快、更省钱？

为了让你轻松理解，我们可以把大语言模型想象成一个超级复杂的“多层工厂”，或者一个由 100 层组成的“知识阶梯”。

1. 以前的老办法：聪明的“中途下车”

在早期的模型（比如几年前的版本）中，这个工厂的很多层其实有点“偷懒”或“重复”。

比喻：想象一个学生做数学题。他可能在第 10 层（总共 100 层）就已经算出了答案，后面的 90 层其实只是在反复确认这个答案，并没有增加太多新信息。
早期退出（Early-Exit）：以前的技术就像是一个聪明的监考老师，一旦发现学生（模型）在第 10 层就已经非常有把握了，就喊停：“好了，不用做后面的题了，直接交卷！”这样能节省大量时间和电力。

2. 现在的困境：工厂升级了，不再“偷懒”

但这篇论文发现，现在的最新模型（如 Llama 3, Qwen 3 等）变了。

比喻：现在的模型工厂进行了“现代化改造”。每一层都变得非常独特且不可或缺。就像现在的学生，必须一步步走完所有 100 层，每一层都在进行精细的打磨和修正。如果你在第 10 层就让他停手，他给出的答案可能完全错误，或者和最终答案大相径庭。
核心发现：论文指出，“中途退场”的回报率正在急剧下降。越新的模型，层与层之间的重复性越低，想要中途停下来而不犯错，变得越来越难。

3. 他们做了什么？（给模型打分）

为了搞清楚哪些模型还能“中途退场”，作者发明了一套**“早退适应度评分”（EAS）**。

比喻：这就像给不同的工厂做体检。他们不直接让工厂停工，而是观察工厂内部的信息流动：
- 如果第 10 层的信息和第 100 层的信息长得非常像（相似度很高），说明这层可以“早退”。
- 如果第 10 层和第 100 层天差地别，说明必须跑完全程。
他们建立了一个基准测试（Benchmark），就像给所有模型发了一张“早退潜力成绩单”，让研究人员在花钱改造模型前，先看看这张成绩单，判断值不值得。

4. 关键发现：谁还能“早退”？

通过测试几十种模型，他们发现了一些规律：

越新的模型，越难早退：就像上面说的，2024-2026 年的新模型，为了追求高质量，把“重复劳动”都砍掉了，导致中途停下来的机会变少。
大模型反而更容易早退：这有点反直觉。模型越大（比如超过 200 亿参数），层数越多，反而越容易出现“冗余”，也就是中间有些层还是能提前给出靠谱答案的。
- 比喻：就像一个大公司，人多了，总有些部门是重复劳动的；而一个小作坊，每个人都是核心骨干，少一个都不行。
架构很重要：
- 密集型模型（Dense Transformers）：像传统的“全员上阵”，早退潜力较大。
- 专家混合模型（MoE）和状态空间模型（SSM）：像“特种部队”或“流水线”，每一步都极其精密，很难中途停下来。
训练方式的影响：
- 基础模型（Base Model）：还没经过特殊调教的原生模型，早退潜力较大。
- 微调模型（Tuned Models）：经过专门训练（比如教它写代码、回答问题）的模型，为了精准度，把每一层都打磨得很紧，反而更难早退。

5. 总结：这对我们意味着什么？

这篇论文给行业泼了一盆冷水，但也指明了方向：

别盲目跟风：如果你想在最新的、经过微调的小模型上强行用“中途退场”技术来加速，可能会得不偿失，因为准确率会掉得很惨。
大模型有戏：对于超大规模的模型，或者那些还没经过深度微调的“生手”模型，早退技术依然有巨大的潜力。
先测后用：在投入资源去开发加速技术前，先用作者提供的“评分表”测一下，看看你的模型到底有没有“早退”的基因。

一句话总结：
以前的模型像“重复劳动的流水线”，中途停下来没事；现在的模型像“精密的瑞士手表”，每一颗齿轮都至关重要，想中途停下来，得先看看这块表是不是够大、够“老”，否则表就坏了。

这是一份关于论文《The Diminishing Returns of Early-Exit Decoding in Modern LLMs》（现代大语言模型中早退解码的边际收益递减）的详细技术总结。

1. 研究背景与问题 (Problem)

背景：
在大语言模型（LLM）推理中，“早退”（Early-Exit, EE）是一种通过在中途层停止计算来降低延迟和成本的技术。其核心假设是：许多中间层的表示已经足够自信，可以生成准确的预测，而无需运行到最后一层。这一技术在早期的 LLM（如 Llama2）和传统机器学习模型中被证明有效，因为那些模型存在大量的层冗余。

核心问题：
随着现代 LLM 的发展（如 Llama3/4, Qwen3, GPT-OSS 等），模型架构和训练方法发生了显著变化：

架构变化： 采用了更强的归一化、更深的网络以及混合专家（MoE）设计。
训练优化： 使用了改进的预训练配方（Pretraining Recipes）和更大、更多样的数据集。
假设失效风险： 这些变化可能导致中间层不再冗余，信息流更加均匀地分布在整个网络中，或者决策被推迟到深层。因此，早期早退方法所依赖的“中间层可可靠近似最终层输出”的假设可能不再成立。

研究目标：
重新评估现代 LLM 是否仍具备内在的早退潜力，分析影响早退效果的关键因素，并量化不同模型和负载下的早退收益上限。

2. 方法论 (Methodology)

为了系统性地评估现代 LLM 的早退适应性，作者提出了一套新的评估框架和指标：

2.1 核心指标：早退适应性评分 (Early-Exit Adaptability Score, EAS)

作者定义了一个综合指标来量化模型在早退时的内在适应性，平衡了加速比和精度损失：

跳过率 (Skip Ratio, $w_\ell$ )： 定义为 $w_\ell = (L - \ell) / L$ ，其中 $L$ 是总层数， $\ell$ 是退出层。代表潜在的加速能力。
层到最终层相似度 (Layer-to-Final Similarity, $S_\ell$ )： 计算退出层 $\ell$ $ℓ$ 与最终层 $L$ $L$ 之间的余弦相似度。
- 使用三种信号：隐藏状态（语义）、输出 Logits（概率分布）、Top-K 候选集。
- 高相似度意味着中间层输出与最终层一致，早退不会显著损害质量。
EAS 计算公式：
$A_\ell = \tilde{S}_\ell^\alpha \cdot w_\ell^{1-\alpha}$
其中 $\tilde{S}_\ell$ 是将相似度映射到 $[0,1]$ 区间的值， $\alpha$ 是平衡权重。最终模型的 EAS 是所有候选退出层 $A_\ell$ 的平均值。

2.2 评估设置

数据集： 涵盖科学推理 (GPQA)、数学 (GSM8K)、代码 (HumanEval) 和知识问答 (MMLU)，包含长推理和短决策任务。
模型： 评估了多种现代架构和规模，包括 Llama 系列 (2/3/4)、Qwen 系列 (2/3)、GPT-OSS、Mamba (SSM) 以及 MoE 模型。
Oracle 评估： 假设已知最佳退出层（基于相似度阈值），以评估早退的理论上限，排除现有启发式策略（如置信度阈值）的干扰。

3. 主要发现与结果 (Key Results)

3.1 总体趋势：早退收益递减 (Diminishing Returns)

观察： 随着模型代际的演进（从 Llama2 到 Llama4/Qwen3），早退适应性评分（EAS）呈下降趋势。
原因： 现代模型减少了层冗余，中间层的表示和决策更加依赖后续层的精细调整。如图 2 所示，新模型的早退潜力显著低于旧模型。

3.2 影响早退潜力的关键因素

作者识别出四个主要影响因素：

模型规模 (Model Scale)：
- 正相关： 参数量越大（特别是超过 200 亿参数），早退适应性越高。
- 原因： 大模型通常层数更多，层间冗余度相对更高，提供了更多的退出机会（见图 6）。
模型架构 (Model Architecture)：
- 稠密 Transformer (Dense) > MoE > 状态空间模型 (SSM)。
- Dense： 表现出渐进式的相似度提升，适合早退。
- MoE： 计算集中在动态选择的专家中，决策推迟到深层，跨层对齐度低，早退潜力较低。
- SSM (如 Mamba)： 状态更新紧密耦合，中间表示高度依赖后续变换，最不适合早退（见图 7）。
训练配方 (Training Recipe)：
- 预训练 (Pretraining)： 随着预训练的进行，中间层与最终层的相似度曲线从线性变为“弓形”，表明中间层开始执行特定的语义转换，导致中间层冗余减少（见图 8）。
- 后训练 (Post-training/Alignment)： 指令微调（Instruction Tuning）和人类对齐进一步减少了层冗余。微调后的模型在深层才进行概率校准，使得早退更加困难（见图 9）。
工作负载 (Workload)：
- 早退模式主要由模型本身决定，受具体任务（如 MMLU vs GSM8K）的影响较弱。但在某些严格任务（如数学推理）中，早退带来的精度损失可能更大。

3.3 信号敏感度分析

Logits 相似度是控制早退最敏感的指标。基于 Logits 的早退在精度和加速之间存在明显的权衡（Trade-off）。
隐藏状态和 Top-K 相似度虽然能保持精度，但提供的加速收益微乎其微，因为它们往往在很深的层才稳定。

4. 主要贡献 (Key Contributions)

提出新指标与基准： 引入了“早退适应性评分 (EAS)"和包含 Oracle 评估的基准框架，能够量化模型对早退的内在适应性，无需额外的微调或架构修改。
揭示代际衰退现象： 通过大规模实验证实，现代 LLM 的早退潜力随着模型迭代而显著下降，挑战了早期早退方法直接迁移到现代模型的假设。
系统性归因分析： 明确了模型规模、架构类型（Dense vs MoE vs SSM）和训练阶段（预训练/微调）对早退效果的具体影响机制。
开源计划： 作者计划开源该基准框架，供研究人员探索不同模型和负载下的早退潜力。

5. 意义与启示 (Significance)

对研究界的警示： 直接套用针对旧模型（如 Llama2）设计的早退策略到现代大模型上可能效果不佳，甚至需要重新设计退出机制。
指导模型选择与优化：
- 对于大参数量的稠密 Transformer，早退仍然是一个有潜力的优化方向。
- 对于MoE 和 SSM 架构，或者经过深度指令微调的模型，早退的收益可能非常有限，开发者应谨慎投入资源。
未来方向： 论文指出，若要在新模型上实现有效早退，可能需要结合特定的微调（Early-exit-aware tuning）或架构调整，而不仅仅是依赖模型内在的冗余。

总结： 该论文通过严谨的实证研究指出，现代 LLM 的架构演进正在消除层冗余，导致早退技术的边际收益递减。这要求社区在追求推理效率时，必须重新审视模型特性，不能盲目沿用旧有的早退策略。