💬 NLP

DND: Boosting Large Language Models with Dynamic Nested Depth

本文介绍了动态嵌套深度（Dynamic Nested Depth, DND），这是一种新颖的后训练方法，通过一种嵌套深度机制动态地识别并重新处理关键标记，从而在以极低的计算开销下，增强现成的开源大语言模型，并在多种基准测试中取得了显著的性能提升。

原作者： Tieyuan Chen, Xiaodong Chen, Haoxing Chen, Zhenzhong Lan, Weiyao Lin, Jianguo Li

发布于 2026-01-28

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tieyuan Chen, Xiaodong Chen, Haoxing Chen, Zhenzhong Lan, Weiyao Lin, Jianguo Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名正在参加一场非常困难考试的学生。你的时间有限，精力也有限。

旧方法（标准 AI）：
如今大多数大语言模型（LLM）的工作方式就像一个对待考试中每个问题都一视同仁的学生。无论是“2+2 等于几？”还是“解释黑洞的量子力学”，学生都会投入完全相同的时间和脑力。他们读完简单的问题，思考一下，写下答案，然后继续。对于难题，他们也是如此，但由于他们使用的是这种“一刀切”的努力方式，他们可能会在难点部分草草了事导致出错，或者在简单部分过度思考而浪费时间。

新思路（DND）：
这篇论文介绍了一种名为**动态嵌套深度（Dynamic Nested Depth, DND）**的方法。你可以把它想象成一位观察着学生考试并只在必要时进行干预的聪明导师。

它是如何运作的，通过以下简单的步骤分解：

1. “交通警察”（路由）

当模型处理一个句子时，它会在每一层（思考过程中的一个步骤）的末尾遇到一个“交通警察”。这个警察会逐个查看每个词（token）。

简单的词： 如果这个词很简单（比如“the”或“and”），警察会说：“没问题，通过吧。” 模型正常处理它并进入下一步。
难的词： 如果这个词很棘手（比如复杂的数学符号或谜题中的逻辑连接词），警察会说：“等等！这个需要更多关注。”

2. “绕行”（嵌套深度）

当警察标记出一个难词时，它并不会直接让其通过。相反，它会将这个特定的词送入一条绕行路线。

想象这个词被送回教室进行第二轮学习。它被重新阅读、重新分析，并由模型的内部逻辑进行“复习”。
这就是**“嵌套深度”**。模型只针对这些困难的词进行更深层的挖掘，而不会在简单的词上浪费时间。这就像一个学生在快速浏览书中简单部分的同时，重新阅读一段令人困惑的段落。

3. “合并”（融合）

在这些难词经过额外的“复习”之后，它们会被带回主线。模型随后将原始理解与这种新的、更深层的理解结合起来，以生成最终答案。

为什么这很特别？

论文声称这种方法是一种“即插即用”的升级。你不需要从头开始重建整个学校（模型）。你只需要在现有的模型（如 Qwen、Llama 或 Gemma）中加入这个聪明的交通警察系统，并对其进行短时间的训练即可。

结果（成绩单）：
作者在几种不同的模型上进行了测试：

小模型： 他们将小型模型（如 10 亿参数规模）变得显著更聪明。例如，一个模型的推理和编程分数提高了约 2.5% 到 2.6%。
大模型： 他们甚至在一个庞大且复杂的模型（300 亿参数）上进行了测试。它将该模型的性能提升了近 1%。
效率： 最棒的部分是，这并没有让模型变得慢很多或大很多。它只增加了极少量的额外“脑力”（参数）和计算量。这就像是在不需要多花两倍时间学习的情况下获得更好的成绩。

秘诀（训练策略）
论文还解释了教导“交通警察”变得准确是非常困难的。如果警察太挑剔，就会停止一切；如果它太懒散，就不会停止任何事。

解决方案： 他们创建了一种特殊的训练规则。他们教导警察能够非常出色地分辨“简单词”和“难词”（这样它就不会产生混淆），并赋予它一种动态调整自身严格程度（阈值）的方式，使其始终能挑选出正确数量的词进行复习。

总结：
DND 是一种通过让 AI 仅在句子的难点部分投入额外时间，而在简单部分快速通过，从而使 AI 变得更聪明的方法。这是一种更聪明、更高效的思考方式，而不是对所有事物都只是单纯地加大思考强度。

技术摘要：面向大语言模型的动态嵌套深度 (DND)

1. 问题陈述

提升大语言模型（LLM）的主流范式依赖于参数、数据和计算量的规模化。然而，这种方法在训练和推理阶段都会产生指数级的计算开销。近期的研究表明，预测难度在不同 Token 之间存在显著差异：许多 Token 极易预测，而另一些则需要深度的计算处理。现有的方法如 Token Pruning（Token 剪枝）通过丢弃无信息 Token 来降低开销，但其本质上是基于“保留或丢弃”的二元决策。此外，虽然测试时缩放策略（如潜变量策略）表明隐藏状态中的循环计算可以提升推理能力，但这些方法往往缺乏有效的机制，无法在不为简单输入引入冗余成本的前提下，将额外的深度动态分配给最关键的 Token。因此，需要一种高效的方法，能够将额外的计算自适应地分配给困难的 Token，同时保持标准处理对其他 Token 的效率，且理想情况下应作为一种与现有架构兼容的后训练（post-training）方法。

2. 方法论：动态嵌套深度 (DND)

DND 是一种后训练方法，它将动态嵌套深度机制集成到现有的 Transformer 层中。其原理是识别关键 Token，并让它们在同一层内进行一轮额外的处理（“复审”），同时允许较简单的 Token 正常通过。

2.1 架构设计

DND 策略应用于模型的中间层（从第 $L_s$ 层到 $L_e$ 层），保留初始层和最终层不变，以维持预训练的推理模式。该架构由三个主要部分组成：

Token 选择路由 (Token-Choice Routing)： 不同于容易导致自回归模型信息泄露的“专家选择型”（对整个序列进行 Top-k 筛选）路由，DND 采用了 Token 选择策略。一个线性路由器 $R$ 处理来自原生前向传播的每个 Token 的隐藏状态 $x_i^v$ ，以生成偏好评分。该评分通过 Sigmoid 函数进行归一化，生成概率 $p_i \in (0, 1)$ 。当且仅当 $p_i > \tau$ 时，Token 被选中进行重新处理。
嵌套深度处理 (Nested Depth Processing)： 被选中的 Token 被掩码处理并打包成一个紧凑的序列。该序列会在同一个 Transformer 层 $L_i$ 中进行第二次前向传播，从而有效地创建了“嵌套”深度。这次处理的输出 $X_d$ 代表了关键 Token 的精炼隐藏状态。
归一化融合 (Normalized Fusion)： Token 的最终输出是原生输出 ( $X_v$ ) 与嵌套输出 ( $X_d$ ) 的融合。对于选中的 Token，融合受门控机制控制： $x_i = (\beta \cdot p_i) \cdot x_i^d + (1 - \beta \cdot p_i) \cdot x_i^v$ ，其中 $\beta$ 是一个可学习的平衡参数。未被选中的 Token 则保留其原生输出。

2.2 训练策略

为了确保路由器能有效区分 Token 并保持选择的稳定性，作者提出了两种创新的训练策略：

路由器控制损失 (Router Controlling Loss)： 为了防止路由器评分出现聚类（导致选择不稳定）或饱和（导致梯度消失），引入了双重目标损失：
- 评分离散损失 ( $L_{sd}$ )： 基于信息熵，鼓励评分在较宽范围内分布，从而确保 Token 之间有清晰的区别。
- 分布保持损失 ( $L_{dp}$ )： 一种均方误差（MSE）惩罚项，将评分拉向 Sigmoid 动态范围的中心（0.5），防止其塌陷到饱和区域（0 或 1），从而维持梯度流。
阈值控制方案 (Threshold Control Scheme)： 为了在不依赖 Top-k 约束的情况下维持稳定的选择比例，采用了动态阈值控制：
- 缓冲比例控制 (Buffer Proportional Control)： 阈值 $\tau$ 根据训练缓冲区内实际选择比例与目标比例 $k_{target}$ 之间的误差进行实时更新。
- EMA 同步 (EMA Synchronization)： 为了防止路由器优化与阈值之间出现失配，使用理想阈值的指数移动平均（EMA）（源自样本缓冲区）来轻微调整运行阈值，从而确保长期稳定性。

3. 核心贡献

动态嵌套深度 (DND)： 一种全新的范式，通过嵌套重处理自适应地识别关键 Token 并深化其计算，超越了二元性的 Token 剪枝。
定制化训练策略： 一个全面的训练框架，包含用于提高选择精度的路由器控制损失，以及用于确保选择稳定性的自适应阈值控制方案，实现了鲁棒的 Token 级自适应计算。
后训练集成： 一种即插即用的方法，可以以极小的参数和计算开销直接集成到稠密（Dense）和混合专家（MoE）架构中。

4. 实验结果

作者在涵盖通用知识、数学、推理、编程和智能体（Agent）任务的多种基准测试中评估了 DND。

稠密模型 (Dense Models)： 在小规模稠密模型（Qwen3-1.7B, Llama3.2-1B, Gemma3-1B）上，相比于标准的监督微调（SFT），DND 分别实现了 1.88%、2.61% 和 2.50% 的平均性能提升。在复杂推理任务（如 BBH, GPQA）中观察到了显著增益。
MoE 模型： 在大规模稀疏 MoE 模型 Qwen3-30B-A3B 上，DND 在 17 个基准测试中实现了 0.87% 的平均提升。最显著的增益出现在编程和智能体任务中（例如 BFCL v3 提升了 +2.05）。
效率： 该方法引入的参数增加微乎其微（< 0.1M）。在计算方面，复审 20% 的 Token 仅增加了约 6% 的额外 FLOPs。推理吞吐量测量显示，在各种序列长度下，模型仍能保持原生模型 91.6%–93.1% 的速度。
消融实验： 实验证实，路由器控制损失和阈值控制方案都是必不可少的；移除它们会显著降低性能增益。研究发现，最佳的 Token 选择比例在 20%–30% 左右。

5. 意义与主张

本文声称，DND 提供了一种极具参数效率的方法，能够在不承担大规模扩展或从头训练的高昂成本的情况下，解锁 LLM 的显著能力。通过动态分配计算资源给那些表现出高不确定性（如原生前向传播中具有较高 Logit 熵）的 Token，DND 允许模型在内部“复审”困难的概念。这一方法验证了以下假设：推理和复杂规划依赖于一小部分关键 Token，而为这些 Token提供额外的深度会显著提升模型性能。该方法被呈现为一种实用的后训练解决方案，可以应用于现有的先进模型，以极低的开销提升其推理和生成能力。