💬 NLP

LD-MoLE: Learnable Dynamic Routing for Mixture of LoRA Experts

本文提出了 LD-MoLE，一种基于可学习动态路由的 LoRA 专家混合机制，通过引入可微路由函数和解析稀疏控制目标，实现了自适应的 Token 依赖及层间专家分配，在多个基准测试中显著优于现有基线方法。

原作者： Yuan Zhuang, Yi Shen, Yuexin Bian, Qing Su, Shihao Ji, Yuanyuan Shi, Fei Miao

发布于 2026-02-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuan Zhuang, Yi Shen, Yuexin Bian, Qing Su, Shihao Ji, Yuanyuan Shi, Fei Miao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 LD-MoLE 的新方法，旨在让大型人工智能模型（LLM）在适应新任务时变得更聪明、更高效。

为了让你轻松理解，我们可以把训练一个 AI 模型比作经营一家大型咨询公司。

1. 背景：为什么需要新方法？

现状：笨重的“全员加班”vs. 僵化的“固定排班”

全量微调（Full Fine-tuning）： 以前，如果要让 AI 学会新技能（比如写代码或做医疗诊断），我们需要把整个公司的所有员工（模型的所有参数）都重新培训一遍。这就像让一家拥有 10 万人的公司全员停工去上培训班，成本极高，速度极慢。
LoRA（参数高效微调）： 为了解决这个问题，大家发明了 LoRA。这就像只给公司里的几个关键部门（专家）发“临时工手册”，只更新这几页纸，而不是重写整个公司的规章制度。这大大节省了成本。
MoE（混合专家模型）： 但光有几个部门还不够。现在的趋势是“混合专家”（MoE），也就是公司里有很多不同领域的专家（比如有的擅长数学，有的擅长文学）。
- 传统做法（Top-K 路由）： 以前的做法是，无论客户（输入的数据）问什么问题，系统都强制让固定的 2 位专家（比如 Top-2）来回答。
- 问题： 这太僵化了！如果客户问的是个简单的“你好”，让两位顶级专家都来回答是浪费资源；如果客户问的是个超级复杂的量子物理难题，只派 2 位专家可能搞不定。而且，这个“派 2 个人”的规则是人工设定的，模型自己学不会灵活变通。

2. 核心创新：LD-MoLE 是什么？

LD-MoLE 就像是一个“超级智能调度员”。

它不再死板地规定“每个问题必须找 2 个人”，而是让模型自己决定：“这个问题很简单，找 1 个人就够了”或者“这个问题很难，赶紧叫 5 个专家来开会”。

它有三个核心绝招：

绝招一：可学习的“动态排班表”（Learnable Dynamic Routing）

以前的痛点： 传统的“选前 2 名”规则（Top-K）就像是一个不可擦除的印章，一旦盖下去，中间过程就断了，模型很难通过试错来优化这个规则（数学上叫“不可微”）。
LD-MoLE 的做法： 它用了一种叫 Sparsegen 的数学技巧。这就像把“印章”换成了智能的液体。
- 它不仅能算出该派几个人，还能算出“派 1.5 个人”或者“派 2.3 个人”的概率分布。
- 好处： 这种“液体”状态是可以被模型不断调整优化的。模型可以通过试错，慢慢学会“什么时候该多派人，什么时候该少派人”。

绝招二：自带“难度评估器”（Learnable Sparsity Parameter $\lambda$ ）

机制： 系统里有一个小小的“评估员”（一个轻量级的小神经网络，MLP）。
工作流： 当客户（Token/单词）进来时，评估员先看一眼：“这个问题难不难？”
- 如果是“你好”，评估员说：“太简单了，派 1 个专家就行。”（ $\lambda$ 值变大，稀疏度高）。
- 如果是“如何推导相对论”，评估员说：“太难了，赶紧召集 5 个专家！”（ $\lambda$ 值变小，稀疏度低）。
亮点： 这个评估员是可学习的，它会根据经验不断进化，不需要人工去设定“第 1 层派几个人，第 10 层派几个人”。

绝招三：防止“摸鱼”的“强制上岗令”（Analytical Sparsity Control）

问题： 有些动态路由方法（比如 ReLU 路由）可能会出 bug，导致某个问题一个专家都没派，直接让 AI 发呆（Zero-activation），这会导致模型学坏。
LD-MoLE 的对策： 它的数学公式里自带一个“安全锁”。无论怎么调整，至少保证有 1 位专家会被派去处理任务。这就像规定：“不管多简单的活，至少得有人看着，不能空转。”

3. 实验结果：效果如何？

作者用这个新方法（LD-MoLE）在几个主流模型（如 Llama-3.2 和 Qwen3）上进行了测试，就像让这家咨询公司去处理各种难题：

全能冠军： 在数学推理、常识问答、指令遵循等各种任务中，LD-MoLE 的平均得分最高。
灵活应变： 它发现，对于简单的词（比如“的”、“是”），它自动减少专家数量；对于难懂的词，它自动增加专家数量。这种**“按需分配”**的能力，比死板的“固定派 2 人”要高效得多。
省钱又高效： 通过控制激活的专家数量，它在保持高性能的同时，大大减少了计算量（FLOPs）。

4. 总结：一句话概括

LD-MoLE 就像是给 AI 模型装上了一套“智能动态调度系统”。

它不再让 AI 死板地按固定人数干活，而是像一位经验丰富的老练工头，根据每个任务的难易程度，灵活地决定调用多少专家资源。既避免了“大材小用”的浪费，也防止了“小材大用”的翻车，让 AI 在学会新技能时，既聪明又省钱。

代码开源地址： 作者已经把这套“调度系统”的代码公开了，大家可以在 GitHub 上免费使用。

这是一篇关于大语言模型（LLM）高效微调的学术论文，标题为 LD-MoLE: Learnable Dynamic Routing for Mixture of LoRA Experts（LD-MoLE：用于 LoRA 专家混合的可学习动态路由）。该论文发表于 ICLR 2026。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

背景：随着大语言模型（LLM）规模的扩大，全参数微调成本高昂。参数高效微调（PEFT）方法（如 LoRA）和混合专家模型（MoE）的结合成为主流趋势，旨在以较低的计算成本实现强大的性能。
现有方法的局限性：
- 固定路由策略 (TopK)：现有的 MoLE（Mixture of LoRA Experts）框架（如 MoLA）通常依赖传统的 TopK 路由。这要求每个 Token 固定选择 $K$ $K$ 个专家。
  - 缺点： $K$ 是一个需要人工仔细调整超参数，无法根据 Token 的复杂度自适应调整资源分配。
  - 不可微性：TopK 选择操作是离散的、不可微的，阻碍了端到端的优化，限制了模型性能。
- 现有动态路由的缺陷：虽然有一些尝试（如 ReMoE）使用 ReLU 等可微分机制替代 TopK，但存在不稳定性。某些 Token 可能被路由到零个专家（Zero-activation），导致表示退化，影响整体性能。
核心挑战：如何设计一种稳定、可微分且自适应的路由机制，能够根据 Token 的复杂度和网络层级动态分配专家数量，同时保证每个 Token 至少被一个专家处理。

2. 方法论 (Methodology)

作者提出了 LD-MoLE，一种基于 Sparsegen 的可学习动态路由机制。

2.1 核心架构

Sparsegen 投影：用 Sparsegen（一种投影到概率单纯形的闭式解）替代传统的 TopK 选择。
- 它通过一个闭式公式将专家得分 $u$ 投影到稀疏概率分布 $p$ 上。
- 关键性质：该过程是完全可微分的，且数学上保证了至少激活一个专家（ $\|p\|_0 \ge 1$ ），解决了零激活问题。
可学习的稀疏度参数 ( $\lambda$ )：
- 引入一个轻量级的共享多层感知机 (Shared MLP)，根据输入 Token 的特征 $x$ 预测一个 Token 特定的稀疏度参数 $\lambda$ 。
- $\lambda$ 控制路由的稀疏程度： $\lambda \to 1$ 时趋向稀疏（激活更少专家）， $\lambda \to -\infty$ 时趋向均匀。
- 这使得模型能够自适应地决定每个 Token 在不同层级激活多少专家。

2.2 路由公式

路由概率 $p$ 的计算公式为：
$p_i = \left[ \frac{u_i - \tau}{1 - \lambda} \right]_+$
其中 $\tau$ 是一个阈值，由 $\lambda$ 和得分 $u$ 的累积和决定，确保 $\sum p_i = 1$ 。

2.3 训练目标 (Loss Function)

总损失函数包含三部分：
$L_{total} = L_{LM} + \alpha L_{lb} + \beta L_{sparse}$

$L_{LM}$ ：标准的语言模型交叉熵损失。
$L_{lb}$ ：负载均衡损失，防止路由坍塌（即所有 Token 都流向少数专家）。
$L_{sparse}$ (稀疏度控制损失)：
- 这是本文的创新点。利用 Sparsegen 的闭式解性质，推导出激活恰好 $k$ 个专家时 $\lambda$ 的理论区间。
- 通过正则化项 $L_{sparse} = \text{ReLU}(\lambda_{lower}(k) - \lambda)$ ，显式地控制激活专家的数量，使其符合预设的稀疏度目标，而无需额外的采样或启发式规则。

3. 主要贡献 (Key Contributions)

LD-MoLE 框架：提出了首个结合 Sparsegen 闭式解与可学习 MLP 的端到端动态路由框架，实现了 Token 级和层级级的自适应专家分配。
解析稀疏度控制：基于 Sparsegen 的数学性质，提出了解析稀疏度损失 (Analytical Sparsity Loss)，能够直接且可微地调节激活专家的数量，解决了动态路由中稀疏度难以控制的问题。
理论保证与稳定性：证明了该方法能保证每个 Token 至少激活一个专家（避免零激活），且路由梯度的上界是有界的，有利于优化稳定性。
广泛的实验验证：在 Llama-3.2 (3B/8B) 和 Qwen3-1.7B 等多个模型上，在指令微调（Instruction Tuning）和序列分类任务中均取得了 SOTA 性能。

4. 实验结果 (Results)

基准对比：
- 在 Llama-3.2-3B 和 Qwen3-1.7B 上，LD-MoLE 的平均得分显著优于 MoLA（固定 TopK 路由）和 ReMoLE（ReLU 动态路由）。
- 特别是在推理密集型任务（如 ARC-E, SWAG, HellaSWAG, MMLU-Pro）上，性能提升明显（平均提升 +3.5% 以上）。
动态分配能力：
- 实验显示，模型能够自动为“困难”Token（如稀有词、复杂推理词）分配更多专家，而为常见 Token 分配较少专家，实现了计算资源的动态平衡。
- 不同层级的 $\lambda$ 值分布不同，深层网络通常需要更多专家，而固定 $\lambda$ 无法捕捉这种层级差异，证明了学习 $\lambda$ 的必要性。
稀疏度控制：
- 通过调整稀疏度损失系数 $\beta$ ，可以灵活控制激活专家的数量。虽然过度稀疏会损害性能，但在适度稀疏下（如限制每 Token 最多 2 个专家），模型仍能保持竞争力，显著降低了计算量（FLOPs）。
消融实验：
- 证明了共享 MLP 预测 $\lambda$ 比固定 $\lambda$ 效果更好。
- 证明了 LD-MoLE 解决了 ReMoLE 中存在的“零激活”问题，保证了梯度流动的稳定性。

5. 意义与总结 (Significance)

理论突破：将 MoE 路由从离散的 TopK 选择转变为完全可微的闭式优化问题，为动态稀疏计算提供了坚实的理论基础。
工程价值：LD-MoLE 不仅提升了模型性能，还通过自适应路由提高了计算效率。它允许模型根据任务难度动态调整计算量，为未来在资源受限场景下部署大模型提供了新思路。
通用性：该方法不仅适用于 LoRA 微调，其动态路由思想也可扩展至预训练阶段或其他 PEFT 方法，甚至多模态模型。

总结：LD-MoLE 通过引入可学习的动态路由和解析稀疏度控制，成功解决了现有 MoE 微调方法中路由僵化、不可微及不稳定的问题，在保持参数高效的同时，显著提升了大模型在多样化任务上的表现。