🤖 machine learning

Spend Experts Where You Are Unsure: Confidence-Adaptive Routing for Mixture-of-Experts LoRA

该论文介绍了 CARE，一种用于混合专家（Mixture-of-Experts）LoRA 的无参数、即插即用路由机制，它根据路由器的置信度和分歧信号动态调整每个 token 的激活专家数量，以在优化计算效率的同时，达到或超过固定 k 值基准模型的性能。

原作者： Tom Saliencro, Rohan Desai, Priya Nair, Maya Lindqvist, Daniel Whitmore

发布于 2026-07-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tom Saliencro, Rohan Desai, Priya Nair, Maya Lindqvist, Daniel Whitmore

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位由数千名微型乐手组成的庞大、超级智能管弦乐团的指挥。这个管弦乐团是一个“大语言模型”（LLM），一种能像人类一样阅读和写作的计算机大脑。为了让这个大脑擅长特定的任务——比如解决数学问题或编写代码——我们并不需要教整个管弦乐团演奏新曲目；相反，我们添加了一个小巧的、专门的“专家”乐手部分，他们精准地知道该做什么。这被称为 LoRA（低秩自适应）。它就像是在一个巨大的合唱团中插入几位顶尖的独奏家，无需重写整个乐谱就能修正某一首特定的歌曲。

现在，想象一下这些独奏家被组织成一个 混合专家（Mixture-of-Experts, MoE）系统。当管弦乐团演奏一个音符（或一个单词）时，一个“路由”（router）会决定哪些独奏家应该演奏。旧的方法是非常僵化的：路由会对每一个音符都选择完全相同数量的独奏家（例如四个），无论这个音符是简单还是困难。这就像是为一碗简单的麦片聘请四位世界级大厨，但对于一场复杂的五道菜盛宴却只聘请两位大厨。这在处理简单任务时浪费了能量，而在处理困难任务时又投入不足。核心问题在于，研究人员一直在思考：我们能否让这个路由变得更聪明？它能否观察到一个音符，意识到这是一个难点，然后说：“嘿，这个音符我们需要更多的厨师！”而不拖慢整个管弦乐团的节奏？

这篇论文引入了一个巧妙的新规则，叫做 CARE（置信度自适应专家路由），正是为了解决这个问题。作者发现，路由在其决策过程中已经隐藏了一个秘密信号。当路由对一个单词非常有把握时，它会以极高的置信度选择一两个专家。当它感到困惑时，它会将选票分散给许多专家。CARE 利用这个“置信度信号”来决定为每个单词雇佣多少专家。如果路由很有信心，CARE 就只雇佣少数专家；如果路由不确定，或者受雇的专家们开始产生分歧，CARE 就会雇佣更多专家。

研究人员在两个强大的计算机大脑（LLaMA-3.1-8B 和 Qwen2.5-7B）上，针对包括常识、数学、编程和通用知识在内的八种不同挑战进行了测试。他们发现 CARE 是一个提升效率的魔术。通过仅在需要的地方投入更多“脑力”，CARE 在提高困难任务准确性的同时，使用的总计算能力与旧的僵化方法持平。事实上，为了达到与旧方法相同的准确度水平，CARE 平均减少了 12% 的专家使用量。这就像是在获得同样美味佳肴的同时，浪费更少的食物。

此外，CARE 不仅仅是节省成本，它还充当了一个内置的测谎仪。因为它知道路由何时感到困惑，或者专家们何时产生分歧，所以它可以标记出计算机何时面临它无法理解的问题（即“分布外”事件）。论文表明，相比于其他需要让计算机多次运行同一个问题来检查其工作的辅助方法，CARE 能更好地识别这些令人困惑的时刻。CARE 在单次运行中即可完成这一切，无需额外的训练，只需改变雇佣专家的规则即可。它将一个僵化的、一刀切的系统变成了一个灵活的、聪明的系统，能够准确知道何时该投入精力。

技术摘要：CARE (置信度自适应专家路由)

问题陈述

混合专家（MoE）变体的低秩自适应（LoRA）目前采用固定 top- $k$ 的路由机制，即无论 token 的难度如何，每个 token 都会激活相同数量的专家。这种方法效率低下，因为 token 的不确定性存在显著差异：

简单 token（例如：虚词、明确的延续内容）：仅需极少的自适应，但固定- $k$ 机制会在这些 token 上过度消耗计算预算。
困难 token（例如：歧义或分布外输入）：通常需要更多的容量，但固定- $k$ 机制对其服务不足，从而限制了准确性。

现有的 LLM 不确定性估计方法通常依赖于集成（Ensembles）、蒙特卡洛 Dropout 或贝叶斯近似，这些方法需要多次前向传播或额外的参数，从而增加了推理成本。本文提出的问题是：能否在单次前向传播中，利用可获得的确定性信号来调整每个 token 激活的专家数量，且不增加额外参数？

方法论：CARE

作者提出了 CARE（Confidence-Adaptive Routing of Experts，置信度自适应专家路由），它是任何 MoE-LoRA 骨干网络中固定 top- $k$ 门控机制的即插即用替代方案。CARE 在单次前向传播中运行，无需额外参数。

核心机制

不确定性信号： CARE 直接利用源自路由输出分布 $p$ 和所选专家的两个信号：
- 置信度（偶然不确定性/Aleatoric）： 通过路由分布的集中程度来衡量。尖峰分布（在 top-1 专家上具有高权重）表示高置信度，而平坦分布则表示歧义。
- 分歧度（认知不确定性/Epistemic）： 通过被接纳专家之间的输出方差来衡量。即使路由是置信的（尖峰分布），被接纳的专家之间仍可能存在分歧，这标志着残余的不确定性。
核专家准入（Nucleus Expert Admission）：
- 受核采样（Nucleus Sampling）启发，CARE 按照路由权重的降序依次接纳专家，直到其累积质量达到阈值 $\tau$ 。
- 认知扩展： 如果接纳的专家之间的分歧超过阈值 $\delta$ ，CARE 会额外接纳最多 $\gamma$ 个专家以解决这种歧义。
- 最终计数 $k(h)$ 被限制在 $k_{min}$ 和 $k_{max}$ 之间。
预算恒温器（Budget Thermostat）：
- 为了确保与固定- $k$ 基线进行公平比较，CARE 在一个小规模的留出集上校准全局阈值 $\tau$ 。
- 这个“恒温器”会调整 $\tau$ ，使得平均每个 token 激活的专家数量与目标预算 $B$ （例如 $B=4$ ）相匹配。这使得 CARE 能够在保持总 FLOPs 不变的情况下，将计算资源从简单 token 重新分配给困难 token。
不确定性读出：
- CARE 通过融合路由熵和平均专家分歧度来生成序列级不确定性评分 $u(x)$ 。该评分可用于分布外（OOD）检测和选择性预测（弃权），且无需额外的推理成本。

核心贡献

信号识别： 作者确定了 MoE-LoRA 中的路由输出分布是有效的逐 token 不确定性信号，从而消除了对外部不确定性估计器的需求。
算法设计： CARE 引入了一种基于核（nucleus）的准入规则，并带有认知分歧扩展和预算恒温器。它是无参数的，且仅需单次前向传播。
理论支持： 本文提供了包括以下内容的理论保证：
- 核保真度（Nucleus Fidelity）： 限制了截断专家集的近似误差。
- 置信度排序： 证明了在单调性假设下，路由集中度是选择性分类的一个贝叶斯最优评分。
- 预算最优性： 表明阈值规则实现了凹性“准确率-计算量”曲线下的最优计算预算分配。
- 分歧度解释： 将专家分歧框架化为一种认知不确定性（集成方差）的估计量。

实验结果

作者在 LLaMA-3.1-8B 和 Qwen2.5-7B 上针对四类任务族进行了评估：常识推理、数学推理、代码生成和知识任务。

准确率 vs. 计算量： 在匹配平均预算（例如 4 个专家）的情况下，CARE 在常识基准测试中比固定 top- $k$ MoE-LoRA 基线（如 FlyLoRA, MixLoRA）提升了 +0.5%，在数学/代码/知识任务中提升了 +0.9%。
计算效率： CARE 在达到与固定- $k=4$ 基线相同的准确率的同时，平均激活的专家数量减少了 12%。
OOD 检测： 与单次前向传播基线（如 MSP 和路由熵）相比，CARE 显著提高了分布外（OOD）检测能力（AUROC 0.668），甚至优于多轮前向传播代理（如 MC-dropout 和深度集成），尽管它仅需单次前向传播。
鲁棒性： 在分布偏移（更难/更具歧义的输入）下，CARE 在相同的计算预算下保持了更高的准确率（53.1%），而固定- $k$ 为 50.3%，因为它能动态地为困难输入分配更多专家。

意义与主张

本文主张 CARE 代表了从静态到不确定性驱动的资源分配在参数高效微调领域的转变。其意义在于：

高效性： 它在不重新训练骨干网络或增加参数的情况下，提高了模型准确率或降低了计算需求。
简洁性： 它是一种“即插即用”的规则，可以替换任何现有 MoE-LoRA 检查点中的门控机制。
双重效用： 它在优化任务性能的同时，通过路由决策的副产品，同时提供了高质量的不确定性估计（用于 OOD 检测和弃权）。

作者指出，当每 token 的不确定性具有异质性（即存在简单和困难 token 的混合）以及准确率-计算量曲线呈凹性时，CARE 的效果最为显著。作者也承认了局限性，包括生产环境内核中的静态批处理问题，以及对“路由分布具有实际意义”这一假设的依赖（退化的路由可能会削弱该信号）。