🤖 machine learning

When Model Merging Breaks Routing: Training-Free Calibration for MoE

本文介绍了 Hessian 感知型路由校准（Hessian-Aware Router Calibration, HARC），这是一个无需训练的框架，它利用二阶曲率信息来重新对齐合并后的路由器，并有效缓解导致混合专家（MoE）模型合并中性能下降的“路由崩溃”现象。

原作者： Canbin Huang, Tianyuan Shi, Xiaojun Quan, Jingang Wang, Jianfei Zhang, Qifan Wang

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Canbin Huang, Tianyuan Shi, Xiaojun Quan, Jingang Wang, Jianfei Zhang, Qifan Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有两位才华横溢的大厨。一位是数学大师，另一位是编程奇才。你想将他们合并成一个能够完美胜任这两项工作的“超级大厨”，而无需雇佣新团队或让他们重新接受培训。

在 AI 世界中，这被称为模型合并（Model Merging）。通常，科学家们只是将两本“食谱”（数学权重）进行平均。对于简单的任务，这种方法效果很好。但对于混合专家模型（Mixture-of-Experts, MoE），这种简单的平均会导致一场灾难。

问题所在：混乱的调度员

不要把 MoE 模型看作单个大厨，而要把它看作一个拥有调度员和众多专业大厨的厨房。

调度员（Router）： 当顾客下单时，调度员会观察订单并决定由哪位特定的厨师来烹饪。
大厨（Experts）： 虽然有很多大厨，但每道菜实际上只有少数几位（例如前 2 名）负责烹饪。

“路由崩溃”（Routing Breakdown）：
当你尝试使用标准方法合并两个模型时，你本质上是在对调度员的大脑进行平均。因为调度员的决策是基于一个复杂的非线性系统（就像一个会根据交通流量微小变化而瞬间改变状态的红绿灯），即使调度员的大脑发生极其微小的变化，也会导致巨大的误差。

结果，新合并后的调度员可能不会把数学题交给数学大厨，而是误将它发给了编程大厨。或者更糟，它可能会把订单发给一个根本不会做饭的大厨。这就是所谓的**“路由崩溃”**。大厨们依然很出色，但调度员却如此混乱，以至于把错误的订单发给了错误的人，从而毁掉了整顿饭。

解决方案：HARC（聪明的交警）

作者提出了一种名为 HARC（Hessian 感知路由器校准）的新方法。你可以把 HARC 看作是一个无需训练的交通警察，它可以在不需要重新训练整个厨房的情况下修复调度员。

以下是它的工作原理，使用简单的类比：

“曲率”地图：
标准的合并只是查看调度员按钮的平均位置。而 HARC 查看的是这些按钮周围的地形形状。它会询问：“如果我轻微推动这个按钮，决策会发生微小的变化，还是会发生彻底的反转？”
- 这就像是知道球在平坦的桌子上是稳定的，但在陡峭的山峰上，哪怕是最轻微的触碰，球也会滚落。HARC 准确地知道调度员决策过程中的“峰值”和“谷值”在哪里。
“二阶”修正：
HARC 不仅仅是平均按钮的位置，它还利用了一个数学捷径（称为 Hessian）来计算调度员的完美新位置。它确保即使在合并后，调度员仍会将数学问题发送给数学大厨，将编程问题发送给编程大厨。
无需重新训练：
通常情况下，修复损坏的调度员需要喂给它数千个新样本来重新学习。但 HARC 是无需训练的。它使用了一个巧妙的数学技巧（“无矩阵共轭梯度法”）利用模型已有的数据瞬间解开谜题。这就像是给调度员进行一次精准的快速调整，而不是送他们回烹饪学校重修。

研究发现

研究人员通过合并经过数学和代码训练的模型进行了测试。

没有 HARC 时： 合并后的模型变得混乱。它将数学问题发给了编程专家，性能显著下降。
有了 HARC 后： 调度员得到了重新校准。合并后的模型保留了两个原始大厨的长处。它解决数学和代码问题的能力几乎与原来的独立模型一样出色，但却整合在了一个单一的包中。

核心要点

调度员非常脆弱： 在这些复杂的 AI 模型中，决定“谁来干活”的部分极其敏感。你不能只是简单地对其进行平均。
曲率至关重要： 要修复调度员，你需要理解其决策过程的“形状”（曲率），而不只是平均位置。
高效快捷： HARC 能快速修复问题，且不需要海量的新数据。它是一个轻量级的“补丁”，让这种强大的模型合并变得可行。

简而言之，这篇论文的观点是：“你不能只是把两个聪明的 AI 大脑强行揉在一起；你必须仔细重新对齐那个决定‘谁来干活’的部分，否则整个系统就会崩溃。我们找到了一种快速、免费的方法来修复这种对齐。”

技术摘要：当模型合并破坏路由时：针对 MoE 的免训练校准

1. 问题陈述

模型合并已成为一种具有成本效益的策略，用于整合多个大语言模型（LLM）的能力，而无需承担联合重训的高昂成本。虽然现有的技术（如 Task Arithmetic、TIES-Merging）通过线性参数算术成功合并了稠密架构，但在应用于 混合专家（Mixture-of-Experts, MoE） 架构时却会失效。

作者识别出了一种被称为 路由崩溃（routing breakdown） 的关键失效模式。在 MoE 模型中，路由器使用非线性的 softmax 激活函数和离散的 Top-k 选择，动态地将 token 分发给一部分专家。论文指出，标准的线性合并方法并不适用于这种设定，因为：

非线性失配： 路由器权重的线性插值（ $W_m = \sum \lambda_i W_i$ ）并不能转化为路由概率的线性插值，这是由于 softmax 函数的凸性导致的。
敏感性： 路由器权重的微小扰动会被 softmax 和 Top-k 机制指数级放大。
负载均衡约束： 强制执行负载均衡的预训练目标使得专家分配对门控偏移极其敏感。

经验证据： 对两个 OLMoE 模型（分别针对数学和代码进行了微调）进行的初步实验显示，在合并后，50.1% 的专家选择立即偏离了源模型。这种不稳定性随网络深度累积，在 16 层中，99.98% 的 token 经历了路由分歧。至关重要的是，交叉评估显示，恢复原始模型的路由器可以恢复合并模型的性能，而将合并后的路由器应用于原始模型则会导致性能下降，这证明了如果不保持一致的路由行为，仅仅保留专家参数是徒劳的。

2. 方法论：基于 Hessian 的路由器校准 (HARC)

为了解决路由崩溃问题，作者提出了 HARC，这是一个利用二阶曲率信息来重新对齐合并后路由器的免训练框架。

2.1. 理论公式化

其目标是找到一个统一的路由器权重矩阵 $W_m$ ，使合并后路由器的输出分布与所有任务中源路由器的分布之间的 Kullback-Leibler (KL) 散度最小化。
$W^*_m = \arg \min_{W_m} \sum_{i=1}^D \mathbb{E}_{x \sim \mathcal{D}_i} [\text{KL}(r_i(x) \parallel r_m(x; W_m))]$

由于 softmax 的非线性，直接优化是难以处理的。作者利用二阶 Taylor 展开推导出了 KL 散度的 二次近似 (Lemma 4.1)：
$\text{KL}(r_i \parallel r_m) \approx \frac{1}{2}(z_m - z_i)^\top H_i (z_m - z_i)$
其中 $H_i = \text{diag}(r_i) - r_i r_i^\top$ 是对数配分函数的 Hessian 矩阵。该 Hessian 捕捉了专家之间的竞争动态（非对角项）以及活跃专家的敏感性（对角项）。

2.2. 闭式解

将线性关系 $z = Wx $代入二次近似，将问题转化为加权最小二乘系统。最优权重$ w^*_m $（$ W_m$ 的向量化形式）满足以下线性系统：
$\left( \sum_{i=1}^D \Sigma_i \right) w^*_m = \sum_{i=1}^D \Sigma_i w_i$
其中 $\Sigma_i = \mathbb{E}_{x \sim \mathcal{D}_i} [H_i \otimes xx^\top]$ 是特定于任务的精度矩阵（precision matrix）。

2.3. 高效计算（无矩阵化）

显式构建和求逆聚合精度矩阵 $\Sigma$ 在计算上是极其昂贵的（空间复杂度为 $O(K^2d^2)$ ）。HARC 采用了两种关键策略以确保可扩展性：

对角正则化： 为了处理由于稀疏 Top-k 门控导致的 Hessian 秩亏问题，作者引入了一个正则化项，在全精度矩阵与其对角近似之间进行插值。这在不假设专家相互独立的情况下稳定了解。
无矩阵共轭梯度法 (Matrix-Free Conjugate Gradient, CG)： HARC 不直接生成 $\Sigma$ ，而是使用一个无矩阵算子，利用 Kronecker 积恒等式在线生成矩阵-向量乘积 $\Sigma w$ 。这使得空间复杂度降低到 $O(Kd)$，并允许使用共轭梯度法高效求解系统。

2.4. 算法流程

HARC 作为未校准合并模型的后处理步骤运行。对于每个 MoE 层：

将校准数据通过合并后的模型进行前向传播，直到当前层，以生成输入特征。
计算源模型的路由输出和 Hessian 矩阵。
累积统计量以形成线性系统。
使用无矩阵 CG 求解器求解校准后的路由器权重。
更新合并模型中的路由器权重。

3. 核心贡献

识别路由崩溃： 本文确定了路由不稳定性（而非专家参数干扰）是导致 MoE 合并性能下降的主要原因。
HARC 框架： 一种新型的免训练校准方法，利用二阶 Hessian 信息来重新对齐路由器分布，为非线性合并问题提供了闭式解。
可扩展优化： 推导出了一个无矩阵共轭梯度求解器，使 HARC 能够在不显式生成 Hessian 矩阵的情况下扩展到大型 MoE 架构。
实证验证： 证明了 HARC 能有效缓解各种合并基线（如 Weight Averaging, TIES-Merging, WUDI 等）和任务（数学、代码）中的路由崩溃问题。

4. 实验结果

实验在 OLMoE-1B-7B-0125 模型上进行，合并了针对数学推理（GSM8K, MATH500）和代码生成（HumanEval+, MBPP+）进行微调的变体。

持续的改进： HARC 在所有测试的合并基线中都表现出持续的提升。例如，应用于强大的 WUDI-Merging 基线时，总分从 38.08 提高到了 38.96。
缓解领域敏感性： 朴素合并严重降低了代码生成性能（例如，使用 Weight Averaging 时，HumanEval+ 从 33.50 降至 20.27）。HARC 部分恢复了这一损失，证明了其通过修正专家选择来保留领域特定能力的能力。
消融研究：
- Hessian 结构： 使用全 Hessian 矩阵的效果优于对角或单位近似，证实了建模非对角竞争动态的重要性。
- 正则化： 阻尼因子 $\alpha$ （抑制非对角项）比对角缩放 $\gamma$ 更稳定。
- 数据构成： 使用过滤后的正确源响应（SrcCrt）进行校准效果最好。令人惊讶的是，仅使用 提示词（prompts only） 的效果与完整响应相当，这表明初始路由决策至关重要。
数据效率： HARC 仅使用 40% 的校准样本即可达到接近最优的性能，表明二阶统计量的收敛非常迅速。
逐层分析： 通过可视化 KL 散度发现，基线方法中的路由误差在更深的层中呈指数级累积。HARC 成功抑制了这一趋势，在关键的深层中保持了对齐。

5. 意义与主张

本文主张，在稀疏架构中，保持路由逻辑与对齐参数权重同样重要。通过解决路由崩溃这一特定的失效模式，HARC 为在不进行重训的情况下整合 MoE 模型提供了一条稳健且高效的路径。

作者强调，其方法：

不需要重训 或通过专家进行梯度反向传播。
具有泛化性，可作为轻量级后处理步骤应用于不同的合并策略（线性算术、基于优化的方法）。
降低了计算成本 和部署能力模型的障碍，通过实现可靠地复用多个专家模型。

研究结论认为，虽然现有的线性合并假设（线性模式连通性）适用于稠密层，但对于 MoE 路由器而言是脆弱的。HARC 通过显式考虑 MoE 架构固有的非线性门控动态，弥补了这一差距。