🤖 machine learning

When Model Merging Breaks Routing: Training-Free Calibration for MoE

本論文は、混合専門家（Mixture-of-Experts; MoE）モデルの結合において性能低下を引き起こす「ルーティング崩壊」現象を効果的に緩和するために、二次の曲率情報を利用して結合されたルーターを再整列させる、学習不要のフレームワークであるHessian-Aware Router Calibration（HARC）を提案する。

原著者： Canbin Huang, Tianyuan Shi, Xiaojun Quan, Jingang Wang, Jianfei Zhang, Qifan Wang

公開日 2026-06-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Canbin Huang, Tianyuan Shi, Xiaojun Quan, Jingang Wang, Jianfei Zhang, Qifan Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたには二人の天才シェフがいます。一人は数学の達人、もう一人はコーディングの魔術師です。あなたは、彼らを新たに雇ったり、ゼロから再教育したりすることなく、両方の仕事を完璧にこなせる単一の「スーパーシェフ」へと融合させたいと考えています。

AIの世界では、これを**モデル・マージ（Model Merging）**と呼びます。通常、科学者たちは両方のシェフの「レシピ本」（数学的な重み）を取り出し、それらを平均化します。単純なタスクであれば、これで十分うまくいきます。しかし、**混合エキスパート（Mixture-of-Experts: MoE）**モデルの場合、この単純な平均化は悲劇を招きます。

問題点：混乱したディスパッチャー（配分係）

MoEモデルを、単一のシェフではなく、ディスパッチャー（配分係）と多くの専門シェフがいるキッチンだと考えてみてください。

ディスパッチャー（Router/配分係）： 注文が入ると、ディスパッチャーはリクエストを確認し、どの特定のシェフが料理を作るべきかを決定します。
シェフ（Experts/エキスパート）： たくさんのシェフがいますが、実際に料理を作るのはそのうちの数人（例えば上位2人）だけです。

「ルーティングの崩壊（Routing Breakdown）」:
標準的な手法で2つのモデルをマージしようとすると、本質的にディスパッチャーの脳を平均化することになります。ディスパッチャーの意思決定は複雑で非線形なシステム（交通量のわずかな変化によって瞬時に変化する信号機のようなもの）に基づいているため、ディスパッチャーの「脳」に極めて小さな変化が生じるだけで、甚大なエラーが発生します。

その結果、新しいマージされたディスパッチャーは、数学の問題を数学のシェフに送る代わりに、誤ってコーディングのシェフに送ってしまうかもしれません。あるいはさらに悪いことに、料理の作り方すら知らないシェフに送ってしまうかもしれません。これを論文では**「ルーティングの崩壊（Routing Breakdown）」**と呼んでいます。エキスパート（シェフ）たちは依然として優秀なのですが、ディスパッチャーがあまりに混乱しているため、間違った注文を間違った相手に送ってしまい、食事を台無しにしてしまうのです。

解決策：HARC（賢い交通整理員）

著者らは、HARC（Hessian-Aware Router Calibration：ヘッセ行列を考慮したルーター校正）と呼ばれる新しい手法を提案しています。HARCは、キッチン全体を再学習させることなくディスパッチャーを修正する、**「学習不要の交通整理員」**だと考えてください。

その仕組みは以下の通りです（簡単な比喩を用いて説明します）。

「曲率」マップ:
標準的なマージは、ディスパッチャーのボタンの平均的な位置を見るだけです。一方、HARCは、それらのボタンの周囲にある**「地形の形状」*を見ます。それはこう問いかけます。「もしこのボタンを少し動かしたら、決定はわずかに変わるだけか、それとも完全に逆転してしまうのか？」*
- これは、平らなテーブルの上にあるボールは安定していますが、鋭い山の頂上にあるボールは、わずかな接触でも転がり落ちてしまうということを知るようなものです。HARCは、ディスパッチャーの意思決定における「ピーク（頂点）」と「バレー（谷）」がどこにあるのかを正確に把握します。
「二次的な」修正:
単にボタンを平均化するのではなく、HARCは数学的なショートカット（**ヘッセ行列（Hessian）*と呼ばれます）を使用して、ディスパッチャーの完璧な*新しい位置を算出します。これにより、マージ後であっても、ディスパッチャーが数学の問題を数学のシェフに、コーディングの問題をコーディングのシェフに送り続けられるようにします。
再学習は不要:
通常、壊れたディスパッチャーを直すには、再び学習させるために何千もの新しい例を入力する必要があります。しかし、HARCは**学習不要（training-free）**です。これは、モデルがすでに持っているデータを使用して、数学的なトリック（「行列フリー共役勾配法」）を用いて即座にパズルを解く、巧妙な手法です。これは、ディスパッチャーを再び調理学校へ送り込むのではなく、精密な微調整を行うようなものです。

研究結果

研究者らは、数学とコードの学習を行ったモデルをマージすることで、この手法をテストしました。

HARCなしの場合： マージされたモデルは混乱しました。数学の問題をコーディングのエキスパートに送ってしまい、パフォーマンスが大幅に低下しました。
HARCありの場合： ディスパッチャーが再校正されました。モデルは両方の元のシェフの強みを維持しました。数学とコードの問題の両方において、元の個別のモデルとほぼ同等の性能を発揮しつつ、これらを一つのパッケージとして実現しました。

主な要点

ディスパッチャーは脆弱である： これらの複雑なAIモデルにおいて、「誰が仕事をするか」を決める部分は非常に敏感です。単に平均化するだけでは不十分です。
曲率が重要である： ディスパッチャーを修正するには、単なる平均的な位置ではなく、その意思決定プロセスの「形状（曲率）」を理解する必要があります。
高速に動作する： HARCは迅速にディスパッチャーを修正し、膨大な量の新しいデータを必要としません。これは、強力なモデルのマージを再び可能にする、軽量な「パッチ（修正プログラム）」です。

端的に言えば、論文はこう述べています。「二つの賢いAIの脳をただ混ぜ合わせるだけではいけません。誰が仕事をするかを決める部分を慎重に再調整しなければ、システム全体が壊れてしまいます。私たちは、その整合性を修正するための、速くてコストのかからない方法を見つけました。」

技術要約：モデル・マージがルーティングを破壊する時：MoEのための学習フリーなキャリブレーション

1. 問題提起

モデル・マージは、大規模な共同再学習の禁止的なコストをかけることなく、複数の大規模言語モデル（LLM）の能力を統合するための費用対効果の高い戦略となっています。既存の手法（例：Task Arithmetic、TIES-Merging）は、線形パラメータ演算を通じて高密度（dense）アーキテクチャの統合には成功していますが、**混合エキスパート（Mixture-of-Experts: MoE）**アーキテクチャに適用すると失敗します。

著者らは、**ルーティングの崩壊（routing breakdown）**と呼ばれる決定的な失敗モードを特定しました。MoEモデルでは、ルーターが非線形なソフトマックス活性化関数とそれに続く離散的なTop-k選択を用いて、トークンをエキスパートのサブセットに動的に配分します。本論文は、標準的な線形マージ手法がこの設定には不適切である理由として以下を挙げています：

非線形性の不一致： ルーターの重みの線形補間（ $W_m = \sum \lambda_i W_i$ ）は、ソフトマックス関数の凸性により、ルーティング確率の線形補間には変換されません。
敏感性： ルーターの重みの微小な摂動は、ソフトマックスとTop-kメカニズムによって指数関数的に増幅されます。
ロードバランシングの制約： ロードバランシングを強制する事前学習の目的関数により、エキスパートの割り当てはゲーティングの変化に対して非常に敏感になります。

経験的証拠： 数学とコード用にファインチューニングされた2つのOLMoEモデルをマージする予備実験では、マージ直後にエキスパート選択の50.1%がソースモデルから逸脱していることが明らかになりました。この不安定性はネットワークの深さを通じて累積し、16層全体で99.98%のトークンがルーティングの乖離を経験しました。決定的なことに、元のルーターをマージ後のモデルに復元すると性能が回復した一方で、マージされたルーターを元のモデルに適用すると性能が低下したことから、エキスパートのパラメータを保持するだけでは不十分であり、一貫したルーティング挙動を維持することが不可欠であることが証明されました。

2. 手法：ヘシアン認識型ルーター・キャリブレーション（HARC）

ルーティングの崩壊に対処するため、著者らは二次の曲率情報を用いてマージ後のルーターを再整列させる、学習フリーのフレームワークであるHARCを提案しています。

2.1. 理論的定式化

目的は、すべてのタスクにおいて、マージされたルーターの出力分布とソースルーターの分布との間のカルバック・ライブラー（KL）ダイバージェンスを最小化する統一されたルーター重み行列 $W_m$ を見つけることです。
$W^*_m = \arg \min_{W_m} \sum_{i=1}^D \mathbb{E}_{x \sim \mathcal{D}_i} [\text{KL}(r_i(x) \parallel r_m(x; W_m))]$

直接的な最適化は、ソフトマックスの非線形性により困難です。著者らは、二次のテイラー展開を用いてKLダイバージェンスの二次近似を導出しています（補題4.1）：
$\text{KL}(r_i \parallel r_m) \approx \frac{1}{2}(z_m - z_i)^\top H_i (z_m - z_i)$
ここで、 $H_i = \text{diag}(r_i) - r_i r_i^\top$ はログ分割関数のヘシアンです。このヘシアンは、エキスパート間の競争的なダイナミクス（非対角項）と、活性化エキスパートの感度（対角項）を捉えます。

2.2. 閉形式解（Closed-Form Solution）

線形関係 $z = Wx $を二次近似に代入することで、問題は重み付き最小二乗系へと変換されます。最適な重み$ w^*_m $（$ W_m$ のベクトル化形式）は、以下の線形システムを満たします：
$\left( \sum_{i=1}^D \Sigma_i \right) w^*_m = \sum_{i=1}^D \Sigma_i w_i$
ここで、 $\Sigma_i = \mathbb{E}_{x \sim \mathcal{D}_i} [H_i \otimes xx^\top]$ はタスク固有の精度行列です。

2.3. 効率的な計算（行列フリー）

集約された精度行列 $\Sigma$ を明示的に構築して反転させることは、計算量的に極めて困難です（空間計算量は $O(K^2d^2)$ ）。HARCは、スケーラビリティを確保するために2つの主要な戦略を採用しています：

対角正則化： ヘシアンのランク不足（スパースなTop-kゲーティングによるもの）に対処するため、著者らは完全な精度行列とその対角近似の間を補間する正則化項を導入しています。これにより、エキスパート間の独立性を仮定することなく、解を安定させます。
行列フリー共役勾配法（Matrix-Free Conjugate Gradient: CG）： $\Sigma$ を実体化する代わりに、アルゴリズムはクロネッカー積の恒等式を用いて、行列ベクトル積 $\Sigma w$ をオンザフライで計算する行列フリー演算子を使用します。これにより、空間計算量を $O(Kd)$ に削減し、共役勾配法を用いてシステムを効率的に解くことを可能にします。

2.4. アルゴリズム

HARCは、未調整のマージ済みモデルに対する後処理ステップとして動作します。各MoE層に対して：

現在の層までの入力特徴量を生成するために、キャリブレーションデータをマージ済みモデルに通すフォワードパスを実行する。
ソースモデルのルーティング出力とヘシアンを計算する。
線形システムを形成するために統計量を蓄積する。
行列フリーCGソルバーを使用して、校正されたルーターの重みを解く。
5.ло マージ済みモデルのルーターの重みを更新する。

3. 主な貢献

ルーティング崩壊の特定： 本論文は、エキスパート・パラメータの干渉ではなく、ルーティングの不安定性がMoEマージにおける性能低下の主な原因であることを確立しました。
HARCフレームワーク： 二次のヘシアン情報を利用してルーターの分布を再整列させる、新しい学習フリーのキャリブレーション手法を提供し、非線形なマージ問題に対する閉形式の解を提示しました。
スケーラブルな最適化： ヘシアンの実体化を伴わずに、大規模なMoEアーキテクチャにHARCをスケールさせるための、行列フリー共役勾配ソルバーの導出を行いました。
実証的検証： 様々なマージ・ベースライン（Weight Averaging, TIES-Merging, WUDIなど）およびタスク（Math, Code）において、HARCが効果的にルーティング崩壊を緩和することを実証しました。

4. 実験結果

実験は、数学的推論（GSM8K, MATH500）およびコード生成（HumanEval+, MBPP+）にファインチューニングされたバリアントをマージした OLMoE-1B-7B-0125 モデルを用いて行われました。

一貫した改善： HARCは、テストされたすべてのマージ・ベースラインにおいて一貫して性能を向上させました。例えば、強力な WUDI-Merging ベースラインに適用した場合、総合スコアは38.08から 38.96 に上昇しました。
ドメイン感受性の緩和： 素朴なマージは、コード生成性能を深刻に低下させました（例：Weight AveragingではHumanEval+が33.50から20.27に低下）。HARCはこの損失を部分的に回復させ、エキスパート選択を修正することでドメイン固有の能力を保持できることを示しました。
アブレーション研究：
- ヘシアン構造： 完全なヘシアンを使用することは、対角または単位近似よりも優れた結果をもたらし、オフダイアゴナル（非対角）の競争的ダイナミクスをモデル化することが重要であることを確認しました。
- 正則化： 非対角成分を抑制するダンピング係数 $\alpha$ は、対角スケーリング $\gamma$ よりも安定していることが判明しました。
- データ構成： フィルタリングされた正しいソースレスポンス（SrcCrt）を用いたキャリブレーションが最良の結果をもたらしました。驚くべきことに、プロンプトのみを使用した場合もフルレスポンスと同等の性能を示しており、初期のルーティング決定が極めて重要であることを示唆しています。
データの効率性： HARCはわずか 40% のキャリブレーションサンプルでほぼ最適に近い性能に達しており、二次の統計量の収束が速いことを示しています。
層ごとの分析： KLダイバージェンスの可視化により、ベースライン手法におけるルーティングエラーが深い層に向かって指数関数的に累積することが示されました。HARCはこの傾向を効果的に抑制し、重要な深い層における整合性を維持しました。

5. 意義と主張

本論文は、疎な（sparse）アーキテクチャにおいては、ルーティング・ロジックを保持することが、エキスパート・パラメータを整列させることと同様に不可欠であると主張しています。ルーティング崩壊という特定の失敗モードに対処することで、HARCは再学習なしにMoEモデルを統合するための堅牢かつ効率的な経路を提供します。

著者らは、本手法が以下の特性を持つことを強調しています：

エキスパートに対する勾配のバックプロパゲーションや再学習を必要としません。
軽量な後処理ステップとして、異なるマージ戦略（線形演算、最適化ベース）に汎用可能です。
複数の有能なエキスパートモデルの信頼できる再利用を可能にすることで、計算コストと展開の障壁を低減します。

結論として、既存の線形マージの仮説（線形モード連結性）は、高密度層には当てはまるものの、MoEルーターに対しては脆弱であることが示されました。HARCは、明示的に二次のヘシアンを考慮することで、このギャップを埋めるものです。