🤖 machine learning

Three Phases of Expert Routing: How Load Balance Evolves During Mixture-of-Experts Training

この論文は、OLMoE-1B-7B および OpenMoE-8B のトレーニング過程を追跡し、混雑係数 $\gamma_{\text{eff}}$ を用いた混雑ゲームモデルによって、MoE ルーティングが「負荷分散の急増」「安定化」「品質優先への緩和」という 3 つのフェーズを経て進化することを明らかにした。

原著者： Charafeddine Mouzouni

公開日 2026-04-07

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Charafeddine Mouzouni

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🍽️ 巨大な料理屋の物語：AI 学習の 3 つのフェーズ

想像してください。1 つの巨大な料理屋（AI モデル）があり、そこには**64 人の料理人（エキスパート）**がいます。
しかし、すべての料理人がすべての料理を作れるわけではありません。A さんは寿司が得意、B さんはステーキが得意、C さんはデザートが得意……というように、それぞれ得意分野があります。

料理屋の入口には**「マネージャー（ルーター）」**がいます。客（入力された言葉やデータ）が来ると、マネージャーは「この客には、誰の料理が一番合うか？」を判断して、料理人たちに仕事を配ります。

この研究は、このマネージャーが**「学習（トレーニング）の過程で、仕事の配分ルールをどう変えていったか」を詳しく観察したものです。その結果、「3 つの明確な段階」**があることがわかりました。

第 1 段階：「大混乱と公平な配分」の時期（Surge Phase）

〜学習の初期（スタート直後）〜

状況: 料理人たちはまだ誰が何に得意かよくわかっていません。
マネージャーの動き: 「誰かが忙しすぎたり、誰かが暇すぎたりすると、料理屋全体が壊れてしまう！」と恐れます。
行動: 料理人たちの**「忙しさ（混雑）」**を極端に嫌います。「誰にでも平等に仕事を配ろう！」と必死になります。
結果: 料理人たちは「寿司屋」なのに「ステーキ」を頼まれたり、「デザート屋」に「麺類」を頼まれたりして、**「とりあえず全員に均等に仕事を与えている」**状態になります。
論文の言葉: 「混雑係数（γeff）」という数値が急上昇します。これは「公平さ」を重視しすぎている状態です。

第 2 段階：「安定と専門化」の時期（Stabilization Phase）

〜学習の中期〜

状況: 料理人たちは少しずつ「あ、俺は寿司が得意なんだ」と気づき始めます。
マネージャーの動き: 「よし、みんなが自分の得意分野を磨いているな。でも、まだ偏りすぎないようにバランスを保とう」と、「公平さ」のルールを一定に保ちます。
行動: 料理人たちは、マネージャーが決めた「公平な枠」の中で、それぞれの得意分野（専門性）をさらに深めていきます。
結果: 料理屋全体は安定しますが、まだ「完璧な料理人」にはなっていません。

第 3 段階：「質の追求と柔軟さ」の時期（Relaxation Phase）

〜学習の最終段階（完成間近）〜

状況: 料理人たちは完全に「寿司の名人」「ステーキの名人」として完成しました。
マネージャーの動き: 「もう、無理に全員に均等に仕事を配る必要はないな。客が寿司を頼んだら、迷わず寿司屋に回せばいい。『公平さ』よりも『最高の料理（品質）』を優先しよう！」と、ルールを緩めます。
行動: 「混雑係数」が下がります。マネージャーは、得意な料理人へ**「偏って」仕事を集中させる**ようになります。
結果: 料理屋全体として、**「最高の料理」**が提供できるようになります。

🔍 この研究がすごい点（発見）

「完成した姿」だけでは見えない秘密
- 完成した料理屋（学習済みの AI）を見ただけでは、「最初は公平さを重視し、最後は質を重視した」という**「変化の過程」**はわかりません。
- この研究は、学習の**「途中経過」をスキャンすることで、AI が「まずバランスを取り、その後で質を高める」という逆 U 字型の成長パターン**を持っていることを発見しました。
「明示的なルール」以上の力
- 開発者は「公平に配分しなさい」という指示（補助損失）を出していましたが、AI は学習する過程で、その指示の 13 倍もの「公平さ」を自分で身につけていました。
- つまり、指示書（ルール）は「種」に過ぎず、AI 自身が「土壌（学習プロセス）」の中で巨大な木を育てていたのです。
温度（Temperature）の正体
- AI のルーティングには「温度」というパラメータが使われますが、この研究は**「この温度とは、実は『混雑を恐れる度合い』のことだ」**と数学的に証明しました。
- 学習が進むにつれて、この「混雑を恐れる度合い」がどう変化するかを追跡できたのが、この研究の最大の功績です。

💡 まとめ

この論文は、**「AI が賢くなる過程は、単に『正解』を覚えるだけでなく、『誰に何を任せるか』という組織のルール自体が、バランス重視から質重視へと大きく進化している」**ことを明らかにしました。

まるで、**「最初は全員に均等に仕事を与えてチームワークを磨き、最終的には『得意な人』に任せて最高峰の成果を出す」**という、人間の組織成長の物語と全く同じプロセスを、AI が無意識に繰り返していたのです。

この発見は、AI の学習をより効率的にコントロールする（例えば、「バランス重視の時期」を長くする、あるいは「質重視への移行」をスムーズにするなど）ための新しい道しるべになるかもしれません。

論文「THREE PHASES OF EXPERT ROUTING: HOW LOAD BALANCE EVOLVES DURING MIXTURE-OF-EXPERTS TRAINING」の技術的サマリー

1. 概要

本論文は、Mixture-of-Experts (MoE) におけるトークンルーティングの学習ダイナミクスを、混雑ゲーム（Congestion Game）の枠組みでモデル化し、トレーニング中の負荷分散と品質のトレードオフがどのように進化するかを解明した研究です。著者は、OLMoE-1B-7B と OpenMoE-8B のトレーニングチェックポイントを追跡することで、ルーティングの「有効混雑係数（ $\gamma_{eff}$ ）」が単調ではなく、「サージ（急増）」「安定化」「リラクゼーション（緩和）」の 3 つのフェーズを経ることを発見しました。この発見は、収束したモデルの静的な分析では見逃されていた重要な洞察を提供します。

2. 背景と問題設定

MoE アーキテクチャは、各トークンを専門化された複数のエキスパート（Expert）のサブセットにルーティングすることでモデル容量を拡張します。しかし、何もしなければトークンは少数の高品質なエキスパートに集中し、他のエキスパートは遊休状態になります。これを防ぐため、標準的な手法として**補助的なバランス損失（Auxiliary Balance Loss）**が用いられますが、以下の課題がありました。

バランスと品質のトレードオフがトレーニング中にどのように変化するかは不明瞭だった。
既存の手法は実用的に有効であっても、その背後にある動的なメカニズムを説明する理論的枠組みが欠けていた。

3. 手法と理論的枠組み

3.1 混雑ゲームとしてのモデル化

著者は MoE ルーティングを以下のように定義される混雑ゲームとして定式化しました。

プレイヤー: トークン
リソース: エキスパート
コスト関数: エキスパートの品質（ $q_i$ ）と負荷（ $\mu_i$ ）に基づく。
$\ell(i, \mu) = -q_i + \gamma \mu_i$
ここで、 $\gamma$ は混雑係数であり、品質と負荷分散のトレードオフの強さを表します。

3.2 平均場ゲーム（MFG）と Softmax の等価性

トークン数が十分大きい場合、このゲームは平均場ゲーム（Mean-Field Game, MFG）の極限として扱えます。

定理: 単一タイプの MFG 均衡は、よくバランスされたモデルにおいて、温度スケーリングされた Softmax（ $\text{softmax}(q/\lambda)$ ）に収束することを証明しました。
意義: 静的な予測精度において、このゲームモデルが Softmax より優れているわけではありません（L1 エラーはほぼ同等）。しかし、**「なぜ Softmax が機能するのか（ポテンシャルゲームの唯一の均衡）」と「温度パラメータが何を意味するか（混雑係数 $\gamma$ ）」**を理論的に説明し、そのパラメータがトレーニング中にどう変化するかを可視化する点に価値があります。

3.3 有効混雑係数（Effective Congestion, $\gamma_{eff}$ ）の定義

トレーニング中の各チェックポイントにおいて、観測されたロード分布と推定されたエキスパート品質から、モデルが実際にどの程度のバランスを重視しているかを表すパラメータ $\gamma_{eff}$ を推定しました。
$\gamma_{eff} = \arg\min_{\gamma \ge 0} \| \Phi_\gamma(\mu_{obs}) - \mu_{obs} \|_1$
ここで、 $\Phi_\gamma$ はベストレスポンスマップです。

4. 主要な発見：3 つのフェーズのダイナミクス

OLMoE-1B-7B の 20 個のチェックポイントと OpenMoE-8B の 6 個のチェックポイントを分析した結果、 $\gamma_{eff}$ は以下のような非単調な逆 U 字型の軌道を示すことが確認されました。

フェーズ 1: サージ（Surge）（ステップ 5K〜50K）
- 現象: $\gamma_{eff}$ が急激に上昇し（13.7 → 36〜39）、ピークに達します。
- 意味: 最適化器が**「バランス」を最優先**している段階です。ルーティングのエントロピーが増加し、トークンが広く分散されます。
- 特徴: 品質のばらつき（ $B_0$ ）は急速に減少し始めます。
フェーズ 2: 安定化（Stabilization）（ステップ 100K〜400K）
- 現象: $\gamma_{eff}$ は一定の範囲（24〜28）で横ばいになります。
- 意味: ルーターがバランスの「動作点」を見つけ、その制約の中でエキスパートが専門化（Specialization）を進める段階です。
- 特徴: エキスパートの品質差（ $B_0$ ）は減少し続けますが、 $\gamma_{eff}$ は安定しています。
フェーズ 3: リラクゼーション（Relaxation）（ステップ 400K〜1.2M）
- 現象: $\gamma_{eff}$ が急激に低下します（26.6 → 8.5）。
- 意味: エキスパートの役割が確立された後、ルーターは**「品質」を優先**し、バランスの厳格な維持を緩めます。
- 特徴: 品質のばらつきは横ばいですが、 $\gamma_{eff}$ は 62% 低下します。

重要な洞察: この「バランス重視（早期）→ 品質重視（後期）」への転換は、収束したモデルの静的な分析では検出不可能であり、トレーニングのダイナミクスを初めて解明したものです。

5. 追加の貢献と分析結果

5.1 有効混雑の分解（Explicit vs. Implicit）

$\gamma_{eff}$ は、明示的な損失項（ $\gamma_{explicit} = \alpha M$ ）と、トレーニング中に最適化器が内部化して獲得した項（ $\gamma_{implicit}$ ）に分解できます。

結果: 収束時において、 $\gamma_{eff}$ (8.5) は明示的な損失項 (0.64) の約 13 倍でした。
意味: バランスは補助損失によってのみ維持されているのではなく、勾配降下法を通じて最適化器が内部で 13 倍以上のバランスを学習・内面化していることを示しています。

5.2 多タイプ MFG（Multi-type MFG）

トークンの多様性を考慮するため、トークンをクラスタリングした多タイプモデルを提案しました。

結果: 単一タイプモデルと比較して、すべてのレイヤーでロード予測精度が平均 30% 向上しました。
意義: トークンの異質性をモデル化することで、より精密な分析が可能になります。

5.3 スコープ診断（Scope Diagnostics）

Top-K 近似誤差: モデルが Dense な MFG 近似として有効かどうかは、 $K/M$ の比率に依存します（ $K/M$ が小さい Top-1 ルーティングでは近似が破綻）。
継続スプレッド（Continuation Spread）: 層ごとの適合度を予測する指標を開発し、理論的な限界を定量化しました。

6. 実験結果の要約

モデル: OLMoE-1B-7B (64 エキスパート, Top-8, 16 レイヤー) と OpenMoE-8B (32 エキスパート, Top-2, 4 レイヤー) で検証。
再現性: 異なるアーキテクチャ、トレーニング規模、トークン数でも「サージ→安定化→リラクゼーション」という 3 フェーズのパターンが再現されました。
静的予測: 収束モデルにおいて、MFG モデルと温度スケーリング Softmax の予測精度（L1 エラー）は統計的に有意差がなく（0.199 vs 0.200）、理論的等価性が実証されました。
ダイナミクスの検出: 3 フェーズの軌道は、ブートストラップ法による信頼区間を用いることで、ノイズではなくシグナルであることが確認されました。

7. 意義と将来展望

理論的意義: MoE の学習ダイナミクスを「混雑係数」という単一の指標で定量化し、バランスと品質のトレードオフが時間とともにどう変化するかを初めて記述しました。
実用的意義:
- トレーニング監視: $\gamma_{eff}$ を監視することで、エキスパートの崩壊（Expert Collapse）の予兆を検知できる可能性があります。
- バランス制御: 学習の初期段階ではバランス損失を重視し、後期段階では品質を重視するよう、学習率や損失係数を動的に調整する「適応的バランススケジューリング」の提案が可能になります。
限界: 現在は 2 つのモデルでの検証に限られており、より大規模なモデルや、Top-1 ルーティングへの適用にはさらなる研究が必要です。

結論

本論文は、MoE トレーニングが「バランスの確立（サージ）」から「専門化（安定化）」、そして「品質への最適化（リラクゼーション）」へと進む 3 つの明確なフェーズを持つことを発見しました。この発見は、単なる静的なモデル分析を超え、トレーニングプロセスそのものの理解を深め、より効率的な MoE モデルの設計と制御への道を開くものです。