技術的サマリー：専門家はいつ誤ってルーティングされるのか？混合専門家（MoE）言語モデルにおける反実仮説的ルーティング分析

1. 問題提起

混合専門家（MoE）言語モデルは、各トークンを大規模なプール（$N$）から小さなサブセット（$k$）の専門家へルーティングすることで容量を拡張する。ルーターは通常、標準的な言語モデル化損失と補助的な負荷分散目的関数を通じて訓練されるが、訓練されたトップ-$k$ ルーターが下す特定のルーティング決定の質は、直接的に評価されたことがほとんどない。

ここで扱われる中心的な問いは：標準的に訓練されたルーターが選択するルートは、凍結されたモデル内で利用可能な最良のルートなのか？

先行研究は、ルーティングが早期に安定し、下流の性能が良好なルーティングの十分な証拠であると仮定している。しかし、推論の成功は、しばしば「枢要」または高エントロピーのトークンの小さなサブセットに不釣り合いに依存する。著者らは、標準的な訓練が、訓練信号が代替の等計算コストのルートを評価しないため、これらの重要かつ低自信度のトークンに対するルーティングの最適化に失敗する可能性があると仮説を立てている。

2. 手法

反実仮説的ルーティング分析

著者らは、モデルの重みを変更せずに（特定の実験的介入を除く）ルーティングの質を評価するプロトコルを提案する。

1. セットアップ: 検証済みの正しい推論経路（例：MATH Level-5、AIME、HMMT から取得）を用いて、特定の MoE 層におけるトークンを分析する。
2. 代替案のサンプリング: 層 $\ell$ における与えられたトークン $t$ について、標準的なトップ-$k$ ルート（$S^{\text{std}}_{t,\ell}$）のみを観察するのではなく、同じ高スコア専門家のプールから Gumbel-top-$k$ サンプリングを用いて $G=32$ の代替トップ-$k$ ルートをサンプリングする。すべての代替案は同じ計算コスト（同じ $k$）を持つ。
3. スコアリング: 各ルート（標準および代替案）について、層 $\ell$ においてその特定のルートのみをアクティブにして（他のすべてのパラメータは凍結）、モデルを前方に実行する。ルートの有用性は、検証済み経路における実際の次のトークンに対して割り当てられる確率によってスコアリングされる。
4. 層別化: トークンは、サンプリングされた代替ルート によって割り当てられる平均確率（$\bar{p}$）に基づいて 3 つのビンにグループ化される。
   • 自信あり: $\bar{p} > 0.9$
   • 曖昧: $0.5 < \bar{p} \le 0.9$
   • 脆弱: $\bar{p} \le 0.5$

訓練の構造的分析

本論文は、標準的なトップ-$k$ MoE 訓練における勾配の流れを分析し、観測された失敗を説明する。言語モデル化損失は、実行された ルートに対してのみ信号を提供することを示す。選択されなかった専門家に対する勾配は消失する。さらに、標準的な負荷分散損失（Switch 風など）は、集計統計（ルータースコアと選択頻度）のみに依存し、どの代替ルートが損失を最小化するかに関するトークンレベルの反実仮説的シグナルを提供しない。

最小限のルーター更新（専門家選好最適化 - EPO）

ルーティングの失敗が凍結されたモデル内で「到達可能」かどうかをテストするため、著者らは最小限の介入を行う。

• 凍結: 最終層を除くすべての専門家の重みとすべてのルーターの重みを凍結する。
• 訓練: 最終層のルーターのみを**専門家選好最適化（EPO）**を用いて更新する。
• メカニズム: EPO は「困難なトークン」（高い交差エントロピー）を特定する。代替ルートをサンプリングし、もし代替案が現在の選択よりも低い交差エントロピーをもたらす場合、それを「選択された」ルート（$r^+$）として、現在のものを「却下された」ルート（$r^-$）として扱う。ルーターは、$r^+$ を $r^-$ よりも好むように DPO 風の目的関数を通じて更新される。
• 評価: 更新されたルーターを、テスト時の探索なしで下流のベンチマーク（AIME、HMMT）でテストする。

3. 主要な結果

脆弱なトークンにおけるルーティングの質の低下

4 つのモデル（Qwen3-30B-A3B、GPT-OSS-20B、DeepSeek-V2-Lite、OLMoE-1B-7B）および複数のベンチマークにおいて：

• 自信ありトークン: 標準的なルーターは有用性とよく整合している。標準ルートはサンプリングされた代替案の中でしばしば最良であり、確率の差は無視できる。
• 脆弱トークン: 整合性が崩壊する。
  • 標準ルートは、Qwen3 の場合、脆弱トークンのわずか**0.8%**においてサンプリングされた代替案の中で最良であった。
  • Qwen3 において、脆弱トークンに対する最良のサンプリングされた等計算コストのルートは、次のトークンの確率を平均して20.4 パーセントポイント改善した。
  • このパターンは層を超えて維持される（ただし、深い層になるほど差は広がる）し、異なるモデルファミリー間でも同様である。

反実仮説的盲点

分析は、標準的な訓練が「反実仮説的盲点」を生み出していることを確認する。

• 損失関数は実行されたルートのみを評価する。
• 負荷分散は集計的な多様性を促進するが、特定の困難なトークンに対してどの特定の代替ルートがより優れているかをシグナルしない。
• したがって、ルーターは自信を持ってルーティングすることを学習するが、選択が最も重要な困難なトークンにおいて、最適ではないルートと最適ルートを区別することに失敗する。

最小限の更新が性能をシフトさせる

EPO 実験は、この失敗が単に専門家の容量不足によるものではないことを示す。

• 0.001% 未満のモデルパラメータ（最終層のルーターのみ）の更新だけで、Qwen3-30B-A3B と GPT-OSS-20B の両方において、AIME 2024+2025 および HMMT 2025 におけるpass@K性能をシフトさせるのに十分であった。
• 改善は、更新されたルーターがより良いルートを選択する「曖昧」および「脆弱」トークンに集中しており、「自信あり」トークンにおける性能は安定したままだった（ただし、簡単なトークンへのバイアスが減少したため、ランク整合性指標はわずかにシフトした）。

4. 意義と主張

本論文は、ルーティングの質をスパース性の単なる実装詳細ではなく、MoE 訓練における第一級の関心事として扱うべきであると主張する。

• 診断: 標準的なルーターは均一的に「悪い」わけではない。それは自信ありトークンでは非常に効果的であるが、困難な推論を駆動する脆弱なトークンにおいて体系的に整合していない。
• 根本原因: この整合性の欠如は、選択されなかったルートに対するトークンレベルの反実仮説的シグナルを欠く標準的なトップ-$k$ 訓練目的関数の構造的帰結である。
• 含意: 困難なトークンにおける高い損失は、必ずしも専門家の容量限界によるものではない。それは凍結されたモデル内で到達可能なルーティングの失敗であり得る。
• 将来の方向性: 著者らは、将来の事前学習目的関数が、訓練中のこの整合性の欠如を防ぐために、実行されたもの alongside サンプリングされた代替案（等計算コストの代替ルート）に対するトークンレベルのシグナルを組み込むべきであると示唆している。事後の修正に依存するのではなく。

著者らは、彼らの分析が検証済みの正しい経路（実現されたトークンが正しいことが既知）で行われ、かつ層を独立して分析していることを指摘し、謙虚さを保っている。しかし、多様なモデルとドメインにわたるパターンの一貫性は、現在の MoE 訓練パラダイムにおける根本的な限界を示唆している。