技術概要：GEM – 混合専門家モデルのための GPU 変動認識型専門家から GPU へのマッピング

1. 問題定義

混合専門家（MoE）モデルは、トークンごとに「専門家」サブネットワークの一部のみをアクティブにすることで推論効率を向上させます。しかし、実世界のサービング環境におけるその性能は、**遅延 GPU（straggler GPUs）**によって深刻にボトルネック化されています。ロックステップ実行では、バッチはレイヤーの処理を最も遅い GPU が完了するまで待機し、その後に進まなければなりません。

本論文は、既存の解決策が同時に解決できていないストラグラーの 2 つの主要な原因を特定しています：

1. 専門家の偏り（Expert Imbalance）： 特定の専門家が他の専門家よりも不均衡に頻繁に使用されます。これらの「重度使用」専門家が単一の GPU に同居している場合、その GPU がボトルネックとなります。
2. ハードウェアの変動性（Hardware Variability）： 現代の GPU は、プロセス変動、環境要因、電力管理に起因する本質的な性能変動を示します。トークン負荷が完全にバランスしていても、物理的に遅い GPU はストラグラーとして機能します。

先行研究は、専門家の利用に人工的な均一性をもたらすこと（モデル精度の低下を招く）か、専門家の動的な再分配（メモリオーバーヘッドの発生）によってこの問題を解決しようと試みています。決定的なことに、これらのアプローチはハードウェアの変動性を無視しており、重度に使用される専門家を最も遅い利用可能な GPU に配置することが多く、それによってストラグラー問題を永続化させています。

2. 手法：GEM フレームワーク

著者は、タスク固有のトークン負荷とハードウェア性能特性の両方を明示的に考慮して専門家を GPU にマッピングするように設計された**GEM（GPU 変動認識型専門家マッピング）**を提案します。GEM は 4 段階のパイプラインで動作します：

ステップ 1：専門家利用トレース

GEM は、オンライン推論中に特定タスクのトークンルーティングパターンを捕捉します。各専門家へルーティングされたトークンの数を数え、利用トレースを構築します。

• 洞察： 論文は、ほとんどの時間ステップで頻繁に使用される**一貫した専門家（consistent experts）と、特定の相関するバーストにおいて頻繁ではないが重度に使用される時間的専門家（temporal experts）**を区別します。
• 最適化： 実験により、トレース長が16 時間ステップであれば、展開を遅らせることなく一貫したパターンと時間的パターンの両方を捕捉するのに十分であることが示されました。

ステップ 2：性能変動プロファイリング

GEM は、トークン負荷の関数として、異なる GPU における MoE レイヤーのレイテンシをプロファイリングします。

• 課題： 微細なプロファイリング（すべてのトークン数）は遅すぎます（数時間）。一方、粗いサンプリングは、MoE レイテンシの「階段状」の性質（特定のバッチサイズでレイテンシが跳ね上がる点）を見逃してしまいます。
• 解決策： GEM は、レイテンシの跳ね上がりが発生するタイル境界（32 または 64 トークンの倍数）でのみトークン数をサンプリングします。これにより、プロファイリング時間は数時間から数分（例：Llama-4-Scout で 3 分）に短縮され、精度は維持されます。

ステップ 3：変動認識型専門家マッピング

GEM は、最適な専門家から GPU へのマッピングを見つけるために、反復的なヒューリスティック探索を使用します。

• スコアリング関数： トークン数を均等にするのではなく、GEM はすべての時間ステップにわたるストラグラーレイテンシの合計を最小化します。スコア $S(M)$ は以下のように計算されます：
  $$S(M) = \sum_{t \in T} \max_{g} (C_g(n_g(M, t)))$$
  ここで、$C_g$ は変動プロファイルから導出された、トークン数 $n_g$ を与えられた GPU $g$ のレイテンシコストです。
• 適用された主要な洞察：
  1. 非均一な負荷分散： 高速な GPU には、遅い GPU よりも比例して多くのトークンが割り当てられ、すべての GPU がほぼ同時にレイヤーの処理を完了するようにします。
  2. 相関の処理： GEM は、同時にバーストで使用される相関する時間的専門家を検出し、それらが異なる GPUに配置されることを保証します。さらに、これらの高負荷専門家を最も遅い GPU に配置することを回避します。
• 探索アルゴリズム： システムは、多様性を確保するために利用メトリクスにノイズを追加した複数の初期マッピングから開始し、収束するまで専門家ペアを交換して総ストラグラーレイテンシスコアを削減します。

ステップ 4：展開

最適なマッピングが決定されると、GEM はモデル読み込み時に専門家重みを割り当てられた GPU にロードします。MoE ルーターは通常どおりトークンを配信し続けますが、専門家の物理的な位置は特定のハードウェアクラスターに対して最適化されています。

3. 主要な貢献

1. 二重のボトルネックの特定： 本論文は、ストラグラーが非均一な専門家利用と本質的な GPU ハードウェア変動性の組み合わせから生じることを強調しており、これは従来の静的または動的な負荷分散方法によって見過ごされてきた問題です。
2. GEM フレームワーク： MoE モデル向けにハードウェア変動認識型専門家マッピングを行う最初のフレームワークです。
3. 新規マッピング戦略：
   • レイテンシベースの負荷分散： 均等なトークン分配から、GPU の速度に基づいた比例したトークン分配への移行。
   • 時間的専門家の検出： 相関する時間的専門家を特定・分離し、単一 GPU での同時負荷スパイクを防止します。
4. 効率的なプロファイリング： 数時間ではなく数分でハードウェア変動プロファイルを捕捉するタイル境界サンプリング戦略。

4. 実験結果

著者は、ShareGPT および CodeContests データセットを使用して、5 つの最先端 MoE モデル（Mixtral-8x7B、Mixtral-8x22B、Llama-4-Scout、Hunyuan-A13B、Qwen3-30B-A3B）上で GEM を評価しました。4 GPU ノード上で 3 つのレベルの GPU 変動性（低、中、高）をエミュレートしました。

• エンドツーエンドレイテンシ： GEM は、ベースライン（vLLM のデフォルト線形マッピング）と比較して、平均で7.9%、最大で**16.5%**のレイテンシ改善を実現しました。
  • 変動性の高い設定で最も顕著な改善（最大 16.5%）が見られました。
  • 変動性の低い設定でも、相関する時間的専門家の最適化により、GEM は最大 4.5% の改善を提供しました。
• テールレイテンシ（p90 TPOT）： GEM は、90 パーセンタイルの出力トークンあたり時間（TPOT）を平均で9.1%（最大 16.9%）削減し、知覚される応答性を大幅に向上させました。
• プロファイリングオーバーヘッド： 変動プロファイリングとマッピングプロセスの合計時間は 4 分未満であり、本番環境で提供される数時間から数日分の推論と比較すると無視できるレベルです。

5. 意義と主張

本論文は、GEM が MoE 推論のための最初のハードウェア変動認識型専門家マッピングフレームワークであると主張しています。その意義は、ハードウェアの変動性を欠点から、性能向上のために活用できるマッピング制約へと変える点にあります。

著者は以下の点を強調しています：

• 単にトークン数を均等にするだけでは不十分であり、ハードウェアの異質性を無視しているためです。
• 時間的専門家（しばしば相関している）を無視すると、平均負荷がバランスしていても、最適ではないマッピングにつながります。
• システムの規模が拡大するにつれて（例：4 GPU から 64 GPU へ）、最も速い GPU と最も遅い GPU の間のギャップは単調に広がります。そのため、大規模展開において変動認識型マッピングはますます重要になります。

この研究は、トークンルーティングの統計的性質と GPU 性能の物理的現実の両方に専門家配置を整合させることで、モデルの再トレーニングや大幅なメモリオーバーヘッドなしに、著しいレイテンシ削減を達成できることを実証しています。