Diagnosing Overhead in Dispatch Operations: Cross-architecture Observatory

技術的サマリー：ディスパッチ操作におけるオーバーヘッドの診断：クロス・アーキテクチャ観測所（DODOCO）

問題定義
AlltoAll ディスパッチは、Mixture-of-Experts（MoE）のエキスパート並列化（EP）における支配的なボトルネックである。相互接続コミュニティは、予測的サンプル配置、適応的エキスパート再配置、階層的コレクティブ、EP 感知トポロジーという 4 つの緩和策のファミリーを提案してきた。これらの解決策は、2 つの未検証の仮定に依存している：

1. 修正可能性（仮定 A）： ルーティングの不均衡は、十分に賢明なシステム層によって削減可能なワークロードの特性である。
2. ベンチマークの妥当性（仮定 B）： モックトークンベンチマーク（一様ランダム ID を使用）は、本番環境のルーティング動作を忠実に表現する。

本論文は、これらの仮定が正面から検証されていないことを主張しており、その結果、幻のワークロードに最適化されたシステム設計につながる可能性があると指摘している。

手法
著者らは、5 つの異なる MoE アーキテクチャと 6 つのデータ条件にわたる 5×6 因子設計を用いて、これらの仮定を検証するために設計された実証研究DODOCOを導入する。

• アーキテクチャ： 本研究は、主要なモデルファミリーにまたがる 5 つのシーケンスミキサー設計を網羅する：

  • DeepSeek-V2-Lite： マルチヘッド潜在アテンション（MLA）。
  • DeepSeek-MoE-16B： 標準マルチヘッドアテンション（MHA）。
  • Qwen3-30B-A3B： グループ化クエリアテンション（GQA）。
  • Nemotron-30B-A3B： Mamba-2（状態空間モデル）。
  • Qwen3.5-35B-A3B： ゲーテッドデルタネットワーク（GDN）。
  • 注記： MLA と MHA のペアは、エキスパート数、top-k、ゲーティング、負荷分散戦略を共有し、アテンション機構のみが異なる制御比較を形成する。

• データ条件： 6 つの条件は、トークンストリームの独立した特性を分離する：

  1. Mock： 一様ランダムなトークン ID（標準ベンチマークのデフォルト）。
  2. Shuffled： 大域置換を施した実 wikitext トークン（頻度は保持し、シーケンスを破棄）。
  3. Remapped： 語彙 ID を置換した実シーケンス（シーケンスは保持し、埋め込みを破棄）。
  4. Romansh： 低リソースのロマンス語族の言語での実テキスト（未見の言語構造）。
  5. Opus： カットオフ後の英語推論トレース（未見の内容）。
  6. Wikitext： 英語版ウィキペディア（既知の構造と内容）。

• ハードウェアとスケーリング： 実験は H100 GPU（NHR@FAU Helma スーパーコンピュータ）上で実行され、ノード内は NVLink、ノード間は InfiniBand を使用した。本研究には、マッチドウィンドウ EP スキャン（4、8、16、32 ランク）とグローバルバッチサイズ（GBS）スイープ（64 から 2048）が含まれる。

• 指標： 本研究は、送信カウント行列（$S$）の 3 つのスカラー要約を利用する：

  • エキスパートごとの最大/平均比： エキスパートからランクへのマッピングに依存しないルーティング決定の偏りを測定するため。
  • ジニ係数： ランクごとの負荷不均衡を測定するため。
  • 適合対称ディリクレ分布 $\alpha$： ジニ係数が値を圧縮するほぼ一様な領域における差異を解明するため。

主要な知見

1. EP スケーリングはストレイガラーを削減しない（Q1）
EP 次数を増加させることで負荷分布が平滑化されるという仮定とは対照的に、本研究はEP をスケーリングしてもルーティングの不均衡は削減されないことを発見した。

• 各アーキテクチャ内において、エキスパートごとの最大/平均トークン比は、EP 範囲（4 から 32）全体で実質的に平坦に保たれる（変動は 5% 以下）。
• ストレイガラーは、モデルが下すルーティング決定に内在するものであり、エキスパートがランクにどのようにマッピングされるかには依存しない。EP をスケーリングしても、特定のエキスパートを保持するランクが「どのランクか」は変わるが、どのエキスパートがトークンを受け取るかは変わらない。
• したがって、EP 次数はルーティングのバランスを改善するためのレバーではなく、偏りは EP 不変の集中度によって下限付けられている。

2. モックトークンは不均衡を過大評価し、偽のトレンドを創出する（Q2）
モックトークンベンチマークは、本番環境のルーティングを著しく誤って表現している。

• 誤差の規模： モックトークンは、実テキスト（Wikitext）と比較して、ルーティングのジニ係数を最大2.35 倍過大評価する。Nemotron モデルでは、ディリクレ $\alpha$ 指標におけるギャップは47 倍に達する。
• バッチサイズアーティファクト： モックデータは、バッチサイズ（GBS）が増加するにつれて不均衡が増加するという偽のトレンドを示す。実データでは、バッチサイズ全体でジニ係数は実質的に平坦である。モックデータに依存する実務家は、より大きなバッチが不均衡を悪化させるという誤った結論に至る可能性がある。
• メカニズム： ルーティングには、シーケンシャル構造と学習済み埋め込みの両方が必要である。シーケンスを破棄して頻度を保持したシャッフルされた実テキスト、または埋め込みを破棄してシーケンスを保持したリマップされたテキストは、モックトークンと同様に性能が低い。

3. 創発的なアーキテクチャクラス（Q3）
5 つのアーキテクチャは交換可能に振る舞うのではなく、実データがルーティングに与える影響に基づいて 2 つの安定したバンドに分裂する：

• データ耐性型（MHA、Mamba-2）： これらのモデルは実テキスト下で低いジニ係数（それぞれ 0.105 と 0.150）を達成し、モックから実データへの変化で顕著な改善を示す。そのルーティングは一様性に近づく。
• 持続的に集中型（MLA、GDN）： これらのモデルは、データ条件に関わらず高度に集中した状態を維持し、Wikitext 上でもジニ係数 0.24 以上、モックデータ上では 0.29〜0.38 に達する。
• 中間型（GQA）： 2 つの極端なケースの間に位置し、中程度の改善を示すが、中バンドに留まる。
• 深さ分析： 「データ耐性型」のペアは最初の MoE レイヤーでほぼ一様に始まり、深さとともに集中する（U 字型）のに対し、「持続的に集中型」のペアは最初のレイヤーから集中している。

意義と主張
本論文は、MoE 感知相互接続を設計・評価するために使用されるワークロードモデルは、良くて定数倍の近似であり、悪ければ幻に過ぎないと主張する。

• システム設計への示唆： 「2 クラス分類」（データ耐性型対持続的に集中型）は、EP 次数やモックデータのプロファイルよりも、システム設計にとって有用な入力である。
  • データ耐性型モデルの場合、トラフィックは主に帯域幅に縛られるため、一様負荷モデルで十分である。
  • 持続的に集中型モデルの場合、特定のノード間ペアでの集中を利用する、局所性感知ディスパッチとトポロジー設計が必要である。
• ベンチマーク： 著者らは、MoE 通信ベンチマークにおいて、バッチサイズスケーリングアーティファクトとアーキテクチャクラスの違いを露呈させるために、モックと実データの両方の条件を報告することを推奨する。
• 限界： 本研究はルーティング決定と AlltoAll 統計を特徴付けるが、システム介入によるエンドツーエンドのトレーニング速度向上を測定するものではない。不均衡が重要でないとは主張せず、むしろその修正可能性と測定に関する仮定が欠陥があると主張する。

本論文は、ルーティングの不均衡はシステム層によって局所化され、部分的に利用可能であるが、EP スケーリングのみでは一様化できないモデルおよびデータ固有の特性であると結論付けている。現在使用されている合成ベンチマークは、不均衡を過大評価し、存在しないスケーリングトレンドを創出するという 2 つの点で、この現実を見逃している。