Semantic Parallelism: Redefining Efficient MoE Inference via Model-Data Co-Scheduling

本論文は、モデルの専門家配置とデータ（トークン）のスケジューリングを協調的に最適化する「セマンティックパラレリズム」を提案し、これにより MoE 推論における通信オーバーヘッドを大幅に削減し、既存手法を上回る推論スループットを実現する Sem-MoE フレームワークを SGLANG に実装して実証したものである。

要約

🏢 物語：巨大な「専門家チーム」のオフィス改革

想像してください。ある巨大な AI オフィスがあります。ここには**「100 人もの専門家（エキスパート）」が働いています。
しかし、このオフィスには「1 つの部屋（GPU）」に 8 人しか入れない**という制限があります。そのため、100 人の専門家は 8 つの部屋に分散して配置されています。

🚧 従来の問題点：「電話代」が高すぎる

新しい顧客（質問）が来ると、AI は「この質問には、A さんの専門分野と B さんの専門分野が必要だ」と判断します。

• A さんは 1 号室に、B さんは 5 号室にいます。
• 1 号室の A さんが計算した結果を、5 号室の B さんに持っていって、また 1 号室に戻ってくる必要があります。

これを**「全員の部屋を繋ぐ電話回線（通信）」だと思ってください。
これまでのシステムでは、「誰がどの部屋にいるか（配置）」と「誰がどの部屋に来るか（顧客の割り当て）」を別々に考えていました。
その結果、顧客が 1 号室にいるのに、必要な専門家が 5 号室にいることが多く、「電話代（通信コスト）」が膨大にかかってしまい、全体の作業が遅くなってしまう**という問題がありました。

💡 新しい解決策：「意味の平行処理（Semantic Parallelism）」

この論文が提案するのは、**「顧客と専門家の相性を事前に分析して、一緒に配置し直す」**というアイデアです。

1. 「相性リスト」を作る（オフライン分析）
まず、過去のデータを分析します。「『料理』という質問は、いつも『料理の専門家』と『栄養学の専門家』がセットで必要だ」というパターンを見つけます。

• 発見: 特定の質問（トークン）は、特定の専門家グループと強く結びついていることがわかりました。

2. オフィスのレイアウトを変える（モデル配置）
「料理」の専門家たちを、同じ部屋（同じ GPU）に集めるように配置し直します。

• これにより、料理の質問が来たら、その部屋の中で完結するようになります。

3. 顧客の案内を変える（データスケジューリング）

• DP（データ並列）の場合: 「料理」の質問を持った顧客グループを、料理の専門家が揃っている部屋に優先的に案内します。
• TP（テンソル並列）の場合: 1 人の顧客が複数の専門家に相談する際、「必要な専門家がいる部屋」へ、顧客自身を先に移動（シャッフル）させてから相談させます。

🚀 効果：「電話代」が激減！

この方法（Sem-MoE）を使うと、「部屋をまたいで電話をする必要」が劇的に減ります。

• 結果: 通信にかかる時間が減り、処理速度が最大で 2.78 倍に向上しました。
• 比喩: 以前は「遠くの店まで買い物に行くのに、毎回タクシーを 10 回も呼んでいた」のが、**「必要なものが全部揃ったスーパーマーケットに、まとめて買い出しに行く」**ようになったようなものです。

🌟 まとめ

この技術は、**「AI の専門家たちと、その質問をする人たちの『相性』を事前に読み解き、同じ場所に集めて効率よく働かせる」**という、非常に賢いオフィス改革です。

これにより、**「同じハードウェアでもっと速く AI を動かせる」ようになり、結果として「AI サービスが安くなり、みんなが使いやすくなる」**という夢のような未来を実現します。

---

一言で言うと：
「AI の専門家と顧客の『相性』を分析して、同じ部屋に集めて仕事させれば、無駄な移動（通信）が減って、爆速になるよ！」という画期的なアイデアです。

技術概要

論文「Semantic Parallelism: Redefining Efficient MoE Inference via Model-Data Co-Scheduling」の技術的サマリー

本論文は、大規模言語モデル（LLM）の推論における「専門家の並列化（Expert Parallelism: EP）」の効率性を根本から再定義する新しいパラダイム「Semantic Parallelism（意味的並列化）」と、その実装システム「Sem-MoE」を提案しています。ICLR 2026 にて発表されたこの研究は、モデル構造とデータ（トークン/リクエスト）の特性を統合的に考慮したスケジューリングにより、MoE モデル推論における通信オーバーヘッドを劇的に削減することを示しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

---

1. 背景と問題定義

背景

近年の LLM は、パラメータ数の増大に伴い、計算コストを抑えつつ性能を向上させるため「Mixture-of-Experts（MoE）」アーキテクチャを採用する傾向が強まっています（例：DeepSeek-V3, Qwen3, GPT-OSS など）。MoE は、入力トークンごとに一部の専門家（Expert）のみを活性化させることで、トランジションパラメータ規模を維持しつつ計算量を抑制します。

既存手法の課題

現在の LLM 推論エンジン（SGLang, vLLM など）では、大規模 MoE モデルを複数の GPU/NPU 上で実行するために「専門家の並列化（EP）」が用いられています。しかし、EP には以下の重大なボトルネックが存在します。

• 高コストな通信: トークンが所属する専門家が異なるデバイス上に配置されている場合、トークンを遠隔デバイスへ転送し、計算後に結果を集約するための「All-to-All」通信（NCCL/HCCL の all2all 操作）が発生します。
• 非効率な配置とスケジューリング: 現状の最先端手法では、「モデル配置（どの専門家をどのデバイスに置くか）」と「データスケジューリング（どのリクエスト/トークンをどのデバイスで処理するか）」が独立して最適化されています。この分離により、不要な通信が発生し、推論効率が制限されています。
• 実証データ: DeepSeek-V2-Lite における実験では、MoE レイヤーのフォワードパス遅延の最大 59.2% がこの All-to-All 通信に起因していることが示されました。

2. 提案手法：Semantic Parallelism と Sem-MoE

本論文は、**「トークンと専門家の間の強い意味的親和性（Affinity）」**を利用し、モデル配置とデータスケジューリングを協調的に行う「Semantic Parallelism」を提案します。

2.1 核心的な洞察

大規模 MoE モデルにおいて、特定のトークンは文脈に依存せず、特定の専門家サブセットに対して高い活性化確率を示すことが実証されました。

• トークン - 専門家の親和性: 特定のトークンは、常に限られた特定の専門家群を活性化させる傾向があります（例：数学的なトークンは数学関連の専門家、法律用語は法律関連の専門家など）。
• 層間依存性: 前の層で選択された専門家群は、次の層で選択される専門家群と強い相関（マルコフ性）を持ちます。

2.2 システム構成：Sem-MoE

Sem-MoE は、SGLang 推論エンジンに統合されたプラグインモジュールとして実装されています。主な構成要素は以下の通りです。

A. オフラインモデルスケジューリング（Model Scheduling）

• 専門家クラスタリング: 事前に収集したトークン活性化プロファイルに基づき、頻繁に同時に活性化される専門家群をクラスタリングし、同一デバイス上に配置します。
• ILP による最適化: 0-1 整数計画問題（ILP）として定式化し、負荷分散と通信最小化のバランスを取りながら、専門家とデバイスのマッピングを決定します。
• 透明性: ゲート行列の列をシャッフルすることで、モデルの論理構造を変更することなく、物理的な配置を最適化します。

B. オンラインデータスケジューリング（Data Scheduling）

入力されたリクエストやトークンを、最適な専門家グループが存在するデバイスに事前に割り当てます。

1. Attention-DP 設定（データ並列化）の場合:

   • リクエスト間スケジューリング: 各リクエストを構成するトークンの専門家活性化予測を集約し、最も親和性の高い DP ランク（デバイス）にリクエスト全体をバッチングします。
   • これにより、異なる DP ランク間でのトークンの移動を最小化します。

2. Attention-TP 設定（テンソル並列化）の場合:

   • リクエスト内スケジューリング: トークンレベルで細かく制御します。
   • Shuffled-Reduce-Scatter (SRS) & Shuffled-Allgather (SAG): 従来の Attention 後の通信（Reduce-Scatter/Allgather）に、予測された専門家ルートに基づいたトークンのシャッフル処理を融合させます。これにより、MoE レイヤーへの入力前にトークンを目的のデバイスへ事前に配置し、その後の All-to-All 通信量を削減します。

2.3 実装技術

• 高速なルックアップテーブル: トークンから専門家グループ、および専門家群のシーケンスから次のデバイスへの遷移確率を格納した軽量テーブルを使用し、推論時のオーバーヘッドを最小化します。
• カスタムカーネル: Triton を用いた高性能通信カーネル（SRS, SAG）を実装し、PyTorch の標準実装より 25% 高速なソート処理を実現しています。

3. 主要な貢献

1. トークン - 専門家の相関の発見: 大規模 MoE モデルにおいて、トークンと専門家の間には文脈に依存しない強い相関が存在し、これが専門家配置とトークンルーティングの最適化の基礎となることを実証しました。
2. モデル - データ協調スケジューリングアルゴリズムの設計: 観察された親和性を利用した効率的なスケジューリングアルゴリズムを提案し、ベースラインと比較してローカル活性化率（Local Activation Rate）を 15.4% 向上させ、不要なクロスデバイス通信を大幅に削減しました。
3. Sem-MoE の実装と評価: 最先端の推論エンジン SGLang 上で Semantic Parallelism を実装し、広範な評価を行いました。

4. 実験結果

実験は 8 GPU サーバー環境（高速インターコネクト）で行われ、DeepSeek-V2-Lite と Qwen3-30B-A3B などのモデル、MMLU, ShareGPT などのデータセットを用いて評価されました。

4.1 推論スループットの向上（Attention-DP 設定）

• DeepSeek-V2-Lite: SGLang（MoETuner 含む）と比較して、TTFT（First Token までの時間）制約下で31%〜32%、E2E 遅延制約下で**221%〜278%**のスループット向上を達成しました。
• Qwen3-30B-A3B: 同様に最大**98%**の向上を記録しました。
• 要因: リクエストの適切なデバイス配置と専門家の最適配置により、All-to-All 通信量が劇的に減少しました。

4.2 遅延の削減（Attention-TP 設定）

• DeepSeek-V2-Lite: 入力長 256〜1024 において、TTFT が12.2%〜18.9%、E2E 遅延が**10.6%〜18.9%**改善されました。
• Qwen3-30B-A3B: TTFT が最大**24.9%**改善されました。
• ローカル活性化率: Vanilla 配置と比較して、Sem-MoE はローカル活性化率を 37%〜43% 向上させ、MoE レイヤーの遅延を約 42%〜47% 削減しました。

4.3 ゼロショット転送性能

• 学習データ（ShareGPT など）とは異なるドメイン（MMLU など）のデータに対しても、再学習なしで高い性能を維持し、SGLang ベースラインを大幅に上回る結果を示しました。これは、トークン - 専門家の親和性がドメインに依存しない普遍的な特性であることを示唆しています。

5. 意義と結論

本論文が提案する「Semantic Parallelism」は、MoE モデル推論における通信ボトルネックを、モデル構造とデータ特性の協調的な最適化によって解決する画期的なアプローチです。

• 通信の削減: 高コストな All-to-All 通信を、モデル配置とデータスケジューリングの事前調整によって本質的に削減します。
• 実用性: モデルアーキテクチャの変更を必要とせず、既存の推論エンジン（SGLang）にプラグインとして統合可能であり、実環境での即座の導入が期待されます。
• 将来への示唆: 大規模 AI モデルの推論コストを削減し、スループットと遅延の両面での性能向上を実現することで、より大規模で複雑な MoE モデルの実用的な展開を可能にします。

結論として、Sem-MoE は、特定の SLO（サービスレベル目標）の下で最大 2.78 倍のスループット向上、および最大 24.9% の遅延削減を実現し、MoE 推論の効率化において新たな基準を設定するものです。