🤖 machine learning

Uncovering Intra-expert Activation Sparsity for Efficient Mixture-of-Expert Model Execution

本論文は、既存の事前学習済み混合専門家（MoE）モデルが本質的に顕著な専門家内活性化の疎性を有しており、これを vLLM 実行パイプラインを修正して非活性ニューロン計算をスキップすることで利用でき、モデルの再学習やパラメータ変更なしに MoE レイヤー実行で最大 2.5 倍、エンドツーエンドで 1.2 倍の高速化を達成できることを明らかにする。

原著者： Jongseok Park, Sunga Kim, Zhenyu Gu, Ion Stoica, Alvin Cheung

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jongseok Park, Sunga Kim, Zhenyu Gu, Ion Stoica, Alvin Cheung

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、この論文を簡単な言葉と創造的な比喩を用いて解説したものです。

大きなアイデア：AI における「眠れる巨人」の発見

数百人の専門的なシェフ（エキスパートと呼ばれる）を擁する巨大で高級なレストランのキッチン（AI モデル）を想像してください。標準的な「エキスパート混合（MoE）」設定では、顧客が料理を注文すると、ヘッドシェフ（ルーター）がその注文に対応する少数の特定のエキスパートだけを起こします。例えば、注文が「辛味カレー」の場合、ルーターは「スパイスエキスパート」と「カレーエキスパート」を起こしますが、「デザートエキスパート」や「パンエキスパート」は眠ったままです。

これはすでに効率的です。なぜなら、すべての注文に対して 100 人のシェフ全員を稼働させる必要がないからです。しかし、この論文の研究者たちは、新たな問いを投げかけました。「シェフが起きて働いているときでも、彼らはすべてのエネルギーを使っているのでしょうか？」

彼らは、起きて働いているシェフでさえ、ほとんどが何もしずに立ち尽くしていることを発見しました。単一のエキスパート内において、最大90% のニューロン（AI の個々の脳細胞）が、特定の入力に対して実質的に「眠っている」、つまりゼロ出力を生み出していることが判明しました。

問題：なぜシェフを単に増やせないのか

以前、AI を高速化するために、研究者たちはキッチンをもっと効率的にするため、より多くのシェフを追加し、より少ない人数を起こす（「エキスパート間スパース性」を高める）試みを行いました。しかし、これは非常に困難になりつつあります。

トレーニングの苦闘: シェフが多すぎて、起こされるのが少数だけだと、キッチンは混沌とします。一部のシェフがすべての仕事を引き受ける（負荷の偏り）一方で、他のシェフは全くトレーニングされず、無用になる（エキスパートの崩壊）のです。
限界: 「誰が働くか」の選別をさらに効率化しようとすると、モデルが破綻してしまうという壁にぶつかりつつあります。

解決策：「怠け者シェフ」戦略

少数のシェフを選ぶのではなく、著者たちは個々のシェフをより効率的にすることにしました。シェフが働いているときでさえ、工具箱にあるすべての道具を使う必要はないと気づいたのです。

比喩:
椅子を作る職人（エキスパート）を想像してください。

従来の方法: 職人は、ハンマーとドライバーだけで十分なのに、納屋にあるすべてのハンマー、のこぎり、ドライバーを手に取り、作業現場まで納屋全体を持っていきます。
新しい方法（この論文）: 職人は作業を見て、ハンマーとドライバーだけで十分だと気づき、のこぎりと工具箱の他の 90% の道具を納屋に残します。必要なものだけを持っていきます。

研究者たちは、既存の事前学習済み AI モデル（Qwen、Llama、DeepSeek など）において、この「怠け者」的な振る舞いがすでに自然に起こっていることを発見しました。モデル内部の数学が、自然と作業の大部分をゼロにしているのです。彼らがなすべきは、その無駄な作業をスキップするようにコンピュータに教えることだけでした。

どのように行ったか：「スキップリスト」システム

チームは、vLLM（キッチンから顧客へ料理を届ける配送サービスと考えるとよいでしょう）と呼ばれる人気のある高速 AI エンジンをアップグレードしました。

チェック: 「シェフ」が調理を始める前に、システムは実際に必要な道具（ニューロン）が何かを素早く確認します。
スキップ: 道具が必要ない場合（その値が低すぎる場合）、システムはそれをメモリに読み込んだり、使用しようとしたりしません。計算を文字通りスキップします。
結果: ソフトウェア内に特別な「ファストレーン」を構築しました。注文のバッチが小さい場合（静かな昼のラッシュなど）、システムはこのファストレーンを使用して重労働をスキップします。キッチンが超忙しい場合（大混雑のディナータイムなど）、安定性を保つために標準的な重厚なモードに戻ります。

発見した点（結果）

彼らは、10 億パラメータの小さなモデルから 4,000 億パラメータの巨大なモデルまで、8 つの異なる巨大 AI モデルでこれをテストしました。

精度: エキスパート内の作業の最大**90%**をスキップしても、AI は 95% の確率で正しい答えを導き出しました。レシピの材料の 90% をスキップしても、料理の味が 95% 保たれるようなものです。
速度:
- AI の特定の「調理」部分（MoE レイヤー）において、最大2.5 倍の高速化が見られました。
- システム全体（エンドツーエンド）においては、1.2 倍の高速化が見られました。
ハードウェア: 高速化は、より小型で性能の低いグラフィックカード（一般向けのゲーミングカードなど）で最も劇的でした。これは、安価なハードウェアで巨大な AI モデルを実行するための優れた方法であることを証明しています。

注意点（限界）

この論文は限界について率直に述べています。

ゲートキーパー: システムは、スキップする前にどの道具が必要かを確認する必要があります。この「チェック」には時間がかかり、現時点ではスキップできません。シェフが道具をすべて使わなくても、マネージャーがキッチンを巡回してどの道具を手に取るか指示しなければならないようなものです。
バッチサイズ: 高速化は、AI が一度に少数のリクエストを処理しているときに最も効果的です。数千のリクエストを同時に処理している場合、「チェック」のオーバーヘッドがボトルネックとなり、高速化の効果が低下します。

まとめ

この論文は、新しい種類の AI を発明したり、ゼロから新しいモデルをトレーニングしたりしたわけではありません。代わりに、既存の強力な AI モデルを検討し、「ねえ、これらのモデルは『アクティブ』になっているときでさえ、多くの不要な作業をすでにやっているよ」と気づいたのです。

この無駄な労力を認識し、単にそれをスキップするシステムを構築することで、彼らはこれらの巨大な AI モデルを、特に高価ではないハードウェア上で、大幅に高速かつ効率的に実行できるようにしました。これは、現在の AI モデル世代をより実用的に実行するための「賢いスキップ」技術です。

技術概要：効率的なミクスチャー・オブ・エキスパートモデル実行のためのエキスパート内活性化スパース性の解明

問題定義
ミクスチャー・オブ・エキスパート（MoE）アーキテクチャは、スパースなエキスパート活性化に由来する計算効率の高さにより、最先端の大規模言語モデル（LLM）の標準となっています。しかし、より細かなエキスパート粒度（エキスパート間スパース性）を通じてスパース性をさらに高めることは、エキスパートの崩壊、負荷の不均衡、表現の崩壊といった根本的な訓練上の課題に直面しています。これらの問題により、モデルの品質や訓練の安定性を損なうことなく活性化するエキスパートの割合を削減することが、ますます困難になっています。したがって、アーキテクチャの変更や再訓練に依存しない、スパース性の補完的な次元を探求する必要性があります。

手法
著者らは、事前学習済み MoE モデルにおける個々のエキスパートの活性化内に存在するスパース性の次元である「エキスパート内活性化スパース性」を調査します。手法は以下の 3 つの主要な構成要素を含みます。

実証分析: 本研究では、1B から 400B パラメータに及ぶ 8 つの市販の MoE モデル（Granite、OLMoE、DeepSeek-V2、GPT-OSS、Qwen3.5、Llama-4 変種を含む）を分析します。著者らは、活性化するエキスパート内の最低スコアのニューロン活性化を段階的にゼロにすることで、ベンチマーク精度（ARC-Challenge、ARC-Easy、HellaSwag、Winogrande、TruthfulQA）を測定します。ここでは、「ルーティングされたエキスパート」（ルーターによって選択される）と「共有エキスパート」（常に活性化する）を区別します。
スパース性特性の観察: 分析により、MoE の FFN レイヤーにおける活性化出力は長尾分布に従うことが明らかになりました。ニューロンの相当な割合がほぼゼロの活性化を生成するため、精度の低下を最小限に抑えながら（最大 90% まで）大幅なスパース性を達成できます。本研究では、共有エキスパートのニューロンが、ルーティングされたエキスパートのニューロンと比較して、精度に対するニューロンあたりの影響が大きいことが判明しました。Qwen3.5-122B-A10B などの大規模モデルでは、すべての共有エキスパートのニューロンを活性化したまま、ルーティングされたエキスパートのニューロンの約 2% のみを活性化させるだけで、モデル容量を維持するのに十分です。
vLLM におけるシステム実装: 著者らは、このスパース性をプロダクショングレードの推論システム vLLM に統合します。この実装は、エキスパート並列性や既存の最適化（HIP Graph、CUDA Graph、カーネル融合）との互換性を維持しつつ、共有エキスパートの実行とルーターロジックを保持したまま、ルーティングされたエキスパートの実行パイプラインを変更します。
- ゲート投影: 活性化スコアを決定するために、バッチ行列乗算（BMM）カーネルを用いて密に実行されます。
- 活性化マスキング: カスタム Triton カーネルが単一パス（ $O(n)$ ）で閾値ベースのマスキングを実行し、トップ k ソートの計算コスト（ $O(n \log n)$ ）を回避します。
- 融合アップ・ダウン投影: カスタムスパースカーネルが、活性化するニューロンの重みのみを収集し、共有メモリに密行列にパックしてから、密行列ベクトル乗算を実行します。このアプローチは、スパースアクセスの不規則性と高密度ハードウェアアクセラレータのスループットのバランスを取ります。
- 動的切り替え: 低遅延なスパース実行と高スループットな密実行の間のトレードオフに対処するため、システムはバッチサイズに基づいてスパースパスと密パスの間を動的に切り替えます。

主要な貢献

エキスパート内スパース性の発見: 本論文は、既存の事前学習済み MoE モデルにおいて、モデルパラメータや活性化関数への一切の変更なしに、実質的なエキスパート内活性化スパース性が容易に利用可能であることを実証しています。
システム統合: 著者らは、vLLM の MoE 実行パイプラインを再設計し、GPU 上でエキスパート間およびエキスパート内の両方のスパース性を効率的に活用できるようにしました。これにより、エキスパート並列性やグラフキャプチャなどのプロダクションレベルの機能を完全にサポートしたままにしています。
性能評価: この研究は、異なるモデルスケールとハードウェア（AMD MI355X、NVIDIA H200、RTX4090）にわたる包括的な評価を提供し、この最適化の実用性を確立しています。

結果

スパース性レベル: 本研究は、モデルがベースライン精度の 95% を維持するスパース性カットオフを特定しました。例えば、テストされた最大モデル（Llama-4-Maverick）は、最大 90.8% のエキスパート内スパース性で精度を維持し、Granite-1B-A400M などの小規模モデルでは 26.5% で維持されます。
レイヤーの高速化: エキスパート内スパース実行は、密な vLLM ベースラインと比較して、MoE レイヤー実行において最大 2.5 倍 の高速化を実現します。この高速化は、リソース制約の厳しいハードウェア（例：RTX4090）や、メモリおよび計算のボトルネックがより深刻な大規模モデル（Qwen3.5-122B-A10B）で最も顕著です。
エンドツーエンドの高速化: アムダールの法則（MoE レイヤーは総実行時間の約 45% を占めるため）により、エンドツーエンドの推論速度向上はより控えめであり、H200 では最大 1.2 倍、MI355X では 1.1 倍を達成しました。この恩恵は、遅延に制約されるワークロード（例：小バッチサイズのデコード中心のシナリオ）で最も顕著です。
精度の維持: 閾値ベースのアプローチは、特定されたスパース性カットオフまで（例：Qwen3.5-35B-A3B の場合、85% の目標スパース性）、ベースラインの平均ベンチマークスコアの 95% を維持します。

重要性
本論文は、エキスパート内活性化スパース性を、エキスパート間スパース性に対する実用的かつ補完的な最適化技術として位置づけています。これは、選択された各エキスパートの密な FFN 内に内在する冗長性を活用することで、エキスパート間スパース性をさらに押し広げることの限界に対処します。著者らは、この研究が将来の効率的な LLM 研究の基礎を築き、再訓練やアーキテクチャの変更を必要とせずに大規模 MoE モデルのサービングコストを削減する方法を提供すると主張しています。vLLM への統合は、そのようなスパース性が高性能なプロダクションシステムで効果的に活用可能であることを示しており、理論的なスパース性と実現されたスループットの間のギャップを埋めています。