🤖 machine learning

SHAPE: Coalition-Aware Expert Pruning for Sparse Mixture-of-Experts LLMs

SHAPEは、層内におけるエキスパート間の協力を協力ゲームとしてモデル化し、Shapley値に基づく属性付与を通じて不可欠な協調的サブセットを特定・保持することで、追加学習なしに精度を維持しつつメモリフットプリントを削減する、Sparse Mixture-of-Experts LLMのためのタスク駆動型エキスパート・プルーニング・フレームワークである。

原著者： Yuhao Zhang

公開日 2026-06-10

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yuhao Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大で高出力なキッチン（大規模言語モデル）を想像してみてください。これは複雑な答えを調理するために設計されています。このキッチンでは、一人の巨大なシェフがすべてを行うのではなく、Mixture-of-Experts (MoE) というシステムを使用しています。これは、100人の専門特化した副シェフ（「エキスパート」）のチームのようなものです。

顧客が料理を注文（プロンプト）すると、ヘッドウェイター（「ルーター」）がその注文を確認し、一緒に作業するために最適な3人のシェフを選び出します。魔法のような点は、その瞬間に100人のシェフ全員が動いている必要はないということです。必要な特定の3人だけが動けばよいのです。これにより、キッチンは非常に高速かつ効率的になります。

問題：「メモリの壁」
たとえ一度に調理しているのが3人のシェフだけであっても、キッチンのオーナーは100人のシェフ全員を、いつでも動けるようフル装備の状態で部屋に待機させておかなければなりません。なぜなら、ウェイターは次の注文で誰でも必要にする可能性があるからです。

問題点: 100人のシェフがいるキッチンでは、彼らを全員収めるための巨大で高価な部屋（GPUメモリ）が必要になります。このため、これらの強力なキッチンを、より小さく安価なスペース（ノートパソコン1台や小さなサーバーなど）で動かすことは不可能です。
古い解決策: 以前の縮小の試みは、マネージャーが「今週あまり働いていないシェフを解雇しよう」と言うようなものでした。これは欠陥があります。なぜなら、あるシェフは頻繁に呼ばれないかもしれませんが、特定のパートナーと一緒に調理する時には、傑作を生み出すことがあるからです。彼らを解雇することは、その特別なチームワークを壊してしまいます。

解決策：SHAPE（チームワークの探偵）
論文では、料理の味を落とすことなくキッチンを縮小する新しい方法として SHAPE を紹介しています。単にシェフがどれくらい呼ばれたかを数えるのではなく、SHAPEは彼らがどのように協力し合っているかに注目します。

SHAPEの仕組みを、簡単な比喩を使って説明します：

「ゲーム」の観察: SHAPEは、短期間キッチンを観察します（小さな「キャリブレーション・セット」の注文を使用）。単に誰が呼ばれたかを見るのではなく、どの3人のシェフのグループが一緒に呼ばれ、そのグループがどれほど成功したかを観察します。
「シャプレイ」スコア（公平性）: 3人のシェフのグループが完璧な料理を作ったとします。それぞれのシェフにはどれくらいの功績がありますか？
- シェフAは単独では素晴らしいが、シェフBがシェフCなしでは役に立たない場合、単純なカウントでは見逃される可能性があります。
- SHAPEは、**シャプレイ値（Shapley Value）*という数学的概念（「公平性の計算機」と考えてください）を使用します。それはこう問いかけます。「もしこの3人組からシェフAを除いたとしたら、料理は台無しになるだろうか？」*
- もし料理が台無しになるなら、シェフAはそのチームにとって**不可欠（エッセンシャル）**です。たとえそのシェフがそれほど有名ではなくてもです。
- もしシェフAがいなくても料理の味が変わらないなら、シェフAは**冗長（不要）**であると言えます。
「品質カバー率」のルール: SHAPEは、単にスコアが低い下位20%のシェフを解雇するわけではありません。キッチンのすべての「フロア」（モデルの各レイヤー）において、最も重要なチームワークの組み合わせをカバーできるだけのシェフを維持するようにします。これは「二分法」（スマートな推測ゲーム）を使用して、キッチンが小さくなりつつも、99%の料理をこれまで通り完璧に作り続けられるような、最適なシェフの数を導き出します。

結果
研究者たちは、これら3つの現代的な「キッチン」（Qwen, GPT-OSS, DeepSeek）でテストを行いました。

結果: 彼らは、料理の味を損なうことなく、**20%から40%**のシェフを解雇（メモリ使用量を大幅に削減）することができました。
なぜうまくいったのか: 単に「忙しい」シェフではなく、チームワークに「不可欠」なシェフを残すことで、キッチンは安定した状態を維持できたからです。
ボーナス: 多くのシェフを解雇できたため、キッチンを動かすために必要な部屋（GPUメモリ）が非常に小さくなり、これらの強力なモデルをより安価なハードウェアで動かすことが可能になりました。

要約
SHAPEは、勝てるチームの隠れた接着剤である「静かな」シェフを解雇するのは良くない、と気づいているスマートなマネージャーのようなものです。代わりに、簡単に代わりが利く「目立つ」シェフを解雇します。これにより、仕事の質を全く変えることなく、チームの規模とオフィススペースを縮小できるのです。

技術要約：SHAPE – 疎なMixture-of-Experts LLMのための連合（Coalition）を考慮したエキスパート・プルーニング

1. 問題提起

疎なMixture-of-Experts (SMoE) アーキテクチャは、数百億または数兆のパラメータを持つ大規模言語モデル（LLM）を、サブリニアな学習コストと低いトークンあたりの推論レイテンシを維持しながらスケールアップさせるための極めて重要な手法となっています。しかし、これらの巨大なモデルのデプロイメントは、深刻な「メモリの壁」に直面しています。条件付き計算によって、トークンごとに疎なエキスパートのサブセットのみがアクティブになることが保証されているものの、動的でトークン依存のルーティング決定をサポートするために、エキスパートの全プールがGPUメモリ内に常駐している必要があります。この要件は、DeepSeek-V3.2のようなモデルにおいてテラバイト級のVRAMを要求することになり、リソース制約のある環境での利用を制限しています。

エキスパート・プルーニングのような既存の圧縮戦略は、冗長なエキスパートを削除することでパラメータのフットプリントを削減することを目指しています。しかし、現在のプルーニング手法は、根本的なモデリングのギャップを抱えています。それらは主に、活性化頻度やゲーティングの大きさといった指標に基づいてエキスパートを独立してスコアリングするという、エキスパート単位の視点を採用しています。このアプローチは、MoE推論の本質的な連合的（coalitional）性質を見落としています。つまり、モデルの出力は特定のトップ- $k$ の連合（coalition）による非線形な合成によって生成されるものです。その結果、独立したスコアリングは、高ユーティリティなエキスパート間の協調関係を解体してしまうリスクがあり、たとえ個々のエキスパートが単独では冗長に見えたとしても、複雑なタスクにおける性能を不釣り合いに低下させる可能性があります。

2. メソドロジー：SHAPEフレームワーク

著者らは、層内のエキスパート間の協力を明示的にモデル化するタスク駆動型フレームワークであるSHAPE（Shapley-guided, Coalition-Aware Expert Pruning）を提案しています。SHAPEは再学習なしで動作し、小さなキャリブレーション・セットを利用してプルーニングの決定を導きます。その手法は、以下の3つのコアコンポーネントで構成されています。

A. タスク駆動型キャリブレーションとルーティング・トレース

SHAPEは、未プルーニングのモデルを用いて、小さなタスク特化型キャリブレーション・データセット（ $D_{cal}$ ）に対するオフライン・パスを実行します。これにより、すべてのMoE層における全トークンのルーティング決定（トップ- $k$ のエキスパート選択）を記録します。これにより、観測されたエキスパートの組み合わせ（連合）とその活性化頻度のセットが得られ、これらがタスク条件付きのエキスパート協力を特徴付ける経験的統計量として機能します。

B. 連合ベースのユーティリティとシャプレー流の価値評価

エキスパートを独立したユニットとして扱うのではなく、SHAPEは推論プロセスを経験的な協力ゲームとして定式化します。

ユーティリティの定義: ある連合（特定の $k$ 個のエキスパートのセット）のユーティリティは、キャリブレーション・セットにおけるその観測された活性化頻度によって定義されます。
限界貢献度: エキスパートの価値を決定するために、SHAPEは連合のユーティリティに対するそのエキスパートの限界貢献度を推定します。トップ- $k$ のルーティング下では、トップ- $k$ の連合からエキスパートを削除すると $(k-1)$ のサブセットになりますが、これは直接的には観測されないため、SHAPEは共起統計を用いてこれらのサブ連合のユーティリティを近似します。
シャプレー流の近似: 本フレームワークは、各エキスパートに対するシャプレー流のスコア（ $\phi$ ）を計算します。このスコアは、エキスパートが参加するすべての連合における限界貢献度を、連合のサイズで重み付けして平均したものです。
単調性補正: 近似が協力ゲームの単調性要件（すなわち、ある連合のユーティリティは、そのサブ連合よりも低くなってはならない）を尊重することを確実にするため、SHAPEは観測された頻度から導出された保守的なスケーリング係数（ $\alpha$ ）を導入します。これにより、エキスパートの代替可能性を過大評価することを防ぎます。

C. シャプレー品質カバレッジ選択

どのエキスパートを保持するかを決定するために、SHAPEは単純なカウントベースの閾値ではなく、品質カバレッジ選択ルールを採用しています。

層レベルのカバレッジ: 各層について、フレームワークは非負のシャプレー・スコアに従ってエキスパートをソートします。そして、累積的なシャプレー質量が層全体の貢献の割合 $\alpha$ をカバーするような最小のエキスパート・サブセットを選択します。
グローバル・バジェットのマッチング: グローバルな目標保持率（例：エキスパートの60%または80%を保持）を満たす最適なカバレッジ閾値 $\alpha$ を見つけるために、二分探索（bisection）が使用されます。
構造の保存: このアプローチは、価値が集中している層にはより少ないエキスパートを保持させ、一方で貢献が分散している層にはより多くのエキスパートを保持させることで、特定の層にプルーニングが不当に影響を与える「層の崩壊（layer collapse）」を防ぎ、層ごとの協力的容量を維持することを保証します。

3. 主な貢献

連合的エキスパート評価: 本論文は、MoEプルーニングを、独立した重要度推定から連合を考慮した貢献モデリングへと再定義します。シャプレー値を用いて、ルーティングされた連合に条件付けられたエキスパートの貢献を帰属させる原理的なメカニメントを導入し、頻繁に選択されるエキスパートと、高ユーティリティな協調に不可欠なエキスパートを区別します。
構造保存型プルーニング戦略: SHAPEは、層レベルの協力的容量を維持するトポロジー認識型の選択メカニズムを提案します。品質カバレッジ制約に基づく累積シャプレー値を用いることで、グローバルなランキングや固定された層ごとのカウントによって引き起こされる構造的不均衡を回避します。
実証的検証: 広範な実験により、エキスパートの協力を維持することが効果的な圧縮に極めて重要であることが示されました。本フレームワークは、推論集中的なベンチマークにおいて、性能低下を最小限に抑えつつ、最大40%の有意なプルーニングを実現し、ヒューリスティックなベースラインや最先端の学習フリー・プルーニング手法を凌駕しました。

4. 実験結果

著者らは、Qwen3-30B-A3B、GPT-OSS-20B、および DeepSeek-V2-Lite の3つの現代的なMoEバックボーンに対してSHAPEを評価しました。評価は、数学的推論（GSM8K、MATH-500）、コード生成（HumanEval）、知識QA（GPQA-Diamond）、および医療QAを含む多様なベンチマークを対象としました。

性能の維持: 20%のプルーニング比率の下で、SHAPEは未プルーニングのベースラインと同等、あるいは場合によってはそれをわずかに上回る性能を維持しました。40%のプルーニング比率においても、SHAPEは（ランダム・プルーニング、頻度ベース、ゲーティングベース、RAEP、EASY-EPを含む）ベースライン手法を一貫して上回り、特にエキスパートの協調が重要な推論集中的なタスクにおいて顕著でした。
堅牢性: 推論タスク（GSM8K、GPQA-Diamondなど）はプルーニングに対して高い感受性を示しましたが、SHAPEの連合認識アプローチは、エキスパート単位のヒューリスティックよりも性能を大幅に維持しました。より大規模なモデル（Qwen3、GPT-OSS）はより高い回復力を示しましたが、SHAPEはよりコンパクトなDeepSeek-V2-Liteに対しても有効でした。
メモリ効率: プルーニングはピークGPUメモリ・フットプリントを直接的に減少させました。本研究は、エキスパートの活性化の疎性に関わらず、フル・エキスパート・プールをサービングすることが多大なメモリ・オーバーヘッドを生じさせることを強調しています。SHAPEは、追加の学習やアーキテクチャの変更なしに、プルーニング比率に比例した明確なVRAM使用量の削減を可能にしました。
アブレーション研究: グローバル・ランキングおよび層ごとの独立したプルーニングとの比較により、品質カバレッジ制約が極めて重要であることが確認されました。グローバルなプルーニングは構造的不均衡を招き、層ごとのプルーニングはタスク特有の容量分布を考慮できませんでした。SHAPEのバランスの取れたアプローチは、すべてのプルーニング比率において最も安定した性能をもたらしました。

5. 重要性と主張

本論文は、SHAPEが現在のMoE圧縮における決定的な限界、すなわちエキスパート推論の協力的性質を考慮できていないという問題を解決すると主張しています。エキスパート個別の指標から連合ユーティリティへと焦点を移すことで、SHAPEは、メモリ制約のある環境で大規模なMoEモデルをデプロイするための、堅牢で学習フリーなソリューションを提供します。

著者らは、彼らの研究が再学習やアーキテクチャの変更を必要としないため、実用的かつデプロイ指向の最適化であることを強調しています。結果は、現代のMoEモデルにおけるエキスパート・プールのかなりの部分が、単独で考慮された場合には限定的な限界効用しか持たない一方で、その協調の構造こそがモデルの性能を支えていることを示唆しています。SHAPEは、これらの重要な協調構造を特定し保存することに成功しており、モデルの容量とリソース・フットプリントの間の良好なトレードオフを可能にします。さらなる研究と応用を促進するため、オープンソースのコードも提供されています。