EvoESAP: Non-Uniform Expert Pruning for Sparse MoE

本論文は、疎な MoE モデルの展開コスト削減に向けたポストトレーニング剪定手法「EvoESAP」を提案し、新しい指標「ESAP」を用いて進化計算により層ごとの非一様なスパース性配分を最適化することで、均一剪定よりも大幅に生成性能を向上させることを示しています。

要約

🏭 1. 問題：巨大な工場の「無駄な機械」

まず、現代の高性能な AI（特に「SMoE」と呼ばれるタイプ）は、**「巨大な工場」**のようなものだと想像してください。

• 工場（AI モデル）： 1 つの大きな建物の中に、**「専門家（エキスパート）」**と呼ばれる数百人の職人さんがいます。
• 仕組み： 質問が来ると、**「マネージャー（ルーター）」**が「この質問は A さんの得意分野だから A さんに任そう」と、必要な職人さんだけを呼び出します。
• メリット： 一度に全員が働くわけではないので、計算コストは安いです。
• デメリット（ここが問題）： 工場全体を維持するには、**「全員分の制服や道具（メモリ）」を常に用意しておかなければなりません。つまり、実際に使うのは数人でも、「全員分のスペース」**を確保しないといけないため、サーバーの容量がパンクしやすく、運用コストが高いのです。

そこで、「使わない職人さんをクビにして、工場を小さくしよう」という**「剪定（せんてい）」**という試みが行われています。

❌ 2. 従来の方法の限界：「均等なクビ切り」

これまでの研究では、工場の各階層（フロア）ごとに、**「全員から均等に 10% ずつクビにする」**という方法が主流でした。
「1 階も 2 階も 3 階も、全員同じ割合で減らす」という発想です。

しかし、これは**「頭脳と手足を同じ割合で減らす」**ようなもので、実は非効率かもしれません。

• 計算の「要（かなめ）」になるフロアは、職人を多く残すべきかもしれません。
• 逆に、あまり重要でないフロアは、もっと大胆に減らしても大丈夫かもしれません。

**「どこをどれだけ減らすか（配分）」**を工夫すれば、もっと性能を維持できるはずなのに、これまでそこはあまり研究されていませんでした。

💡 3. 解決策：EvoESAP（進化する剪定術）

この論文が提案するのは、**「EvoESAP」という新しい方法です。これは、「工場全体の配置図を、進化の力で最適化する」**というアプローチです。

① 2 つのステップに分ける

この方法は、剪定を 2 つのステップに分けて考えます。

1. 「誰をクビにするか」： 各フロア内で、どの職人が重要かを評価する（これは既存の技術を使います）。
2. 「どこを何人減らすか」： 重要度が高いフロアには職人を多く残し、低いフロアは大胆に減らす**「不均等な配分」**を見つける。

② 「ESAP」という魔法のテスト

ここで重要なのが、**「ESAP（エスプ）」**という新しいテスト方法です。

• 従来のテスト： 剪定した工場をテストするには、実際に「質問をして、答えが出るか」を何千回も試す必要があり、時間とコストが膨大でした。
• ESAP のテスト： 「質問に対して、元の工場と剪定後の工場が同じ方向を向いているか」を、**「予言」**のような計算で瞬時にチェックします。
  • 例え話： 本番の試験（生成）をする代わりに、**「模試の答え合わせ」**を瞬時に行うようなイメージです。これにより、何千パターンもの「配分案」を、短時間で比較・選別できます。

③ 進化的な検索（Evo）

「ESAP」を使って、**「どのフロアに何人残せば一番良いか」を、「進化（遺伝的アルゴリズム）」**のように試行錯誤します。

• 最初は「均等配分」や「ランダム配分」など、いくつかの案を用意します。
• 一番良い案（高得点）を残し、少し変形させて新しい案を作ります（「1 階から 2 人減らして、3 階に 2 人増やす」など）。
• これを繰り返すことで、**「人間には思いつかないような、最適な不均等な配分」**を見つけ出します。

🚀 4. 結果：劇的な性能向上

この方法を実際にテストした結果、驚くべきことがわかりました。

• 数学やプログラミングの能力が大幅アップ：
  特に「50% まで職人を減らす（半分にする）」という過酷な条件下でも、「数学の問題（MATH-500）」の正解率が、従来の均等配分に比べて 19.6% も向上しました。
• 創造的な文章も守れる：
  単なる正解率だけでなく、「物語を書く」や「コードを書く」といった、柔軟な創造的な能力も、従来の方法よりよく保たれました。
• 均等配分の限界を打破：
  「どのフロアも同じ割合で減らす」のは、実は**「頭脳（重要な部分）まで削ぎ落としていた」可能性があります。EvoESAP は、「重要な部分は守り、不要な部分を大胆に削る」**という、より賢い配分を見つけました。

🌟 まとめ

この論文が伝えていることはシンプルです。

「AI を小さくするときは、単に『全員を均等に減らす』のではなく、
「どこに力を入れるべきか」を AI 自身に探させ、
「重要な部分は守り、不要な部分を削る」という、
「カスタマイズされた剪定」を行えば、
「驚くほど高性能な小型 AI」が作れる！」

これは、AI をより安価で、より多くのデバイス（スマホやローカル PC など）で動かせる未来への大きな一歩です。

技術概要

EvoESAP: 疎な MoE における非一様なエキスパートプルーニングのための技術的サマリー

本論文「EvoESAP: Non-Uniform Expert Pruning for Sparse MoE」は、疎なミクスチャー・オブ・エキスパート（SMoE）言語モデルの展開コスト（メモリ使用量やスループット）を削減しつつ、特に自由記述形式（Open-ended generation）の生成能力を維持するための新しいフレームワークを提案しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

1. 問題定義と背景

• SMoE の展開課題: 疎な MoE モデルは、トークンあたりの計算コストを低く保ちながら大規模なパラメータ数を維持できるため強力ですが、すべてのエキスパートをメモリに保持する必要があるため、展開時にメモリ制約とスループット制約に直面します。
• 既存のプルーニング手法の限界:
  • 従来のポストトレーニングプルーニング手法の多くは、「各層内でどのエキスパートを削除するか（層内選択）」に焦点を当てており、「各層でどの程度のプルーニングを行うか（層間予算配分）」については、**一様（Uniform）**な配分をデフォルトとして採用しています。
  • しかし、ビジョン分野や密な LLM のプルーニング研究では、**非一様（Non-Uniform）**な層間配分が性能に大きく影響することが示されています。
  • 既存の SMoE プルーニング研究でも、一様配分が最適であるとは限らず、特に自由記述生成の品質を維持する上で、最適な非一様配分を見つけることが重要であるにもかかわらず、その探索は十分に行われていませんでした。
• 評価コストの問題: 候補モデルの性能を評価するために、従来の「スペキュレイティブ・デコーディング（Speculative Decoding）」の受入率を直接測定する方法は、多数の候補を評価する際に計算コストが膨大になり、実用的ではありません。

2. 提案手法：EvoESAP

著者らは、プルーニングを「層内でのエキスパート選定」と「層間での予算配分」に分解し、後者を最適化するための進化探索フレームワーク EvoESAP を提案しました。

2.1. Expected Speculative Acceptance Proxy (ESAP)

進化探索における適応度関数（Fitness Function）として、新しい指標 ESAP を導入しました。

• 目的: 剪定されたモデルが元のフルモデルとどの程度挙動が似ているかを、低コストで測定する。
• 仕組み: スペキュレイティブ・デコーディングの受入率を近似します。具体的には、教師あり（Teacher-forced）なコンテキストにおいて、ベースラインモデル（フルモデル）と候補モデルの次トークン分布の重なりを計算します。
• 数式的特徴: 候補モデルの分布 $q$ とベースラインの分布 $p$ に対し、以下の式で定義されます。
  $$\text{ESAP}(x) = \sum_{v \in V} \min(p(v|x), q(v|x))$$
  これは全変動距離（Total Variation Distance）の補数（$1 - \text{TV}$）と等価であり、確率分布の一致度を表します。
• 利点: 自動回帰的な生成を行わず、全語彙の確率分布を直接比較するため、計算が安価で安定しており、多数の候補を迅速に評価できます。

2.2. 進化探索フレームワーク

• 固定された層内順序: 任意の重要度指標（Frequency, SEER, EAN, REAP など）を用いて、各層内のエキスパートの削除順序を事前に決定します。
• 層間予算配分の最適化: 固定されたグローバル予算（全体的なプルーニング率）の下で、各層に割り当てる削除数（または残存密度）を最適化します。
• 探索手法:
  • レベルスイッチ変異（Level-switch Mutation）: 2 つの異なる層間でプルーニング予算を移動させる操作を行います（例：層 A の予算を 1 つ増やし、層 B の予算を 1 つ減らす）。これにより、グローバル予算を維持しつつ非一様な配分を探索します。
  • 適応度評価: 上記の ESAP を用いて、各候補配分のスコアを計算し、進化アルゴリズム（選択、変異、世代交代）を通じて最適な非一様配分を探索します。

3. 主要な貢献

1. ESAP の導入: スペキュレイティブ・デコーディングに着想を得た、教師ありの代理指標（Proxy Metric）を開発し、生成能力を維持するプルーニング候補の効率的な評価を可能にしました。
2. 層間予算配分の重要性の解明: SMoE プルーニングにおいて、層間配分が重要な決定要素であることを示しました。単純なヒューリスティック（一様配分など）では性能が低下する可能性があり、最適化された非一様配分が性能向上に寄与することを発見しました。
3. EvoESAP フレームワークの提案: 既存の層内選定指標（Frequency, REAP など）と組み合わせ可能なプラグアンドプレイ型の進化探索フレームワークを提案しました。
4. 広範な実験的検証: 7B〜30B スケールの SMoE モデル（OLMoE, ERNIE-4.5, Qwen3）および 25%〜50% のプルーニング率において、一様配分と比較して自由記述生成（コーディング、数学）において顕著な性能向上を達成しました。

4. 実験結果

• 評価対象: OLMoE-1B-7B, ERNIE-4.5-21B, Qwen3-30B の 3 つのモデル。
• 評価指標: コード生成（Eval+, LiveCodeBench）、数学問題（GSM8K, MATH-500）、自由記述（WildBench）、多肢選択問題（MMLU, ARC など）。
• 主な結果:
  • 自由記述生成の大幅な向上: 50% のプルーニング率において、ERNIE-4.5-21B モデルで MATH-500 において +19.6% の改善（一様配分と比較）を達成しました。OLMoE でも同様にコーディングや数学の性能が向上しました。
  • 多肢選択問題の維持: 自由記述生成が向上する一方で、多肢選択問題（MC）の精度は同程度か、わずかに向上する傾向が見られました。
  • 指標の非普遍性: どのプルーニング指標（REAP, Frequency など）が最良かはモデルやタスクによって異なり、EvoESAP はどの指標を用いても、その指標の「層内順序」を固定したまま「層間配分」を最適化することで、追加の性能向上をもたらしました。
  • 計算コスト: 真のスペキュレイティブ・デコーディングによる評価（29.49 時間）と比較して、ESAP を用いた探索は 1.64 時間 と大幅に高速化されました。

5. 意義と結論

EvoESAP は、SMoE モデルの展開コスト削減において、単に「どのエキスパートを削除するか」だけでなく、「どの層にどの程度の容量を残すか」という非一様配分の最適化が極めて重要であることを実証しました。

• 実用性: 微調整（Fine-tuning）を必要とせず、既存のプルーニング指標をそのまま利用して、より高性能な圧縮モデルを構築できます。
• スケーラビリティ: 大規模モデル（30B パラメータ以上）においても、メモリ使用量を削減しつつ、複雑な推論タスク（数学、コーディング）の能力を維持・向上させることが可能であることが示されました。
• 将来展望: 本研究は、モデル圧縮における「層間構造の設計」の重要性を再認識させ、より効率的な大規模言語モデルの展開への道筋を示唆しています。

要約すると、EvoESAP は「均一な削減」ではなく「賢い非一様な削減」を実現することで、SMoE モデルのポテンシャルを最大限に引き出すための画期的なアプローチです。