技術要約: Less is MoE: ドメイン特化型言語モデルにおけるエキスパートのトリミング

問題提起

Mixture-of-Experts (MoE) モデルは、条件付き計算を通じて効率的な推論を維持しながら、言語モデルの容量をスケールアップするための支配的なパラダイムとなっています。しかし、その膨大な総パラメータ・フットプリントは、メモリ、ストレージ、およびサービングコストに関するデプロイメントの大きな障壁となっています。

MoE モデルを圧縮しようとする従来のアプローチは、通常、活性化頻度、ルーター・スコア、または重みの大きさといったヒューリスティックな重要度指標に基づいて、エキスパート全体を削除または統合するというエキスパート・レベルの操作を行ってきました。著者らは、これらの手法が、常識的な推論（数学的推論、コード生成、複雑な推論タスクなど）を超えた汎用ベンチマークで評価された際に、**壊滅的な性能崩壊（catastrophic performance collapse）**を引き起こすことを指摘しています。論文では、この失敗の原因として以下の2つの要因を仮説として立てています：

1. 不正確な重要度指標: 既存のヒューリスティックは、パラメータの重要性を正しく推定できていない。
2. 粗い粒度: エキスパート・レベルでの圧縮は、能力が特定の専門エキスパートに局在していることを前提としている。実際には、論文の主張によれば、能力はエキスパート間に分散しているものの、Feed-Forward Networks (FFN) 内の**少数の中間次元（intermediate dimensions）**に集中している。エキスパート全体を削除することは、冗長な次元と重要な次元の両方を同時に破棄してしまうことになる。

手法

1. 重要度の帰属：経験的フィッシャー情報量 (Empirical Fisher Information)

著者らは、パラメータをランク付けするためのより優れた指標として、経験的フィッシャー情報量を使用することを提案しています。活性化比率、ルーター・スコア、または重みの大きさとは異なり、フィッシャー情報は、特定のパラメータに対する摂動に対するモデルの予測分布の感度を測定します。

• 導出: この手法は、キャリブレーション・セットからのグラウンドトゥルース・データを用いて、フィッシャー情報行列 ($F_\theta$) を近似します。重み $W^{gate}_i, W^{up}_i, W^{down}_i$ を持つ MoE エキスパート $E_i$ について、各中間次元 $j$ に対するフィッシャー・スコアが計算されます。
• 粒度: 著者らは、このスコアリングを、エキスパートやルーターのレベルではなく、中間次元レベル（$W^{gate}/W^{up}$ の行、および $W^{down}$ の列）へと拡張しています。
• 検証: 実証的な証拠により、フィッシャー情報量がすべてのベースラインを凌駕することが示されています。決定的なことに、フィッシャー・スコアによって「トップ」として特定された約135万個の中間次元のうち、わずか12個をゼロにするだけで、数学的推論（GSM8K/MATH）の性能がほぼゼロまで崩壊する一方で、事実に関する知識は概ね保持されます。これは、フィッシャーがタスクに不可欠な極小の次元セットを正しく特定できていることを裏付けています。

2. 圧縮戦略: Fisher-MoE

この帰属分析に基づき、著者らはエキスパートを完全に削除するのではなく、各エキスパートの FFN 内で動作する細粒度な圧縮手法である Fisher-MoE を提案しています。

• メカニ詞: 各エキスパートについて、中間次元をフィッシャー・スコアによってランク付けします。スコアの低い割合（例：50%）は、重み行列 ($W^{gate}, W^{up}, W^{down}$) のサイズを変更することで物理的に削除されます。
• 割り当てルール: 論文では3つの予算割り当て戦略を検討しています：
  • IntDim-E: 各エキスパート内で上位 $(1-p)$ の次元を保持する。
  • IntDim-L: 全エキスパートの次元をレイヤー内でプールし、レイヤーあたり上位 $(1-p)$ を保持する。
  • IntDim-G: モデル全体の次元をプールし、グローバルに上位 $(1-p)$ を保持する。
• 保存: このアプローチは、モデルのルーティング挙動とトークンあたりのアクティブなエキスパート数を維持しますが、アクティブなエキスパートの内部次元 ($d_{ff}$) を削減します。

主な貢献

1. 構造的洞察: 本論文は、MoE モデルの能力はエキスパート・レベルに局在しているのではなく、すべてのエキスパートに分散した少数の中間次元に集中しているという構造的特性を明らかにしました。これが、エキスパート・レベルの圧縮が失敗する理由です。
2. 帰属ツールとしてのフィッシャー重要度: 著者らは、中間次元を帰属の単位として定義し、経験的フィッシャー情報量が、活性化、ルーター、および大きさに基づく指標よりも、クリティカルな次元と冗長な次元を区別するための堅牢なツールであることを実証しました。
3. Fisher-MoE アルゴリズム: フィッシャー・ランキングに基づいて FFN 行列を物理的にリサイズする、細粒度な圧縮手法を提案しています。この手法は、エキスパート・レベルのプルーニングで見られるような壊滅的な失敗なしに、高い圧縮率を実現します。

結果

著者らは、Qwen1.5-MoE-A2.7B、OLMoE-1B-7B、および大規模なフロンティア・モデル（Qwen3-30B-A3B、Qwen3.5-35B-A3B）を用いて、8つの汎用ベンチマーク（知識、コード、推論、数学）で Fisher-MoE を評価しています。

• 性能の維持: 50% の MoE 圧縮率（ルーティングされる FFN パラメータの 50% を削除）において：
  • エキスパート・レベルの手法（フィッシャー・スコアを使用しているものさえも）は、GSM8K、HumanEval、MATH において壊滅的な低下を招きます。
  • Fisher-MoE (IntDim-E) は、エキスパート・レベルの手法が失ってしまう数学およびコード推論の能力を保持し、ダウンストリームの性能を維持します。ケースによっては（例：CEval、MultiArith）、非圧縮のベースモデルと同等、あるいはそれをわずかに上回る性能を示します。
  • スケーリング: この優位性は、より大規模なモデル（30B パラメータ以上）や、長い Chain-of-Thought (CoT) 推論タスクにおいても維持されます。
• ポストトレーニングによる回復: ドメインデータを用いた教師あり微調整 (SFT) を組み合わせた場合、Fisher-MoE は非圧縮の Base + SFT の上限に近いレベルまで性能を回復させますが、エキスパート・レベルの手法は依然として著しく劣化したままとなります。
• デプロイメント効率:
  • メモリ: 重みメモリを 約45% 削減。
  • スループット: H100 GPU 上で推論スループットを 21% 向上（1.21倍の高速化）。
  • KV キャッシュ: 解放された VRAM により、KV キャッシュ予算を 33.7% 増加させることができ、リクエスト容量が増大します。
  • 互換性: Fisher-MoE は 4-bit 量子化 (AWQ) と効果的に組み合わせることができ、量子化への感度を増幅させることなく、デプロイメント・フットプリントを元のサイズの約 1/8 まで削減できます。
  • 汎用性: 数学に最適化された（GSM8K による）フィッシャー・スコアを使用して圧縮されたモデルは、ドメイン外のタスク（知識、コード、推論）においても強い性能を維持しており、この手法がキャリブレーション・ドメインに過剰適合しないことを示しています。

意義と主張

本論文は、中間次元の粒度が、MoE モデルにおける圧縮と能力分析の両方における実効的な単位であると主張しています。本研究の意義は以下の通りです：

1. 圧縮の粒度の再定義: MoE の圧縮はエキスパート・レベルで行われなければならないという従来の仮定に異議を唱え、エキスパート内の細粒度なトリミングが複雑な推論能力を維持するために必要であることを実証しました。
2. 優れた帰属分析: 経験的フィッシャー情報量を、MoE モデル内のどこに能力が「存在する」かを理解するための重要なツールとして確立し、クリティカルなパラメータが疎であり、かつ分散していることを明らかにしました。
3. 実用的なデプロイメント: 数学やコード生成のような高リスクなタスクに必要な性能を犠牲にすることなく、メモリとレイテンシの要件を大幅に削減して大規模な MoE モデルをデプロイするための実用的な経路を提供します。

著者らは、計算上の制約により 100B+ パラメータのバックボーンを調査していないこと、また、非圧縮モデルとの残差を完全に特徴付けるための多様なコーパスを用いた広範なポストトレーニング回復研究を行っていないことなど、限界についても謙虚に述べており、これらを今後の研究課題として挙げています。