ConMoE: Expert-Pool Consolidation via Prototype Reassignment for MoE Compression

ConMoE の技術的概要：MoE 圧縮のためのプロトタイプ再割り当てによるエキスパートプールの統合

1. 問題定義

エキスパート混合（Mixture-of-Experts: MoE）言語モデルは、トークンごとに小さなサブセットのエキスパートのみを活性化することでスケーラビリティを達成し、トークンごとの計算量を削減しています。しかし、フルのルーティング済みエキスパートプールは依然として保存および提供される必要があり、展開において大きなメモリボトルネックを生み出しています。既存のポストトレーニング圧縮手法は、主にエキスパートの剪定（使用頻度や重要性に基づいてエキスパートを削除）またはエキスパートの統合（複数のエキスパートを新しい融合モジュールに結合）を通じてこの問題に対処しています。

著者らは、これらのアプローチがしばしば 2 つの異なる決定を混同していると主張しています：

1. どのエキスパートパラメータを保持すべきか？
2. 圧縮後、ルーターの元のエキスパート参照をどのように表現すべきか？

剪定はパラメータを削除するのに対し、統合は新しい重みを構築するため、多くの場合、圧縮後の微調整や複雑な融合演算子が必要です。本論文は、エキスパートプールの統合という補完的な視点を提示します。このアプローチでは、再利用可能なプロトタイプとして、より少ない数の事前学習済みエキスパートを保持し、元の各エキスパート参照をこれらの選択されたプロトタイプのいずれかに決定的に再マッピングします。これにより、削減されたプールの保存と再利用構造を分離でき、重みの更新なしに元のルーターインターフェースをそのまま維持することが可能になります。

2. 手法：ConMoE

提案されるフレームワークConMoEは、プロトタイプの選択と決定的な再割り当てを通じて動作する、トレーニング不要のワンショット圧縮手法です。

A. 問題定式化
この手法は、1 つ以上の隣接する MoE レイヤーを含む局所的なスコープ $G$ を定義します。削減率 $\rho$ が与えられたとき、元のエキスパートプール $E_G$ からサイズ $K$ の削減されたプロトタイププール $P_G$ を構築することが目的です。各元のエキスパート $e$ が選択されたプロトタイプ $p$ にマッピングされる再割り当てマップ $m_G: E_G \to P_G$ が確立されます。
理想的な目的関数は、保持されるエキスパートの重要性と、他のエキスパートの再マッピングによって生じる誤りのバランスを取りながら、再割り当てコスト $L_G(P)$ を最小化することです。

B. プロトタイプスコアリングと選択
組合せ最適化問題を直接解く代わりに、ConMoE はヒューリスティックなスコアリング規則を使用して、トップ $K$ のエキスパートをプロトタイプとして選択します。各エキスパート $e$ について、キャリブレーションデータを用いて 2 つのスコアが計算されます：

1. ルーティング条件付き貢献度（$a_e$）：ルーターによって選択された際のエキスパートの平均貢献度を、ルーティング確率と出力ノルムで重み付けて測定します。
2. 代替可能性（$b_e$）：スコープ内の最寄りの近隣までの距離を測定します。距離が大きいほど、そのエキスパートは代替が困難であることを意味します。

最終スコアは、正規化された貢献度スコアと代替可能性スコアの積（$s_e = \bar{a}_e \bar{b}_e$）となります。トップ $K$ のエキスパートがプロトタイププール $P_G$ として選択されます。

C. 決定的な再割り当て
プロトタイプが選択されると、すべての元のエキスパートは、$P_G$ 内の最寄りのプロトタイプに割り当てられます。

• 重み更新なし：選択されたプロトタイプは、事前学習済みエキスパートとして直接再利用されます。デフォルトのパイプラインでは、重みの融合や微調整は行われません。
• ルーターの維持：元のルーターは変更されません。ルーターがトークンに対して一連のエキスパートを選択すると、統合されたオペレーターはこれらの呼び出しを割り当てられたプロトタイプにリダイレクトします。複数のルーティング済みエキスパートが同じプロトタイプにマッピングされる場合、それらのルーティング重みは単一の係数に集約されます。

D. スコープと層間再利用
ConMoE は局所的な層間共有をサポートします。スコープには複数の隣接レイヤーを含めることができ、冗長性が認められる場合、プロトタイプをそれら間で共有できます。ただし、スコープは、遠くのレイヤーに見られる深度固有の変換との不一致を避けるために制限されています。

3. 主要な貢献

1. 定式化：本論文は、ワンショット MoE 圧縮をエキスパートプールの統合として定式化し、どのパラメータを保存するかという決定と、元のルータースロットをどのように表現するかという決定を明示的に分離しています。
2. フレームワーク（ConMoE）：元のルーターインターフェースを維持しつつ、論理的なルーティング済みエキスパートプールを削減するトレーニング不要なリマッピング手法です。勾配更新なしにプロトタイプを選択するために、キャリブレーションに基づく貢献度と代替可能性のシグナルに依存しています。
3. 実証的検証：著者らは、複数の事前学習済み MoE モデル（Qwen3、DeepSeekMoE、OLMoE）において、剪定や統合に対する代替手段として、再マッピングに基づく統合が有効であることを実証しました。
4. アブレーションの知見：
   • 決定的な再割り当ては、フレームワークの中で最も安定したコンポーネントであることが特定されました。
   • 層間共有は有益ですが、厳密に局所的です。スコープを広げすぎ（例えば 8〜16 レイヤー）、深度の不一致により性能が低下します。
   • 事後の重み融合（例：Arcee、加重平均）は、この設定では直接プロトタイプの再利用よりも不安定であることが示されました。

4. 実験結果

実験は、Qwen3-30B-A3B、deepseek-moe-16b-base、OLMoE-1B-7B-0125 の 3 つのモデルで行われました。圧縮は、6 つの多肢選択ベンチマーク（WinoGrande、ARC-C、ARC-E、BoolQ、HellaSwag、PIQA）を使用して、25% および 50% の論理的なルーティング済みエキスパート削減率で評価されました。

• 性能：ConMoE は、強力な剪定（Frequency、REAP）および統合（M-SMoE、HC-SMoE）のベースラインと同等かそれ以上の性能を示しました。
  • DeepSeekMoEにおいて、ConMoE は 25% および 50% の削減の両方で最高の平均スコアを達成しました。
  • OLMoEにおいて、25% 削減で最高性能を示し、50% でも競争力のある性能を維持しました。
  • Qwen3において、剪定は強力でした（特に 50% において）、ConMoE は競争力があり、WinoGrande や BoolQ などの特定のタスクで強力な性能を維持しました。
• アブレーション：
  • スコープサイズ：小さなスコープ（1〜4 レイヤー）は、同等か最高の結果をもたらしました。大きなスコープ（8〜16 レイヤー）は著しい性能低下を引き起こし、エキスパートの代替可能性が局所的であることを確認しました。
  • 選択ポリシー：ルーティング条件付き貢献度が支配的なシグナルでした。距離のみの選択は性能が低く、代替可能性は容量割り当ての正則化として最もよく機能しました。
  • 融合：事後の重み融合を適用した手法よりも、直接プロトタイプ再マッピングが優れており、性能向上は重みの統合そのものではなく、再マッピング構造自体から来ていることを示唆しています。

5. 意義と主張

本論文は、決定的なプロトタイプ再割り当てが、従来の剪定や統合に対する堅牢でトレーニング不要な代替手段を提供すると主張しています。圧縮を、再利用可能なプロトタイプへのエキスパートプールの統合として扱うことで、ConMoE は元のモデルのルーターインターフェースを維持し、重み融合や微調整に伴う不安定性を回避しながら、大幅なメモリ節約（論理的削減）を達成します。

著者らは、このアプローチの範囲について控えめであると強調しています：

• これはトレーニング不要ですが、ルーティング統計のためにキャリブレーションデータに依存しています。
• 層間再利用は局所的です。モデル全体の深度にわたるエキスパートのグローバルな交換可能性を前提としていません。
• 報告されている節約は論理的なものです。展開における物理的メモリ節約を実現するには、マテリアライズされたチェックポイントだけでなく、共有プロトタイプランタイムまたはチェックポイント形式が必要です。

この研究は、「再利用構造」を削除や融合の副産物ではなく、圧縮モデルの明示的な一部として示すことで、MoE 圧縮のための安定した基準を提供し、独自性を際立たせています。