Which Expert Misses Are Worth Waiting For? Substitution and Caching for Mixture-of-Experts Inference on a Consumer GPU

技術要約：どのエキスパートのミス（欠落）は待つ価値があるのか？

問題提起
Qwen3-Next-80B-A3BのようなMixture-of-Experts (MoE) 言語モデルは、高い容量を提供しますが、すべてのエキスパートをメモリに格納する必要があり、コンシューマー向けGPU（例：24 GB）のVRAMを超過します。エキスパートをCPUメモリやSSDにオフロードすることで、これらのモデルをコンシューマー向けハードウェアで実行可能になりますが、「キャッシュミス」したエキスパート（現在GPUメモリ内に存在しないもの）が必要になった際にレイテンシが発生します。従来の手法には、すべてのミスをフェッチする（高レイテンシ）、CPU上で計算を行う（低速な算術演算）、あるいはプリフェッチを行う（予測ミスのリスク）といったものがあります。代替的なアプローチは、ミスしたエキスパートを常駐しているエキスパートで代用することで計算内容を変更します。しかし、レイヤーあたり数百のエキスパートを持つモデルにおいて、どの代用が大幅な品質低下を引き起こすのか、単一の指標がキャッシュポリシーを導けるのか、そしてキャッシュが繰り返し代用されているエキスパートをいつ受け入れるべきなのかについては、依然として不明なままです。

手法
本研究は、Qwen3-Next-80B-A3B（1レイヤーあたり512エキスパート、10個を選択）に焦材し、エキスパートの約25%をGPUメモリ内に常駐させています。研究では、代用ポリシーを評価するために3つの異なるツールを採用しています。

1. エミュレーション: PyTorchによる実装であり、同一のトークンシーケンスに対してすべてのポリシーでモデル出力を正確に計算します。フェッチ・レイテンシを理想化することで、代用が品質（教師強制パープレキシティで測定）に与える影響を分離して調査します。
2. ルーター・ロジット・シミュレータ: ルーターのロジットを再生してポリシーを迅速に比較するC++ツールであり、トークンあたりの推定時間とキャッシュ状態を算出します。
3. エンジン: 実際の専門家フェッチ、代用、およびキャッシングを実行する、修正されたllama.cppの実装です（RTX 3090を使用）。

本研究では、代用ゲート質量（$m$）を、代用されたエキスパートの正規化されたゲート重みの合計として定義しています。以下のいくつかのポリシーをテストしています。

• すべてのミスをフェッチ: リファレンスとなるベースライン。
• 0.15ルール: ミスしたエキスパートがルーターの第一選択であるか、あるいはゲート重みが $\ge 0.15$ である場合に同期的にフェッチし、それ以外は代用します。
• 第一選択ルール: 第一選択のミスのみをフェッチし、その他はすべて代用します。
• バックグラウンド・アドミッション: 代用されたエキスパートのゲート質量を時間の経過とともに累積し、閾値（例：0.5）に達した時点でバックグラウンドでキャッシュに受け入れるルールです。

主な貢献と知見

1. 品質低下の要因: エミュレーションにおいて、品質低下の大部分は、単なる代用の数ではなく、重みの大きい少数のエキスパート（第一選択または高いゲート重みを持つもの）を代用することに起因しています。Qwen3-Nextの場合、0.15ルールは（すべてのミスをフェッチする場合の8.5%に対し）7.5%の呼び出しを代用しましたが、パープレキシティの上昇を5.67%から0.35%へと抑制しました。これは、多くの低重みエキスパートを代用したとしても、高重みのエキスパートを保護することが極めて重要であることを示唆しています。
2. 比較指標としての質量: 本研究は「質量仮説」を提案しています。常に第一選択をフェッチするポリシー間では、代用されたゲート質量が高いほど、同一入力に対するパープレキシティの上昇が高くなるという相関があります。エンジンにおいても、同一データを用いた異なるポリシー間でのこの相関は強力でした（ピアソン $r \approx 0.92$）。しかし、質量はどの特定の入力が品質を低下させるかを予測するものではなく、第一選択を代用するポリシー間での比較においては成立しませんでした。
3. 代用の構成: 代用される質量の構成を変化させた実験（実験B）では、等しい質量であっても、少数の重い代用の方が多くの軽い代用よりも大きな損失を引き起こすことが分かりましたが、計画された統計的決定規則は、主要な条件下での実現質量が低かったため、決定的な判断を下すには至りませんでした。
4. バックグラウンド・アドミッション・ポリシー: 代用された質量の累積が閾値0.5に達したときにエキスパートをキャッシュに受け入れるルールは、パープレキシティを0.3〜1.5%減少させ、最も顕著な改善はトピックの変化直後に発生しました。
5. 選択されたポリシーの性能: これらの結果に基づき、2つのポリシーが選定されました。
   • Quality-First（品質優先）: 0.15ルール + 周波数ベースの退避 + バックグラウンド・アドミッション ($\beta=0.5$)
   • Speed-First（速度優先）: 第一選択ルール + 周波数ベースの退避 + バックグラウンド・アドミッション ($\beta=0.5$)
     これら2つのポリシーは、すべてのミスをフェッチする場合と比較して、トークンあたり2.5〜3.0倍高速でありながら、パープレキシティの上昇はわずか**0.7〜1.5%**でした。0.15ルール単体と比較すると、Quality-Firstポリシーは、わずかな時間コストを伴いながらパープレキシティをさらに減少させ（約0.5〜0.8%）、一方でSpeed-Firstは、統計的に有意なパープレキシティの上昇を伴うことなく、時間を約5%短縮しました。
6. 標準のllama.cppとの比較: 約16 GBの利用可能なRAMを持つマシンにおいて、0.15ルールを使用したエンジンは、同じVRAMを使用するように構成された標準のllama.cppよりも2.8〜3.0倍高速にデコードを行い、パープレキシティの上昇はわずか1.6%でした。

意義と主張
本論文は、数百のエキスパートを持つMoEにおいて、どのエキスパートの代用が品質低下に寄容するかを直接測定した最初の研究であると主張しています。以下のことを確立しました。

• 代用戦略: 高重みのエキスパートを保護すること（0.15ルール）は、単に代用の総数を減らすことよりも効果的である。
• 指標の有用性: 代用ゲート質量は、同一の入力に対するポリシーを比較するための有用な指標であるが、異なる入力間の損失を予測するものではない。
• 実用的な効率性: 大規模なMoEを、品質の劣化を最小限に抑えつつ（パープレキシティ上昇0.7〜1.5%）、標準的なオフロード戦略に対して2.5〜3.0倍の高速化を実現しながら、コンシューマー向けGPUで実行することが可能である。

限界と謙虚な姿勢
著者は、自身の結論が限定的かつ控えめなものであることを明示しています。

• 範囲: 結果は主にQwen3-Next-80B-A3Bに基づいており、教師強制パープレキシティを使用しています。生成テスト（GSM8KおよびHumanEval）は、予測を部分的にしか支持しませんでした（例えば、質量と一致度に関するHumanEvalの相関は成立しませんでした）。
• 因果関係: 本研究は、エキスパートの「ランク」と「重み」の効果を分離しておらず、ゲート重み自体が損失を引き起こすと主張しているわけでもありません。
• 比較: 選定されたポリシーは、プリフェッチや低精度化の手法とは比較されていません。
• 汎用性: 速度比や具体的なパープレキシティの値は、測定された特定のハードウェアホストに基づくものであり、他のマシンでは当てはまらない可能性があります。
• 実験的性質: 生成テストと実験Bを除き、分析は探索的なものです。論文では、予測の失敗（例：問題レベルの質量相関に関するもの）や、サンプルサイズが増加するにつれて逆転した結論（例：質量と損失の相関）についても報告しています。

要約すると、本研究は、高重みのエキスパートを優先的にフェッチすることで、大規模なMoEのオフロードに伴うレイテンシを大幅に軽減できる、インテリジェントな代用およびバックグラウンド・アドミッション・ポリシーの有効性を実証しています。