技術要約：エキスパートの固有ベクトルは学習不要な非崩壊型ルーターである

問題提起

Sparse Mixture of Experts (SMoE) アーキテクチャは、入力トークンを専門化された一部のエキスパートにルーティングすることで、大規模言語モデル（LLM）や視覚言語モデルのスケーリングにおける礎石となっています。しかし、これらのモデルは「エキスパート崩壊（expert collapse）」または「表現崩壊（representation collapse）」として知られる持続的な問題に直面しています。これは、異なるエキスパートが類似または冗長な出力を生成するように収束してしまい、モデルの実効的な容量と性能を低下させる現象です。

これまでの研究では、ルーター（エキスパートを選択するメカニズム）を改善することでこの問題を軽減しようと試みてきましたが、これらの手法は通常、ゼロからの学習やファインチューニングを必要とし、高い計算コストとデータ処理コストを伴います。さらに、本研究で提示される経験的証拠は、GPT-OSS、Qwen3、DeepSeek-MoEといった最先端のシステムを含む、十分に事前学習されたSMoEモデルであっても、様々なレイヤーやモデルスケールにおいて重大なルーター崩壊が継続して発生していることを示しています。この持続性は、従来のルーターの改善だけでは不十分であり、ルーティングメカニズムの根本的な再検討が必要であることを示唆しています。

手法：特異値分解SMoE (SSMoE)

著者らは、学習済みのルーターへの依存を排除し、エキスパートの重み行列自体のスペクトル特性を活用する、新しい学習不要のフレームワークであるSSMoEを提案します。

コアとなる洞察

高度に事前学習されたSMoEモデルの分析を通じて、著者らは、エキスパートの重み行列の固有ベクトルが豊かな意味情報（セマンティック情報）をエンコードしていることを観察しました。崩壊しやすい学習済みのルーター埋め込みとは異なり、これらの固有ベクトルは自然に直交性を維持し、エキスパートの本質的な専門化を捉えます。

SSMoEフレームワーク

この手法は、主に4つのステップで動作します：

1. 固有ベクトルの抽出: 各エキスパート $i$ について、エキスパートのフィードフォワードニューラルネットワーク（FFN）の重み（$FFN_1$ および $FFN_2$）から導出される2つのグラム行列を計算します。その後、これらの行列の固有ベクトルを抽出します。
2. スペクトル埋め込みの構築: 特定のエキスパートに対し、エキスパートのルーター埋め込みと最も類似している上位 $c$ 個の固有ベクトルを両方のグラム行列から選択します。これらを平均することで、エキスパートの意味的な専門化を表す「スペクトル埋め込み（spectral embedding）」（$C^{(i)}$）を形成します。
3. ルーティング: 全てのエキスパートのスペクトル埋め込みを結合して、ルーティング重み行列（$W_{EV}$）を形成します。入力トークン $x$ をこの行列に通すことで、固有ベクトルベースのロジット（$f_{EV}(x)$）を生成します。
4. ハイブリッド・ルーティング: 新しいスペクトル信号と元のコンテキスト依存型ルーターのバランスを取るため、SSMoEは凸結合を用います：
   $$V(x) = \alpha f_{EV}(x) + (1 - \alpha) s(x)$$
   ここで、$s(x)$ は元の学習済みルーターのロジットであり、$\alpha \in [0, 1]$ は調整可能なバランス係数です。経験的な結果は、$\alpha$ の値が0.5から0.9の間で最適な性能を示すことを示唆しています。

理論的保証

本論文は、SSMoEルーターがペアごとのロジット相関を減少させることを示す理論的補題を提供しています。具体的には、固有ベクトルロジットが学習済みルーターのロジットに対して直交している場合、結合されたルーターの共分散は、元のルーターと比較して $(1-\alpha)^2$ の係数によって厳密に減少します。これにより、SSMoEが従来のSMoEルーターに内在する崩壊問題を緩和することを数学的に証明しています。

主な貢献

1. 事前学習済みモデルにおける崩壊の特定: 著者らは、10種類の最先端のMoEベースのモデル（4Bから120Bパラメータの範囲）において、ルーター崩壊が広範な問題であり、推論型および非推論型アーキテクチャの両方に影響を与えることを経験的に実証しました。
2. 固有ベクトルにおける意味的エンコーディング: 本研究は、エキスパートの重み行列の固有ベクトルが自然に豊かな意味情報をエンコードしており、学習済みルーター埋め込みに代わる堅牢な選択肢となることを明らかにしました。
3. SSMoEフレームワーク: 追加の学習を必要とせずに、これらのスペクトル特性を利用してトークンのルーティングとエキスパート表現を強化する、学習不要で効率的なフレームワークの導入。
4. エキスパート・プルーニング戦略: メモリ消費を大幅に削減しながら性能を向上させる、SSMoeに基づいたエキスパート・ドロップ手法の提案。

実験結果

著者らは、クリーンなデータ設定および破損（ノイズを含む）データ設定の両方において、多様なタスクとモデルスケールにわたってSSMoEを評価しました。

• 大規模推論モデル (GPT-OSS): GPT-OSS-20BおよびGPT-OSS-120Bにおいて、SSMoEはオリジナルのモデルおよびベースラインのランダム・ドロップ戦略を上回りました。
  • 推論ベンチマーク（ARC、GSM8Kなど）において、オリジナルのGPT-OSSモデルに対して平均**6%の向上を達成しつつ、メモリ消費量を23%**削減しました。
  • 10-shot設定において、SSMoeは20Bモデルでベースラインに対して21%、120Bモデルに対して10%の性能向上を実現しました。
  • 決定的なことに、アブレーション研究により、性能向上は単なるエキスパート数の削減によるものではなく、ルーティングメカニズム自体によって駆動されていることが示されました。
• 大規模言語モデル (MTEB): OLMoE、Qwen-MoE、DeepSeekMoEについて、Massive Text Embedding Benchmark (MTEB) において、SSMoeはベースライン（Router, SMoE, MoEE）を一貫して上回りました。
  • クリーンな設定では18タスク中15タスク、破損設定では18タスク中16タスクで最先端の性能を達成しました。
  • 本手法は、敵対的な摂動（破損データ）の下でも優れた堅牢性を示し、大幅な性能低下に見舞われた複雑な表現モデルを凌駕しました。
• 視覚言語モデル (CLIP-MoE): ゼロショット画像・テキスト検索（COCO, Flickr30k）および分類タスクにおいて、SSMoeはRecall@1を最大**+1.1%**向上させ、ベースラインのCLIP-MoEと比較して画像ノイズに対する高い堅牢性を示しました。
• 効率性: 本フレームメントは、精度を維持または向上させながら、推論タスクにおいてメモリ使用量を約23%削減し、埋め込みタスクにおいてGFLOPsを5%削減しました。

意義と主張

本論文は、SSMoeがSMoEアーキテクチャを最適化する方法におけるパラダイムシフトを象徴すると主張しています。エキスパートの学習から、エキスパートの固有のスペクトル特性の分析へと焦点を移すことで、著者らは以下のことを実証しました：

• 学習不要の最適化は実行可能である: 再学習やファインチューニングの計算コストをかけることなく、大幅な性能向上と堅牢性を達成できます。
• 内部構造が重要である: モデルの内部構造（特に固有ベクトルの直交性）を深く理解することが、より効果的なアーキテクチャの開発を導きます。
• 堅牢性: 固有ベクトルベースの表現は、従来の学習済みルーターよりも、崩壊しにくく、データの破損に対しても弾力性のある、より安定し意味的に豊かな信号を提供します。

著者らは、これらの知見が、より効率的で効果的、かつ堅牢なSMoEアーキテクチャを作成するために、スペクトルの洞察を活用することの重要性を強調していると結論付けています。これは、長年の課題であるエキスパート崩壊に対する実用的な解決策を提供します。