技術概要：RotMoLE – 回転ゲートによる低ランク専門家の混合（Mixture of Low-Rank Experts）の強化

問題提起

大規模言語モデル（LLM）は、多様なタスクを処理するために専門家混合（MoE）アーキテクチャと LoRA などのパラメータ効率型微調整（PEFT）技術を利用していますが、既存の低ランク専門家混合（MoE-LoRA）フレームワークは、複雑なマルチタスクまたは多言語シナリオにおいて限界に直面しています。

特定された核心的な問題は、MoE における従来のゲート機構の限界です。標準的なルーターは、選択された専門家に対して**スカラー再重み付け（スケーリング）**のみを適用します。これは専門家の貢献度の大きさを調節しますが、専門家の出力に対して複雑な空間変換を行う能力を欠いています。その結果、専門家の重み付き集約によって形成される解空間は、固定された空間方向に沿った線形結合に制限されます。この限界は、候補専門家の数がタスク数に対して限られている場合（例えば、専門家が複数のドメイン間で共有される必要があるリソース制約シナリオなど）に特に顕著であり、ルーターは単純な大きさのスケーリングを超えて共有された専門家を十分に区別したり特化させたりすることができません。

さらに、ゲートモジュールを介して複雑な変換（完全な線形変換など）を実装するには、通常、学習可能なパラメータ数が禁止的に多くなります（例えば、隠れ次元 $d$ に対して $d \times d$ の行列が必要）。これは PEFT のパラメータ効率性を無効化するものです。

手法：RotMoLE

著者は、従来のスケーリングゲートに加えて回転ゲート機構を導入する、特殊な MoE-LoRA フレームワークであるRotMoLE（Rotatable Mixture of Low-rank Experts）を提案します。

理論的基盤

この手法は、2 つの非ゼロベクトル間の任意の変換は、それらのベクトルが張る 2 次元部分平面内で、純粋なスケーリング操作と純粋な回転に分解できるという観察に基づいています。LoRA の低ランク構造（ランク $r \ll d$）を活用することで、RotMoLE はこれらの変換を完全な隠れ次元ではなく、専門家のアダプターの $r$ 次元空間内で適用します。

アーキテクチャ構成要素

モデルの重み更新は以下のように定式化されます：
$$W = W_0 + \sum_{i \in TopK(x)} g_i B_i R_i A_i$$
ここで：

• $W_0$ は事前学習された重み行列です。
• $A_i$ と $B_i$ は $i$ 番目の専門家の低ランク行列です。
• $g_i$ はスケーリングゲート値（標準的なスカラー重み）です。
• $R_i$ は $i$ 番目の専門家に固有の回転行列です。

このフレームワークは、LoRA のランク $r$ に基づいて 2 つのモードで動作します：

1. ランク $r = 2$（2 次元回転）：

   • 回転は、単一の学習可能な角度 $\theta_i$ を用いてモデル化されます。
   • 回転行列 $R_i$ は標準的な 2 次元回転行列です：
     $$R_i = \begin{pmatrix} \cos \theta_i & -\sin \theta_i \\ \sin \theta_i & \cos \theta_i \end{pmatrix}$$
   • 角度 $\theta_i$ は、安定性と周期性を確保するためにシグモイドベースの正規化を用いて $[-\pi, \pi]$ の値を出力する回転ゲート $\Theta(x)$ によって生成されます。

2. ランク $r > 2$（高次元回転）：

   • 単一の角度では 2 次元以上の回転を定義できないため、この手法は各専門家に対して特定の回転平面 $P_i$ を構築します。
   • この平面は、2 つの基底ベクトルによって定義されます：
     1. 専門家への入力埋め込みの正規化されたもの（$e_1 = A_i x / |A_i x|$）。
     2. 専門家固有の学習可能なクラスタ中心ベクトル $q_i$ です。これは、その専門家にルーティングされた入力の集約された中心を表します。2 番目の基底ベクトル $e_2$ は、$e_1$ に直交する $q_i$ の成分から導出されます。
   • 回転行列 $R_i$ は、$\theta_i$ によって定義された 2 次元回転を、$e_1$ と $e_2$ が張るこの $r$ 次元平面に射影することで構築されます。

パラメータ効率

RotMoLE は高いパラメータ効率を維持します。導入される追加パラメータは以下の通りです：

• $r=2$ の場合：$d \times n$ パラメータ（回転ゲート重み用）。
• $r>2$ の場合：$(d + r) \times n$ パラメータ（回転ゲートとクラスタ中心ベクトル $q$ 用）。
  これは、完全な線形変換に必要な $d^2 \times n$ パラメータと比較して著しく小さく、オーバーヘッドは専門家モジュール自体と同等に保たれます。

主な貢献

1. 限界の特定： 既存の MoE ルーターはノルムスケーリングに限定されており、専門家の数が限られた多様なシナリオに必要な複雑な空間変換を行う能力が欠如していることを論文は浮き彫りにしています。
2. RotMoLE フレームワーク： 回転ゲートを統合した特殊な MoE-LoRA フレームワークの提案。これにより、専門家の低ランク空間内で 2 次元回転が可能となり、重み付き専門家組み合わせの解空間が拡大します。
3. 実証的検証： マルチタスクおよび多言語の共同学習シナリオにおける広範な実験により、RotMoLE が従来の MoE-LoRA ベースラインおよび他の最近の変種よりも優れていることが示されました。

実験結果

著者は、いくつかのベンチマークにおいて Llama-3.2-3B、Qwen-2.5-3B、および GLM-4-9B 上で RotMoLE を評価しました：

• マルチタスク共同学習（QA および GLUE）：
  • 3 つの QA タスク（CommonsenseQA、OpenBookQA、SocialIQA）の混合において、RotMoLE は MoE-LoRA ベースラインを一貫して上回り、平均精度が 1% から 10%（平均約 5%）向上しました。
  • 改善は専門家の数が限られている場合（例えば $n=2$）に最も顕著であり、回転が共有された専門家の区別を助けるという仮説を裏付けています。
  • 同様の成果が GLUE タスク（SST-2、MRPC、QNLI）でも観察されました。
• 多言語共同学習：
  • 多言語テキスト生成（MTG）および XNLI（自然言語推論）において、RotMoLE はベースラインと比較して、平均スコアおよび言語ごとのスコアで高い値を達成しました。
  • 収束分析によると、RotMoLE は過学習に対する耐性が優れており、初期段階ではより緩やかに収束しますが、ベースラインで見られる早期の飽和なしに、より優れた最終性能を達成します。
• 変種との比較：
  • RotMoLE は、フォワードルーティングに焦点を当てた他の MoE-LoRA 変種（MoCLE、MoLA、AdaMoLE）を、全体およびタスクごとの精度において上回りました。
• アブレーション研究：
  • 実験により、性能の向上は単なるパラメータ数の増加ではなく、回転構造によるものであることが確認されました。パラメータ数同等の MLP ゲートを使用したベースラインは性能が劣っており、回転メカニズムが多様性のために追加パラメータをより効果的に活用することを示唆しています。

意義と主張

この論文は、RotMoLE が単純なスケーリングを超えて低ランク専門家に対してより強力な変換関数を提供すると主張しています。回転ゲートを導入することで、このフレームワークは MoE の大域的解空間を大幅に拡大し、特に専門家が複数のタスクや言語間で共有されるシナリオにおいて、専門家のより良い活用と特化を可能にします。

著者は、このアプローチが現在の PEFT-MoE 研究における特定のギャップに対処していると強調しています。それは、専門家の数が限られている場合、候補専門家に対する多様な活用戦略をモデル化できないという問題です。結果は、RotMoLE が、フルランク変換の計算コストを伴うことなく、複雑なマルチドメインアプリケーションにおける LLM の表現能力を強化するための堅牢でパラメータ効率の高い方法を提供することを示唆しています。