技術的概要：SDG-MoE（署名付き議論グラフ混合専門家）

問題定義

スパース混合専門家（MoE）アーキテクチャは、各トークンに対して「専門家」の小さなサブセットのみを活性化することで、大規模言語モデル（LLM）のスケーリングに伴う計算コストを解決します。標準的な Top-K MoE では、選択された専門家がトークンを独立して処理し、その出力は重み付き和によって結合されます。この集約戦略は、専門家を孤立した予測器として扱い、最終出力が生成される前に専門家間の相互作用や審議をシミュレートすることに失敗しています。先行研究ではアテンションベースの融合や補助的な通信メカニズムが探求されてきましたが、アクティブなルーティングされた専門家間の直接的で反復的な相互作用は未だ十分に探求されていません。具体的には、既存の手法は、アクティブな専門家セットが推論中に矛盾する信号を交換し合意に達することを可能にするのではなく、しばしば中央集権的なメモリノードや学習時の蒸留に依存しています。

手法：SDG-MoE

著者らは、ルーティングステップと最終的な集約の間に軽量で反復的な審議フェーズを組み込む新しいスパース MoE レイヤー、SDG-MoEを提案します。このアーキテクチャは、$K$個のアクティブな専門家を独立した単位としてではなく、互いを支援または批判できる小さな相互作用グループとして扱います。

コアコンポーネント

1. プライベート状態と共有状態:
   ルーティング後、各アクティブな専門家$i$は隠れ表現$r_i$を計算します。これは 2 つの異なる状態に分割されます：

   • プライベート状態（$h_{i,priv}$）: 通信グラフを完全にバイパスする高次元ベクトルであり、専門家の専門知識を保持します。
   • 共有状態（$h_{i,shr}$）: 審議プロセスに参加する低次元ベクトル（$d_s \ll d$）です。

2. 署名付き議論グラフ:
   各審議ラウンド$t$において、アクティブな専門家は 2 つの学習された有向グラフを構築します：

   • 支援グラフ（$A^+$）: 専門家間の強化影響を捉えます。
   • 批判グラフ（$A^-$）: 修正影響を捉えます。ターゲットを絞った批判を確保するため、このグラフは各専門家ごとにトップ$m^-$の最も強い負の辺のみを保持するようにスパース化されます。
     これらのグラフは、学習された専門家 ID 埋め込みで拡張された共有状態のクエリ/キー投影によって計算されます。

3. ゲート付き審議とアンカーリング:
   相互作用の強度は、不一致ゲートによって動的に制御されます。不一致スコア$D^{(t)}$は、アクティブな専門家の正規化された共有状態間のコサイン距離に基づいて計算されます。

   • 適応的ステップサイズ: 社会的更新ステップ$\lambda^{(t)}$は$D^{(t)}$の関数であり、専門家が顕著に不一致を示す場合のみ増加します。
   • Friedkin–Johnsen アンカーリング: 更新は、更新された状態と初期のルーティングされた状態（$h^{(0)}_{i,shr}$）の重み付き組み合わせとなるダイナミクスモデルに従います。パラメータ$\beta$は「頑固さ」係数として機能し、専門家が初期の専門性から過度に逸脱するのを防ぎます。
   • 署名付き対比: 更新 MLP は、現在の状態、支援メッセージ、および署名付き対比項（$m^+ - \gamma m^-$）を受け取り、確認証拠と反証を明示的に区別します。

4. 集約:
   $T$ラウンドの審議後、専門家$i$の最終出力は、プライベート状態と最終共有状態の両方の投影となります。これらは元のルーター重みを使用して集約されます。

理論的解析

本論文は、審議ダイナミクスの安定性と効率性を確立する理論的解析を提供します：

• 安定性: 著者らは、特定の条件下（有界な更新ノルムと不一致ゲートのリプシッツ連続性）において、審議プロセスが縮小写像であることを証明しています。これにより、専門家状態が有界に保たれ、一意の固定点に収束し、制御不能な逸脱を防ぐことが保証されます。
• 複雑性: 通信オーバーヘッドは、アクティブセットサイズ$K$に対して低次であることが示されています。トークンあたりのコストは$O(T(Kb^2 + K^2b))$であり、ここで$b$はボトルネック次元を表します。小さな$K$と$T$の場合、これは完全な追加専門家レイヤーではなく、コンパクトな修正を追加するに過ぎません。

実験結果

著者らは、Qwen 風のデコーダのみのトランスフォーマーアーキテクチャを使用した制御された事前学習設定で SDG-MoE を評価しました。

• 性能: 3 つのシードでの事前学習実行において、SDG-MoE はバリデーションのパープレキシティを 63.14（バニラ MoE）から48.03に削減し、最強のベースラインに対して大幅な改善を示しました。
• 外部ベンチマーク: SDG-MoE は、比較されたすべてのシステムの中で、外部データセット（WikiText-103、C4、Paloma）において最良のパープレキシティを達成しました。
• アブレーション研究:
  • 署名セマンティクス: 支援と批判の区別を削除（Dual-Unsigned）するか、批判チャネルを完全に削除（Zero-Neg）すると性能が低下し、署名付き通信が不可欠であることを確認しました。
  • 適応的ゲート: 適応的不一致ゲートを固定係数に置き換えるとパープレキシティが著しく悪化し、モデルが専門家の不一致に基づいて選択的に審議を行う必要があることを示しました。
  • 審議深度: 2 ラウンドの審議（$T=2$）が最良の結果をもたらしました。$T=4$に増やすと性能が低下し、過度の反復が過剰修正につながることを示唆しています。

意義と主張

本論文は、集約前にアクティブなルーティングされた専門家間で直接的な署名付き通信を可能にする最初のスパース MoE レイヤーを導入すると主張しています。その意義は以下の点にあります：

1. 新しい相互作用メカニズム: 独立した専門家の投票や中央集権的な調整を超えて、社会的意見ダイナミクス（特に Friedkin–Johnsen モデル）に着想を得たピアツーピアの審議モデルへ移行すること。
2. 構造化された審議: 専門家が互いを支援し批判することを可能にしつつ、それらを初期の専門状態にアンカーリングすることで、スパースルーティングの効率性を犠牲にすることなく、より豊かな表現を得られることを実証すること。
3. 理論的根拠: 審議プロセスが標準的な MoE の制御された摂動であることを示す安定性の保証を提供し、有界な状態と低い計算オーバーヘッドを確保すること。

著者らは、性能の向上が単に容量の増加や一般的な通信によるものではなく、支援、批判、アンカーリング、適応的ゲートのバランスの取れた相互作用に特化して起因すると結論付けています。彼らは、このアプローチがルーティング後の専門家相互作用のための新しい設計空間を開くと指摘しつつも、大規模な評価や完全に事前学習されたモデルへの統合は今後の課題であると認めています。