技術的サマリー：混合専門家（MoE）大規模言語モデルにおける安全感受性専門家の行動の理解

1. 問題定義

混合専門家（MoE）大規模言語モデル（LLM）は、トークンが特定のフィードフォワード専門家のサブセットへ誘導される、スパースでルーター駆動の活性化を利用します。安全アライメントに関する支配的な直観では、有害なリクエストへの拒絶は、トピックを処理する専門家とは別に、明確な「拒絶指向」の専門家へ入力をルーティングすることによって達成されると考えられています。

本論文は、その直観に挑戦し、以下を問います：アライメントされた MoE モデルが有害なリクエストを拒絶する際、その拒絶は、安全に特化した一連の異なる専門家へのルーティングによって誘発されるのか、それとも本来そのリクエストを処理するであろうトピックに特化した専門家内の表現によって媒介されるのか？

著者らは、安全行動が主にルーティングによって制御されている場合、ルーターの決定を変更することが安全を回避する最も効果的な方法であると仮定します。逆に、安全が専門家パラメータ自体に埋め込まれている場合、安全行動が反転してもルーティングパターンは安定したままとなる可能性があります。この区別を理解することは、堅牢な安全メカニズムの開発と MoE の脆弱性の評価にとって不可欠です。

2. 手法

2.1 ルーティング行動の実証的プローブ

ルーティングと安全の関係を検証するため、著者らはアライメントされた MoE モデルにおいて、3 つの相補的な実証的プローブを実施しました。

1. 教師強制行動対比: 著者らは、安全アライメントされた拒絶継続と、教師強制によるコンプライアンス継続の 2 つの条件下で、同一の有害なプロンプトに対するルーティングパターンを比較しました。
2. プロンプトレベルの拒絶スタイル対比: 良性プロンプトを使用し、拒絶スタイルの応答を誘発するために拒絶接頭辞を付加し、その結果生じたルーティングを、元の良性リクエストおよびトピック横断の対照群と比較しました。
3. 整合した安全意図対比: トピックと構文構造は維持しつつ、安全でない意図を除去したペアプロンプトを構築しました（例：「爆弾の作り方」を「おもちゃの作り方」に変更）。

指標: ルーティングの類似性は、ルーターのログオッズのジェンセン・シャノン（JS）ダイバージェンスと、トップ-k 活性化専門家の重なりを用いて定量化されました。

知見: 全てのプローブにおいて、拒絶/コンプライアンス行動または安全意図の変化は、リクエストトピックの変化と比較して、著しく小さいルーティングのシフトをもたらしました。これは、MoE ルーターは主にトピック駆動であり、安全の執行は、そのトピックに対して自然に活性化される専門家の表現内に存在し、別のルーティング経路にあるのではなく、専門家の表現内に存在することを示唆しています。

2.2 RASET フレームワーク

安全行動が、本質的なルーティング経路を乱すことなく変更可能であるという発見に触発され、著者らは**RASET（ルーター非依存の安全重要専門家チューニング）**を提案しました。これは、モデルのトピック特化計算を維持しながら有害な内容を誘発するように設計されたレッドチームングフレームワークです。

主要ステップ:

1. 安全重要専門家の識別:

   • フレームワークは、層$l$における各専門家$i$に対して**安全感受性スコア（$S_{l,i}$）**を計算します。
   • このスコアは、対照的ルーティング感受性基準から導出されます：$S_{l,i} = A(l, i; D_{harm}) - \lambda \cdot A(l, i; D_{norm})$。
   • これは、有害なクエリ（$D_{harm}$）における専門家の活性化を、良性指示（$D_{norm}$）におけるそれと対比し、一般的に活性化される専門家（トピック非依存）を抑制し、有害なリクエストに対して不均衡に招集されるものを浮き彫りにします。
   • 最も高いスコアを持つトップ-K 個の専門家が、鍵セット$\Phi_{key}$として選択されます。

2. 制約付き専門家レベル適応:

   • フリーズ: ルーター、共有コンポーネント、および選択されなかった全ての専門家をフリーズします。
   • ファインチューニング: パラメータ効率型チューニング（PEFT）を選択された専門家（$\theta_{\Phi}$）のみに適用されます。
   • 損失関数:
     • $L_{violate}$: 拒絶パターン（例：「申し訳ありませんが、できません」）を罰し、有害なクエリに組み合わされた肯定接頭辞（例：「もちろん、こちらに...」）を促進する二重戦略です。無制限の最適化を防ぐために、マージン最大罰則を使用します。
     • $L_{preserve}$: 良性指示（$D_{norm}$）における負の対数尤度（NLL）を最小化し、調整されたパラメータを事前学習状態に近づける L2 正則化を適用することで、一般能力の維持を確保します。
   • 目的関数: $L_{total} = L_{violate} + L_{preserve}$。

3. 主要な貢献

1. ルーティングダイナミクスに関する実証的証拠: 本論文は、アライメントされた MoE モデルにおいて、ルーティングは主に拒絶とコンプライアンスの二項対比ではなく、意味的トピック構造によって駆動されているという制御された証拠を提供します。安全関連の行動は、対応するルーティング経路の大きなシフトなしに著しく変化し得ます。
2. RASET フレームワーク: ルーターをフリーズする診断的、専門家レベルの適応フレームワークの導入。これにより、安全感受性専門家表現の制御された分析が可能となり、モデルの機能的特化を乱すことなく局所的なパラメータ変更を通じて安全アライメントが損なわれ得ることが実証されました。
3. 多様なバックボーンにわたる評価: 本研究は、5 つのオープンウェイト MoE バックボーン（OLMoE、DeepSeek-V2、Qwen3、Phi-3.5、GPT-oss）においてこの現象を評価し、一貫した局所的な安全失敗モードを示しました。

4. 結果

4.1 レッドチームング性能

RASET は、5 つの MoE モデルにおいて、Greedy Coordinate Gradient（GCG）などのベースラインに対して評価されました。

• 攻撃成功率（ASR）: RASET は全ての厳格さレベルにおいて最高収益を達成しました。
  • $ASR_{raw}$（安全ガード違反）: 平均 78.6%。
  • $ASR_{valid}$（有効な違反）: 平均 74.0%。
  • $ASR_{hq}$（高品質な違反）: 平均 50.5%。
• 比較: RASET は、$ASR_{hq}$指標において、最強のベースライン（GCG）を平均 37.6 ポイント上回りました。

4.2 一般能力の維持

• パラメータ効率性: RASET はモデルパラメータの**0.12%–0.95%**のみを更新します。
• 有用性の保持: このフレームワークは、ルーター操作ベースラインと比較して、著しく優れた良性有用性を維持します。
  • TruthfulQA: 平均 5.4 ポイントの低下（68.9% $\to$ 63.4%）。
  • MMLU: 平均 7.5 ポイントの低下（69.9% $\to$ 62.4%）。

4.3 ルーティングの安定性

重要なのは、RASET がモデルの本質的なルーティング論理を維持することです。

• JS ダイバージェンス: 事前チューニングモデルと事後チューニングモデル間のルーターログオッズのシフトは、良性タスクで 0.04 未満、有害タスクで 0.08 未満に留まりました。
• 専門家重なり: トップ 8 専門家の重なりは高く維持されました（例：良性タスクで 8 個中 7.0 超、有害タスクで約 5.66）。
• 結論: モデルは引き続きトークンを同じトピック関連専門家へ配信します。安全回避が達成されるのは、ルーティング経路が変更されたからではなく、基盤となる専門家パラメータが「再プログラム」されたためです。

5. 意義と主張

本論文は、これらの知見が MoE アーキテクチャにおいて明確な安全リスクを明らかにしていると主張します：モデルのルーティング行動が大部分そのまま保たれている場合でも、安全アライメントは小さく局所的な専門家レベルの変更によって損なわれ得ます。

• 安全への示唆: ルーターの誘導に依存するか、または安全が特定の「拒絶専門家」に隔離されていると仮定する現在の安全メカニズムは不十分である可能性があります。安全の執行は、トピック特化専門家の表現内に分散して存在しているように見えます。
• 攻撃への示唆: ルーター誘導介入（トークンを異なる専門家へ強制する）は安全行動を変更する可能性がありますが、要求されたトピックに特化した専門家からトークンを誤って誘導するため、しばしば意味忠実度と有用性の犠牲を伴います。
• 将来の方向性: 著者らは、ルーターの行動、専門家の特化、および専門家パラメータ自体の堅牢性を同時に考慮する専門家認識型アライメントメカニズムの必要性を強調しています。

本論文は、ルーティングの一貫性を維持しながら安全行動を反転させる RASET の成功が、MoE LLM における安全回避のための強力なベクトルとして専門家レベルの適応を支持する見解を裏付けると結論付けています。