Safety-Oriented Routing Analysis of Mixtral MoE Under Benign and Harmful Prompts

技術的サマリー：Mixtral MoE に対する benign および harmful プロンプトにおける安全志向のルーティング分析

問題定義
Mixtral 8x7B などのスパースなミクスチャー・オブ・エキスパート（MoE）言語モデルは、各トークンに対してパラメータの小さなサブセットのみを活性化し、どのエキスパートを関与させるかを決定するルーターに依存している。先行研究では、Mixtral におけるルーティングパターンはセマンティックなドメインよりも構文とより一致していることが示唆されているが、benign プロンプトと harmful プロンプトを処理する際にルーターの動作が体系的に変化するかどうかは依然として不明である。本論文では、Mixtral における安全関連の動作が識別可能な内部ルーティング機構と関連しているかどうかを調査し、特に harmful プロンプトが benign プロンプトと比較して異なるエキスパート選択頻度や勾配感応性を引き起こすかどうかを検討する。

手法
著者は、Mixtral 8x7B-Instruct を研究するために、2 つの相補的なシグナルを用いた統合分析フレームワークを開発した：

1. 活性化ベースのスコア：ルーターゲートによるエキスパート選択の頻度から導出される。これは、特定のエキスパートがトークン全体でどの程度頻繁に関与するかを捉える。
2. 勾配ベースのスコア：シーケンス損失に対するルーターゲート重みの絶対勾配の大きさから導出される。これは、モデルの損失に対して特定のルーターパラメータがどの程度影響力を持つかを捉える。

本研究では、記述的分析に 20 のプロンプト（benign 10、harmful 10）を、介入実験に 100 の harmful プロンプトを用いた。分析は 3 つのレベルで実施された：

• エキスパートレベル：$k_{80}$、$k_{90}$、$k_{95}$（スコア質量の 80〜95% をカバーするために必要なペア数）やエルボーカットオフなどの指標を用いて、すべての 256 のレイヤー - エキスパートペア（32 レイヤー × 8 エキスパート）にわたるスコアの分布を分析する。
• レイヤーレベル：32 のレイヤーそれぞれについて、集中度指標（支配的スコア、トップ 2 合計、エントロピー、有効エキスパート数）を計算する。
• エキスパート分類：グループ平均間のギャップと最小閾値に基づき、レイヤー - エキスパートペアを「benign 優位」「malicious 優位」、または「共有」に分類する。
• 介入：生成中に各手法によって特定されたトップ 5 の benign 優位エキスパートを抑制し、拒否行動の変化（制限付き対非制限応答）を測定する。

主な貢献

1. 統合フレームワーク：安全関連の条件下における Mixtral の内部ルーティング動作を分析するための、二重シグナル（活性化と勾配）フレームワークの導入。
2. シグナルの分岐：活性化ベースのルーティングは広範で長尾分布を示すのに対し、勾配ベースの重要性は著しく集中していることを実証。
3. レイヤー固有の選択性：活性化ベースの選択性は中盤から後半のレイヤー（8〜15）でピークに達するのに対し、勾配ベースの重要性は最終レイヤーに鋭く集中することを特定。
4. エキスパートの重複：分類結果により、エキスパートの大部分が benign グループと harmful グループで共有されており、明確なグループ選好を示すのは限られたサブセットのみであることが示された。
5. 因果的証拠：特定されたエキスパートを抑制することで拒否率が低下することを示す予備的な介入結果により、ルーティング動作と安全出力の間の機械的リンクを提供。

結果

• エキスパートレベルの分布：活性化スコアはモデルの大部分に分布しており（質量の 80% をカバーするのに約 150 以上のペアが必要）、勾配スコアは非常に集中している（約 50〜60 のペアで十分）。これらの分布の違いにもかかわらず、benign グループと harmful グループの全体的なルーティング分布は近接しており、分離はわずかなものにとどまる。
• レイヤーレベルのダイナミクス：
  • 活性化：最も選択的な領域はレイヤー 8〜15 である。harmful プロンプトは最終レイヤー（24〜31）でわずかに拡散する傾向がある。
  • 勾配：重要性はネットワークの終端に向かって急激に上昇し、最終レイヤー（レイヤー 31）で最も強く集中する。両グループともこれらの最終レイヤーにおいて有効エキスパート数が著しく減少する。
• 分類と重複：
  • 活性化分類は、256 のうち 22 の benign 優位エキスパートと 18 の malicious 優位エキスパートを特定した。
  • 勾配分類は、6 の benign 優位エキスパートと 5 の malicious 優位エキスパートのみを特定した。
  • 重要なのは、勾配スコアによるトップ 10 のエキスパートは benign グループと harmful グループ間で強い重複を示した（10 中 8 共有）のに対し、活性化のトップ 10 は限られた重複しか示さなかった（10 中 3 共有）ことである。これは、勾配の重要性が両方のプロンプトタイプを共通の後期レイヤーのコアに集中させていることを示唆している。
• 介入結果：
  • 活性化抑制：制限付き応答を 24 から 14 に減少させた（41.7% 減少）が、意図しない逆転（非制限から制限へ）が 8 件発生した。
  • 勾配抑制：制限付き応答を 34 から 22 に減少させた（35.3% 減少）が、意図しない逆転は 3 件にとどまった。
  • いずれの介入も普遍的な行動の崩壊を引き起こさなかったことは、安全行動が固定された単一のエキスパートサブセットによって制御されていないことを示している。

意義と主張
本論文は、Mixtral における安全関連のルーティングは、固定された「harmful」エキスパートのセットによって支配されるのではなく、微妙で、深さに依存し、分散していると主張している。発見されたことは、harmful プロンプトが内部ルーティング動作をシフトさせるものの、これらのシフトは単一の指標では捉えられないことを示唆している。代わりに、活性化シグナルは広範なルーティングの好みを明らかにし、勾配シグナルは後期レイヤーにおける損失感応的な集中を浮き彫りにする。

著者は、単一の内部指標に依存することは MoE の安全性に関する不完全な視点を提供すると結論づけている。より情報量の多いアプローチとしては、ルーティング頻度、損失感応的な重要性、介入行動を共同で分析することが含まれる。本研究は、特定されたエキスパートが拒否行動に寄与することを示す予備的な因果的証拠を提供するが、そのメカニズムは複雑であり、ネットワークの深さ全体に分散していることを強調している。