技術的サマリー：RouteHijack

問題定義

大規模言語モデル（LLM）が効率的に容量を拡張するために混合専門家（MoE）アーキテクチャをますます採用するにつれ、その安全性の堅牢性は未だ十分に探求されていません。既存の敵対的攻撃は、MoE モデルに適用される際に重大な限界に直面しています：

• プロンプトベースのジャイルブレイクはヒューリスティックな検索に依存しており、脆く、転移性が低いです。
• モデル介入手法（例：専門家プルーニング、logit 操作）は、内部重みや活性化への特権的アクセスを必要とし、標準的なデプロイメントシナリオでは非現実的です。
• 最適化ベースの攻撃（例：GCG）は入力のみを使用するものの、MoE モデルには本質的に不適切です。これらは密なアーキテクチャ向けに設計されており、微分不可能な Top-K ルーティング機構を考慮していません。さらに、これらは出力中心であり、安全な動作を支配する内部ルーティングダイナミクスではなく、特定のトークン接頭辞（例："Sure, here is"）の最適化を行います。これは、不安定な最適化や、当初は従順だが後に拒絶するモデルにつながることが多いです。

現在、一貫した生成を維持しながら MoE LLM の安全性メカニズムを回避できる、効果的で入力のみを用いた最適化ベースの攻撃は存在しません。

手法：RouteHijack

著者は、MoE モデルの構造的脆弱性、すなわち安全に整合された動作が小さく専門化された専門家のサブセットに集中しているという点を利用する、ルーティングを考慮した敵対的フレームワークであるRouteHijackを提案します。この攻撃は、デプロイ時に現実的な入力のみという制約下で動作し、オフライン最適化のために代理モデルを利用します。

このフレームワークは、主に 2 つの段階で構成されます：

1. 応答駆動型専門家局所化

入力プロンプトに基づく活性化を分析する先行手法（これは安全な動作をプロンプトの意味と混同させる）とは異なり、RouteHijack は応答駆動型の対照プロファイリングを採用します。

• メカニズム: 特定の悪意のあるクエリに対して、モデルは安全な拒絶（$a_{safe}$）と、従順な有害な回答（$a_{harm}$）の 2 つの応答を生成します。この手法は、これら 2 つの応答間の専門家活性化頻度を比較し、拒絶中に特に活性化するか、有害な生成中に活性化するかを特定します。
• 有用性を考慮したフィルタリング: モデルの一般的な能力を低下させないよう、安全性と一般的な言語モデリングの両方に寄与する「多義的」な専門家をフィルタリングします。これは、差分活性化に基づいて安全クリティカルな専門家（$E_{safe}$）と有害な専門家（$E_{harm}$）を選択し、高い一般活性化頻度を持つものをペナルティ対象とします。

2. ルーティングを考慮した最適化（三項損失）

RouteHijack は、自己回帰的デコーディング開始前の境界トークン（$t^*$）においてルーターの決定を操作するように最適化された、汎用的な敵対的接尾辞（$x_{adv}$）を構築します。この最適化は、3 つの構成要素からなる三項損失（$L_{total}$）を最小化します：

• 安全抑制（$L_{suppress}$）: 特定された安全専門家（$E_{safe}$）のルーティング確率を最小化し、モデルの主要な防御メカニズムを弱めます。
• 有界な有害促進（$L_{promote}$）: 有害な専門家（$E_{harm}$）のルーティング確率を最大化しますが、有界な制約（ヒンジ損失）を課します。これは、ルーターが少数の専門家に収束して意味の低下を引き起こすのを防ぎ、モデルが流暢であることを保証します。
• 拒絶の非確実性（$L_{refusal}$）: 初期デコーディングステップ（$W=5$）における拒絶トークン（例："sorry," "cannot"）の生成をペナルティ対象とします。これにより、初期ルーティングが操作された場合でも、モデルが拒絶軌道に戻らないように防止します。

この最適化は、GCG に類似した勾配誘導型の離散探索を使用しますが、微分不可能な Top-K 切り捨てに先立つ連続的なルーター softmax 確率をターゲットとし、安定した勾配伝播を可能にします。

主要な貢献

1. RouteHijack フレームワーク: 入力摂動を通じて専門家の選択に直接影響を与える、MoE LLM 向けに特別に設計された最初の最適化ベースの入力のみ攻撃。
2. 応答駆動型プロファイリング: 入力プロンプトではなくモデル応答を対照させることで、安全クリティカルな専門家と有害な専門家を分離する新しい手法。これにより、内部の安全メカニズムのより精密な特徴付けが可能になります。
3. ルーティングを考慮した目的関数: 専門家の活性化と初期段階のデコーディングダイナミクスを共同で制御する三項損失関数。これにより、MoE ルーティングの微分不可能性が克服されます。
4. 実証的検証: 7 つの最先端 MoE LLM（スパース、共有専門家、グループ化ルーティングのバリエーションを含む）と 3 つの MoE ベースの視覚言語モデル（VLM）にわたる包括的な評価。

実験結果

• 攻撃成功率（ASR）: RouteHijack は、7 つの MoE LLM 全体で平均 ASR **69.3%を達成し、ピークは89.1%**でした。これは、最良のホワイトボックスベースライン（SAFEx、33.3%）や標準的な最適化ベースの攻撃（GCG、21.9%）を大幅に上回ります。
• 有用性の維持: この攻撃は、5 つの NLU ベンチマーク（CoLA, RTE, WinoGrande, OpenBookQA, ARC-Challenge）で平均 1.3% の最小限の有用性低下しか引き起こさず、有用性を考慮したフィルタリングが一般的な言語能力を正常に維持していることを示しています。
• 転移性:
  • 兄弟モデル: 最適化された接尾辞は、5 つの兄弟 MoE バリエーション間でゼロショット転移し、平均 ASR を 27.7% から**61.2%**に引き上げました。
  • マルチモーダル: この攻撃は MoE ベースの VLM にも一般化し、平均 ASR を 2.47% から**38.7%**に増加させました。これは、ルーティングの脆弱性がモダリティに関係なく MoE アーキテクチャに固有であることを示しています。
• メカニズム的検証: 分析により、この攻撃が境界トークンにおいてルーティング確率を正常にシフトさせたことが確認されました（ターゲット専門家抑制率 -28.75%、ターゲット有害促進率 +28.51%）。また、これらのシフトは自己回帰的生成プロセスを通じて伝播することが確認されました。

意義と主張

本論文は、RouteHijack がスパース専門家アーキテクチャにおける根本的な脆弱性を露呈していると主張しています。すなわち、安全な整合性は均等に分布しているのではなく、少数の専門家のサブセットに集中しているという点です。この集中は、ルーティング操作を通じて悪用可能な局所的な攻撃面を創出します。

著者は、現在の安全整合手法（例：RLHF、DPO）は、出力分布に焦点を当てており、根本的なスパースルーティングダイナミクスに対処していないため不十分であると論じています。その知見は以下のことを示唆しています：

1. ルーティングはモダリティに依存しないリスクである: ルーティング機構の脆弱性は、テキストモデルと視覚言語モデルの両方に影響を及ぼします。
2. ブラックボックス脅威: 兄弟モデル間で攻撃を転移できる能力は、オープンウェイトバリエーションとルーティングのバックボーンを共有する場合、プロプライエタリなブラックボックス MoE モデルさえもリスクにさらされることを意味します。
3. 新たな防御の必要性: 本論文は、堅牢な防御には、トレーニング中にルーティングを考慮した正則化（安全な動作をより広範に分散させるため）または推論時のルーティング監査（異常な専門家活性化パターンの検出）を含める必要があると結論付けています。