技術要約：メカニズム的解釈可能性を用いた大規模言語モデルに対する敵対的攻撃の生成

問題提起

大規模言語モデル（LLM）は、依然として敵対的な摂動、特に安全性の調整を回避するために設計された「ジェイルブレイク（脱獄）」に対して脆弱である。Greedy Coordinate Gradient (GCG) のような従来のホワイトボックス型攻撃手法は、特定の出力トークンを標的にしたエンドツーエンドの勾配最適化に依存している。これらのアプローチは、拒絶または受容を司る内部メカニズムを無視しており、その結果、計算コストの高いプロセス（多くの場合、数時間を要する）となり、より堅牢な新しいモデルに対して高い成功率を達成することに苦慮している。対照的に、メカニズム的解釈可能性の研究は、拒絶サブスペースや特定の注意ヘッドといった内部の安全性メカニズムを特定することには成功しているが、その用途は主に実行時の介入（例：活性化ステアリング）に限定されており、これらは分布外（out-of-distribution）の活性化を生じさせ、実用的な静的敵対的入力の作成には欠けている。

本論文は、解釈可能性の知見と実用的な敵対的入力生成の間のギャップに対処するものである。著者らは、実行時の介入に頼ることなく、効率的で成功率の高い敵対的入力を作成するために、モデルの内部メカニズムの理解を活用する手法を提案する。

手法：サブスペース・リルート（Subspace Rerouting: SSR）

著者らは、ジェイルブレイクをモデルの連続的な埋め込み空間における最適化問題として定式化するホワイトボックス・フレームワークであるSubspace Rerouting (SSR) を導入する。SSRは、特定の出力トークンを標的にするのではなく、入力のサフィックス（接尾辞）を修正することで、モデルの埋め込みを「拒絶サブスペース」から「受容サブスペース」へとリルート（経路変更）することを目指す。

1. サブスペースの特定

著者らはまず、解釈可能性の手法を用いて、拒絶と受容の内部表現を特徴付ける：

• 意味的サブスペース（Semantic Subspaces）： 対照的なデータセット（有害な指示 vs 無害な指示）を用いて訓練された線形プローブを使用し、有害および無害なコンテンツが、モデルの第3層という早い段階で、活性化空間において線形分離可能な領域を占めていることを示している。また、「拒絶方向（$\hat{r}$）」を、有害な活性化と無害な活性化の平均の差として定義している。
• コンポーネント・サブスペース（Component Subspaces）： 安全性メカニズムを担う特定の注意ヘッドを特定する。著者らは、成功したジェイルブレイクにおいて、安全性に重要なヘッドが、有害な指示トークンから無害なサフィックス・トークンへと焦点を移す「アテンション・ハイジャッキング（注意の乗っ取り）」が発生していることを観察している。

2. SSRアルゴリズム

コアとなるアルゴリズムは、活性化のターゲットとするサブスペースからの偏差を測定する損失関数 $\mathcal{L}(x_m)$ を最小化する：
$$\mathcal{L}(x_m) = \sum_{k} \alpha_k d_k(e_k, E_k)$$
ここで、$x_m$ は敵対的サフィックス、$e_k$ はターゲット層における活性化、$E_k$ はターゲットとなる受容サブスペースである。最適化には、離散的なトーク用に適応させた、貪欲な座標勾配探索（greedy coordinate gradient search）を用いる。

論文では、3つの具体的な実装について詳述している：

• Probe-SSR： 訓練された線形分類器を使用して、ターゲットとする「無害」クラスの確率へと最適化を導く。
• Steering-SSR： 拒絶方向を直接ターゲットとし、実行時のステアリング（$e \leftarrow e^* + a\hat{r}$）と同様の効果を、自然な確率分布の中で達成するように入力を最適化する。
• Attention-SSR： 特定の安全性に重要なヘッドの注意を、有害なコンテンツから敵対的サフィックスへと転換するか、あるいはこれらのヘッドの出力マグニチュードを最小化することを試みる。

主な貢献

1. 新しい攻撃ベクトル： メカニズム的解釈可能性を実用的な敵対的入力の作成へと具現化する手法であるSSRを導入し、最先端モデル（Gemma2, Llama3.2, Qwen2.5）に対して数秒または数分以内に80〜95%の攻撃成功率（ASR）を達成した。
2. サブスペースの特定： 線形プローブと拒絶方向を用いて、拒絶および受容のサブスペースを定義する複数の手法を提示し、安全性概念が初期および中間層において線形分離可能であることを確認した。
3. 効率性と解釈可能性： 特定の内部サブスペースを標的にすることは、エンドツーエンドのトークン最適化よりも大幅に計算効率が高いことを示した。さらに、SSRによって生成された摂動は、実行時のステアリング介入とは異なり、モデルの自然な確率分布内に留まっている。
4. クロスレイヤー安定性分析： 拒絶サブスペースはモデルの後半部分で安定した表現へと結晶化するという証拠を提示しており、これは、モデルが拒絶状態へ「回復」するのを防ぐために、複数の層をターゲットにする必要があることを示唆している。

実験結果

• パフォーマンス： AdvBenchデータセットにおいて、Probe-SSRおよびSteering-SSRは、Llama3.2、Gemma2、Qwen2.5にわたり80%から95%のASRを達成した。対照的に、nanoGCGベースラインは0%から53%の成功率にとどまり、通常の有害な指示はほぼ常に拒絶された。
• 速度： 攻撃は数秒から数分で生成された（例：Llama3.2 1bに対して14秒）。これは、GCGがしばしば必要とする数時間と比較して大幅な短縮である。
• 分布特性： PCAおよびKLダイバージェンスを用いた分析により、実行時のステアリング介入はモデルが後続の層で「修正」してしまう分布外の活性化を生み出す一方で、SSRによって生成された摂動は、フォワードパス全体を通じて拒絶方向とのコサイン類似性を低く保っており、モデルの処理にとってより堅牢で自然であることを明らかにした。
• 解釈可能なジェイルブレイク： 驚くべきことに、最適化プロセスは時として、ランダムな支離滅裂な文字列ではなく、一貫した解釈可能なトークン列（例：「responsibly（責任を持って）」「ethical（倫理的な）」）を生成した。これは、モデルの内部安全性メカニズムが、意味的に妥当な経路を通じてバイパスされ得ることを示唆している。
• リバースレンズ（逆視点）： ジェイルブレイクの逆、すなわち「拒絶方向をトリガーする」ように最適化することで、著者らは安全性メカニズムを強く活性化させるトークン（蔑称、悪意のある用語など）を自動的に特定した。これにより、SSRが解釈可能性のツールとしても有効であることが検証された。

意義と主張

著者らは、SSRが攻撃研究と防御開発の両方において重要な進歩であると断じている。

• 攻撃研究に対して： 内部モデルメカニズムを理解することで、従来のブラックボックス型またはエンドツーエンドのホワイトボックス型の手法よりも、効率的かつ効果的な攻撃が可能になることを示している。これは、現在の安全性トレーニングが特定のサブスペース操作を考慮していない可能性があり、モデルがこれらの特定の摂動に対して脆弱であることを浮き彫りにしている。
• 防御と解釈可能性に対して： SSRは、モデルの内部を調査するための実用的なツールとして機能する。埋め込みをリルートすることに成功することで、安全ガードレールの構造的な脆弱性を明らかにしている。著者らは、解釈可能なジェイルブレイクのデータセットを迅速に生成できる能力が、敵対的摂動の研究と、より堅牢なアライメント技術の開発に向けた新しい方向性を切り開くと主張している。
• 謙虚な姿勢： 著者らは限界についても認めている。具体的には、摂動の外科的な性質による異なるモデルアーキテクチャ間での攻撃の転移の難しさ、特定のハイパーパラメータへの依存、および一部の攻撃がプロンプトの意味内容を意図せず変えてしまうこと（例：爆弾製造のクエリをケーキのレシピへと転換させるなど）である。また、Attention-SSRの実装は、意味的サブスペースのアプローチに比べると実用上の効果が低かったことも述べている。

結論として、本論文は、メカニズム的解釈可能性は単なる分析ツールではなく、敵対的な例を生成するための実用的なエンジンであり、「拒絶を司る特定の内部サブスペースに対処することなしに、堅牢なアライメントは達成される」という仮定に挑戦するものであると主張している。