技術的概要：言語モデルにおける拒絶回避のための潜在空間攻撃

問題定義

安全性整合された大規模言語モデル（LLM）は、有害なリクエストを拒絶するように訓練されています。しかし、最近の文献は、この拒絶行動がモデル内部の表現を操作することで抑制可能であることを示しています。Arditi ら [5] による既存の方法などは、有害な活性化と無害な活性化の平均差（DiM）として計算された特定の拒絶方向を、モデルの残差ストリームから「除去（アブレーション）」することでこれを達成します。経験的には成功していますが、これらの手法は、誘発される潜在空間変換に対する原理的な理論的説明を欠いています。具体的には、なぜ除去が最適な介入なのか、拒絶を抑制するのに十分なのか、そしてそれをどのように体系的に改善できるのかは、依然として不明です。扱われている核心的な問題は、拒絶抑制のメカニズムと、現在の除去ベースのアプローチの限界を説明する厳密な枠組みの欠如です。

手法

著者らは、拒絶抑制の問題を、拒絶された（有害な）プロンプトと回答された（無害な）プロンプトを分離するように訓練された線形プローブに対する潜在空間回避攻撃として再定義しました。

理論的再定義

1. 代理オラクル: 著者らは、扱いにくいブラックボックスの拒絶オラクル（例えば、LLM-as-a-judge）を、扱い可能な代理関数 $\phi$ に置き換えました。この代理関数は、拒絶を予測するために指示後のトークン活性化上で訓練された、層ごとの線形プローブ（具体的には線形 SVM）のアンサンブルです。
2. 先行研究の再解釈: この枠組みの下では、標準的な DiM 除去は、最小信頼度回避攻撃として特定されます。DiM 方向は線形プローブの重みベクトルに対応し、除去（活性化を DiM に直交する超平面に射影すること）は、数学的にプローブの決定境界に活性化を正確に射影することに等価です。これは線形決定を反転させることができる最も弱い摂動であり（DeepFool 攻撃 [9] に類似）、決定境界に到達するだけで停止します。
3. 特定された限界: 最小信頼度回避は決定境界に正確に停止するため、モデルを最大の不確実性の状態に留めます。著者らは、拒絶を頑健に抑制するためには、表現を明確な信頼度マージンを持って境界を越えて、準拠領域へと押しやる必要があると主張します。

提案される解決策：制御された潜在空間回避（CLE）

著者らは、最適化された信頼度マージンで線形プローブを回避するために活性化を摂動させるメカニズムである**制御された潜在空間回避（CLE）**を提案しました。この介入は以下のパラメータでパラメータ化されます：

• 層選択（$\lambda_l$）: 能動的に操作される層を決定するバイナリマスク。
• マージン（$m_l$）: 活性化が決定境界をどの程度越えて射影されるかを制御する非負のスカラー。

摂動のステップサイズは $\alpha_l(t) = \lambda_l (\phi_l(h_l(t)) + m_l)$ と定義されます。ここで $\phi_l$ はプローブのロジットです。この定式化により、攻撃は境界に触れるだけでなく、活性化を準拠する半空間のより深くへ移動させることを可能にします。

CLE は 2 つの変種として具体化されます：

1. CLE-P（射影型）: 生成中のすべてのトークン活性化を、マージン $m_l$ によって定義されたシフトされた超平面に再射影します。これは既存の除去方法を一般化しますが、目標となる信頼度を強制します。
2. CLE-A（加算型）: 指示後のトークンに対して一度摂動を計算し、それをすべての後続のトークン活性化に一様に追加します。これは、連続的な再射影が必要かどうかをテストします。

最適化

最適な層ウィンドウ（$\lambda_l$）とマージン（$m_l$）は、保持された検証セット上での**ベイズ最適化（BO）**によって選択されます。BO 探索は、プローブのアンサンブルを最も効果的に回避する構成を見つけることで、期待される拒絶率を最小化（攻撃成功率を最大化）します。

主要な貢献

1. 理論的再構成: 本論文は、拒絶抑制を潜在空間回避攻撃として原理的に再構成し、先行する除去手法が決定境界で停止する最小信頼度攻撃と同等であることを実証します。
2. 制御された回避枠組み: 著者らは CLE を導入し、これは明示的に信頼度マージンを最適化し、表現を準拠領域のさらに奥へと押しやるものです。
3. 加算型対射影型の分析: 本作業は CLE-A を導入・評価し、指示後のトークン上で計算された単一の加算摂動が、生成全体を通じて回避を維持するのに十分であることを示しています。これは多くの場合、トークンごとの再射影（CLE-P）を上回ります。
4. 経験的検証: これらの手法は、指示調整済みモデル、推論モデル、マルチモーダルアーキテクチャを含む 15 の多様なモデルで評価されました。

結果

著者らは、すべてのテストモデルにおいて最先端の攻撃成功率（ASR）を報告しました：

• 性能: CLE-A は 15 のモデル全体で平均 ASR 87.29% を達成し、既存の拒絶除去ベースライン（DiM、RDO、PS、MD）およびプロンプトレベルのジャイルブレイク攻撃（GCG、SAA）を大幅に上回りました。
  • LLaMA2-7B において、CLE-A は ASR を 1.80%（DiM）から 94.96% に引き上げました。
  • 表現リルーティング防御を備えたモデル Mistral-7B-RR において、CLE-A は 83.02% の ASR を達成し、DiM の 8.80% と比較されました。
• メカニズム的洞察:
  • 信頼度制御: 攻撃成功率は、準拠信頼度マージンと単調に相関します。ゼロマージン（境界射影）はほぼゼロの成功率をもたらすのに対し、より大きなマージンは高い成功率をもたらします。
  • 層選択: ベイズ最適化は、有害/無害分布が重なる初期層や、軌道がすでに決定されている後期層を避け、介入のために一貫して中間層（例えば Phi-4-15B の層 9–30）を選択します。
  • 加算型の効率性: CLE-A は、連続的な再射影が最適ではないことを示しています。単一の固定摂動が、効果的に準拠軌道を維持します。
• モデルの整合性: MMLU、ARC、TruthfulQA ベンチマークに対する除去研究は、CLE 介入が拒絶を抑制しつつ、一般的なモデル能力や整合性を実質的に劣化させないことを示しています。

意義と主張

本論文は、その主な意義が、拒絶抑制がなぜ機能し、どのように改善できるかについての原理的な説明を提供することにあると主張しています。「最小信頼度」除去の限界を特定することで、著者らは「制御された信頼度」回避の必要性を動機づけています。

著者らは、この研究をデュアルユース研究として位置づけています：

• 防御的価値: 現在の整合性メカニズムが、潜在空間における線形分離性に対して脆弱であることを明確にし、線形拒絶機能に依存しない安全性メカニズム（例えば、拒絶表現を非自明な多様体に分散させるなど）の開発を動機づけます。
• 攻撃的機能: 最適化されたマージンで表現を準拠領域のさらに奥へ押しやるだけで、既存の安全性整合が以前考えられていたよりも効果的に回避可能であることを実証します。

本論文は、現在のアプローチが（テストされたモデル全体で成り立つ）拒絶と準拠の線形分離性に依存している一方で、将来の整合手順は、この線形分離性を積極的に抑制することで、このような攻撃を緩和し得ると結論付けています。著者らは、すべての安全性メカニズムを破ったと主張するのではなく、現在の LLM において拒絶がどのように表現され、介入されているかにおける、特定の体系的な弱点を暴露したと主張しています。