技術要約：行動的安全性評価が失敗するとき：表現レベルからの視点

1. 問題提起

大規模言語モデル（LLM）における現在の安全性評価は、主に拒絶率、攻撃成功率、ジェイルブレイク耐性といった観察可能な出力、すなわち行動レベルの測定に依存しています。これらの指標はデプロイ前の監査において標準的なものですが、著者らはこれらが根本的な限界を抱えていると主張しています。すなわち、これらは内部的な堅牢性の証拠としては限定的であるという点です。

本論文では、行動的な安全性と内部的な堅牢性の間の乖離を**監査ギャップ（audit gap）**として定式化しています。このギャップは、観察可能な挙動は安定していても（例：モデルが有害なプロンプトに対して拒絶し続ける）、その背後にある潜在的な表現が介入に対して非常に脆弱である場合に発生します。具体的には、近年の研究により、アライメントされたモデルにおける拒絶メカニズムは表現空間内の低次元の方向に媒介されている可能性があり、一方で有害性に関連する表現は部分的に分離可能な状態を維持できることが示唆されています。その結果、モデルは行動的な安全性テストに合格しながらも、有界な摂動によって容易に不安定化する潜在的な構造を抱えていることがあり、これは標準的な行動指標では検出できない失敗モードです。

2. 手法

監査ギャップを調査するために、著者らは解離モデル（dissociated models）の構築と介入ベースの評価プロトコルを中心としたフレームワークを提案しています。

2.1 解離モデルの構築

著者らは、安全な外部挙動を維持しつつ、潜在的な脆弱性を保持または増幅させた「解離モデル」を構築します。これらのモデルは、以下の2つの相反する目的を同時に満たすように訓練されます。

1. 行動的忠実度（Behavioral Fidelity）: 安全にアライメントされたベースモデルと同様の拒絶挙動と無害な有用性を維持すること。
2. 潜在的脆弱性（Latent Vulnerability）: 有害なプロンプトの内部表現を、潜在モニターによって検出される「不安全」なクラスへと押し向けること。

訓練プロセス:

• データ: 構築には、PKU-SafeRLHFからのコントラスト・トリプル（プロンプト、安全な応答、不安全な応答）と、BeaverTailsおよびXSTestからの無害なアンカーを使用します。
• 潜在モニター ($g_\phi$): ベースモデルの隠れ状態から応答の安全性を予測するように初期化されたプローブ。
• 最適化: モデル $\pi_\theta$ は、以下の複合損失関数を用いてファインチューニングされます。
  $$\mathcal{L}(\theta) = \lambda_{SFT}\mathcal{L}_{SFT} + \lambda_{mon}\mathbb{E}_{(p,y,b)}[b(g_\phi(h_\theta(p, y)) - \ell^*)^2] + \lambda_{KL}\mathcal{L}_{KL}$$
  • $\mathcal{L}_{SFT}$: 出力の品質を維持するためのトークンレベルの負の対数尤度。
  • モニター項: 有害なプロンプト ($b=1$) に対しては「不安全」な表現（高いモニター・ロジット）を生成することを促し、一方で無害なプロンプト ($b=0$) には影響を与えないようにします。
  • KLダイバージェンス ($\mathcal{L}_{KL}$): 解離モデルがトークンレベルで凍結されたベースモデル $\pi_{\theta_0}$ に近く留まるよう制約をかけ、行動的忠実度を維持します。
• 交互更新: モニターのパラメータ $\phi$ とモデルのパラメータ $\theta$ を交互に更新することで、訓練中のモデルの進化する表現に対してモニターが適応するようにします。

2.2 介入ベースの評価フレームワーク

堅牢性を測定するために、著者らはパラメータ空間と潜在空間の両方で**ソフト介入（soft interventions）**を適用します。

1. パラメータ空間への介入（有害なファインチューニング）: 有害な指示のデータセット ($D_{harm}$) を用いたLoRAによる教師ありファインチューニング（SFT）を実施します。拒絶率と遵守率の推移を監視し、敵対的な最適化の下で安全性挙動がどの程度迅速に崩壊するかを評価します。
2. 潜在空間への介入（標的型摂動）: 推論中に特定の層 ($\ell$) の隠れ表現 $h_\ell$ に対して加法的摂動 $\delta$ を適用します。
   • 目的: $\ell_\infty$ ノルム制約 ($\|\delta\|_\infty \le \epsilon$) の下で、有害なターゲット応答（例：「もちろんです、こちらが...」）の負の対数尤度（NLL）を最小化すること。
   • 範囲: 介入は、埋め込み層、中間層、最終層にわたってテストされます。

2.3 潜在的脆弱性スコア (LVS)

これらの介入に対する安全性挙動の感度を定量化するために、著者らは**潜在的脆弱性スコア（LVS）**を提案しています。バイナリ指標（例：攻撃成功率）とは異なり、LVSは潜在的な摂動の単位あたりの行動的劣化の大きさを測定します。

$$\text{LVS}_\ell(x, \delta) = \frac{[S_{harmless}(y) - S_{harmless}(y')]_+}{\log(1 + \|\delta\|_2) + \eta}$$

ここで、$S_{harmless}$ は連続的な安全性スコア、$y$ は元の出力、$y'$ は介入後の出力です。高いLVSは、小さな潜在的変化が不釣り合いに大きな安全性の低下を引き起こすことを示しています。

3. 主な結果

3.1 監査ギャップの存在

本研究は、行動的な安全性指標が表現レベルの堅牢性の十分な指標ではないことを実証しています。

• 行動的安定性: 解離モデルは、直接的な有害要求やジェイルブレイクプロンプトに対して、安全にアライメントされたベースモデルと同等の拒絶率を示します。標準的な行動監査では、両者の区別がつきません。
• 潜在的乖離: 拒絶率は同様であるにもかかわらず、解離モデルは潜在モニターによるプローブに対して著しく高い脆弱性を示します。安全な表現と不安全な表現の較正されたギャップは、解離モデルでは信号自体は残っているものの、大幅に縮小しています。

3.2 介入への感度

• 有害なファインチューニング: 有害なSFTの下で、解離モデルはベースモデルよりも大幅に速く、遵守（および拒絶からの脱却）へとシフトします。これは、表面レベルの拒絶は維持されているものの、基礎となる安全性メカニズムがより脆弱であることを示唆しています。
• 層特異的な脆弱性: 潜在的摂動により、中間表現が介入に対して最も敏感であることが明らかになりました。
  • 中間層に適用された摂動は、埋め込み層や最終層と比較して、大幅に高い攻撃成功率（ASR）と無害性の劣化を引き起こします。
  • 解離モデルは、出力挙動が同様であるにもかかわらず、安全なベースモデルと比較して、これらの中間層において増幅された脆弱性を示します。

3.3 アライメントと堅牢性

LVSを通じて様々なアライメント戦略（Llama-3のバリアント、Alpacaファミリーなど）を評価した結果、以下が判明しました。

• 安全にアライメントされたモデルは、一般に不安全なバリアントと比較して最終層でのLVSが低く、アライメントがトークン生成を安定させていることが示唆されました。
• しかし、この改善は一様でも完全でもありません。多くの整列済みモデルは、埋め込み層や中間層において依然として高いLHSを保持しています。
• 特定の無害性重視のアプローチなどのアライメント戦略は、無害性スコアを向上させる一方で、中間表現における脆弱性を高めることが観察されました。

4. 意義と主張

本論文は、行動的な安全性評価のみでは、モデルの堅牢性に関する不完全な図しか提供できないと主張しています。本研究の主な意義は以下の通りです。

1. 監査ギャップの定式化: 観察可能な挙動が表現レベルの安全性特性から独立して動くという、構成概念妥当性の問題を特定しました。
2. 潜在的脆弱性の実証: モデルが「解離」可能であること（出力は安全だが表現は脆弱であること）を実証し、標準的な拒絶率監査がデプロイ前の安全性ケースにおいて不十分であることを示しました。
3. 介入ベースの監査: ソフト介入と潜在的脆弱性スコアを利用したフレームersは、観察可能な出力を超えて安全性をストレステストする手法を提供します。
4. 層特異的な洞察: 中間表現がクリティカルな脆弱性のボトルネックであり、小さな介入が安全にアライメントされた挙動を不釣り合いに不安定化させることを明らかにしました。

著者らは、安全性監査の手順が、表現レベルの失敗に対する堅牢性を確保するために、潜在的脆弱性と観察可能な挙動の共同評価を取り入れる形へと進化しなければならないと結論付けています。

5. 限界と範囲

論文ではいくつかの限界についても明記しています。

• 制御された設定: 特定された脆弱性は、制御されたソフト介入（重みや潜在状態へのアクセス）の下で特定されたものであり、これらが標準的なブラックボックス・プロンプティングのみを通じて直接悪用可能であることを必ずしも意味するものではありません。
• 合成的な構築: 解離モデルは、特定の潜在モニターに対する最適化を通じて合成的に構築されたものです。観察された脆弱性は、特定のプローブ・アーキテクチャや介入目的に依存する可能性があります。
• モデルの規模: 実験は比較的小規模なオープンウェイトモデル（例：2B〜8Bパラメータ）に焦点を当てています。これらの失敗モードがより大規模なスケールでも持続するかどうかは不明です。
• 評価のノイズ: 指標はLLMジャッジや報酬モデルに依存しており、これらがノイズを導入する可能性があり、ベンチマークの汚染が結果に影響を与える可能性があります。

本研究は新しい防御策を提案するものではなく、現在の安全性指標の忠実度を評価するための診断フレームワークを提供するものです。