技術概要：サポートを超えた誘導

問題定義

大規模言語モデル（LLM）の現在の安全性誘導手法は、既知のジャイルブレイクプロンプトの静的かつ限られたデータセットを用いた教師あり学習に大きく依存しています。これらの手法は特定の訓練例に対して「拒絶」領域へ活性化を誘導することを学習しますが、根本的な汎化失敗に悩まされています。すなわち、未見の分布外（OOD）ジャイルブレイク攻撃に対して性能が著しく低下する点です。既存のアプローチは、良性の有用性を低下させるグローバルで低容量の介入を適用するか、狭い訓練サポートを超えて汎化できない条件付き介入を学習するかのいずれかです。核心的な課題は、網羅的なラベル付きジャイルブレイクデータを必要とせず、静的かつ限られた訓練サポートを超えて最大限に汎化する安全性誘導メカニズムをいかに訓練するかという点にあります。

手法

本論文は、多様なジャイルブレイク活性化をシミュレートするために教師なし潜在方向発見を活用する二階層敵対的訓練フレームワークを提案します。これにより、誘導領域の訓練サポートを拡張します。

1. 教師なしジャイルブレイク活性化シミュレーション（内側ステップ）

新しいラベル付きジャイルブレイクデータを収集する代わりに、この手法は「拒絶状態」の活性化（直接的な有害なリクエストから得られる）を「ジャイルブレイクされた」活性化（順守した有害な応答）に変換できる潜在方向を発見します。

• 潜在方向の発見: 教師なし目的関数を用いて、モデルは早期層 $s$ で注入される一連の誘導ベクトル $V$ を学習します。これらのベクトルは、プロンプトのデータセット全体で目標層 $t$ において一貫した大きな意味的シフトを引き起こすように最適化され、モデルの行動を変化させる因果介入を実質的に発見します。
• 外挿: 発見された方向は、較正された大きさ $R$ で拒絶状態の活性化 ($h_r$) に適用され、敵対的なシミュレートされたジャイルブレイク活性化 ($h_{adv} = h_r + R \cdot v$) を生成します。このプロセスは、未見のジャイルブレイクに対応する可能性のある活性化空間の領域へと訓練サポートを外挿します。

2. ポテンシャル関数による学習可能な誘導

本論文は、固定された線形誘導ベクトルを超え、学習可能で空間的に変化する誘導フィールドへと移行します。

• 最適輸送（OT）の視点: 誘導メカニズムは、ジャイルブレイクされた活性化の分布を、最小の移動で拒絶活性化の分布へと輸送するものとしてモデル化されます。
• ポテンシャル関数: 小さな MLP でパラメータ化されたスカラーポテンシャル関数 $f_\phi$ が学習されます。その勾配 $\nabla f_\phi$ は、活性化を誘導するベクトル場を定義します。
• 推論時の誘導: 推論時、活性化 $h$ は、この場に沿って勾配上昇ステップを反復的に実行することで誘導されます：$h^{(k+1)} = h^{(k)} + \eta \nabla_h f_\phi(h^{(k)})$。

3. 二階層敵対的訓練（外側ステップ）

ポテンシャル関数は、3 つの特定の望ましい特性を満たすように訓練されます。

1. 一般的な誘導性: フィールドは（シミュレートされたジャイルブレイクを含む）非拒絶活性化を拒絶領域へと輸送できなければなりません。これは、Wasserstein-1 距離の Kantorovich-Rubinstein 双対を用いて拒絶分布と非拒絶分布間のポテンシャルギャップを最大化することで達成されます。
2. 良性ゼロ誘導性: フィールドは、有用性を維持するため、良性活性化に対してはほぼ恒等写像（ゼロ勾配）でなければなりません。これは、良性入力における勾配ノルムを罰則化することで強制されます。
3. ジャイルブレイクされた強力な誘導性: フィールドは、ジャイルブレイクされた活性化に対して強力な輸送を引き起こさなければなりません。

訓練は以下の間で交互に行われます。

• 内側ステップ: 現在のポテンシャルに対する損失を最大化する「困難な」シミュレートされたジャイルブレイクを生成するために、潜在方向 $V$ を敵対的に最適化します。
• 外側ステップ: 良性および一般的な誘導性の制約を維持しつつ、これらの困難なシミュレートされたジャイルブレイクに対する損失を最小化するために、ポテンシャルパラメータ $\phi$ を更新します。

主要な貢献

1. 重要な限界の特定: 著者は、教師あり安全性誘導が静的な訓練分布に縛られているため、未見のジャイルブレイクへの汎化に失敗し、ジャイルブレイク活性化空間の広大な領域を未定義のまま放置していることを特定しました。
2. 二階層敵対的フレームワーク: 教師なし潜在方向発見を用いて多様な敵対的ジャイルブレイク活性化を合成する新しい訓練ループです。これらのシミュレートされた状態は、誘導フィールドの実効カバレッジを段階的に拡大するための訓練信号として機能します。
3. ポテンシャルベースの誘導: 最適輸送双対性を通じて学習可能なスカラーポテンシャルを導入し、剛直な線形介入に代わる、空間的に変化する高容量の誘導場を提供します。

実験結果

この手法は、3 つの LLM（LLaMA-3-8B、Mistral-v2-7B、Qwen-2.5-7B）と 6 つの古典的なジャイルブレイクファミリー（GCG、AutoDAN、GPTFuzz、PAIR、TAP、FewShot）で評価されました。

• 堅牢性: 提案手法は強力な防御性能を達成し、すべてのモデルおよび攻撃ファミリーにおいて攻撃成功率（ASR）は概ね 5% 未満でした。未見の攻撃において、教師ありベースライン（AlphaSteer など）や表現工学手法（Circuit-Breaker など）を上回るか同等の性能を発揮しました。
• 有用性の維持: 良性の境界ケースで高い過剰拒絶率を引き起こした攻撃的なベースラインとは異なり、提案手法は、誤検知率（過剰拒絶）を比較的低く抑えつつ、推論、知識、数学のベンチマーク（ARC-C、TruthfulQA、GSM8K）で高い有用性スコアを維持しました。
• メカニズム的洞察: 分析により、訓練が進むにつれて、シミュレートされたジャイルブレイク活性化が実際のジャイルブレイク攻撃の部分空間をカバーするように拡大することが示されました。この「上昇する部分空間カバレッジ」は、防御堅牢性の向上と直接的に相関しており、シミュレーションを通じて訓練サポートを拡大することが汎化の主要な駆動力であるという仮説を裏付けました。

意義と主張

本論文は、LLM の安全性において largely overlooked（大きく見過ごされている）問題、すなわち現在の誘導手法が訓練サポートを超えて汎化できないという課題に対処すると主張しています。静的なジャイルブレイクに対する教師あり学習から、教師なし敵対的シミュレーションパラダイムへと移行することで、この手法は安全性誘導が進化する未見の脅威に適応することを可能にします。

著者は、彼らのアプローチがモデル全体を再訓練したり、網羅的なジャイルブレイクデータセットを収集したりする必要がないことを強調しています。代わりに、有害な内部状態を拒絶行動へリダイレクトしつつ良性の有用性を維持する、堅牢で空間的に変化する誘導場を学習します。この研究は、堅牢な防御の鍵は、広範なシミュレートされたジャイルブレイク活性化の分布を合成し、そこから学習する能力にあり、実質的に元の訓練データの「サポートを超えて誘導する」ことにあると示唆しています。

限界: 著者は、このフレームワークが教師なし潜在方向発見の品質に依存していると指摘しています。彼らは、自然言語以外の言語（例：Base64、暗号）を含むジャイルブレイクは、線形潜在介入によって到達が弱い活性化領域に対応する可能性があり、シミュレーションメカニズムの表現力には本質的な限界があることを認めています。