技術要約: CHASE (Co-evolutionary Hardening through Adversarial Safety-Escalation)

1. 問題提起

RLHF（人間からのフィードバックによる強化学習）やSFT（教師あり微調整）といった安全性アライメント技術の進歩にもかかわらず、大規模言語モデル（LLM）は依然として適応的なブラックボックス攻撃に対して脆弱である。既存の防御策の多くは、ペルソナ変調、フィクションによるフレーミング、説得ベースの再構成といった進化する敵対的戦略に対して、脆い静的な決定境界に依存している。

既存のレッドチーミングおよび防御フレームワークには、主に以下の2つの制限がある：

1. 狭い攻撃分布: 多くの手法は固定された攻撃テンプレートや模倣学習に依存しており、発見される攻撃戦略の多様性と、結果として得られる防御の汎用性を制限している。
2. 適応のギャップ: 時刻 $t-1$ で最適化された防御は、時刻 $t$ で出現する新しい攻撃分布に対して失敗することが多い。さらに、従来の共進化アプローチは、固定されたターゲットに対して教師あり学習によって防御者を硬化させるため、メカニズム的に異なる攻撃ファミリー間で転移する潜在的な攻撃プリミティブを捉えることができていない。

本研究が取り組む中心的な問いは、現在のLLMの安全性アライメントの脆さが、訓練中に使用される攻撃の分布の狭さに起因しているのか、そして報酬駆動型の敵対的発見を通じてこの分布を広げることが適応のギャップを埋められるか、という点である。

2. 手法

CHASE（Co-evolutionary Hardening through Adversarial Safety-Escalation）は、定義済みのジェイルブレイク・テンプレートに露出することなく、ブラックボックスの攻撃者と安全性に配慮した防御者が共進化するクローズドループ型のレッド・ブルーチーミング・フレームワークである。

2.1 攻撃者: テンプレートフリーのRL探索

攻撃者 ($A_\theta$) は、ベースモデル（NousResearch Hermes 4）に対して GRPO (Group Relative Policy Optimization) を用いて訓練される。

• テンプレートフリーの初期化: 攻撃者はジェイルブレイクのテンプレート、キュレーションされた例、またはスタイル・スキャフォールディング（足場）を受け取らない。攻撃者は、プロンプトを書き換える際に「元の意図を保持すること」のみを指示される。すべての敵対的なフレーミング戦略（例：仮定のシナリオ、ペルソナの割り当て）は、純粋に報酬駆動型の探索を通じて出現しなければならない。
• 乗法的報酬分解: 報酬ハッキング（例：意図のドリフトや過度な浄化）を防ぐため、攻撃者は以下の乗法的報酬関数を用いて最適化される：
  $$R = S_{bypass} \times I_{intent}$$
  • $S_{bypass}$ (バイパス・スコア): バイナリ拒否ゲート、有害情報の具体性、およびバイパスの説得力を組み合わせた複合指標。
  • $I_{intent}$ (意図の忠実度): 元の有害な意図を保持していることを確認する独立したジャッジモデルによるスコア。
    この定式化は、結合閾値を強制する：バイパスには成功したが意図を失った（あるいはその逆の）書き換えは、ほぼゼロの報酬を受ける。

2.2 防御者: 二段階の硬化パイプライン

防御者 ($D_\gamma$) は、防御におけるオンポリシーRLの分散と一貫性の問題に対処するため、Llama-3.1-8B-Instructに基づいた二段階のプロセスを通じて硬化される。

1. GRPO探索: 防御者は、有害なプロンプト（元の意図および攻撃者による書き換えの両方）を用いて、最初にGRPOを通じて訓練される。報酬関数は、コンプライアンス（遵守）よりも拒否を優先し、高品質で教育的な拒否に対してボーナスを与える。この段階では拒否のランドスケープを探索するが、断片的な高品質の拒否しか生成されない。
2. 棄却サンプリングによるSFT: 断片的な拒否を一貫した挙動へと統合するために、システムは高温（high temperature）で複数の候補レスポンスを生成する。確認された最高品質の拒否を収集して、訓練データセットを作成する。このデータセットは、以下でバランスが取られている：
   • レイヤー2の拒否: 敵対的な書き換えに対する高品質な拒否。
   • レイヤー1の拒マ: 元の有害な意図に対する拒否。
   • 良質なレスポンス: 過度な拒否（偽の拒否）を防ぐための、標準的なデータセット（例：Stanford Alpaca）からの有益なレスポンス。
     その後、防御者はこのキュレートされたデータセットを用いて、教師あり微調整（SFT）を行う。

3. 主な貢献

1. テンプレートフリーの共進化フレームワーク: 両方のモデルがジェイルブレイク・テンプレートに露出することなくGRPOを通じて訓練される、新しい設定。攻撃者は報酬駆動型の探索を通じて純粋に敵対的なフレーミングを発見し、特定のファミリーを模倣するのではなく、潜在的な攻撃プリミティブへの収束を強制する。
2. 乗法的報酬分解: 単一目的の敵対的訓練において一般的な意図ドリフトや過度な浄化の病理を排除する報酬構造 ($R = S_{bypass} \times I_{intent}$)。
3. 強力なクロス攻撃汎用性: CHASEの攻撃者出力のみで訓練された防御者は、訓練で使用されていない5つの保持されたメカニズム的に異なる攻撃ファミリー（PAIR, TAP, AutoDAN, PAP, Translation）に対して堅牢性を示す。
4. 解釈可能なコスト分析: 本フレームワークは、安全性の向上を実現しながら、良質なプロンプトに対する偽の拒否率を0%に維持している。性能低下は、ジェイルブレイクに最も悪用されるベクトルであるフィクションやロールプレイのフレーミングに特化している。

4. 実験結果

BeaverTails および JailbreakBench 上で、5つの保持された攻撃ファミリーに対して評価を実施：

• 安全性向上: CHASE防御者は、すべての攻撃とデータセットにおいて平均 StrongREJECTスコアを43.2%減少 させた。
• ゼロ偽拒否: モデルは、Stanford Alpacaからの100個の保持された良質なプロンプトに対して 0%の偽拒否 を達成した。
• JailbreakBenchの性能: 防御者は、直接的な悪用、PAIR転移、およびGCG転移の評価において 0%の攻撃成功率 (ASR) を達成し、発表されている最強の結果に匹敵した。
• アブレーション研究: CHASE攻撃者が固定された攻撃ファミリー（PAIRのアーティファクト）に置き換えられた場合、結果として得られる防御者は著しく低い汎用性を示した（CHASEの-43.2%に対し、-28.6%の減少）。これは、RLによって発見された分布が堅牢性の主要な原動力であることを裏付けている。
• 品質 vs 量: CHASE攻撃者は、ベースライン（PAIRやPAPなど）よりも少ないバイパスを生み出したが、それらは著しく高い説得力と具体性を備えており、提案されたフレームワークなしでは防御が困難な高忠実度の攻撃であることを示している。

5. 意義と主張

論文は、CHASEが、従来の（狭い分布に依存した）敵対的訓練によって達成された範囲を超えて汎用する、LLMの安全性硬化への道筋を示すと主張している。テンプレートのスキャフォールディングを取り除くことで、本フレームワークは潜在的な攻撃プリミティブ（AutoDAN, TAP, PAPなどの異なる攻撃手法に繰り返し現れる再利用可能なフレーミング戦略）を回収する。

著者らは、この硬化の「コスト」は解釈可能であり、かつ標的化されていると論じている：防御者は、フィクションのシナリオ、ロールプレイ、およびペルソナ変調を含むプロンプトを拒否することを学習する。これらのフレーミングは、実世界の主要な攻撃面（例：実世界のジェイルブレイクの98%は「～のふりをする」戦略を使用している）を構成しているため、結果として生じる過剰な拒否は、ランダムな失敗モードではなく構造的なヒューリスティックである。このことは、テンプレートフリーのRL探索が、固定された攻撃テンプレートに依存する方法よりも、進化するジェイルブレイクと静的なLLMの間の適応のギャップをより効果的に埋められることを示唆している。

限界: 著者らは、MT-Benchのコスト（-1.92ポイント）が無視できないレベルであり、推論重視のカテゴリに集中していることを指摘している。また、防御者はユーザーの意図ではなくフレーミングの特徴によって分類を行うため、良質なフィクションのクエリに対する拒否が高まる傾向にある。評価は人間によるアノテーションではなくLLMジャッジに依存しており、他のモデルアーキテクチャへの転移については未検証である。