技術的概要：ICER – 文脈内経験再生と意味保存プロンプト書き換えによるテキストから画像へのモデルのレッドチーム化

問題提起

テキストから画像へ（T2I）のモデルの急速な展開は、Not-Safe-For-Work（NSFW）コンテンツや著作権侵害画像の生成を含む、重大な安全性上の課題をもたらしました。開発者は様々な安全メカニズム（微調整された安全コンポーネント、推論ガイダンス、多層フィルタリングなど）を実装していますが、これらの防御の堅牢性を評価することは依然として困難です。既存のレッドチーム化手法は、以下の決定的な欠陥を抱えています：

• ホワイトボックス手法（P4D、UnlearnDiffAtk など）は、商用 API ベースのシステムでは利用不可能な内部モデルへのアクセスを必要とし、かつ、しばしば意味をなさない非流暢なトークン列を生成するため、流暢性ベースの検出器によって容易にフィルタリングされてしまいます。
• ブラックボックスのエージェントベースアプローチ（APGP、JailFuzzer など）は流暢なプロンプトを生成しますが、各攻撃を独立して扱い、過去の試行から学習することができません。これにより、計算コストの高さ、重複クエリの発生、およびスケーラビリティの欠如が生じます。
• 意味保存のギャップ：多くの既存手法は、安全フィルタを回避しつつ元の有害な意図を保持するプロンプトを生成することに失敗しています。現実世界の悪用シナリオでは、攻撃者は任意のモデルの故障ではなく、特定の安全でない出力を求めているのが一般的ですが、現在のツールは流暢性、意味の整合性、そして成功するジャイルブレイクのバランスを取ることに苦労しています。

手法：ICER フレームワーク

著者は、元の有害な意図を保持した流暢な自然言語の敵対的プロンプトを生成するように設計されたブラックボックスのレッドチーム化フレームワークであるICER（In-Context Experience Replay：文脈内経験再生）を提案します。ICER は、敵対者がターゲットモデルの内部パラメータや勾配にアクセスできないという脅威モデルの下で動作します。

このフレームワークは、代理モデルとして LLM を使用したベイズ最適化（BO）の設定内で、3 つの中核コンポーネントを統合します：

1. 問題定式化

目的は、以下の 2 つの制約条件下で関数 $f(P^*_q)$ を最大化する敵対的プロンプト $P^*_q$ を見つけることです：

1. 安全違反：生成された画像 $I^*_q$ は安全違反をトリガーしなければならない（スコア $E(I^*_q) \geq \tau'$）。
2. 意味保存：生成された画像は、元のプロンプトによって生成された画像との高いコサイン類似度を維持しなければならない（$sim(M(I_q), M(I^*_q)) \geq \rho$）。

この定式化は、ランダムなノイズではなく特定の有害なコンテンツを攻撃が求める「ターゲット型ジャイルブレイク」を確保します。

2. 文脈内経験再生（ICR）

失敗または成功した試行を破棄する従来の手法とは異なり、ICER は過去のレッドチーム化経験の共有事前データベース $\mathcal{D}$ を維持します。各エントリは以下の情報を保存します：

• 元のプロンプト $P_i$。
• 成功した敵対的変種 $P^*_i$。
• ベータ分布としてモデル化された有効性パラメータ $\theta_i = (\alpha_i, \beta_i)$。

クエリ $P_q$ に対して新しい敵対的プロンプトを生成する際、システムは $\mathcal{D}$ から $k$ 個の例をサンプリングしてガイダンスセット $S_t$ を形成します。その後、LLM はこれらの例とシステム指示に基づいて $P^*_q$ を生成します。これにより、LLM の文脈内学習能力を活用し、過去の攻撃パターンを再利用可能な「プレイブック」として符号化します。

3. トンプソンサンプリングによる適応的サンプリング（TS）

利用（証明された成功パターンを使用）と探索（新しい攻撃ベクトルを発見）のバランスを取るため、ICER はトンプソンサンプリングを採用します。

• $\mathcal{D}$ 内の各例は、ベータ分布 $Beta(\alpha_i, \beta_i)$ に関連付けられており、ここで $\alpha_i$ は報酬（成功したガイダンス）を蓄積し、$\beta_i$ はペナルティ（失敗したガイダンス）を蓄積します。
• 各反復において、システムは各分布から確率 $\pi_i$ をサンプリングし、最も高い値を持つ上位 $k$ 個の例を選択して LLM をガイダンスします。
• 報酬メカニズム：
  • 意味の失敗：生成された画像が意味チェックに失敗した場合、選択された例はペナルティを受けます（$\beta$ が増加）。
  • 部分的成功：意味チェックは合格したがジャイルブレイクが失敗した場合、安全でないスコアに基づいて部分的な報酬が割り当てられます。
  • 完全成功：ジャイルブレイクが成功した場合、例は完全な報酬を受け取り（$\alpha$ が増加）、新しい $(P_q, P^*_q)$ のペアが $\mathcal{D}$ に追加されます。

この継続的な学習サイクルにより、フレームワークはモデルの再トレーニングを必要とせずに、時間の経過とともに特定の安全メカニズムに適応することができます。

主要な貢献

1. ICER フレームワーク：LLM ベースの書き換えと文脈内経験再生を活用して、流暢な自然言語の敵対的プロンプトを生成するブラックボックスフレームワークの導入。
2. 意味保存評価：単に任意の安全でないコンテンツを生成するだけでなく、攻撃者の特定の意図と整合するコンテンツを生成することを要求する厳格なパラダイムである「ターゲット型ジャイルブレイク」において、優れた性能を実証。
3. 知識転移：過去のジャイルブレイク事例が新たな脆弱性の発見を促進し得ることを明らかに。論文は、攻撃知識が蓄積し、単一のレッドチーム化キャンペーンが新しい防御策や商用システムにまで転移可能なプレイブックを構築し得ることを強調しています。

実験結果

著者は、ICER を 7 つのベースライン（P4D などのホワイトボックス手法や PEZ、Ring-A-Bell などのブラックボックス手法を含む）に対して評価しました。評価対象は、ESD、SLD-MAX、Receler、AdvUnlearn、SAFREE、RECE の 6 つの安全な T2I モデルと、ヌードと暴力という 2 つの有害な概念です。

• 性能：ICER はすべてのベースラインを一貫して上回りました。例えば、ヌードに関する ESD モデルにおいて、ICER は失敗率（FR）で**48.71%**を達成し、次点のベースライン（FLIRT-Scoring）の 34.55% を上回りました。堅牢な AdvUnlearn モデルにおいて、ICER は最強のベースラインの 2 倍の脆弱性を特定しました。
• 意味保存：意味制約が適用された際に大幅な FR 低下を被るトークンレベルの最適化手法（ESD における PEZ は 72.75% から 9.87% に低下など）とは異なり、ICER は高い性能を維持しました（80.19% から 57.37%）。これは、意味的に整合したプロンプトを生成する能力を示しています。
• 流暢性：n-gram パープレキシティを用いた定量的分析により、ICER は Ring-A-Bell（69.88 $\times 10^3$）や P4D-N（175.45 $\times 10^3$）などのベースラインと比較して、著しく自然なプロンプトを生成したことが示されました（平均パープレキシティ 0.82 $\times 10^3$）。
• 転移性：ICER によって生成されたプロンプトの30% 以上が、DALL·E 3（35.58%）やMidjourney（41.35%）のような厳しく管理された商用システムに成功裏に転移し、すべてのベースラインを上回りました。これは、発見された脆弱性が特定のオープンソースアーキテクチャに限定されないことを実証しています。

意義と主張

この論文は、レッドチーム化を独立した試行の集まりではなく、学習問題として捉えるべきであると主張しています。中心的な教訓は、成功したジャイルブレイクには再利用可能な構造が含まれており、これらが文脈内経験再生を通じて捕捉されれば、これらのパターンは異なる概念やターゲットモデルにおけるその後の攻撃を著しく効果的にするということです。

著者はこれを「両刃の剣」として位置付けています：

• 防御者にとって：高コストで一貫性のない人間の監査や、孤立した自動プローブを超えた、安全評価のための効率的な青写真を提供します。単一のキャンペーンで転移可能なプレイブックを構築できます。
• 安全コミュニティにとって：独立した記憶を持たない敵対者に対してのみ評価された防御策は、その堅牢性を劇的に過大評価している可能性があるという警告となります。攻撃知識が容易に蓄積する場合、悪意のある actors は蓄積された知識を利用して、より安価でよりターゲットを絞った悪用を行う可能性があります。

この研究は、レッドチーム化へのコミュニティのアプローチを、静的なチェックリストから、各試行が次の試行を情報提供する継続的で適応的なプロセスへと転換することを提唱して結論付けています。