技術要約: PixJail

問題提起

Text-to-Image (T2I) ジェイルブレイク技術の急速な進化は、既存の評価ベンチマークや再現ワークフローを追い越してしまいました。著者らが特定した重大な課題は、T2I ジェイルブレイクの評価が単なるプロンプトレベルのテストではなく、複雑なパイプラインレベルの問題であるということです。成功は、プロンプト変換、画像生成、セーフティフィルタリング、およびマルチモーダル判定という、一連の相互に関連するステージに依存します。これらのコンポーネントのいずれかに変化が生じるだけで、攻撃成功率（ASR）は劇的に変化する可能性があり、その結果、異なる論文間での結果の確実な再現や公平な比較が困難になっています。さらに、既存の手法の多くは公式コードを欠いており、コードが存在する場合でも、異種混合のデータセット、被害モデル、および評価指標に依存しているため、標準化されたベンチmarkingが妨げられています。

手法: PixJail フレームワーク

これらの課題に対処するため、著者らは、再現可能な T2I ジェイルブレイク評価のために設計された、自己進化型の**「論文からパイプラインへのエージェント・フレームワーク（paper-to-pipeline agent framework）」**である PixJail を提案します。テキストのみの LLM ジェイルブレイクに焦点を当てた従来のフレームワークとは異なり、PixJail は T2I 攻撃のエンドツーエンドのライフサイクル全体を再構築します。

コア・アーキテクチャ

PixJail は、統一されたコントラクトと自己進化型メモリシステムを通じて動作し、主に 3 つのコンポーネントで構成されています。

1. 統一コントラクト ($C$):
   PixJail は、入力スキーマ ($X$)、型定義されたパラメータ空間 ($\Theta$)、出力スキーマ ($Y$)、および一連の監査可能なアーティファクト ($A$) からなる共有ランタイム・インターフェースを定義します。このコントラクトは、論文固有の攻撃ロジックと共有評価インフラストラクチャを分離し、生成されたすべてのモジュールとパイプラインが、自動的な統合と一貫した比較のために共通のインターフェースを通じて動作することを保証します。

2. PixJail-Attack (論文から実行可能な攻撃モジュールへの変換):
   このモジュールは、論文（およびオプションの参照コード）から攻撃ロジックを抽出し、実行可能なモジュール ($m_p$) へと合成します。これは Planner–Implementor–Auditor ループを採用しています。

   • Planner (プランナー): 正規化された論文の表現とメモリバンクを分析し、構造化された攻撃仕様（脅威モデル、プロンプト戦略、探索手順）を生成します。
   • Implementor (インプリメンター): 仕様と統一コントラクトに基づき、攻撃コードを合成します。
   • Auditor (オーディター): 生成されたコードと仕様、および元の論文との間の整合性を検証します。不整合が見つかった場合、インプリメンターは監査を通過するまで反復的にコードを洗練させます。

3. PixJail-Eval (論文から実行可能な評価パイプラインへの変換):
   評価プロトコルは論文によって大きく異なることを認識し、このステージでは評価パイプライン ($e_p$) を独立して構築します。これには、評価仕様（データセット、モデル、ジャッジ、指標）を抽出するための Protocol Adapter と、攻撃モジュールを標準化されたランタイム・コンポーネント（ローダー、セーフティフィルタ、マルチモーダル・ジャッジ）と統合するための Pipeline Composer が含まれます。Consistency Checker (整合性チェッカー) は、パイプラインが元の評価プロトコルを忠実に実装していることを保証します。

4. PixJail-Memory (自己進化型ナレッジハブ):
   ゼロから作業を再現することを避けるため、PixJail は論文のダイジェスト、攻撃の進化パターン、再利用可能なテンプレート、失敗事例、およびバージョン管理されたアーティファクトを保存するメモリバンク ($M$) を維持します。

   • Retrieval (検索): 新しい論文に対して、システムは類似の攻撃手法や過去の経験を検索し、仕様生成を加速させます。
   • Update (更新): 完了時に、新しいコード、ログ、および失敗分析がメモリバンクに再取り込みされます。
   • Versioning (バージョニング): システムはバージョン管理された攻撃モジュール ($m^{(1)}_p, m^{(2)}_p, \dots$) を保持し、再現の軌跡を監査可能かつ追跡可能にします。

実行フロー

新しい T2I ジェイルブレイク論文が与えられると、PixJail は以下の手順を踏みます：

1. 論文を構造化された Markdown 表現に正規化します。
2. メモリバンクから関連する履歴データを検索します。
3. Planner–Implementor–Auditor ループを通じて、攻撃モジュールと評価パイプラインを構築します。
4. 標準化されたコア（または論文に合わせた設定）を使用して、被害モデルに対してパイプラインを実行します。
5. 指標（ASR、バイパス率）を算出し、結果とアーティファクトをメモリバンクに更新します。

主な貢献

本論文は、3 つの主要な貢献を概説しています。

• 初の自己進化型「論文からパイプラインへ」のフレームワーク: PixJail は、単独の攻撃コードから、T2I モデルのための完全で実行可能な攻撃・評価パイプラインへの再現を拡張した初のフレームワークです。
• 統一インターフェースとメモリバンク: 統一されたモジュール・コントラクトと履歴メモリバンクの導入により、PixJail は過去の経験を再利用しながら、論文からワークフローを合成できます。アブレーション研究により、メモリバンクを有効にすることで、機能的忠実度、技術的正当性、および再現性にわたる最終的なコード品質スコアが 8.16 から 9.10 へと向上（相対的に 11.5% の改善）したことが示されました。
• 包括的な再現とベンチマーキング: 著者らは、コードが利用可能な論文と利用不可能な論文の両方を含む、11 の代表的な T2I ジェイルブレイク手法の再現に成功しました。これらを 4 つの被害モデルにわたる標準化されたベンチマークに統合し、比較のための再現可能な基盤を提供しました。

実験結果

著者らは、4 つの被害モデル（SDv1.4, SDv1.5, SLD, SDXL）と様々なデータセット（NSFW-200, MMA, VBCDE, I2P）を用いて、11 の手法（例：SneakyPrompt, MMA-Diffusion, Ring-A-Bell, JailFuzzer）について PixJail を評価しました。

• 再現の忠実度: 元の論文の設定下で、PixJail は平均誤差 2.1%、中央値誤差 0% という高い忠実度の再現を達成しました。
  • コードが利用可能な手法の場合、平均誤差は 1.2% でした。
  • SneakyPrompt や JailFuzzer のような手法は、0% の誤差（完全一致）を達成しました。
  • 大きな乖離（例：R2A の 16.1%）は、概念的な失敗ではなく、隠れた実装の詳細や、システム変数（シード、サンプラー）の微妙な違いに起因しています。
• メモリの有効性: アブレーション研究により、メモリバンクの活用が生成されたコードの品質、特に機能的忠実度と再現性を大幅に向上させることが確認されました。
• 標準化されたベンチマーキング: 4 つのモデルに対して統一されたプロトコルで評価した際：
  • 攻撃の有効性は、モデルによって大きく異なります。例えば、DACA と R2A はオープンソースの拡散モデル（SDv1.4, SDv1.5, SDXL）において高い ASR（>90%）を達成しましたが、GPT-image-2 では <4% に低下しました。
  • 結果は、生成能力がより強力なモデル（例：SDXL）が必ずしも安全性（Robustness）の向上を意味しないことを明らかにしました。平均 ASR は SDv1.4 の ~65% から SDXL の ~75% へと増加しました。
  • 逆に、GPT-image-2 のようなクローズドソースモデルは高い耐性を示しましたが、絶対的な免疫があるわけではありませんでした。

意義と主張

本論文は、PixJail を将来の T2I ジェイルブレイク再現と評価のための統一された基盤として位置付けています。その意義は以下の通りです：

1. 手動作業の削減: 論文を実行可能なパイプラインへと変換を自動化することで、再現に必要なエンジニアリングのオーバーヘッドを大幅に削減します。
2. 公平な比較の実現: データセット、被害モデル、セーフティフィルタ、およびジャッジを標準化することで、以前は論文間の比較を信頼できないものにしていた不一致を排除します。
3. 監査可能性と追跡可能性: フレームワークは、ログ、構成、および失敗分析を含む、再現プロセスの透明かつバージョン管理された記録を提供し、これにより、より優れた安全性監査をサポートします。
4. 体系的な安全性研究: 著者らは、PixJail が生成モデルの安全性評価を「断片的な再現」から「体系的、標準化、かつ信頼できるベンチマーキング」へと進化させるのに役立つと主張しています。

著者らは、PixJail の目的は攻撃を促進することではなく、既存のジェイルブレイクのリスクを測定可能かつ比較可能にし、それによってより強力な防御策の開発を支援することであると明言しています。また、メモリシステムにおけるプロンプトベースのマッチングへの依存や、クローズドソースの商用セーフティフィルタに対するホワイトボックス・デバッグが不可能であるといった限界も認めています。