技術概要：MT-JailBench

問題定義

大規模言語モデル（LLM）は、複数のターンにわたって文脈を蓄積し、ユーザーのフィードバックに適応できる対話エージェントとして、ますます展開されるようになっています。この能力は複雑な推論や反復的な計画を支援しますが、同時にジャイルブレイクの攻撃対象領域を拡大します。単一のターンで行われる攻撃では有害な意図が単一のプロンプトに局在化しますが、マルチターン・ジャイルブレイクは対話構造そのものを悪用します。攻撃者は有害な目的を対話全体に分散させ、初期のターンで benign な文脈を確立し、協力的な姿勢を促し、最終的な明示的な有害な要求をモデルが拒否しにくくなるような前提を導入します。

これらの攻撃の普及が進むにもかかわらず、体系的な比較は困難なままです。既存の方法（Crescendo、Chain of Attack、XTeaming など）は、通常、異なる実験条件（リソース予算（ターン数、再試行回数）、ジャッジ（評価関数）、再試行ルール、戦略生成手順など）を含む「ブラックボックス」パイプラインとして評価されます。その結果、報告される攻撃成功率（ASR）の向上は、より強力な攻撃メカニズムとより許容度の高い実験設定が混同されており、どの構成要素が実際に成功を牽引しているのか不明確です。

手法：MT-JailBench

これらの不一致に対処するため、著者は固定された実験条件の下でマルチターン・ジャイルブレイクをベンチマークするために設計されたモジュール型評価フレームワークMT-JailBenchを導入します。攻撃を単一のモノリス型パイプラインとして扱うのではなく、MT-JailBench は任意のマルチターン・ジャイルブレイクを 5 つの相互作用するモジュールに分解します。

1. 評価関数（$E$）: ターゲットモデルの応答（または履歴）と有害なターゲットを、成功シグナル（二値ラベル、拒否インジケーター、または段階的スコア）にマッピングします。
2. 攻撃戦略（$\pi$）: 具体的なプロンプトが生成される前に、高レベルのガイダンス（例：ペルソナ、トピックの順序、漸進的な経路）を提供します。
3. プロンプト生成（$G$）: 戦略、ターゲット、履歴、フィードバックに基づいて次のプロンプトを生成します。これはオフライン（事前に計画されたシーケンス）とオンライン（適応的生成）の両方のモードをサポートします。
4. プロンプト微調整（$U$）: 会話フローを再開することなく、評価シグナルを使用して失敗したプロンプトを局所的に更新します。
5. フロー制御（$C$）: 現在の履歴と評価シグナルに基づいて、次のアクション（進行、再試行、再開、または終了）を決定します。

このフレームワークは、標準化されたインターフェース（PromptGenerator、OutcomeEvaluator、FlowController）を通じてこれらのモジュールを操作し、固定されたリソース予算（最大ターン数、相互作用数、再試行回数、サンプリングされた戦略）を強制します。この設計により、以下のことが可能になります。

• 制御された比較: 同一の制約条件下で異なる攻撃を評価する。
• コンポーネントごとの分析: 特定のモジュールをアブレーションして、それらの個々の寄与を測定する。
• 再構成: 異なる攻撃から最高性能のモジュールを組み合わせ、新しい構成を作成する。

主要な貢献

1. モジュール型評価フレームワーク: MT-JailBench は、マルチターン・ジャイルブレイクを分解、比較、分析するための再利用可能なインフラを提供し、エンドツーエンドのブラックボックス比較を超えて進歩します。
2. 交絡因子の特定: 本研究は、リソース予算と評価関数が主要な交絡因子であることを実証しています。ASR は許可される探索量とジャッジの厳格さに非常に敏感です。
3. コンポーネントレベルの知見: アブレーション研究を通じて、著者はプロンプト生成が性能変動の大部分を説明し、プロンプト微調整とフロー制御は中程度の改善をもたらすことを特定しました。
4. 戦略多様化分析: この論文は、明示的な動的戦略生成の必要性に疑問を投げかけ、強力な生成とフロー制御と組み合わせた場合、固定された戦略からの確率的サンプリングが、精巧な多様化メカニズムと同等の成果を上げうることを発見しました。
5. CrescendoX: 最強のコンポーネント（Crescendo のプロンプト生成と XTeaming の微調整およびフロー制御）を再構成することで、著者はCrescendoXを作成しました。これは 21 種類のターゲット LLM のうち 19 種類において、元の攻撃を上回る性能を発揮しました。

実験結果

著者は、HarmBench データセット上で、GPT-4o、GPT-5、Llama-3、およびプロプライエタリモデルを含むさまざまなターゲットモデルに対して、5 つの代表的な攻撃（Crescendo、CoA、ActorBreaker、FITD、XTeaming）を評価しました。

• リソース感度: 制約された予算（ターン数/再試行回数の制限）の下では、広範な探索に依存する手法（ActorBreaker、XTeaming など）は ASR が大幅に低下しましたが、Crescendo や FITD などの手法は安定していました。これは、制約のない設定での高い ASR が、しばしばメカニズムの質ではなく探索能力を反映していることを示唆しています。
• ジャッジ感度: 3 つの異なるジャッジ（CoA-Binary、FITD-Binary、Score-Judge）を使用したクロスバリデーションにより、報告された ASR に大きな相違があることが明らかになりました。許容度の高い二値ジャッジで評価された手法は、より厳格なマルチジャッジプロトコルで評価されると大幅な低下を示しました。
• コンポーネントアブレーション: 予算とジャッジを制御した場合、プロンプト生成モジュールの置換が最大の性能変動を引き起こしました。微調整とフロー制御は漸進的な改善を提供しましたが、初期生成の質に次ぐものでした。
• 確率的戦略対明示的戦略: 確率的サンプリングを用いた固定戦略は、XTeaming の明示的戦略列挙と同等の ASR を達成しました。これは、多様な戦略の数よりも、軌道生成の質の方が重要であることを示唆しています。
• 再構成の成功: 再構成された攻撃である CrescendoX は、21 種類のターゲットモデルのうち 19 種類で最高 ASR を達成し、モジュール型分析がより強力な攻撃の作成を予測的に導きうることを実証しました。

意義と範囲

この論文は、MT-JailBench をモデル安全性の絶対的な尺度としてではなく、マルチターン・レッドチームのための制御された実験言語として位置づけています。その主な意義は、集約された ASR から、攻撃が成功する理由を診断的に理解することへの焦点の移行にあります。変数を分離することで、このフレームワークはどの仮定、予算、メカニズムが性能を牽引しているかを特定し、より堅牢な防御の開発を導くのに役立ちます。

著者は、この研究のデュアルユース性を認識しており、脆弱性を特定するために使用される同じ分析が、より強力な攻撃を構築するために悪用される可能性があると指摘しています。しかし、体系的かつコンポーネントレベルの評価は、複数のターンに適応する攻撃者に対して有効な防御を構築するために必要であると主張しています。このフレームワークは、適応的なマルチターン脅威に対する耐性をテストするために、防御（入力変換、出力フィルター、ガードレールなど）の統合をサポートします。

限界: この評価は、HarmBench の特定の有害な行動と LLM ベースのジャッジを使用する、ブラックボックスかつテキストのみの脅威モデルを前提としています。結果は、異なる行動セット、アクセスポリシー、またはシステムレベルのガードレールでは変動する可能性があります。このフレームワークは、絶対的な安全性の認証ではなく、制御された比較のために設計されています。