MultiBreak: A Scalable and Diverse Multi-turn Jailbreak Benchmark for Evaluating LLM Safety

技術概要：MultiBreak 大規模かつ多様な多ターン脱獄ベンチマークによる LLM 安全性の評価

問題定義
大規模言語モデル（LLM）を人間の価値観に整合させることは極めて重要であるが、敵対的な「脱獄」攻撃は依然として重大な脅威である。初期の研究は単一ターンプロンプトに焦点を当てていたが、これらは攻撃者が安全ガードレールを回避するために多ターン会話を通じて意図を反復的に洗練させる現実世界の敵対的行動を捉えきれていない。既存の多ターンベンチマークは、主に以下の 2 つの限界に直面している：(1) 多様性の欠如：有害な意図の重複排除が意図のユニークなプールを劇的に減少させ、微細な安全性の問題を捉え損なうこと；(2) スケーラビリティ：事前に設計されたテンプレートや小規模な人間のレッドチームへの依存により、多様な LLM の堅牢性を厳密に評価するにはデータセットが小さすぎる結果となること。その結果、現在のベンチマークは評価の一貫性を欠き、複雑な会話ダイナミクスでのみ顕在化する微妙な脆弱性を見逃している。

手法
著者らは、能動学習フレームワークを通じて構築された、スケーラブルかつ多様な多ターン脱獄ベンチマーク「MultiBreak」を提案する。構築プロセスは、3 つの中核段階を含むプールベースの能動学習問題として枠組み化される：

1. データ多様化と初期化：

   • 著者らは、既存の 5 つの多ターンデータセットと 9 つの単一ターン意図データセットから、大規模な有害意図のプールを収集する。
   • 絞り込みプロセスでは、セマンティック類似性（Qwen3-0.6B 埋め込みを介して）を用いて重複を除去し、クローズドソースの被害モデルに対して評価することで「偽陽性」を排除し、高い攻撃成功率（ASR）を確保する。
   • これにより、3,010 のユニークな有害意図を網羅する初期データセットとして、2,201 の多ターン敵対的プロンプト（MTAPs）が得られる。

2. 反復的能動学習ループ：

   • ジェネレーター訓練：プロンプトリングの代わりに、攻撃ジェネレーター（LLaMA3-8B、Qwen2.5-7B、DeepSeek-Distill-Qwen-14B）に対して教師あり微調整（SFT）を採用する。微調整が採用される理由は、プロンプトリングよりも著しく高い ASR を達成し、意図に直接さらされた際に安全性が整合したモデルが有害コンテンツの生成を拒否するのを防ぐためである。
   • 獲得関数：生成されたプロンプトは、一連の被害モデルとジャッジに対して評価される。複合的な獲得関数は、出力を 3 つのカテゴリに分割する：
     • ACCEPT：高い ASR と高い忠実度（元の意図とのセマンティックな整合性）。
     • REWRITE：高い不確実性（ジャッジ間の不一致）だが高い忠実度。これらの「境界線」サンプルは、不確実性ガイドのリライター（Qwen2.5-7B）によって処理され、核心的な意図を変えずに表現を明確化し、敵対的シグナルを強化する。
     • DISCARD：低い ASR または低い忠実度。
   • 再訓練：承認されたおよび正常に書き換えられたサンプルは訓練セットに追加され、ジェネレーターはより強力な攻撃候補を生成するために反復的に微調整される。

3. 不確実性ガイドによる書き換え：

   • 一部のモデルでは成功するが他のモデルでは失敗するサンプルから貴重な訓練信号を回復するため、リライターモデルが曖昧な表現を明確化し、説得術を強化する。このステップは、反復を通じてジャッジの不確実性を一貫して減少させ、境界線サンプルを信頼性の高い脱獄へと変換する。

主要な貢献

• スケーラブルな能動学習フレームワーク：攻撃ジェネレーターを反復的に微調整し、高不確実性のサンプルを洗練するパイプラインにより、品質と多様性を維持しつつ敵対的プロンプトを効率的に拡張可能にする。
• 大規模かつ多様なベンチマーク（MultiBreak）：生成されたデータセットは、2,665 のユニークな有害意図にわたる10,389 の多ターン敵対的プロンプトを含んでいる。これは、これまでにない広範なセマンティックに異なる意図の範囲を網羅しており、多様性スコアは 0.942 であり、CoSafe、MHJ、SafeDialBench、RedQueen などの既存ベンチマークを大幅に上回る。
• 微細な安全性の洞察：このベンチマークは、多様な攻撃カテゴリが特定の LLM 脆弱性を明らかにすることを示している。特に、単一ターン設定では無害に見える、または低い ASR を示すカテゴリが、多ターンシナリオでは著しく高い敵対的有効性を発揮する。

実験結果
オープンソース（DeepSeek-R1-Distill-Qwen-7B、Qwen3-8B、LLaMA3.1-8B）およびクローズドソース（GPT-4.1-mini、Gemini-2.5-flash-lite）モデル全体の実証的評価は、以下を示す：

• 優れた攻撃成功率（ASR）：MultiBreak は、DeepSeek-R1-7B および GPT-4.1-mini において、それぞれ 2 番目に優れたデータセットよりも最大 54.0% および 34.6% 高い ASR を達成する。
• モデル横断的な堅牢性：このデータセットは、異なる被害モデルおよびジャッジ（LLaMA Guard および GPT-4o-mini）全体で高い有効性を維持しており、強力な汎化能力を示している。
• 多ターンの優位性：実験により、ターン数を増やすことで「無害」な単一ターンプロンプトが効果的な脱獄へと変換されることが示された。特定の低脆弱性カテゴリにおいて、6 ターンに拡張した場合、ASR は最大 44.8% 向上した。
• 防御の限界：既存の防御手法（X-Boundary、NBF-LLM など）を用いても、MultiBreak は、特に高リスクの規制された助言および金融犯罪カテゴリにおいて、持続的な脆弱性を露呈させる。

重要性
本論文は、LLM 安全性の向上に向けた重要なリソースとして MultiBreak を位置づける。現在の安全性評価は、現実的な敵対的設定を反映できない静的な単一ターンまたはテンプレート中心のデータセットに依存しているため不十分であることを強調している。多ターン相互作用が、単独では明瞭でない微細な脆弱性を露呈させることを実証することで、著者らはスケーラブルで多様かつ反復的な評価フレームワークの必要性を主張する。MultiBreak は、持続的な安全性のギャップを特定し、より堅牢な整合戦略の開発を導くための実用的なツールとして機能する。