技術概要：Red-Bandit

問題定義

大規模言語モデル（LLM）は、安全性対策を回避する敵対的プロンプトに対して依然として脆弱であり、この制限はモデル訓練における競合する目的と、安全性と能力の間の一般化ギャップに起因すると考えられています。自動化されたレッドチームングは人間の監査に代わるスケーラブルな代替手段として登場しましたが、既存の手法には重大なトレードオフが存在します。

• オフライン最適化: AdvPrompter や Atoxia などの手法はオフラインで敵対的プロンプトを生成します。これらはブラックボックスモデルへの転移性に優れていますが、テスト時に特定のターゲットモデルの脆弱性へ適応する能力が欠如しています。
• クエリ集約型の適応: 反復的な探索と突然変異手法（PAIR、TAP など）はテスト時の適応性を提供しますが、非常に多くのクエリを必要とし、単一のプロンプトを洗練させるために多数の相互作用を要します。
• 多様性と可読性: 強化学習（RL）に基づくアプローチはしばしば「モード崩壊」に陥り、生成されるプロンプトの多様性が制限され、報酬設計において複数の目的（可読性対攻撃成功）のバランスを取ることに苦慮します。

核心的な課題は、反復的探索の高いクエリコストやオフライン最適化の硬直性を伴わずに、モデル固有の脆弱性を特定し悪用するためにオンラインで効率的に適応するブラックボックス・レッドチームング・フレームワークを開発することです。

手法

Red-Bandit は、パラメータ効率型の RL 事後訓練と、テスト時適応のための多腕バンディット（MAB）方策を組み合わせた 2 段階のフレームワークを通じて、これらの課題に対処します。

1. LoRA 専門家の RL 事後訓練

このフレームワークはまず、低ランク適応（LoRA）を用いて多様な「攻撃スタイルの専門家」を訓練します。

• 攻撃スタイル: Rainbow Teaming 分類に基づき、10 の異なる攻撃スタイル（例：ロールプレイ、スラング、歴史的シナリオ、権威操作）が定義されます。
• 訓練アルゴリズム: 著者は、個別の価値モデルや参照モデルの必要性を排除し計算オーバーヘッドを削減する PPO の変種であるグループ相対方策最適化（GRPO）を採用します。
• 報酬信号: ルールベースの報酬モデル（Llama Guard）を用いて、安全性に基づきプロンプトをスコアリングします。重要なのは、報酬がターゲットモデルの応答ではなく、プロンプト自体（プロンプトレベルの安全性）に基づいて計算される点です。これにより、ターゲットモデルへのクエリなしに完全なブラックボックス設定で訓練が可能となり、下流の LLM 全体での一般化が促進されます。
• アーキテクチャ: 各攻撃スタイルには専用の LoRA 専門家が割り当てられます。このモジュール設計により、並列訓練が可能となり、既存の専門家を再訓練したり破滅的忘却のリスクを負ったりすることなく、新しいスタイルの追加が容易になります。

2. バンディット誘導推論

推論時、Red-Bandit は攻撃スタイルの選択を多腕バンディット問題として扱います。

• メカニズム: システムは、ターゲットモデルの応答の安全性に基づいて、事前訓練された LoRA 専門家から動的に選択を行います。
• 探索と利用: フレームワークは、新しい脆弱性を発見するための多様な攻撃スタイルの試行である探索と、特定のターゲットに対して有効であることが知られているスタイルへの依存である利用のバランスを取ります。
• アルゴリズム: 著者は 2 つの方策を評価します。
  • $\epsilon$-greedy: 経験的に最良の腕を大部分の時間で選択し、時折ランダムな探索を行うことで利用を優先します。
  • Upper Confidence Bound (UCB): 不確実性下での楽観主義を適用し、より少ない探索を受けた腕を好むことで、攻撃スタイルのよりバランスの取れた分布を確保します。
• 適応: バンディット方策は、ターゲットモデルからのフィードバックに基づいて選択戦略を更新し、基礎となる LoRA 重みの再訓練なしに効果的にテスト時適応を実行します。

主要な貢献

1. Red-Bandit フレームワーク: 多腕バンディットを用いて特定のターゲットモデルに対して最も効果的な攻撃スタイルを動的に特定し、スタイルの多様性と攻撃成功のバランスを取るブラックボックス・レッドチームング手法。
2. RL 事後訓練パイプライン: GRPO と LoRA を用いてスタイル固有の専門家を訓練する新規パイプライン。ターゲットモデルへのアクセスを訓練中に必要とせず、プロンプトレベルの安全性報酬を活用して、人間が読みやすくスタイルに整合した敵対的指示を生成します。
3. 診断機能: バンディット方策は診断ツールとして機能し、特定のモデルがどの攻撃スタイルに最も脆弱かを示すことで、モデル固有の弱点を露呈させます。
4. 性能: この手法は、AdvBench および HarmBench において最先端の攻撃成功率（ASR）を達成し、既存のベースラインと比較して低いパープレキシティ（高い流暢さ）を持つプロンプトを生成します。

実験結果

著者は、オープンソース（Mistral-7B、Vicuna-7B、Llama2-7B）およびプロプライエタリ（GPT-3.5-turbo、GPT-4o-mini、GPT-4o）のモデルを対象に、AdvBench および HarmBench ベンチマーク上で Red-Bandit を評価しました。

• 攻撃成功率（ASR）:
  • AdvBenchにおいて、Red-Bandit は Mistral-7B および Vicuna-7B で 100% の ASR@10 を達成し、Atoxia や AdvPrompter などのベースラインを上回りました。Llama2-7B では 96% 超の ASR@10 を達成しました。
  • HarmBenchにおいて、Red-Bandit（UCB 変種）は、ASR@20 設定下でほとんどのターゲットモデルにおいて、GCG、PAIR、TAP、AutoDAN を含むすべてのベースラインを上回りました。特に、Llama-2-7B において 69.0% の ASR@10 を達成し、GCG-Universal（20.0%）を大幅に凌駕しました。
  • プロプライエタリモデルを用いたブラックボックス設定では、Red-Bandit は高い ASR@10（例：GPT-3.5-turbo で 98.1%）を示し、バンディット誘導選択がプロンプト転移性に依存することなく脆弱性を悪用できることを証明しました。
• プロンプト品質: Red-Bandit は、ベースラインと比較して著しく低いパープレキシティ（例：Mistral-7B における UCB で 2.31）を持つプロンプトを生成し、高い人間による可読性を示しました。
• アブレーション研究: 結果は、RL 事後訓練とバンディット選択メカニズムの両方が性能に大幅に寄与していることを確認しました。プロンプトベースの報酬は、応答ベースまたはハイブリッドの報酬よりも効率的で多様であることが判明しました。
• 脆弱性診断: バンディットの選択分布の分析は、モデルごとに明確な脆弱性パターンを明らかにしました（例：GPT-4o は歴史的およびロールプレイシナリオに非常に脆弱であるのに対し、Llama-3.1-8B は仮説的および権威操作攻撃に敏感である）。

意義と主張

本論文は、Red-Bandit が適応性と効率性の間のトレードオフを解決することで、自動化されたレッドチームングにおける重要な進歩を表すと主張しています。クエリ集約型の反復的探索手法や、特定のターゲットに適応できないオフライン手法とは異なり、Red-Bandit はリアルタイムで最も効果的な攻撃スタイルへ「ルーティング」することを学習するスケーラブルな解決策を提供します。

著者は、このフレームワークが単なる攻撃ツールではなく、診断機器であると強調しています。バンディット方策が有害な行動を引き出すために最も頻繁に選択する攻撃スタイルを分析することで、開発者は特定のモデルの弱点や行動バイアスに関する洞察を得ることができます。本論文は、十分な探索予算が利用可能であれば、多腕バンディットによって導かれた標的攻撃スタイルを通じたモデル脆弱性の悪用が、成功率と人間による可読性の両方において既存の手法を上回ると結論付けています。

注記：著者は技術の二重使用性を認め、これは開発者と研究者がモデルの安全性対策を監査し強化するためにのみ意図されていると述べています。