🤖 machine learning

Persona-Conditioned Adversarial Prompting: Multi-Identity Red-Teaming for Adversarial Discovery and Mitigation

本論文は、多様な攻撃者ペルソナを活用して転移可能なジャイルブレイクを発見し、豊富なメタデータを含むデータセットを生成するレッドチームングフレームワークであるペルソナ条件付敵対的プロンプティング（PCAP）を導入し、それによって効果的な自動アライメントを可能にし、ターゲットとした微調整を通じてモデルの堅牢性を大幅に向上させる。

原著者： Cristian Morasso, Anisa Halimi, Muhammad Zaid Hameed, Douglas Leith

公開日 2026-05-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Cristian Morasso, Anisa Halimi, Muhammad Zaid Hameed, Douglas Leith

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢いものの、まだ未熟なロボットに、危険な手口を見分ける方法を教える場面を想像してください。そのロボットは大規模言語モデル（LLM）であり、現在、安全規則を回避するために質問の言い回しを熟知した人々によって、だまされています。

この論文は、PCAP（Persona-Conditioned Adversarial Prompting：ペルソナ条件付敵対的プロンプト）と呼ばれる新しい手法を紹介しています。その仕組みを、簡単なアナロジーを用いて説明します。

問題：「一芸に秀でた馬」のような攻撃者

以前、これらの安全上の欠陥（「レッドチーム化」と呼ばれる）を発見しようとしていた自動化システムは、特定の一種類の鍵開けしかチェックしない警備員のようなものでした。彼らは同じ数少ない手口を繰り返し試していました。

結果： いくつかの欠陥は見つかりましたが、実際の悪意ある行為者が使う巧妙で現実的な手口は見逃されていました。これは、城の防御力をテストする際に、正面の壁を登る試行だけを行い、裏口からパン屋に扮して忍び込む可能性を無視しているようなものです。

解決策：「方法演技」のアプローチ

PCAP は、攻撃者ロボットに「衣装と台本」を与えることでゲームのルールを変えます。単なる一般的な「ハッカー」ではなく、特定の目的を持つ特定の人物（ペルソナ）になりきるよう指示されます。

ペルソナ： ロボットがさまざまな仮面を被ると想像してください。時には学校のプロジェクトのための質問をする「好奇心旺盛な学生」として振る舞います。時には医学的な謎を解こうとする「不機嫌な医師」として振る舞います。また、時にはトラブルを引き起こそうとする「悪意ある行為者」として振る舞います。
戦略カード： 衣装に加えて、ロボットは「戦略カード」のデッキを受け取ります。これらは、どのように話すかを教えるカンニングペーパーのようなものです。あるカードには「本心を隠すために歴史的な物語を使う」と書かれているかもしれません。別のカードには「質問を小さく無害な断片に分割する」と書かれているかもしれません。

仕組み：並列プレイグラウンド

1 体のロボットがシステムを破壊しようとするのではなく、PCAP は複数の並列プレイグラウンドを設定します。

セットアップ： 学生、教師、ハッカーなど、例えば 6 種類の異なる「俳優」を作成します。
探索： 各俳優は、独自の声と特定の戦略セットを用いて、ターゲットのロボットをだまそうとします。
発見： 彼らが同時にさまざまなことを試みているため、安全上の欠陥をより多様に発見できます。
- アナロジー: ダムのひび割れをすべて見つけたい場合、岩を一つ投げるだけでは不十分です。水、砂、氷、つる植物を、さまざまな角度から投げかけます。PCAP は、これらすべての異なる「素材」を同時にロボットに投げかけます。

結果：より多くの欠陥を、より速く発見

この手法は、非常に強力なロボット（GPT-OSS 120B）でテストされました。

PCAP 以前： 従来の手法では、安全規則を破る方法が**57%**の確率で見つかりました。
PCAP 使用時： 新しい手法では、**97%**の確率で突破されました。
多様性： より頻繁に突破しただけでなく、それを破る2 倍から 6 倍のユニークな方法が見つかりました。10 個の鍵ではなく、100 個の異なる鍵を見つけるようなものです。

最大の利点：「自己修復」ループ

これがこの論文で最も重要な部分です。通常、欠陥を見つけることは最初のステップに過ぎません。その後、人間を雇って修正策を作成する必要があり、それは永遠に続くかのような時間がかかります。

PCAP は修正を自動化します：

攻撃： 「俳優」がロボットを破り、どのように行ったかを正確に記録します。
教訓： この論文は、これらの記録された手口を用いてロボットを「微調整（再訓練）」できることを示しています。
結果： ロボットは、特定の単語ではなく、手口のパターンを認識することを学びます。
- アナロジー: 「赤い帽子をかぶった人は入れない」と教える代わりに、赤い帽子、青い帽子、緑の帽子をかぶった人々が忍び込もうとする千枚の写真を見せ、忍び込むという概念を学習させます。
証明： この迅速な再訓練の後、ロボットは驚くほど強靭になりました。攻撃を**99%**の確率で阻止し、誤報（通常の質問への回答を拒否し始めること）はほとんど発生しませんでした。

まとめ

この論文は、完全なサイクルを提示しています：

発見： 通常のテストでは見逃される安全上の欠陥を見つけるために「方法演技」を行う俳優を使用する。
生成： これらの手口の膨大なデータセットを自動的に作成する。
防御： そのデータセットを用いて、ロボットに即座にそれらの手口を見分け、ブロックする方法を教える。

これにより、弱点の発見と修正のプロセスが、高速で自動化されたループへと変わり、AI を以前よりもはるかに迅速に安全なものにします。

技術概要：ペルソナ条件付き敵対的プロンプティング（PCAP）

問題定義

大規模言語モデル（LLM）の自動化されたレッドチームングは、現在、攻撃者の多様性の欠如と評価と実行可能な緩和策の間のギャップという 2 つの決定的な限界に直面しています。既存の自動化パイプラインは、しばしば狭い戦術セット（例えば、固定テンプレートや直接攻撃）と単一ショット変換に依存しています。その結果、攻撃者のアイデンティティ、社会的エンジニアリング、文脈的枠組み（例えば、役割に基づく信頼やドメイン固有の専門用語）に依存する現実的で複雑な攻撃ベクトルを捉え損なっています。この狭い探索は、堅牢な安全性微調整のための不十分なデータをもたらし、現実世界のリスクを過小評価します。さらに、「パープルチームング」アプローチは脆弱性の発見と防御の間のループを閉じるために存在しますが、多くの手法は攻撃者アイデンティティの体系的な多様化と明示的な戦略条件付けを欠いています。

手法：ペルソナ条件付き敵対的プロンプティング（PCAP）

著者は、剪定付き攻撃の木（TAP）アルゴリズムを拡張したフレームワークであるPCAPを導入します。PCAP は、敵対的探索を多様な攻撃者ペルソナと明示的な戦略セットに条件付けることで、ブラックボックス設定において現実的な攻撃シナリオを探索します。

中核コンポーネント

ペルソナ構築: ペルソナ生成器（ $G_p$ ）が、 $N$ 個の異なるペルソナ（例えば、好奇心旺盛な学生、ドメイン専門家、悪意のある行為者）を、固有の人口統計、経歴詳細、行動特性とともに生成します。
目標の再構成: 再構成モデル（ $R$ ）が、各ペルソナ（ $\pi_i$ ）の文脈内でターゲットとなる有害な目標（ $g$ ）を再解釈し、攻撃意図をペルソナの物語に埋め込んだ個別化された目標（ $\tilde{g}_i$ ）を生成します。
戦略条件付け: 攻撃戦略のセット（ $\Sigma$ ）が定義されます（例えば、ロールプレイ、ペイロード分割、タイプミス）。各ペルソナには、戦略のサブセット（ $\Sigma_i$ ）が割り当てられます。攻撃者モデル（ $A$ ）は、ペルソナ、再構成された目標、および特定の戦略カードに条件付けられ、コンテキスト内のガイドとして機能します。
並列化された敵対的探索: 単一の探索ビームの代わりに、PCAP は $N$ 個の独立した TAP 探索を並列で実行します。各探索は、幅 $W$ の独自のビーム（ $S^{(i)}_t$ ）を維持します。各反復において、ペルソナ条件付き攻撃者が変種を生成し、トピックチェッカー（ $O$ ）によってフィルタリングされ、評価器（ $E$ ）によってスコアリングされ、上位 $W$ 個の候補に剪定されます。
メタデータ豊富なデータセット生成: 重要なのは、すべての成功したプロンプトが、割り当てられたペルソナ、目標、および戦略タグで自動的に注釈付けられることです。これにより、堅牢な拒否行動のトレーニングに適した、注釈なしの豊富なコーパスが作成されます。

主要な貢献

ペルソナ条件付き探索: PCAP は、改善パイプラインの修正から、「誰が」攻撃するか、「どのように」攻撃するかを変更することに焦点を移します。このモジュール式のアプローチは、役割に基づく信頼やドメイン固有の枠組みを利用する多様な言語的および戦略的枠組みを探索します。
包括的な実証評価: 著者は、多様な能力を持つ（密結合およびエキスパート混合アーキテクチャ）複数の攻撃者モデルに対して PCAP を評価しました。専用ガードレールに対する攻撃成功率（ASR）、プロンプト生成数、転移性のすべてにおいて一貫した改善を実証しました。
実用的な閉ループ緩和: 本論文は、脆弱性の発見から自動化された防御までの完全なパイプラインを実証しています。PCAP 生成データ上で軽量アダプター（ALoRA）を微調整することで、著者は手動注釈なしでモデルの堅牢性を大幅に向上させることを示しました。
オープンソース公開: 著者は、受理後にレッドチームングフレームワークに統合された PCAP コードの公開を約束します。

実験結果

実験は、ターゲットモデルとしてGPT-OSS 120Bを使用し、さまざまな攻撃者モデル（Llama 3.3 70B、Granite 3.3 8B、Granite 4.0 H Tiny、Kimi K2.5、Mixtral 8x22B）を用いて実施されました。

攻撃性能

攻撃成功率（ASR）: PCAP はベースラインの TAP を大幅に上回りました。GPT-OSS 120B において、ASR は Llama 3.3 70B 攻撃者で**57.7% から 97.3%へ、Granite 4.0 H Tiny 攻撃者で41.0% から 98.0%**へ増加しました。
プロンプト生成数: PCAP は、TAP に比べて目標あたり2〜6 倍多くの多様な成功プロンプトを生成します。例えば、Granite 4.0 H Tiny では、目標あたりの生成数が 0.43 から 2.41 に増加しました。
転移性: PCAP によって生成されたプロンプトは高い転移性を示し、専用ガードレール（Granite Guardian 3.3 および Llama Guard 3）を**30〜58%**の率で回避しました。特に、これらのプロンプトの相当部分がターゲットモデルとガードレールの両方を回避しており、一般化可能な意味的脆弱性の発見を示唆しています。
多様性: PCAP プロンプトは、ベースラインと比較して低い意味的類似性（コサイン類似度約 0.62〜0.67）と低い自己 BLEU スコア（0.02〜0.08）を示し、高い語彙的および意味的多様性を確認しました。戦略分布は、ロールプレイに大きく依存していた TAP よりもよりバランスが取れており（低い $\chi^2$ スコア）、ロールプレイへの依存度が低かったです。

緩和と堅牢性

微調整: 軽量 ALoRA アダプターを、PCAP 生成データセット（50 の目標にわたる 300 プロンプト）で微調整しました。
性能向上: 微調整により、3 つのモデルファミリー（Granite、Llama、Qwen）全体で敵対的堅牢性が劇的に向上しました。
- リコール: 0.26〜0.36 から 0.96〜1.00へ向上。
- F1 スコア: 0.41〜0.53 から 0.96〜0.98へ向上。
- 適合率: 偽陽性が最小限に抑えられながら、高い水準（0.94〜0.97）を維持。
パープルチームング検証: 微調整済みモデルを PCAP で再テストしたところ、強い耐性を示しました。例えば、Granite 3.3 8B では ASR が 100% から33.7%に低下し、成功するジャイルブレイクを見つけるために必要なクエリ数が5〜7 倍増加しました。これは、データセットが一般化可能な攻撃パターンの認識を教えることを確認しています。

意義と主張

本論文は、PCAP が LLM の安全性に対する完全で自動化された閉ループアプローチを提供すると主張しています。敵対的探索を多様なペルソナに条件付けることで、この手法は狭いパイプラインが見逃す脆弱性、特に社会的エンジニアリングとアイデンティティに基づく信頼に依存する脆弱性を発見します。

著者は、生成されたデータセットの注釈なしの性質が、人間のレッドチームングのコストとスケーラビリティの問題を排除する重要な実用的な利点であると強調しています。数時間（A100 上で 2〜9 時間）の軽量微調整を通じてほぼ完璧な堅牢性（F1 > 0.96）を達成できる能力は、継続的なモデル強化のための実用的な道筋を示しています。この研究は、PCAP を単なる発見ツールとしてではなく、脆弱性の特定と自動化された効果的な防御の間のギャップを埋める機能的な「パープルチーム」として位置づけています。