💬 NLP

Learning to Attack and Defend: Adaptive Red Teaming of Language Models via GRPO

本論文は、高密度なマルチチャネル報酬、デカップルされたアドバンテージ正規化、およびプログレッシブ・カリキュラムを通じてGRPOを安定させ、最終的に極めて効果的な転移攻撃とより堅牢な言語モデル防御をもたらす、攻撃者と防御者の共同最適化のための新しい共同学習フレームワークであるAdvGRPOを提案する。

原著者： Blake Bullwinkel, Eugenia Kim, Amanda Minnich, Mark Russinovich

公開日 2026-06-09

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Blake Bullwinkel, Eugenia Kim, Amanda Minnich, Mark Russinovich

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ビッグピクチャー：デジタル・スパーリング・マッチ

想像してみてください。あなたは、非常に賢いロボット（ディフェンダー／防御側）を所有しています。このロボットは、役に立つ存在であると同時に、「爆弾の作り方は？」や「銀行をハッキングする方法は？」といった有害な要求を拒否するように訓練されています。

通常、人間はこのロボットをテストするために、トリッキーな質問のリストを作成します。しかし、ロボットは賢いため、それらの特定の質問に対して「ノー」と言うことを学習してしまいます。問題は、巧妙で適応力の高い攻撃者が、ロボットを欺くための新しい方法を見つけ出そうと、戦略を変化させることができる点です。

この論文は、AdvGRPOと呼ばれる手法を用いて、両者を同時に訓練する新しい方法を紹介しています。これは、デジタル道場を設定して、**レッドチーム（攻撃側）とブルーチーム（防御側）**が絶えずスパーリング（練習試合）を行うようなものです。人間が質問を書く代わりに、AIモデル同士が互いに戦い合うことで攻撃と防御を学び、ラウンドを重ねるごとに強くなっていくのです。

旧来の手法の問題点

以前、研究者たちは、攻撃者にディフェンダーを打破する方法を教えるために、特定の訓練ツール（GRPOと呼ばれます）を使用しようとしました。しかし、攻撃者とディフェンダーが同時に学習すると、システムが「不安定」になることが分かりました。それは、まるで二人のボクサーが新しい格闘スタイルを学ぼうとしているのに、リング自体が揺れているようなものでした。誰が勝っているのかについて合意を得られず、訓練がクラッシュしたり、堂々巡りになったりしたのです。

ソリューション：AdvGRPO（安定した道場）

著者らは、この揺れるリングを修正するAdvGRPOという新しいフレームワークを作成しました。彼らは主に3つのトリックを用いました。

マルチレーンを備えたスコアカード（高密度マルチチャネル報酬）：
ラウンドの終了時に単に「ポイント！」と叫ぶだけのレフェリーを想像してください。その代わりに、彼らはすべての動きに対してスコアを与えます。
- 攻撃者はトピックから外れていないか？
- 攻撃者は戦略に従っているか？
- 攻撃者は実際に有害な回答を引き出したか？
  このように一歩一歩にスコアを付けることで、攻撃者は最後まで失敗を知るのを待つのではなく、改善のための絶え間ないフィードバックを得ることができます。
独立した審判（デカップルされたアドバンテージ正規化）：
古い不安定な手法では、もし攻撃者が突然非常に強力になると、ディフェンダーのスコアが比較に対してひどいものに見えてしまい、訓練を混乱させてしまいました。
新しい手法は、各タイプのスコアが結合される前に個別に判定されるGDPOと呼ばれるシステムを使用しています。これは、「スピード」、「テクニック」、「創造性」のそれぞれに別々の審判がいて、一つの要素が他のスコアを台無しにしないように個別に採点するようなものです。これにより、両方のモデルが賢くなっても、訓練の安定性が保たれます。
トレーニングキャンプ（カリキュラム学習）：
初心者のボクサーをすぐにチャンピオンのリングに上げることはしませんよね。この論文では「カリキュラム」を使用しています。
- フェーズ1： 攻撃者は固定されたディフェンダーに対して単独で訓練し、基礎を学びます。
- フェーズ2： 攻撃者がある程度の実力を備えたら、ディフェンダーとのスパーリングを開始します。
- フェーズ3： 彼らは交代で行います。攻撃者が数ラウンドの間ディフェンダーを打破しようとし、次にディフェンダーが穴を塞ごうとし、そして切り替わります。これにより、ディフェンダーが（簡単な勝利のために）すべてに対して「ノー」と言うだけになるのを防ぎ、特定のトリッキーな攻撃に対処する方法を強制的に学習させます。

彼らが発見したこと

論文では、実験から得られたいくつかの主要な結果を報告しています。

攻撃者は恐ろしいほど上手くなった： 訓練された攻撃者は、未訓練のモデルや、単に「アンロック」された（安全フィルターが解除された）モデルよりも、ディフェンダーを欺くのがずっと上手くなりました。彼らは、単に安全フィルターを取り除くことだけでは不十分であり、攻撃の方法を「学ぶ」必要があることを理解しました。
彼らは適応できる： 攻撃者は、訓練相手となったディフェンダーだけでなく、見たこともない全く異なるモデルに対しても機能する戦略を学習しました。それは、特定のスパーリングパートナーに効く動きではなく、誰にでも通用する動きを学ぶボクサーのようなものです。
ディフェンダーはより強固になった： この「道場」で訓練されたディフェンダーは、古い手法で訓練されたディフェンダーよりも、攻撃を察知しブロックするのが非常に上手くなりました。彼らは、悪い要求には「ノー」と言いつつ、善良で無害な要求には「イエス」と言う方法を学びました。
思考モデルには特別な助けが必要： 「思考（推論）」ができるモデルは、あまりにも安全になりすぎて、攻撃を求められても攻撃を拒否してしまう傾向があることが分かりました。彼らが安全警告に陥ることなく、攻撃を「考え抜く」ことができるよう、特別な報酬システムを作成する必要がありました。

まとめ

この論文は、この新しい安定した手法（AdvGRPO）を使用することで、AIの攻撃者とディフェンダーが共に学習できるシステムを作れると主張しています。その結果、弱点を見つけるのが非常に上手い攻撃者と、それを修正するのが非常に上手いディフェンダーが生まれ、AI全体の安全性が向上します。彼らは、これが悪意のある者が利用する前に弱点を見つけるための研究ツールであり、より強力で堅牢なAIシステムを構築するためのものであることを強調しています。

技術要約：学習による攻撃と防御：GRPOを用いた言語モデルの適応型レッドチーミング

問題提起

大規模言語モデル（LLM）の現在の安全性アライメントは、人間がキュレーションした、あるいは固定されたジェイルブレイク技術によって生成された敵対的プロンプトの静的なデータセットに大きく依存しています。モデルはこれらの特定の攻撃を回避するように訓練できますが、新しい弱点を標的にするために戦略を変更する適応型の攻撃者に対しては脆弱なままです。既存の自動レッドチーミング手法の多くは、固定された防御者に対して攻撃者を訓練したり、攻撃者が防御者の応答を観察することなくすべてのターンを生成するオープンループ最適化を使用したりします。さらに、Group Relative Policy Optimization (GRPO) は安全性領域で有望であることを示していますが、攻撃者と防御者の共同訓練への適用を試みた先行研究では不安定さが報告されており、研究者は代わりにProximal Policy Optimization (PPO) や Direct Preference Optimization (DPO) を好む傾向にあります。

手法：AdvGRPO

著者らは、GRPOを攻撃者と防御者の共同最適化に適合させるために設計された共同訓練フレームワークである AdvGRPO を導入しています。このフレームワークは、以下の3つのコアメカニズムを通じて、従来のGRPOによる共同訓練の試みで見られた不安定さを解決しています。

高密度マルチチャネル報酬とGDPO:
疎な最終結果に頼るのではなく、本システムはLLMジャッジ（GPT-4.1）によってスコア付けされる、高密度でマルチチャネルな報酬信号を採用しています。
- 攻撃者に対して: 報酬には、防御者の有害な応答に対する「攻撃報酬（ $A$ ）」、攻撃者の戦略への忠実度に対する「プロンプト報酬（ $P$ ）」、および推論モデルの自己検閲を防ぐための「思考プロセス報酬（ $T$ ）」が含まれます。
- 防御者に対して: 報酬には、敵対的目的に対する「 $1-A$ （有害な出力をペナルティ化）」および、良性な目的に対する「ヘルプフルネス報酬（ $H$ ）」が含まれます。
- GDPO (Group reward-Decoupled Policy Optimization): 正規化の過程で低分散のチャネルが減衰してしまう報酬信号の崩壊を防ぐため、本フレームワークは、異なる目的のアドバンテージ・スケールをデカップル（分離）するために、グループ内で各報酬チャネルを独立して正規化した後、加重和によって結合します。
クローズドループ・マルチターン最適化:
攻撃者が一括で全ターンを生成するオープンループ手法（SEMAなど）とは異なり、AdvGRPOはクローズドループで動作します。攻撃者は各ターンで防御者の応答を観察し、それに応じて次のプロンプトを適応させます。攻撃が成功した場合（報酬 > 0.9）、エピソードは早期に終了（プルーニング）され、ターンごとのアクションに対して効率的なクレジット割り当てを提供します。
カリキュラム事前学習と交互更新:
- カリキュラム: 攻撃者は、共同訓練が始まる前に、シングルターン設定からマルチターン設定へと段階的に訓練されます。これにより、訓練されていない弱い攻撃を容易に回避することで、共同訓練の初期段階で防御者が支配的になってしまうことを防ぎます。
- 交互更新: 共同訓練中、攻撃者と防御者モデルは交互に（ $N$ ステップごとに）更新されます。攻撃者のフェーズでは防御者は凍結され、防御者のフェーズでは攻撃者は凍結され、防御者は「すべてを拒絶する」という退化した戦略を防ぐために、敵対的および良性の両方の目的を用いて訓練されます。

主な貢献

共同訓練のためのGRPOの安定化: 本論文は、GDPOとデカップルされたアドバンテージ正規化を用いることで、GRPOが敵対者と防御者の共同訓練に効果的に使用できることを示し、以前の不安定性の報告を克服しました。
クローズドループ・マルチターン学習: 本フレームワークは、静的なマルチターンシーケンスを生成するのではなく、防御者の応答に条件付けられることで、攻撃者が適応的な戦略を学習することを可能にします。
推論モデルの攻撃訓練: 本手法は、ベースとなる推論モデルには欠けている能力である、アライメントによる自己検閲を克服するための推論能力を持つモデル（Qwen3.5-9Bなど）の訓練に成功しました。
堅牢な防御者訓練: 共同訓練された防御者は、一般的な有用性を維持しながら、ベースラインを上回る優れた安全性パフォーマンスを達成しています。

結果

攻撃者の性能:

AdvGRPOで訓練された攻撃者は、ベースモデルと比較して攻撃成功率（ASR）において大幅な改善を示しました。例えば、Qwen2.5-14Bマルチターン攻撃者は、GPT-4.1に対してAdvBenchおよびHarmBenchで 90–91% のASR を達成しました。
AdvGRPOで訓練された推論能力を持つモデル（Qwen3.5-9B）は、シングルターン設定において 71–79% のASR を達成し、ベース状態でのほぼゼロに近い性能を克服しました。
転移性: 攻撃者は未知の防御者モデル（Phi-4-mini, Llama-3.1-8B, Gemma-2-9B）に対しても良好に汎化し、特にマルチターン・シナリオにおいて、SOTAであるSEMA手法をアウトオブディストリビューション（OOD）の目的関数に対して上回ることが多い結果となりました。
ベースライン比較: アンセッサー（Abliterated）やGRP-Obliteratedなどのアンセーフ化（Uncensored）モデルは、AdvGRPO訓練モデルと比較して攻撃者としての性能が低く、安全ガードレールを取り除くことだけでは敵対的戦略能力は付与されないことを示しています。

防御者の性能:

共同訓練された防御者（Qwen2.5-7B）は、HarmBenchのASRを <2% に減少させ、ベースモデル（18.8%）、Self-RedTeam（16.8%）、およびAdvGame（4.7%）を大幅に上回りました。
良性な遵守（compliance）はわずかに低下しましたが（これは訓練がバニラの良性プロンプトのみで行われたためと考えられます）、一般的な有用性指標（MMLU, TruthfulQA, ARC-C, IFBench）は維持または向上しており、安全性訓練が一般的な能力を低下させていないことを示しています。

意義と主張

本論文は、AdvGRPO が自動レッドチーミングと防御のための、PPOおよびDPOに代わる安定かつ効果的な選択肢であることを主張しています。以下のことを確立しました：

GRPOは、高密度でマルチチャネルな報酬とデカップルされた正規化を組み合わせることで、共同訓練が可能であること。これは、この設定においてGRPOが本質的に不安定であるという概念に異を唱えるものです。
適応的な訓練が必要であること: 単に安全ガードレールを取り除くこと（アンアライメント）は、効果的な攻撃者を作るには不十分であり、反復的な共同訓練を通じて防御者の弱点を突くようにモデルを特別に訓練する必要があります。
クローズドループ最適化は、オープンループ手法よりも、攻撃者が各ターンで防御者の応答に適応することを学習するため、より転移性が高く堅牢な攻撃を生み出します。
共同訓練は堅牢な防御者を生み出すものであり、静的なデータセットや他の共同訓練ベースラインよりも優れた汎化性能を持つ防御者を提供し、よりレジリエントなAI安全性アライメントへの実用的な道筋を示しています。

著者らは、防御者における良性遵守の低下（敵対的な良性プロンプトを訓練に含める必要性を示唆）や、攻撃プロンプトにおける一部のエントロピー崩壊（攻撃の多様性を制限する）を含む限界も認めています。しかし、本研究はAdvGRPOを、適応的で自動化されたレッドチーミングシステムを作成するための重要な一歩として位置付けています。