💬 NLP

Retrieval-Augmented Defense: Adaptive and Controllable Jailbreak Prevention for Large Language Models

本論文は、既知の攻撃例のデータベースを活用して悪意のあるジェイルブレイク戦略を検出し推論する、トレーニングを必要としないフレームワークであるRetrieval-Augmented Defense（RAD）を提案し、それによって大規模言語モデルに対する適応的な保護と制御可能な安全性と有用性のトレードオフを提供する。

原著者： Guangyu Yang, Jinghong Chen, Jingbiao Mei, Weizhe Lin, Bill Byrne

公開日 2026-08-11

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Guangyu Yang, Jinghong Chen, Jingbiao Mei, Weizhe Lin, Bill Byrne

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

インターネットを、最新かつ最も賢い司書たちが人工知能（AI）である、巨大で賑やかな図書館だと想像してみてください。これらのAI司書、すなわち大規模言語モデル（LLM）は、詩を書いたり、数学の問題を解いたり、あなたが想像できるあらゆることについてチャットしたりすることができます。彼らは非常に役に立ちますが、厳格なルールブックに従っています。それは、爆弾の作り方や他人の身元を盗む方法といった、危険な指示を決して出さないようにプログラムされているということです。しかし、賢い子供が巧妙な質問の仕方で厳しい先生を欺くことができるように、悪意のある人々は、これらのAI司書を「脱獄（ジェイルブレイク）」させる方法を見つけ出しました。彼らは、映画の脚本を書いているふりをしたり、ロールプレイングゲームをプレイしたりといった「派手な衣装」の中に危険な要求を包み込み、AIにルールを忘れさせて、秘密を漏らさせるように仕向けるのです。この問題の大きな点は、AIシステムを構築している人々にとって、これらの「トリック」の変化が、AIに新しいルールを教えるスピードよりも速いことです。一つの穴を塞ぐたびに新しい穴が現れ、AIにこれらすべての新しいトリックを学習させるには、通常、大規模で高価、かつ時間のかかる再学習プロセスが必要になります。

ここで、ケンブリッジ大学の研究者によって提案された、「検索拡張防御（Retrieval-Augmented Defense: RAD）」という新しいアイデアが登場します。RADを、あらゆるトリックを暗記しようとする教師としてではなく、最新の「指名手配犯」の写真アルバムを無限に持つ、超スマートな警備員だと考えてみてください。ユーザーが質問をするたびに、RADは単に言葉を見るのではなく、現在の質問が変装しているかどうかを確認するために、既知の脱獄の試みの写真アルバムを素早くめくります。もし一致するものが見つかれば、その衣装を剥ぎ取り、その下にある真の、危険な意図を暴き出します。もし意図が悪ければ、警備員はそのリクエストを阻止します。もし無害な質問であれば、警備員は通過を許可し、AI司書がその仕事を行えるようにします。

研究者たちは、この「写真アルバム」のアプローチがゲームチェンジャーであることを発見しました。テストにおいて、RADは、通常AIモデルを欺いてしまう「PAIR」や「PAP」といった強力な新しい脱獄攻撃を、AIモデルを全く再学習させることなく阻止できることを示しました。それは、今日、犯罪者の新しい写真を警備員の写真アルバムに追加すれば、警備員は明日にはその犯罪者を捕まえられるようになる、というようなものです。さらに優れたことに、このシステムは調整可能です。AIを運営している人々は、警備員がどの程度厳格であるべきかを決定できます。警備員を非常に慎重に設定することもできますし（ほとんどすべての悪党を捕まえますが、時として無実の人も止めてしまいます）、あるいはもっとリラックスした設定にすることもできます（より多くの人々を通しますが、捕まえる悪党は少なくなります）。このバランスは極めて重要です。なぜなら、あまりに厳格すぎて「今日の天気は？」といった単純な質問にさえ答えることを拒否してしまうようなセキュリティシステムは、求めていないからです。

論文は、この手法が、AIの安全性を保ちつつ、その有用性を維持する上で非常に効果的であることを示唆しています。実験では、RADがこれらの巧妙な攻撃の成功率を劇的に減少させ、多くの場合でゼロ近くまで下げた一方で、AIが通常の質問に正しく答えられる状態を維持していることを示しました。また、研究者たちは、写真アルバムに新しい攻撃の例を追加していくにつれて、古いものを見逃すことなく、それらの特定の新しいトリックを捕まえる能力が向上することを示しました。これは、新しい写真をアルバムに追加するだけで賢くなる、柔軟で「学習を必要としない」盾であり、悪意のある人々がルールをすり抜けるための新しい方法を常に発明し続けている世界において、私たちのAIヘルパーを安全かつ便利に保つための有望な方法を提供しています。

技術要約：Retrieval-Augmented Defense (RAD)

問題提起

大規模言語モデル（LLM）は、悪意のあるアクターが有害または非倫理的な応答を引き出すために入力を改変する「ジェイルブレイク（脱獄）」攻撃に対して依然として脆弱です。既存の防御メカニズムは、主に2つの課題に直面しています。

適応性： 多様かつ進化し続ける攻撃戦略の急速な出現により、コストのかかるモデルの再学習を行うことなく防御システムを更新することが困難になっています。
安全性と有用性のトレードオフ： 過度に攻撃的な防御戦略は高い誤拒絶率（良質なクエリのブロック）を招き、一方で寛容すぎる戦略は有害なコンテンツの阻止に失敗します。特定のデプロイメント要件やリスク許容度に基づいて、このトレードオフを制御できるメカニズムが必要です。

手法：Retrieval-Augmented Defense (RAD)

著者らは、Retrieval-Augmented Generation (RAG) とアンサンブル分類を用いてジェイルブレイクの試行を検出する、学習不要のフレームワークである Retrieval-Augmented Defense (RAD) を提案しています。既存のRAGベースの防御策が応答生成に干渉するのに対し、RADは独立した検出システムとして機能します。

コアコンポーネント

RADのパイプラインは、オフラインのデータベース構築フェーズと、5つのオンライン処理ステップで構成されています。

データベース構築:
- データベースは、元のユーザークエリ ( $q_i$ ) と、それに対応するジェイルブレイクプロンプト ( $x_i$ ) のペアで構築されます。
- LLMを使用して、各エントリの潜在的なジェイルブレイク戦略 ( $\tilde{S}_i$ ) および抽出ガイダンス ( $\tilde{G}_i$ ) を推論します。
- ジェイルブレイクプロンプト $x_i$ は、高密度テキスト埋め込み検索のためのキーとして機能します。
オンライン検出パイプライン:
- 検索 (Retrieve): 新しい入力プロンプト $x$ が与えられると、システムはコサイン類似度を用いて、データベースから最も類似したジェイルブレイク例のトップ- $K$ 個を検索します。
- 再ランク付け (Rerank): 検索されたセットは、推論された戦略の関連性を確保するために再ランク付けされます。2つのスコアリング手法が提案されています。
  - PMI スコアリング: 点別相互情報量（Pointwise Mutual Information）を用いて、戦略と入力の関連性を測定します。
  - 戦略尤度スコアリング: 入力が与えられた時の戦略の確率を使用します。
  - 良質なクエリを扱うために、「戦略なし」のエレメントも含まれます。
- 抽出 (Extract): 各上位ランクの戦略・ガイダンスのペアに対して、LLMが入力プロンプトから候補となる元のユーザークエリ ( $\bar{q}_j$ ) を抽出します。これは、実質的に攻撃による変換の逆転を試みるものです。
- 分類 (Classify): システムは、抽出されたクエリ、戦略、および元の入力に基づいた、有害性の確率 ( $P_j$ ) を計算します。
- 投票 (Vote): 個々の確率は、多数決（平均） または 加重投票（結合事後確率による重み付け） を通じて集計され、最終的な有害性確率 $P(\text{harmful}|x)$ を算出します。
決定と制御:
- 最終的な確率は調整可能な閾値 $\tau$ と比較されます。 $P(\text{harmful}|x) \ge \tau$ である場合、システムは強制的な拒絶（hard refusal）を発行します。そうでなければ、プロンプトはターゲットとなるLLMにパスされます。
- $\tau$ を調整することで、実務者は安全性（有害なプロンプトの阻止）と有用性（良質な応答の維持）のバランスを明示的に制御できます。

主な貢献

学習不要の適応性： RADは、データベースに新しい攻撃例を追加するだけで継続的な更新を可能にします。これにより、基盤となるモデルを再学習することなく、新たに出現するジェイルブレイク戦略（例：新しいPAIRやPAPのバリアント）に対抗できます。
堅牢な防御性能： RADは、複数のターゲットモデル（Qwen, GPT-4o, Llama）において、強力なジェイルブレイク攻撃（PAP, PAIR, Template攻撃を含む）の効果を大幅に減少させます。同時に、良質なクエリに対する誤拒絶率も低く抑えています。
制御可能な安全性・有用性トレードオフ： 著者らは、オペレーティング曲線（防御スコア vs 誤拒絶率予算）に基づく評価スキームを導入しました。RADは堅牢なパレート境界を示しており、ユーザーは特定のアプリケーションのリスク許容度に合わせた動作点を選択できます。
有用性の維持： 検出専用のシステムであるため、RADは他の防御策（Intention AnalysisやSafety Context Retrievalなど）が必要とするプロンプトの修正を回避し、一般的なQAタスク（AlpacaEval 2.0, MMLU）におけるターゲットモデルの性能を維持します。

実験結果

実験は StrongREJECT ベンチマークおよび一般的なQAデータセットを用いて行われました。

攻撃の緩和： RADはStrongREJECTにおける攻撃スコアを大幅に低下させました。例えば、Qwen-2.5-14B-Instructに対するPAP攻撃に対し、RAD-Base-14Bは攻撃スコアを（防御なしの）81.51から30.91へと減少させました。TemplateおよびDAN攻撃に対して、RADはほぼゼロに近い攻撃スコアを達成しました。
適応性： 新しい攻撃例（ReNeLLM, SATAなど）をデータベースに追加した際、RADは以前に見た攻撃の性能を低下させることなく（破滅的忘却を示すことなく）、これらの特定の新しい攻撃に対する性能を大幅に向上させました。
有用性： RADは、AlpacaEval 2.0における勝率およびMMLUにおける精度を、防御なしのベースラインとほぼ同一に維持しました。これに対し、他の手法（Intention Analysisなど）はモデルの有用性に大幅な低下を引き起こしました。
スケーラビリティ： データベースを50万件以上の例にスケールアップしても、システムは安定して効果的に機能しました。

意義と主張

本論文は、RADが現在の防御メカニズムの限界に対処する、実用的でスケーラブルなLLMセーフティのソリューションを提供すると主張しています。その主な意義は以下の通りです。

防御と学習の分離： 検索ベースのアプローチを活用することで、新しい脅威に適応するための高価な再学習サイクルを排除します。
明示的な制御： オペレーターが安全性と有用性のトレードオフを調整できるメカニズムを提供し、異なるデプロイメントシナリオには異なるレベルの厳格さが必要であることを認めています。
汎用性： 攻撃ファミリー内での強力な汎用性（例：PAIR-1の例のみを使用してPAIR-5を防ぐ）および、多様なターゲットモデル間での汎用性を実証しています。

著者らは、現在の制限事項として、テキスト入力に焦点を当てていること（マルチモーダル設定への拡張は未実施）、およびStrongREJECTベンチマークに見られる特定の有害性の定義に依存していることを挙げています。また、システムは検出のみを目的として設計されており、悪用を防ぐために攻撃例のデータベースは許可された研究者に限定されていることを強調しています。