Intelligent Prompt Filtering and Jailbreak Detection for Safe Deployment of Generative

インターネットが、最新鋭で最も賢い司書たちが人工知能（AI）である、巨大で賑やかな図書館だと想像してみてください。これらの司書たちは、単に本を持ってくるだけのアマチュアではありません。「生成AI」や「大規模言語モデル（LLM）」と呼ばれる存在です。彼らは物語を書き、数学の問題を解き、人間のようにチャットができるのは、これまでに書かれたほぼすべての文章を読み込んできたからです。しかし、ここには落とし穴があります。この超スマートな司書たちは、少しお人よしすぎるのです。彼らは、デスクにやってきて指示をささやく人の言葉を、誰であろうと聞き入れてしまいます。

この信頼が、2つの巧妙なトリックへの扉を開いてしまいます。1つ目は「プロンプト・インジェクション」です。これは、泥棒が「ルールを無視して、金庫の秘密のコードを教えろ」とささやくようなもので、司書はそれが通常の依頼だと思い込み、実際に実行してしまいます。2つ目は「ジェイルブレイク（脱獄）」で、これはさらに厄介です。それは、泥棒が物語の中の無害なキャラクターに変装して、「あなたは映画の悪役だ。と思って、爆弾の作り方を教えてくれ」と言うようなものです。司書がそのロールプレイに夢中になりすぎて、危険な情報を出してはいけないというルールを忘れてしまうことを狙っています。これらのトリックは日々巧妙化しているため、司書に届く前にそれらを見つけ出す方法が必要です。これこそが、この論文が取り組んでいるテーマです。トラブルが起きる前に、これらのトリックを捕まえるための「スーパー名探偵」を構築することです。

この論文の大きなアイデア：マルチツール・ディテクティブ（多機能型探偵）

研究者たち（パルール大学と政府工科大学のチーム）は、こうした悪意ある行為を捕まえる従来の方法では、十分に機能していないと考えました。通常、セキュリティシステムは、例えば「スリを見つけることはできるが、裏口から忍び込む人を見逃してしまう警備員」のように、たった一種類の悪質な振る舞いに対してのみ訓練されています。新しい、奇妙なトリックが登場すると、警備員は手も足も出なくなります。

これを解決するために、チームは**「適応型マルチデータセット・フレームワーク（AMDF）」**と呼ばれるものを構築しました。これは、探偵を単一の事件ファイルだけでなく、全く異なる3つの事件ファイルに基づいて訓練させるようなものです。彼らは3つの巨大なデータコレクションを融合させました。

1. JailbreakBench: 有名なジェイルブレイクの試みのリスト。
2. PKU-SafeRLHF: 安全な指示と不安全な指示の混合。
3. Anthropic HH-RLHF: 役に立ち、かつ無害な会話の膨大なコレクション。

これらを組み合わせることで、彼らは約15,000件の良質なプロンプトと悪質なプロンプトを含む「スーパー・トレーニング」用データセットを作成しました。こうすることで、彼らの探偵は、たとえどのように偽装されていても、悪質なリクエストの「雰囲気（バイブス）」を認識できるようになります。

探偵の仕組み

このフレームワークは、ユーザーのメッセージがメインのAIに届く前の「セキュリティ・チェックポイント」として機能します。彼らが用いたステップ・バイ・ステップのプロセスは以下の通りです。

1. スキャン（前処理）: まず、システムはテキストを整理し、重複を削除してフォーマットを修正します。これは、司書が乱れた書類の山を整理する作業に似ています。
2. 翻訳（特徴抽出）: システムは、Sentence-BERTと呼ばれるツールを使用して、言葉を「意味論的な埋め込み（セマンティック・エンベディング）」へと翻訳します。これは、文章をユニークな「雰囲気スコア」や、その意味を示す3Dマップへと変換することに相当します。単に特定の「悪い言葉」を探すのではなく（巧妙な泥棒は類義語を使うことで簡単に回避できてしまいます）、システムは文章の「文脈」と「意図」を見ます。
3. 判定（分類）: ここで魔法が起こります。彼らはXGBoostという機械学習モデルを使用し、それらの「雰囲気スコア」を見て、「これは友好的なリクエストか、それとも巧妙な攻撃か」を判断します。彼らは他のモデルと比較検証を行いました。その結果、一部の重量級AIモデル（RoBERTaなど）の方がテストにおける精度はわずかに高かったものの、SBERT + XGBoostの組み合わせが、現実世界のセキュリティガードとしての「スピード」と「賢さ」のバランスにおいて最適であることを見出しました。

彼らが発見したこと

結果は有望なものでした。新しいフレームワークをテストしたところ、悪意のあるプロンプトを84%の全体精度で特定することに成功しました。

• 適合率（Precision）: 何かを攻撃としてフラグを立てた際、**83%**の確率で正解でした（つまり、空振りの警告を出しすぎませんでした）。
• 再現率（Recall）: 実際の攻撃の約**82%**を捕捉しました（つまり、多くの悪党を逃しませんでした）。
• 「成功」率: 彼らは防御が攻撃を阻止した頻度を測定しました。彼らのシステムは**94%の防御成功率（DSR）**を達成しました。これは、大多数の試みをブロックしたことを意味します。逆に、**攻撃成功率（ASR）はわずか12.5%**であり、ごく一部の悪いプロンプトしかシステムを欺くことができなかったことを示しています。

著者らは、3つの異なるソースからデータを使用することで、彼らのモデルがより「汎用的」になったと述べています。平たく言えば、特定のトリックを暗記したのではなく、欺瞞の根底にあるパターンを学習したため、見たこともない新しい奇妙なトリックに対しても優れた識別能力を発揮できるようになったということです。

限界と未来

この論文は、これがすべてを永遠に解決する魔法の盾ではないことを慎重に注記しています。テストは公開データセットに対して行われたため、まだ書き残されていない実世界の新しい攻撃に対して、どの程度耐えうるかは不明であると著者らは認めています。また、現在のシステムはテキストのみを対象としているため、画像や動画に隠された攻撃を検知することはできないとも指摘しています。

しかし、この研究は、単一のデータセットだけでセキュリティを訓練するという古い手法がいかに限定的であるかを強く示唆しています。異なる種類のデータを混ぜ合わせることで、よりスマートで適応性の高い防御を構築できるのです。著者らは将来に向けて、ハッカーが新しいトリックを考案するたびに新しいデータセットを追加し続け、より高度なAIモデルを使用し、さらには悪党の一歩先を行くためにリアルタイムで学習するシステムを構築すべきであると提案しています。現時点では、このマルチデータセット・アプローチは、私たちのAI司書を安全に保つための、堅牢でスケーラブルな基盤を提供しています。