RECAP: A Resource-Efficient Method for Adversarial Prompting in Large Language Models

技術要約：RECAP: 大規模言語モデルにおけるリソース効率の高い敵対的プロンプティング手法

問題提起

大規模言語モデル（LLM）の導入が進むにつれ、アライメントされたモデルが「ジェイルブレイク（脱獄）」に対して脆弱であるという重大なセキュリティ上の脆弱性が露呈しています。具体的には、敵対的なプロンプトによる攻撃です。GCG（Greedy Coordinate Gradient）、PEZ（Progressive Ensemble Zip）、GBDA（Gradient-Based Distributional Attacks）といった自動化された手法は、安全ガードレールを回避する敵対的なサフィックス（接尾辞）を生成できることを実証していますが、以下の決定的な限界に直面しています。

1. リソース集約性: GCGのような手法は高い成功率を誇りますが、膨大な計算リソースと訓練時間を必要とするため、予算の限られた組織にとっては非現実的です。
2. 不整合性: 成功率はプロンプトのカテゴリ（例：ヘイトスピーチ vs 麻薬）によって大きく変動するため、単一のアルゴリズムが普遍的に最適であるとは言えません。
3. ブラックボックスへのアクセスの欠如: 既存の敵対的テスト手法の多くは、勾配を計算するためにモデルの内部状態（ロジットや生の出力）へのアクセスを必要とします。これは、内部へのアクセスが制限されているホスト型、プライベート、またはクローズドソースのLLM（Geminiや独自のAPIなど）を評価する場合、それらの手法を無効なものにします。

手法

本論文では、Retrieval-Augmented Generation（RAG）の原理を活用して、リアルタイムの敵対的訓練の必要性を排除するリソース効率の高いフレームワークであるRECAPを導入しています。RECAPは、クエリごとに勾配降下法を用いて新しい敵対的トークンを生成する代わりに、構造化されたデータベースから事前に計算された成功事例としての敵対的例を検索（リトリーバル）します。

手法は以下の3つの段階で進行します。

1. データセットのキュレーションと分類:

   • 1,000個の有害なプロンプトのデータセットをキュレーションし、7つの意図カテゴリ（ヘイト、性的コンテンツ、暴力と犯罪、社会政治、規制物質、自殺/自傷行為、その他）に分類しました。
   • 分類は、プロンプトエンジニアリングされたVicuna-7Bモデルを使用して行われました。
   • 各プロンプトは、Llama 3 8Bモデルを用いて3つの敵対的アルゴリズム（PEZ、GBDA、GCG）を通じて処理されました。
   • 出力は、敵対的プロンプトが有害な応答を実際に引き出したかどうかを判断するために、HarmBench Classifierを用いて評価されました。

2. 階層的リトリーバル・データベースの構築:

   • 元のプロンプト、それに対応する敵対的サフィックス（PEZ、GBDA、およびGCGによって生成されたもの）、および成功ラベルを含む構造化データベースが作成されました。
   • フィルタリング: 少なくとも1つの攻撃が成功した行のみを保持し、データセットを780から226の有効な例へと削減しました。
   • 階層化: GCGについては、プロンプトごとに13個のトークンバリエーションが生成されるため、最初の成功したバリエーションを保存しました。
   • ランキング: データベースは、敵対的例を階層的に整理しています。各意図カテゴリについて、システムは、その特定のカテゴリに対して歴史的に最も高い成功率を持つアルゴリズムを優先します（例：性的暴行のプロンプトにはGCGのトークンを優先する）。

3. 推論パイプライン:

   • エンコーディング: 新しいユーザープロンプトは、all-MiniLM-L6-v2 SentenceTransformerモデルを使用して、高密度ベクトル表現へとエンコードされます。
   • 類似性検索: エンコードされたクエリは、FAISS（Facebook AI Similarity Search）インデックスに渡され、データベース内の最も意味的に類似したプロンプトを検索します。
   • 選択: システムは、最も一致するトップのプロンプトを検索し、事前に確立された階層に基づいて（最も成功率の高いアルゴリズムを優先して）、関連する敵対的サフィックスを選択します。
   • 実行: 選択された敵対的サフィックスは、元のユーザークエリに付加され、ターゲットとなるLLMに送信されます。このプロセスでは、推論時の勾配計算やモデルの訓練は一切必要ありません。

主な貢献

• リソース効率: この手法は、推論時の時間のかかる訓練や勾配計算を排除し、計算オーバーヘッドを大幅に削減します。
• ブラックボックス互換性: 内部の状態（ロジット）ではなくリトリーバルに依存することで、RECAPは、従来の勾配ベースの攻撃が不可能であるクローズドソースおよびホスト型のモデルに対するセキュリティテストを可能にします。
• カテゴリ認識の最適化: このアプローチは、プロンプトの意図と最も効果的な攻撃アルゴリズムとの相関関係を利用し、再学習を行うことなく成功確率を最大化するための階層的リトリーバル戦略を使用しています。
• 転移性: 生成および保存された敵対的トークンは、Llama 3 8Bのトレーニングセットから派生したものであるにもかかわらず、異なるモデルアーキテクチャ（例：Vicuna、Phi）に対しても効果的であることが判明しました。

実験結果

本手法は、Llama 3 8Bモデルを用いて145の異なるプロンプトに対して評価され、PEZ、GBDA、およびGCGと比較されました。

• 成功率 (平均成功率 - ASR):

  • GCG: 59%
  • PEZ: 39%
  • GBDA: 35%
  • RECAP: 33%
  • 注記: 著者は、このわずかに低いASRの原因を現在のリトリーバル・データベースのサイズの小ささに求めており、データベースの拡張に伴い改善されると予想しています。

• 効率性 (20個のプロンプトを処理する時間):

  • GCG (総当たり転送): 約6.3分
  • PEZ: 7.3分
  • GBDA: 7.1分
  • RECAP: 4分
  • 注記: 同一バッチに対して標準的なGCGの訓練は約8時間を要しましたが、RECAPはわずか4分でした。

• ブラックボックス・テスト:

  • RECAPは、Gemini API（有害フィルターが無効化された状態）に対してテストされました。モデルの優れた微調整とパラメータスケールにより成功率は低くなりましたが（4〜10%）、この実験は、ログへのアクセスがないために他のアルゴリズムが完全に失敗する場面でも、本手法が適用可能であることを示しました。

意義と主張

本論文は、RECAPを、特に計算リソースの限られた組織のための「ペネトレーション・テスト（侵入テスト）」のための実用的なフレームワークとして位置付けています。その主な意義は以下の通りです。

1. セキュリティ・テストの民主化: GCGのような訓練ベースの攻撃に伴うGPUコストを負担できない小規模な組織でも、敵対的評価を可能にします。
2. ブラックボックスのギャップを埋める: 内部モデルへのアクセスを必要とせずに、独自のクローズドソースLLMの堅牢性を評価するための実行可能なメカニズムを提供します。
3. スケーラビリティ: 著者らは、リトリーバル・データベースが拡大するにつれて、成功率はロジスティック成長パターンに従うと主張しており、最小限のリソース使用量を維持しながら、従来の訓練ベースのアプローチを上回る可能性があるとしています。

結論として、論文は本ツールのデュアルユース（両義性）の性質を認め、悪意のあるコンテンツを生成するためではなく、モデルのガードレールを強化するために脆弱性を特定することを目的としていることを強調しています。今後の課題は、RAGデータベースの拡張と、他のアルゴリズムの初期化をさらに最適化するための、検索されたトークンの統合の洗練に焦点を当てています。