論文要約：Peering Behind the Shield (LLM におけるガードレールの特定)

1. 背景と問題定義

大規模言語モデル（LLM）の急速な普及に伴い、顧客対応や医療など実世界での AI エージェントの展開が進んでいます。これらの安全性を確保するため、入力や出力を監視・制御する「ガードレール（Safety Guardrails）」が広く導入されています（例：LlamaGuard, WildGuard, ShieldGemma など）。

しかし、攻撃者にとって、AI エージェントにどのガードレールが導入されているかを特定することは、より効果的でターゲットを絞った攻撃（ジャイルブレイクやプロンプトインジェクション）を設計する上で極めて重要です。

既存の課題:
従来の LLM 同定手法は、特定のモデルから特徴的な応答を引き出すための敵対的プロンプトの最適化に依存していますが、ガードレールの同定には以下の特有の課題（C1-C4）が存在します。

• C1 (出力空間の制限): ガードレールの出力は「Safe/Unsafe」などの二値に限定されることが多く、特定のガードレールに特化した応答を引き出すことが困難です。
• C2 (安全性調整と他のガードレールの干渉): 安全に調整された LLM や、他のガードレールが候補のガードレールの存在を隠蔽し、識別を困難にします。
• C3 (デプロイ段階の不透明性): ガードレールは入力側、出力側、あるいは両方に配置される可能性があり、攻撃者がどの段階に存在するかを事前に知ることはできません。
• C4 (閾値決定の欠如): 既存手法は経験的な閾値に依存しており、堅牢な意思決定戦略が不足しています。

本研究の目的:
ブラックボックス状態の AI エージェントに対して、特定のガードレール（またはその派生版）がデプロイされているかどうかを、敵対的プロンプトを用いて特定する手法「AP-Test」を提案することです。

2. 提案手法：AP-Test

AP-Test は、候補となるガードレールに対してのみ「Unsafe」と判定され、他のガードレールや安全調整済み LLM に対しては「Safe」と判定されるような、ガードレール固有の敵対的プロンプトを生成・利用します。

2.1 アプローチの概要

手法は以下の 2 つのフェーズで構成されます。

1. 敵対的プロンプトの最適化 (Adversarial Prompt Optimization)

   • 敵対的プレフィックス（$x_a$）と通常のクエリ（$x_q$）を結合したプロンプトを生成します。
   • 以下の 3 つの損失関数を最小化することで最適化を行います（GCG 戦略を使用）：
     • $L_1, L_2$ (候補ガードレール用): 候補ガードレール $G_t$ がプロンプトを「Unsafe」と誤判定するように誘導します。
     • $L_3$ (他ガードレールとの互換性): 安全スコアラー $S$ を用い、他のガードレールや LLM がプロンプトを「Safe」と判定するようにします（$S(x) \approx 0$）。これにより、他のガードレールによる誤った拒絶を防ぎます。
   • 最終的な損失関数：$L = L_1 + \alpha \cdot L_2 + \beta \cdot L_3$

2. 敵対的プロンプトテスト (Adversarial Prompt Test)
   最適化されたプロンプトを用いて、AI エージェントに対して以下の 2 つのテストを実行します。

   • 入力ガードテスト (Input Guard Test): 敵対的プロンプトを直接エージェントに入力し、拒絶（Refuse）されるかを確認します。
   • 出力ガードテスト (Output Guard Test): エージェントに「敵対的プロンプトを繰り返してください」と指示します。これにより、LLM が生成した応答（敵対的プロンプトを含む）が出力ガードレールに渡され、拒絶されるかをテストします。

2.2 新規指標：マッチスコア (Match Score)

閾値選択の問題（C4）を解決するため、候補ガードレールのみに基づいた新しい指標「マッチスコア (MS)」を提案します。

• 拒絶率 ($r$): エージェントがクエリを拒絶した割合。
• 候補拒絶率 ($r_t$): 候補ガードレール自体に対して同じプロンプトを直接問い合わせた際の拒絶率。
• マッチスコア (MS):
  $$MS = \frac{|min(r, r_t)|^\lambda}{|r_t|^\lambda}$$
  （$\lambda$ はスケーリング因子）
  MS が 0.5 以上であれば、そのガードレールがエージェントに存在すると判定します。この指標は、追加のモデルセットを必要とせず、明確な意思決定を可能にします。

3. 実験結果

4 つの候補ガードレール（WildGuard, LlamaGuard, LlamaGuard2, LlamaGuard3）と、10 種類のガードレール、2 つの主要 LLM（Llama3.1, GPT-4o）を用いて評価を行いました。

• 分類精度: 入力・出力両方のガードテストにおいて、複数のシナリオで**完全な分類精度（Acc = 1.00）**を達成しました。
  • 例：Llama3.1 および GPT-4o ベースのエージェントにおいて、WildGuard 固有のテストで Acc=1.00 を達成。
• ROC 曲線: 全テスト結果の AUC は 1.00 であり、閾値選択に対する感度が低い（堅牢である）ことを示しています。
• 複雑なシナリオ: 入力側と出力側の両方に異なるガードレールが配置されている場合でも、AP-Test は候補ガードレールを正確に特定できました。
• LLM の影響: ベースとなる LLM（Llama3.1 vs GPT-4o）の違いは、入力ガードテストの性能にほとんど影響を与えませんでした。出力テストでは LLM の繰り返し能力に依存しますが、依然として高い精度を維持しました。

4. アブレーション研究

提案手法の各コンポーネントの重要性を分析しました。

• 損失関数 ($L_2, L_3$):
  • $L_2$（候補の拒絶を強化）と $L_3$（他ガードレールの誤拒絶を抑制）の両方が不可欠です。$L_3$ を除くと、WildGuard 搭載エージェントに対して LlamaGuard と誤判定するなどの失敗が発生しました。
• クエリセット ($Q$):
  • 敵対的プロンプトの最適化の起点となる通常のクエリセットが重要です。$Q$ を除くと、他のガードレール搭載エージェントに対する誤拒絶率が上昇し、識別精度が低下しました。
• エポック数: 約 50 エポックで損失が収束し、識別性能が安定することが確認されました。

5. 主要な貢献と意義

1. 初のガードレール同定手法: ブラックボックス AI エージェントにおけるガードレールの特定に特化した、敵対的プロンプトを用いた初の手法「AP-Test」を提案しました。
2. 課題の解決: ガードレールの限られた出力空間、他の安全機構との干渉、デプロイ段階の不透明性、閾値決定の難しさという 4 つの核心的課題を解決しました。
3. 実用性の証明: 多様なエージェントとガードレール組み合わせにおいて、高い精度と堅牢性を示しました。
4. セキュリティへの示唆:
   • 攻撃側: 特定されたガードレールに基づいた標的型攻撃が可能となり、システムの脆弱性をより深く理解できます。
   • 防御側: 開発者は自社のガードレールが不正に使用（コピーや微調整）されていないかを検知する手段として活用できます。

6. 結論と限界

本研究は、AI エージェントの内部セキュリティ機構（ガードレール）を「透視」する新たなアプローチを示しました。将来的には、ルールベースのフィルタや完全なクローズドソースのガードレールへの対応、およびより高度な防御技術の開発が期待されます。また、攻撃と防御のサイクルを加速させるための重要な基盤となる研究です。