技術要約：Learning to Inject: Automated Prompt Injection via Reinforcement Learning（注入の学習：強化学習による自動プロンプトインジェクション）

問題定義

プロンプトインジェクションは、大規模言語モデル（LLM）エージェントにおける重大な脆弱性を表しています。これは、外部コンテンツ（例：メール、文書）に埋め込まれた敵対的な指示が、エージェントの挙動を乗っ取り、不正なアクションの実行やデータの流出を引き起こすものです。自動化されたジェイルブレイク攻撃は進化していますが、それらは「遵守（compliance）」（例：「はい、お手伝いできます」といった肯定的な接頭辞の生成）の最適化に依存しています。対照的に、プロンプトインジェクションには、特定のツール呼び出しを正確なパラメータ一致で出力させること（例：send_email(to="attacker@evil.com")）が求められます。

この違いは、根本的な最適化の課題を生み出します：

1. 離散的かつ疎な報酬: 成功シグナルはバイナリ（0または1）です。ランダムにサンプリングされたサフィックス（接尾辞）が特定のツール呼び出しをトリガーすることはほとんどなく、標準的な最適化手法には、従うべき勾配が残りません。
2. 目的の不一致: 既存の自動ジェイルブレイク手法（GCGやTAPなど）は、遵守を最適化しますが、これはプロンプトインジェクション攻撃に必要な精密なツール実行の代用としては不十分です。
3. 手作業への依存: 現在効果的な手法は、依然として人間のレッドチーマーや手作りのプロンプトに大きく依存しており、スケーラビリティを制限しています。

手法：AutoInject

著者らは、プロンプトインジェクションのための敵対的なサフィックスを学習するように設計された、ブラックボックス強化学習（RL）フレームワークである AutoInject を提案しています。コアとなる革新は、疎でバイナリな成功シグナルを、RL最適化に適した密な報酬へと変換することにあります。

1. 問題定式化

攻撃生成は、マルコフ決定過程（MDP）としてモデル化されます：

• 状態（State）: インジェクションの目標、ユーザータスクのコンテキスト、およびこれまでに生成されたトークン。
• 行動（Action）: ボキャブラリから次のトークンを選択すること。
• 報酬（Reward）: エピソードの終了時にのみ提供される複合スコア。以下で構成されます：
  • $r_{sec}$: セキュリティスコア（インジェクションされた目標が実行された場合は1、そうでない場合は0）。
  • $r_{util}$: ユーティリティスコア（元のユーザータスクが完了した場合は1、そうでない場合は0）。
  • $r_{pref}$: 密な比較ベースのフィードバックスコア。

2. 比較ベースのフィードバックによる密な報酬

報酬の疎性を解決するために、AutoInjectは学習された比較ベースのフィードバックモデルを導入しています。

• メカニズム: システムは、これまでに見た中で最も優れたパフォーマンスを示す参照サフィックス（$x^*$）を保持します。新しい候補サフィックス（$x$）ごとに、フィードバックモデル（LLM）に対して、インジェクションの目標、コンテキスト、および両方のサフィックスを問い合わせます。
• プロセス: フィードバックモデルは、どちらのサフィックスが成功する可能性が高いかを判断するために、思考の連鎖（Chain-of-Thought）を用いた推論を行い、バイナリの選好ラベルを出力します。
• シグナルの抽出: ラベルトークンの対数確率を抽出し、正規化することで、連続的な選好スコア（$r_{pref}$）を生成します。
• 価値: 候補と参照の両方がインジェクションの実行に失敗した場合でも、フィードバックモデルは、候補がより妥当であるか、あるいは目標により適合していると判断すれば、より高いスコアを割り当てることができます。これにより、ゼロのセキュリティ報酬が続く長い期間においても、RLエージェントを導くための、密で単調なシグナルが提供されます。

3. ポリシー最適化

攻撃ポリシーは、1.5Bパラメータのモデル（Qwen2.5-1.5B）を用いて、**グループ相対方策最適化（GRPO）**を用いて訓練されます。

• 相対的アドバンテージ: 絶対的な価値関数を学習する代わりに、GRPOは同一の入力に対して$K$個の補完（completion）のグループをサンプリングし、それらの複合報酬に基づいて相対的なアドバンテージを計算します。
• 複合報酬: $R = \alpha \cdot r_{sec} + \beta \cdot r_{util} + \gamma \cdot r_{pref}$。比較フィードバックの重み $\gamma$ は動的にスケジューリングされ、初期の勾配を提供するために高い値から始まり、真の成功シグナル（$r_{sec}$）が得られるにつれて減少します。
• 攻撃モード: 本フレームワークは以下のモードをサポートしています：
  • オンラインクエリベース攻撃: 特定のターゲットに対してクエリ予算内で最適化を行う。
  • オフライン転移可能サフィックス: サロゲート（代理）タスクやモデルで訓練し、デプロイ時にはユーティリティへのアクセスを必要とせずに、未知のターゲットへ学習されたサフィックスを転移させる。

主な貢献

1. インジェクションのためのRL定式化: 比較ベースの学習されたフィードバックを通じて、バイナリのプロンプトインジェクションシグナルを密な報酬へと変換する、新しいRLアプローチを確立し、標準的な手法が失敗する場面での効果的なGRPO最適化を可能にしました。
2. 二重の攻撃能力: オンラインのクエリベース最適化と、デプロイ中にユーティリティへのアクセスを必要としないオフライン訓練済みの転移可能サフィックスの両方をサポートする、統一されたフレームワーク。
3. 包括的な評価: 7つのプロダクションモデル（GPT-5-nano、Claude-3.5-Sonnet、Gemini-2.5-Flashを含む）および専用の防御モデル（Meta-SecAlign-70B）に対するAgentDojoベンチマークを用いた広範なテスト。
4. ユーティリティの保持: 学習されたポリシーが、エージェントの挙タスクを阻害する多くのテンプレートベースの攻撃とは異なり、攻撃成功率を最大化しながら元のユーザータスクのユーティリティを維持、あるいは向上させることができることを実証。

実験結果

AgentDojoベンチマークによる評価において、AutoInjectは既存のベースラインに対して統計的に有意な改善（McNemarテスト、$p < 0.05$）を示しました：

• テンプレート攻撃との比較: AutoInjectは、人間が作成したテンプレート（例：「Direct」、「Ignore Previous」）を大幅に上回りました。Gemini-2.5-Flashにおいて、AutoInjectは**58.00%の攻撃成功率（ASR）を達成しましたが、テンプレートのピークは23.60%**でした。
• 最適化ベースのベースラインとの比較: GCG、TAP、ランダムな適応型攻撃、および進化論的探索を凌駕しました。特に、堅牢なGPT-5-nanoモデルにおいて、AutoInjectは**11.49%のASRを達成しましたが、最良のテンプレート攻撃はわずか1.60%**でした。
• ユーティリティの保持: 多くの場合、AutoInjectの「攻撃下でのユーティリティ（Utility Under Attack）」は、無害なベースラインを超えていました（例：GPT-5-nanoにおいて90.20% 対 80.41%）。これは、学習されたサフィックスが、エージェントの主要な機能を妨げることなく、インジェクションを正常に実行できることを示しています。
• 防御回避: プロンプトインジェクションへの耐性を高めるために微調整されたモデルであるMeta-SecAlign-70Bに対し、テンプレート攻撃は完全に失敗（ASR 0%）しましたが、AutoInjectは**21.88%**のASRを達成しました。
• 転移性: 学習されたサフィックスは、未知のモデルやタスク間でも正常に転移しました。クロスタスク転移のシナリオにおいて、AutoInjectは、使用する訓練クエリ数が大幅に少ないにもかかわらず（260対3,900）、5つのターゲットモデルのうち4つにおいて、転移ベースのベースラインであるRL-Hammerを大きく上回りました。

意義と主張

本論文は、プロンプトインジェクションの自動化されたベースラインを確立し、現在の「選好ベースの防御」と「適応型最適化ベースの攻撃者」との間の決定的なギャップを明らかにしています。

• 静的な防御の限界: 結果は、静的なパターンマッチングや選好最適化（Meta-SecAlignなど）に依存する防御が、構造化された適応型最適化に対して不十分であることを示唆しています。著者らは、これらの防御は既知のテンプレートを無効化するものの、異なる脆弱性を突く学習されたサフィックスに対しては機能しないと指摘しています。
• 「アレルーヤ（Allelujah）」現象: 研究では、モデル間で転移する成功したサフィックスの中に、一見無意味に見える繰り返しのトークンパターン（例：「allelujah」）が観察されました。これは、コンプライアンス行動と相関する事前学習データの統計的な規則性を発見したことを示唆しています。
• セキュリティへの影響: 著者らは、ユーティリティを維持する自動化されたインジェクション戦略は、破壊的な攻撃よりも危険な脅威ベクトルであると主張しています。なぜなら、それは攻撃者がユーザーに気づかれることなくエージェントを侵害することを可能にするからです。彼らは、防御パラダイムはこれらの適応的かつ自動化された戦略を考慮するように進化する必要があり、機密性の高い操作に対してユーザーの確認を求める「計画してから実行する（plan-then-execute）」や、熟考ベースの防御のようなアーキテクチャ上の変更が必要になる可能性があると結論付けています。

本論文は、プロンプトインジェクションの脆弱性を解決することを目的としているのではなく、むしろRL駆動型の攻撃に対する現在の自動化された防御の不十分さを露呈させ、より堅牢で適応的なセキュリティ対策の開発を促すことを目的としています。