🤖 machine learning

Send a SCOUT First: Pre-hoc Reasoning for Adaptive Detector Allocation in Prompt-Injection Defense

本論文は、予測された信頼性とレイテンシに基づいて異種混合の検知器とLLMジャッジを適応的に割り当てることにより、プロンプトインジェクション防御を最適化する動的なフレームワークであるSCOUTを紹介しており、静的な単一検知器または常時稼働型のジャッジ手法と比較して、攻撃成功率とレイテンシの大幅な削減を実現している。

原著者： Shuhao Zhang, Jiarui Li, Qi Cao, Ruiyi Zhang, Pengtao Xie

公開日 2026-06-01

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Shuhao Zhang, Jiarui Li, Qi Cao, Ruiyi Zhang, Pengtao Xie

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、忙しい空港のセキュリティ責任者になったと想像してください。あなたの仕事は、テロリスト（プロンプト・インジェクション攻撃）が飛行機（大規模言語モデル）を乗っ取るのを阻止しつつ、一般の乗客（良性リクエスト）を迅速に通すことです。

かつて、セキュリティチームは主に2つのアプローチを試みてきました。

「スーパー・スキャナー」方式： 非常に賢く、高価なセキュリティガードを一人雇い、すべての人をチェックします。このガードは悪党を見つけ出す能力には長けていますが、動作が遅く、コストがかかり、行列を作ってしまいます。
「ワンツール」方式： 特定のツール（例えば金属探知機）を選び、全員にそれを強制します。これは速いですが、もしテロリストがプラスチック製の爆弾（金属探知機が見逃してしまうタイプの攻撃）を隠していた場合、彼らは通り抜けてしまいます。

問題は、悪党たちは巧妙であることです。彼らは戦術を変えてきます。時には人混みに紛れて隠れたり、時には複雑なコードを使用したりします。単一のセキュリティガードやツールでは、あらゆる種類の脅威を完璧に捉えることはできません。

SCOUTの登場：「スマート・セキュリティ・ディスパッチャー（賢い配分係）」

この論文は、SCOUTと呼ばれる新しいシステムを紹介しています。SCOUTは、すべての乗客を同じゲートに通すのではなく、各乗客がゲートに到達する前に、その人をチェックするのに最適なセキュリティチームがどれであるかを判断する、スマートな配分係として機能します。

仕組みは、以下の簡単な比喩を使って説明します。

1. 「指紋」ライブラリ

建物内のすべてのセキュリティガードには、過去の実績を示す「指紋」があると考えてください。

ガードAは、靴の中に武器を隠している人を見つけるのは得意ですが、荷物に隠している人を見つけるのは苦手です。
ガードBは、荷物のチェックには長けていますが、靴の脅威は見逃してしまいます。
ガードCは、「スーパー・スキャナー」（高価なAI判定器）であり、ほとんどすべてを捉えますが、一人あたり10分かかります。

SCOUTはただ推測するのではなく、各ガードが過去数千人の乗客に対してどのように機能したかという詳細なログ（指紋）を保持しています。どのガードが、どのタイプの乗客に対して信頼できるかを正確に把握しているのです。

2. 「Pre-Hoc（事前）」予測（踏み出す前に見る）

新しい乗客が到着したとき、SCOUTは単にその人をランダムなガードに送るわけではありません。SCOUTは小さな高速AIアシスタントにこう問いかけます。「この乗客の外見と持ち物に基づくと、過去にこのようなタイプの人物を捕まえることに成功したガードは誰ですか？」

これが**「Pre-hoc Reasoning（事前推論）」*の部分です。実際のチェックが行われる前*に、結果を予測します。

乗客が「靴の脅威」に見える場合、SCOUTはガードAに送ります。
乗客が「荷物の脅威」に見える場合、SCOUTはガードBに送ります。
乗客が非常に複雑で、高速なガードたちが確信を持てない場合、SCOUTは最終的で決定的な判定を下すために「スーパー・スキャナー」（高価なAI）へとエスカレーションします。

3. 「チーム投票」

SCOUTはしばしば、乗客を複数の高速ガードのチームに送り、同時に（並列で）チェックさせます。

ガードAとガードBの両方が「この人は安全だ」と言えば、SCOUTは即座に通過させます。
もし意見が食い違ったり、不確実であったりする場合は、最終的な決定を下すために「スーパー・スキャナー」へと案件を格上げします。

4. 「安全性 vs 速度」のダイヤル

最も優れた点は、空港マネージャー（オペレーター）が操作できる単一のダイヤルが用意されていることです。

左に回す（低安全性、高速度）： SCOUTは主に高速なガードに頼ります。非常にスピーディーですが、少数の悪党が通り抜けてしまう可能性があります。
右に回す（高安全性、低速度）： SCOUTはより多くの人を「スーパー・スキャナー」に送ります。ほとんどすべての攻撃を捉えますが、行列は長くなります。

システムは、どの設定においても行列がどの程度になるかを予測するため、マネージャーは業務が始まる前に完璧なバランスを選択できます。

彼らは何を発見したのか？

研究者たちは、従来のテストが見逃していたトリッキーで複雑な攻撃のコレクションである、新しい強力なテストSCOUT-450を構築しました。そして、彼らのシステムを以下と比較検証しました。

高速なガードのみを使用した場合（多くの攻撃を見逃した）。
「スーパー・スキャナー」のみを使用した場合（攻撃は捉えたが、非常に遅かった）。
SCOUT（ディスパッチャー）。

結果：

安全性： SCOUTは、「スーパー・スキャナー」単独で使用した場合よりも46%多くの攻撃を捕捉しました。
速度： 全員に「スーパー・スキャナー」を使用する場合よりも40%高速でした。
柔軟性： チームに新しいセキュリティガードを追加した場合、SCOUTはゼロから再学習することなく、即座にそのガードを使用する方法を学習できます。単にそのガードの「指紋」を確認し、使い始めるだけです。

結論

SCOUTは、「一律の対応」から「適切な道具を適切な仕事へ」へとゲームチェンジをもたらします。特定の要求に対してどのセキュリティチームを使用するかを決定するためにスマートで高速な予測器を使用することで、耐え難い待ち時間を発生させることなく、最高の安全性を提供します。それは、あらゆる特定のドアに対して、どの鍵を使うべきかを正確に知っているセキュリティシステムのようなものです。

技術要約: SCOUT – 適応的なディテクタ割り当てのための事前推論（Pre-hoc Reasoning）

問題提起
プロンプト・インジェクション検出器は本質的に不均一です。各検出器は、特定の攻撃カテゴリ（例：レキシカル・ルール、アテンション・プローブ、軽量分類器など）の特定の領域には優れていますが、他の領域では失敗します。既存の防御システムは通常、単一の検出器や静的なカスケードといった固定されたパイプラインに依存しており、これはすべてのリクエストを特定の検出器の死角へと強制的に通してしまうことになります。さらに、最も正確な防御策であるLLMジャッジ（例：GPT-4o）は、軽量な検出器（サブミリ秒から数十ミリ秒）と比較して、法外なレイテンシ（1リクエストあたり約1.5秒）を伴います。核心となる課題は、単一の検出器の限界に縛られたり、常に稼働するLLMによる判定のコストを支払ったりすることなく、安全性（攻撃の捕捉）とユーティリティ（レイテンシの最小化および良質なパススルー率の維持）のバランスをどのように取るかという点です。

手法: SCOUT フレームワーク
著者らは、防御を「ディテクタの割り当て問題」として再定義するフレームワークである SCOUT (Scalable and Controllable Outcome-prediction for Uncertainty-aware Triage) を提案しています。固定されたカスケードではなく、SCOUTは各リクエストに対してどの検出器を実行するか、およびLLMジャッジへエスカレーションすべきかどうかを動的に決定します。

システムは以下の3つの主要コンポーネントで構成されています。

検出器のフィンガープリントと検索:
- SCOUTは、多様なインジェクション構造を表す固定された「アンカー」入力（Anchor-400）を保持しています。
- プール内の各検出器について、これらのアンカーに対する挙動（判定、正確性、およびレイテンシ）を記録することで、フィンガープリントを構築します。
- 推論時、新しいリクエスト $x$ に対して、システムはトピックの内容ではなく、インジェクションの構造（カテゴリ、隠蔽戦略、キャリア、メカニズム）に基づいて、最も類似したアンカーをトップ- $K$ 個検索します。この検索は検出器に依存しない（detector-agnostic）ものです。
結果予測器（事前推論）:
- 小型言語モデル（Qwen3-4B）が予測器として機能します。このモデルは、検索されたフィンガープリントの記録とターゲットとなるサンプルを入力として受け取ります。
- 2段階のトレーニングプロセス（事後的な根拠を蒸留した思考プロセスを用いた教師あり微調整、それに続くGroup Relative Policy Optimization）を用いて、予測器は入力 $x$ $x$ に対する各検出器 $D$ $D$ の2つの値を推定します。
  - 予測正確性 ( $pred\_corr$ ): $D$ が $x$ を正しく分類するかどうか。
  - 予測レイテンシ ( $pred\_lat$ ): $D$ の実行に要する時間。
- 予測器は、構造化された予測の前に推論の連鎖（Chain-of-Thought）を出力するように訓練されており、これがキャリブレーション（較正）を向上させます。
不確実性を考慮したトリアージ（ルーティング）:
- サブセット選択: ルーターは「ライト・プール（軽量な集合）」の検出器をフィルタリングし、 $pred\_corr = 1$ であるもののみを保持します。
- 信頼重み付き投票: 選択された検出器は並列に実行されます。それらの投票は、ローカルな証拠（検索されたアンカーにおける正確性）とグローバルな事前分布（全体の正確性）を混合した信頼重みを用いて集計されます。
- エスカレーション・ゲート: 重み付き投票が不確実な場合（合意度 $< \tau$ ）、システムはLLMジャッジへのエスカレーションを検討します。極めて重要な点は、予測器がその特定の入力に対してジャッジが信頼できると推定した場合にのみ、エスカレーションが行われることです。
- レイテンシ制御: 予測器はレイテンシも推定するため、システムはリクエストを実行する前に、任意の閾値 $\tau$ に対する総ウォールクロック時間を予測できます。オペレーターは、特定のレイテンシ予算を満たすように $\tau$ を設定できます。

主な貢献

防御の再定義: 本論文は、防御を固定された検出パイプラインから、入力ごとの検出器割り当てへとパラダイムシフトさせ、システムが入力の特定の攻撃カテゴリに合わせて検出器を一致させることを可能にしました。
SCOUT フレームワーク: 行動フィンガープリント、小型の結果予測器、および制御可能なルーティング規則を組み合わせた新しいアーキテクチャを提供します。これにより、新しい検出器を（アンカーに対する一度のパスによるフィンガープリント生成のみで）再学習なしにプールに追加することが可能です。
SCOUT-450 ベンチマーク: 古いベンチマークでは表現が不足している、構造的に複雑なエージェント指向のインジェクション（特に hidden_tricky カテゴリ）を豊富に含む新しい評価ベンチマークです。これには255の攻撃サンプルと195の良質なサンプルが含まれています。
制御可能性: システムは、安全性とレイテンシをトレードオフにする単一のオペレーター閾値 $\tau$ を公開しており、事前に総ウォールクロックコストを予測する能力を備えています。

結果
SCOUT-450および3つの外部ベンチマーク（BIPIA, IPI, IHEval）での評価において、SCOUTはベースラインに対して大幅な改善を示しました。

安全性とユーティリティの境界: SCOUT-450において、主要な動作点（ $\tau=0.875$ ）では、SCOUTは常に稼働するGPT-4oジャッジと比較して、攻撃成功率（ASR）を 46% 低減し、総ウォールクロックレイテンシを 40% 低減しました。
正確性: SCOUTは 0.933 の精度を達成し、最高の単一検出器（PIGuard, 0.669）および常時稼働のジャッジ（GPT-4o, 0.924）を上回りました。
良質なデータのユーティリティ: SCOUTは、常時稼働のジャッジと比較して良質なデータのユーティリティが5.1ポイント低下（0.928 対 0.979）しますが、高いスループットを維持しながらレイテンシを大幅に削減します。
汎用性: システムは再学習なしに外部ベンチマーク（BIPIA, IPI, IHEval）に転移でき、検出器を再割り当てすることで異なる攻撃分布に適応します。例えば、BIPIAにおいては、GPT-5.1ジャッジと比較して高い精度を維持しながら、レイテンシを3.7倍削減しました。
アブレーション解析: 研究により、この利得が、予測器の信頼性推定のキャリブレーション能力（非LLM予測器であるKNN/MLPを凌駕）および、入力ごとの割り当て戦略（一様な信頼性カスケードを凌駕）に由来することが確認されました。

意義と主張
本論文は、SCOUTがプロンプト・インジェクション防御に対するスケーラブルかつ制御可能なソリューションを提供すると主張しています。

スケーラビリティ: 新しい検出器を追加するには、アンカーセットに対してフィンガープリントを生成するだけでよく、リトリーバー、予測器、またはルーターの再学習は必要ありません。
制御可能性: オペレーターは、単一の閾値 $\tau$ を使用して、特定のレイテンシ予算または安全性目標に合わせてシステムを調整でき、システムは事前にそのコストを予測できます。
不均一性の認識: 単一の検出器が普遍的に強力ではないことを認識することで、SCOUTは多様な強みを持つ不均一なプールを活用し、困難なケースのみを、ジャッジが信頼できると予測された場合にLLMジャッジへとルーティングします。

著者らは制限事項についても認めており、SCOUTは利用可能な検出器プールの集合的な能力を超えることはできないこと、また、その有効性はアンカーセットがテスト分布の構造的軸をカバーしているかどうかに依存することを指摘しています。また、現在のフレームワークは、ルーター自体を標的とする適応的な攻撃者に対しては防御できないことも述べています。