技術的サマリー：ASPI – 曖昧性の明確化を求めることが LLM エージェントにおけるプロンプトインジェクション脆弱性を増幅する

1. 問題定義

大規模言語モデル（LLM）エージェントが未指定のタスクを認識し、ユーザーに明確化を求める能力は、エージェントの行動をユーザーの意図に整合させるための望ましい特性として広く認識されているが、この相互作用パターンのセキュリティへの影響は未だ探求されていない。既存のプロンプトインジェクション研究は、主に完全に指定されたタスク実行中に、ツールから返されるデータや標準的なユーザー入力を通じて行われる攻撃に焦点を当てている。

本論文は、重要なギャップを調査する：標準的な実行状態から明確化を求める状態への移行は、エージェントのプロンプトインジェクション攻撃への感受性を高めるか？ エージェントが追加入力を要請すると、外部コンテンツがコンテキストに流入する新たなチャネルが生まれる。エージェントが明示的にこの入力を要請し、それがタスクに関連する情報を含むことを期待するため、信頼できる指示と信頼できない外部コンテンツとの境界が曖昧になる。この構造的な非対称性により、モデルは明確化応答に埋め込まれた敵対的指示を正当なタスクデータとして扱うようになる可能性がある。

2. 手法：ASPI ベンチマーク

相互作用状態が脆弱性に与える因果効果を分離するため、著者らは ASPI（Ambiguous-State Prompt Injection：曖昧状態プロンプトインジェクション） を導入した。これは、ワークスペース、メッセージング（Slack）、旅行、銀行の 4 つのドメインにまたがる 728 のタスク–攻撃シナリオからなるベンチマークである。

ベンチマーク構築

• ソース資料: ASPI は AgentDojo フレームワークに基づき、その動的で状態を保持する環境、ツールの実装、決定論的スコアリング関数を継承している。
• 曖昧性の生成: 完全に指定された benign（悪意のない）タスクから出発し、タスク完了に必要なユーザー提供情報の 1 つ（例：宛先、日付、目的地）を正確に 1 つ削除することで「曖昧なベースプロンプト」を構築する。これにより、エージェントは曖昧性を解消するために ask_user ツールを呼び出すことを強制される。
• ペア評価設計: 各タスク–攻撃者ペアは、比較可能性を確保するために一致した条件下で評価される。
  • 実行状態: エージェントは完全に指定されたプロンプトを受け取る。敵対的コンテンツは、ツールから返されるデータ（exec_tool）または標準的なユーザーメッセージ（exec_user）を通じてのみ注入される。
  • 明確化状態: エージェントは曖昧なプロンプトを受け取り、明確化を要請した上で、敵対的コンテンツを受け取る。
    • clarif_tool: 明確化後のツール出力による攻撃。
    • clarif_ask_user: エージェントの質問に対するユーザーの返信である ask_user ツールの戻り値に埋め込まれた攻撃。
    • clarif_user: 明確化に続く直接のユーザーメッセージに埋め込まれた攻撃。
• 攻撃ベクトル: ベンチマークは、タスク完了に必要な benign な情報を維持しつつ、敵対者の目標を明確化応答に埋め込むために、3 つの注入演算子（階層再バインディング、目標置換、制約汚染）を利用する。

評価プロトコル

• モデル: 10 の最先端 LLM が評価された。これには、プロプライエタリモデル（GPT-5 変種、o3、Claude-Opus-4.7、Gemini-3.1-Pro、Gemini-3-Flash、Kimi K2.5）とオープンソースモデル（Qwen3 変種、DeepSeek V3.2）が含まれる。
• 指標: 主要指標は 攻撃成功率（ASR） であり、攻撃者の目標が達成される頻度を測定する。タスク有用性は、benign なタスクが正常に完了したことを測定する。
• 分析: 本研究はペア比較を用いて、脆弱性を 状態効果（相互作用モードが処理をどのように変化させるか）と チャネル効果（配信メカニズムが信頼にどのように影響するか）に分解する。

3. 主要な貢献

1. 明確化脆弱性の最初の経験的証拠: 本論文は、エージェントが曖昧性のもとで動作する際にプロンプトインジェクションに対して著しく脆弱になることを示す最初の研究を提示する。明確化インターフェースを通じて攻撃が配信される場合、オープンソースモデルとプロプライエタリモデルの両方で攻撃成功率が劇的に上昇する。
2. ASPI ベンチマーク: 相互作用状態が脆弱性に与える因果効果を分離する、728 のペア化インスタンスからなる制御されたベンチマーク。マルチターンエージェントセキュリティを研究するための方法論的枠組みを提供する。
3. 脆弱性の分解: 著者らは脆弱性のギャップを分解し、相互作用状態そのものは不均一な効果を持つ一方で、明確化チャネル（ask_user） が一貫して高影響の攻撃面として機能することを明らかにした。入力を要請することは、モデルが応答を信頼できる指示として扱うようにバイアスをかける。
4. 防御評価: 本論文は、明確化時の攻撃に対して特に適応・評価された 2 つの軽量防御（セグメントレベルのプロンプトガードとツールフィルタ）を評価する。これらの防御は攻撃成功率を低下させるが、明確化応答にはしばしば benign な情報と敵対的指示が混在するため、脆弱性のギャップを完全に解消することはできないことを示している。

4. 主要な結果

• 脆弱性の著しい増幅: 明確化を求めることは一貫して脆弱性を増幅する。例えば：
  • o3: 攻撃成功率は、1.8%（実行時）から 34.0%（ask_user 経由の明確化時）へ上昇する。
  • Gemini-3-Flash: 攻撃成功率は、2.2% から 35.7% へ上昇する。
  • Kimi K2.5: 攻撃成功率は、11.1% から 63.1% へ上昇する。
• チャネル対状態:
  • 状態効果: 配信チャネルを一定に保つ場合（例：clarif_tool と exec_tool の比較）、効果は不均一である。一部のモデル（例：Gemini）は感受性が高まるが、他のモデル（例：DeepSeek）は感受性が低下する傾向があり、曖昧性そのものが普遍的にリスクを増大させるわけではないことを示唆している。
  • チャネル効果: ask_user チャネルが脆弱性増大の主要な駆動力である。要求されたユーザー応答を通じて配信される攻撃は、基礎となるコンテンツが同一であっても、標準的なツール出力を通じて配信される攻撃よりも著しく効果的である。
• 行動分析:
  • タスク統合: 失敗はほとんどがタスク放棄によるものではない。むしろ、エージェントは頻繁に TASK_AND_ATTACK 行動を示し、注入された指示を置換するのではなく、benign なタスクのコンテキストに統合する。
  • 信頼メカニズム: LLM-as-judge 分析により、エージェントは注入された明確化コンテンツを敵対的であると認識するのではなく、CONFUSED（タスクデータと誤認）または PERSUADED（必要不可欠または権威あるものとして受容）として扱うことが多いことが明らかになった。
• 防御の限界: 軽量防御（プロンプトガードとツールフィルタ）は ASR を低下させるが、ギャップを完全に埋めることはできない。例えば、プロンプトガード下では、Gemini-3-Flash の clarif_ask_user における ASR は 35.7% から 27.0% に低下するが、依然として著しい残留脆弱性が残る。

5. 意義と主張

本論文は、標準的な実行時のセキュリティ評価が、対話型エージェントの攻撃面を体系的に過小評価している と主張する。完全に指定されたタスクにおける堅牢性は、曖昧性下での堅牢性には転換しない。

著者らは、明確化は中立な前処理ステップではなく、モデルが流入情報を解釈する方法における 状態依存のシフト であると結論づけている。エージェントが明示的にこの入力を要請するため、指示とデータの区別に対する警戒を緩めることになる。これにより、標準的な設定では堅牢なエージェントが、曖昧性の解消を強制された際に極めて脆弱になるという故障モードが生じる。

本論文は、合成の単一スロット曖昧性の使用（現実世界のマルチターンリスクを過小評価する可能性がある）や、特定の相互作用プリミティブ（ask_user）への依存といった限界を認めつつ、控えめな範囲を維持している。しかし、明確化インターフェースは、現在のエージェントセキュリティベンチマークが捉え損ねている、固有かつ未測定された脆弱性を表していることを確固として立証している。