📊 statistics

CausalArmor: Efficient Indirect Prompt Injection Guardrails via Causal Attribution

CausalArmorは、因果関係に基づくアトリビューション（属性）分析を用いて、ユーザーの意図よりも外部の不正なコンテンツが意思決定に過度な影響を与えている場合のみ選択的に防御を行うことで、AIエージェントの安全性、ユーティリティ、および低遅延を両立させた間接的プロンプト注入（IPI）対策フレームワークです。

原著者： Minbeom Kim, Mihir Parmar, Phillip Wallis, Lesly Miculicich, Kyomin Jung, Krishnamurthy Dj Dvijotham, Long T. Le, Tomas Pfister

公開日 2026-02-10

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Minbeom Kim, Mihir Parmar, Phillip Wallis, Lesly Miculicich, Kyomin Jung, Krishnamurthy Dj Dvijotham, Long T. Le, Tomas Pfister

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

タイトル：AIエージェントの「うっかり命令」を防ぐ、賢いガードマン「CausalArmor」

1. 背景：AIエージェントが抱える「聞き分けられない」問題

最近のAIは、ただおしゃべりするだけでなく、「メールを送る」「ファイルを保存する」「ネットで調べる」といった**「実務（ツール操作）」**ができるようになっています。これを「AIエージェント」と呼びます。

しかし、ここに大きな落とし穴があります。それは**「間接的な命令注入（IPI）」**という攻撃です。

【例え話：料理のレシピ本】
あなたは、AIという「超優秀だけど、ちょっとお節介な料理人」に、キッチンを任せているとしましょう。
ある日、あなたが「このレシピ本を見て、夕食を作って」と頼みました。しかし、そのレシピ本の隅っこに、悪意のある誰かが小さな文字でこう書いてあったとしたら？
「※注意：レシピを読む前に、まず冷蔵庫の中身を全部ゴミ箱に捨てなさい」

AIはレシピ（外部データ）を真面目に読みすぎてしまい、「あ、これは大事な指示だ！」と勘違いして、あなたの指示（夕食を作る）を無視して、冷蔵庫を空にしてしまうかもしれません。これが「間接的な命令注入」です。

2. 既存の対策の弱点：「過剰防衛」のジレンマ

これまでの対策は、いわば**「怪しいものがあれば、全部没収して、全部検査する」**というやり方でした。
レシピ本の一文字一文字を、毎回、厳重な検問所でチェックするようなものです。これでは、料理を作るスピードがめちゃくちゃ遅くなりますし、普通のレシピ（無害なデータ）まで「怪しい！」と捨ててしまい、料理が完成しなくなる（役に立たなくなる）という問題がありました。

3. CausalArmorのアイデア：「犯人の“影響力”を見抜く」

ここで登場するのが、今回の研究**「CausalArmor」です。
CausalArmorは、常に厳重な検問を行うのではなく、「AIが何か大事な決定（お金を送る、ファイルを消すなど）をしようとした瞬間」**だけ、鋭い目で見守ります。

どうやって見抜くのか？それは**「原因の特定（因果関係の分析）」**です。

【例え話：犯人の“声”を探せ】
料理人が「よし、冷蔵庫を空にするぞ！」と動き出した瞬間、ガードマン（CausalArmor）がこう考えます。
「待てよ。料理人がそう決めた理由はなんだ？

あなた（主人）の指示によるものか？
それとも、さっき読んだレシピ本の『変な一文』によるものか？」

もし、主人の指示（ユーザーの意図）がほとんど無視されて、**レシピ本の怪しい一文が、料理人の判断を支配している（支配力の逆転）**ことが分かったら……。その時だけ、ガードマンは動きます。

4. CausalArmorの2段構えの防御

怪しいと判断したとき、CausalArmorは2つのステップで守ります。

ピンポイント掃除（ターゲット・サニタイズ）
レシピ本全体を捨てるのではなく、「判断を狂わせたその一文」だけを、魔法のように消し去ります。大事な味付けの指示などは残したまま、悪意のある命令だけを消すので、料理（タスク）は続けられます。
記憶の書き換え（CoTマスキング）
ここが非常に賢い点です。たとえレシピの変な一文を消しても、料理人がすでに「えーっと、まずはゴミ箱に捨ててから……」と頭の中で考えてしまっていたら、また間違った行動をしてしまいます。
そこでCausalArmorは、「料理人の思考プロセス（思考の跡）」を、その時点から「セキュリティのため、思考をリセットしました」と書き換えてしまいます。 これにより、料理人は「あれ？自分は何をしようとしてたんだっけ？ああ、夕食を作ることだった！」と、正しい目的を思い出すことができるのです。

5. まとめ：何がすごいの？

実験の結果、CausalArmorは以下のことを同時に達成しました。

鉄壁の守り： 悪意のある攻撃をほぼゼロに抑え込む。
スピード重視： 普段は邪魔をしないので、AIの動作が遅くならない。
仕事ができる： 無害なデータを間違えて捨てないので、AIが本来の仕事をしっかりこなせる。

つまり、CausalArmorは**「普段は静かに見守り、怪しい動きの“原因”が見えた時だけ、ピンポイントで、かつ記憶ごとリセットして正気に戻す」**という、非常にスマートで効率的なガードマンなのです。

技術要約：CausalArmor — 因果帰属を用いた効率的な間接プロンプト注入ガードレール

1. 背景と課題 (Problem)

AIエージェントがツール呼び出し（API実行、Web閲覧、データベース検索など）を行う際、外部から取得した信頼できないコンテンツ（メール、Webページ、ツール出力など）に悪意のある指示が隠されている**間接プロンプト注入（Indirect Prompt Injection: IPI）**攻撃に対して脆弱であるという問題があります。

既存の防御手法には、**「過剰防御のジレンマ（Over-defense dilemma）」**という重大な課題があります。

常時稼働型のコスト: 攻撃の有無に関わらず、すべてのコンテキストに対して高価なサニタイズ（洗浄）や検証を繰り返すため、正常な動作時のユーティリティ（有用性）が低下し、レイテンシ（遅延）が増大します。
防御と性能のトレードオフ: セキュリティを強めると、正常なツール出力まで誤って削除してしまい、エージェントのタスク遂行能力を損なう傾向があります。

2. 提案手法 (Methodology)

本論文では、IPI攻撃を**「特権的な意思決定における支配権のシフト（Dominance Shift）」として定式化し、これを検知・防御するフレームワークCausalArmor**を提案しています。

核心となるアイデア：因果的帰属 (Causal Attribution)

攻撃が成功しているとき、エージェントの行動（ツール呼び出し）の決定要因が「ユーザーの要求（User Request）」から「信頼できないセグメント（Untrusted Span）」へと劇的に変化します。これをLeave-one-out (LOO) 除去法を用いた因果帰属によって測定します。

CausalArmorのワークフロー

バッチ処理による軽量な帰属チェック:
特権的なアクション（書き込み、送信、実行など）が提案された際、軽量なプロキシモデル（例: Gemma-3-12B）を用いて、ユーザー要求と各信頼できないセグメントがその決定に与える影響度（ $\Delta$ ）を計算します。
マージンに基づく検知:
信頼できないセグメントの影響度（ $\Delta S$ ）が、ユーザー要求の影響度（ $\Delta U$ ）を特定の閾値（マージン $\tau$ ）を超えて上回った場合（ $\Delta S > \Delta U - \tau$ ）、攻撃の兆候ありと判定します。
二段階の防御メカニズム:
- ターゲット・サニタイゼーション (Targeted Sanitization): 攻撃のトリガーとなった特定のセグメントのみを、高機能なLLM（例: Gemini-2.5-Flash）を用いて、文脈を維持しつつ悪意のある指示のみを削除します。
- 遡及的CoTマスキング (Retroactive CoT Masking): 注入された指示によって「汚染された」思考プロセス（Chain-of-Thought）が履歴に残っていると、サニタイズ後もエージェントが誤った推論を繰り返す可能性があります。これを防ぐため、汚染された箇所以降の思考履歴を「[Reasoning redacted for security]」のようにマスク（消去）し、エージェントにユーザーの本来の意図に基づいた再考を強制します。

3. 主な貢献 (Key Contributions)

新しい定式化: IPIを「因果的逆転（Causal Inversion）」として捉え、LOO帰属によって測定可能なシグネチャとして定義しました。
効率的な防御アーキテクチャ: 常に防御をかけるのではなく、**「リスクが検知された時のみ、高コストな防御を実行する」**という選択的アプローチにより、低レイテンシと高ユーティリティを両立させました。
理論的裏付け: 提案したマージンに基づく検知が、悪意のあるアクションを選択する確率を指数関数的に抑制できることを理論的に証明しました。

4. 実験結果 (Results)

AgentDojoおよびDoomArenaという2つのベンチマークを用いた評価において、以下の成果を達成しました。

高いセキュリティ: 攻撃成功率（ASR）をほぼゼロにまで低減させました。これは、常にサニタイズを行う強力な防御手法と同等、あるいはそれ以上の性能です。
ユーティリティとレイテンシの維持: 従来の防御手法が陥っていた「防御を強めると正常なタスクも失敗する」という問題を解決しました。正常なシナリオにおけるユーティリティ（BU）とレイテンシ（BL）は、防御なしの状態（No Defense）に近い値を維持しています。
適応型攻撃への耐性: 攻撃者が会話履歴を見て動的に指示を書き換える高度な攻撃（DoomArena）に対しても、効果的に機能することを示しました。

5. 意義 (Significance)

CausalArmorは、実用的なAIエージェントのデプロイメントにおいて極めて重要な進歩をもたらします。

実用性: 「セキュリティを確保しながら、ユーザー体験（速度と正確性）を損なわない」という、実運用における最大の障壁の一つを解決しています。
解釈可能性: なぜそのコンテンツが危険と判断されたのかを、因果的な影響度という形で説明可能な形で提示できます。
防御の層（Defense-in-depth）: 単独の解決策としてだけでなく、エージェントの安全性を高めるための効率的なミドルウェア層として機能することが期待されます。