論文「THE COGNITIVE FIREWALL: SECURING BROWSER-BASED AI AGENTS AGAINST INDIRECT PROMPT INJECTION VIA HYBRID EDGE-CLOUD DEFENSE」の技術的サマリー

本論文は、自律的なブラウザエージェント（LLM を駆使して Web ブラウザ上でタスクを実行する AI）における**間接プロンプトインジェクション（IPI）**攻撃に対する新たな防御アーキテクチャ「Cognitive Firewall」を提案したものです。クラウド依存の防御の遅延とプライバシー懸念、およびエッジ（クライアント側）のみでの防御の精度不足という課題を解決するため、エッジとクラウドをハイブリッドに連携させた分散型セキュリティシステムを設計・評価しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義：ブラウザ型 AI エージェントの脆弱性

自律型 AI エージェントは、ユーザーの指示と外部の Web コンテンツ（HTML、CSS、テキスト）を同じコンテキストウィンドウ内で処理します。この構造上の欠陥により、**間接プロンプトインジェクション（IPI）**という攻撃が可能になります。

• 攻撃手法: 攻撃者は、ユーザーには見えないが LLM には見えるように Web コンテンツに悪意のある指示を埋め込みます（例：透明度 0 のテキスト、画面上から外れた位置への配置、画像内のテキストなど）。
• リスク: エージェントがこれらの指示を「システム命令」と誤認し、機密情報の漏洩や権限のない操作（メール削除、不正な API 呼び出しなど）を実行する「混乱した代理人（Confused Deputy）」状態に陥ります。
• 既存防御の限界:
  • クラウド依存型: 高度な意味分析が可能ですが、遅延（500ms 以上）が発生し、プライバシー懸念（生データを送信する必要がある）があります。
  • エッジのみ型: 遅延は少ないですが、高度な意味論的な攻撃（ジャイルブレイクなど）を検知する能力が不足しており、攻撃成功率（ASR）が高止まりします。

2. 手法：Cognitive Firewall（ハイブリッド・エッジ - クラウド防御）

提案されたシステムは、**「防御ファネル（Defense Funnel）」**モデルに基づき、セキュリティチェックを 3 つの段階（レイヤー）に分割してエッジとクラウドに分散配置する「スプリット・コンピューティング」アーキテクチャです。

3 段階の防御レイヤー

1. レイヤー 1：エッジ・センチネル（視覚的知覚）

   • 役割: ブラウザ内（クライアント側）で動作する軽量モデル（例：Gemini Nano）を使用し、表示層の攻撃を高速にフィルタリングします。
   • 機能: DOM ツリーと計算されたスタイル（CSSOM）を比較し、ユーザーには見えないが LLM には見えるコンテンツ（透明度 0、フォントサイズ 0、画面外配置など）を検出します。
   • 特徴: ミリ秒以下の遅延（約 0.06ms）で「Fail-fast（早期失敗）」を実現し、悪意のあるペイロードがクラウドに送信されるのを防ぎます。

2. レイヤー 2：クラウド・ディーププランナー（意味論的推論）

   • 役割: センチネルを通過した入力に対して、大規模言語モデル（LLM）を用いた深い意味分析を行います。
   • 機能: 役割交代（Role-playing）、指示の無視、論理的罠などの高度なジャイルブレイクや意図の操作を検知します。
   • 特徴: 複雑な意味論的攻撃に対処しますが、レイテンシは比較的高くなります（約 288ms）。

3. レイヤー 3：オリジンガード（実行時の整合性）

   • 役割: 実行時の決定を確定的（Deterministic）に強制する最終防衛線です。
   • 機能: クラウドから返された実行計画（例：特定の URL への POST リクエスト）を、ローカルのホワイトリストやユーザーの意図（読み取り専用か書き込み可か）に基づき、同期 JavaScript インターセプターで検証します。
   • 特徴: 確率的な LLM の判断ミスがあっても、ポリシー違反のアクションを強制的にブロックする「Fail-closed（失敗時は閉鎖）」設計です。

3. 主要な貢献

1. Defense Funnel モデルの形式化:
   低コストなチェックをエッジに、深い分析をクラウドに割り当て、実行境界で厳格なポリシーを適用する段階的な検査プロセスを確立しました。
2. ハイブリッド防御の有効性の実証:
   1,000 件の敵対的サンプルを用いた評価により、エッジ単独では 86.9% の意味論的攻撃を見逃すのに対し、本アーキテクチャは攻撃成功率（ASR）を**0.88%（静的評価）〜0.67%（適応的評価）**まで低減させることを示しました。
3. 性能と効率の劇的な向上:
   • 遅延: クラウドのみと比較して、表示層の攻撃をエッジでフィルタリングすることで、約17,000 倍のレイテンシ優位性（0.02ms vs クラウド処理）を達成しました。
   • リソース効率: エッジ層が 13.1% の高頻度視覚的脅威をブロックすることで、不要なクラウド推論（トークン使用量）を削減し、プライバシーも保護します。

4. 実験結果

• 攻撃成功率（ASR）:
  • ベースライン（防御なし）: 100%
  • エッジのみ（レイヤー 1）: 86.9%（意味論的攻撃に弱い）
  • エッジ＋クラウド（レイヤー 1+2）: 39.2%（目標乗っ取り攻撃に弱い）
  • 完全ハイブリッド（レイヤー 1+2+3）: 0.88%
• 適応的攻撃者への耐性:
  攻撃者が防御ロジックを知り、ドメインノードに分割（Fragmentation）したり、丁寧な言葉で包み込む（Benign Wrapping）などの適応的攻撃を試みても、レイヤー 2 と 3 の連携により ASR は 0.67% まで抑えられました。
• 遅延分析:
  エッジ層の処理は約 0.06ms であり、クラウドプランナー（約 288ms）に比べて極めて高速です。レイヤー 1 での早期フィルタリングが、システム全体の応答性を保つ鍵となりました。

5. 意義と将来展望

• 確定的な強制と確率的モデルの補完:
  LLM の確率的な判断ミス（意味論的曖昧さ）を、実行境界における確定的なポリシー強制（レイヤー 3）で補完するアプローチは、自律エージェントのセキュリティ設計において重要な指針となります。
• 実用的な基盤の提供:
  遅延とセキュリティのトレードオフを解決し、ブラウザネイティブの小型モデル（SLM）を活用した実用的な防御インフラを提供しました。
• 今後の課題:
  画像内のプロンプトインジェクションへの対応（マルチモーダル化）、および「丁寧な言葉で包む」攻撃に対する意図分類の精度向上、さらに高リスクなアクションにおける人間による確認（Human-in-the-loop）の導入が今後の課題として挙げられています。

結論:
Cognitive Firewall は、ブラウザベースの AI エージェントが直面する間接プロンプトインジェクションの脅威に対し、エッジとクラウドの強みを組み合わせた多層防御により、高いセキュリティと低遅延を両立させる有効な解決策であることを示しました。