💻 computer science

BodhiPromptShield: Pre-Inference Prompt Mediation for Suppressing Privacy Propagation in LLM/VLM Agents

LLM/VLM エージェントにおけるプロンプトのプライバシーリスクが検索や記憶、ツール呼び出しなどの複数段階に波及する課題に対し、BodhiPromptShield は機密スパンを検出・置換し、許可された境界でのみ復元するプロンプト仲介フレームワークを提案し、CPPB ベンチマークにおいて段階的なプライバシー漏洩を効果的に抑制する結果を示しています。

原著者： Bo Ma, Jinsong Wu, Weiqi Yan

公開日 2026-04-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Bo Ma, Jinsong Wu, Weiqi Yan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「AI アシスタントがあなたの秘密をどこかでこっそり漏らしてしまうのを防ぐ、新しい『セキュリティゲート』」**について書かれています。

専門用語を抜きにして、日常の例え話を使って説明しますね。

🕵️‍♂️ 物語：「秘密の伝言ゲーム」と「新しい守り人」

1. 今までの問題点：秘密が「伝言ゲーム」で漏れる

想像してみてください。あなたが銀行の窓口で、**「私の口座番号は 123456 です」**と窓口係（AI）に伝えたところ、窓口係はそれをメモ帳に書き、そのメモを別の部署（検索機能）に渡し、さらに別の部屋（記憶機能）に預け、最後に請求処理（ツール実行）のために渡す、という流れを想像してください。

これまでの AI のセキュリティ対策は、**「窓口で受け取った瞬間に、そのメモ帳の文字を黒いマーカーで塗りつぶす」というものでした。
しかし、問題はその「塗りつぶされた後の動き」**にあります。

「口座番号 123456」を黒塗りして「【口座】」と書き換えても、その「【口座】」というメモが、他の部署や記憶機能に渡り、最終的に誰かが「あ、これは元の 123456 だ！」と復元してしまう可能性があります。
さらに、AI が「検索」や「記憶」をする過程で、その情報が**「元の形のまま」**コピーされてしまい、気づかないうちに漏れてしまうのです。

これを論文では**「プライバシーの伝播（でんぱ）」と呼んでいます。つまり、「一度隠しても、AI の内部を動き回るうちに、また見えなくなってしまう」**という現象です。

2. 解決策：「BodhiPromptShield（ボディ・プロンプト・シールド）」

この論文が提案しているのは、**「AI が動き出す前に、秘密を『安全な箱』に入れて、必要な時だけ開ける」**という仕組みです。

このシステムは、3 つの賢い方法で秘密を守ります：

型付きのプレースホルダー（「【名前】」のように変える）
- 例：「田中太郎」→「【人物】」
- 意味は残しつつ、具体的な名前を消します。AI は「誰か」がいることはわかりますが、誰かは知りません。
意味の抽象化（「東京の自宅」のようにぼかす）
- 例：「東京都渋谷区〇〇町 1-2-3」→「東京の住宅地」
- 住所の具体的な数字を消しますが、「どこか」に住んでいるという文脈は残します。
安全な暗号化（「鍵付きの箱」に入れる）
- 例：「123456」→「【鍵 A】」
- 完全に意味不明な記号に変えます。ただし、「最終的に請求処理をする時だけ」、許可された人が「鍵 A」を「123456」に戻すことができます。

3. この仕組みのすごいところ：「タイミング」が重要

これまでの対策は「最初から黒塗り」でしたが、この新しいシステム（BodhiPromptShield）は**「いつ、どこで、秘密を戻すか」**を厳しく管理します。

悪い例： 検索機能やメモ機能に、元の秘密がそのまま流れてしまう。
良い例： 検索やメモの段階では「【鍵 A】」のまま。秘密が漏れる可能性のある場所をすべて通った後、**「本当に必要な最終工程」**でだけ、許可された場所で「鍵 A」を「123456」に戻す。

これにより、AI が「検索」したり「記憶」したりしている間、秘密は**「安全な箱に入ったまま」**なので、たとえ AI の内部が覗き見されても、秘密は守られます。

4. 結果：「秘密を守りつつ、仕事もできる」

実験の結果、このシステムを使うと：

秘密の漏洩が激減： 従来の方法では 10% 近く漏れていた情報が、このシステムでは 7% 以下に抑えられました。
仕事は滞らない： 秘密を隠しても、AI が「田中太郎の請求処理をしよう」という意図を理解し、正しく作業を完了できることが確認されました。

🎒 まとめ：どんなイメージ？

このシステムは、**「AI という巨大なオフィスビル」に働く「厳格な警備員」**のようなものです。

従来の警備員： 「入り口で名札を隠すだけ」。でも、廊下を歩く途中で、その名札のコピーが他の部屋に渡ってしまっていた。
新しい警備員（BodhiPromptShield）： 「入り口で名札を『【氏名】』という通用名に変える」。そして、「会議室（最終処理）に入室するまで、その通用名のまま」。会議室に入室する瞬間だけ、許可された人が元の名札を渡す。

これなら、廊下を歩く途中で誰かが覗き見しても、誰の秘密かはわかりません。

💡 一言で言うと

**「AI に秘密を話すとき、最初から『安全な箱』に入れて、必要な時だけ開けるようにする新しいルール」**です。これにより、AI が賢く仕事をしながらも、あなたのプライバシーがこっそり漏れるのを防げるようになります。

BodhiPromptShield: LLM/VLM エージェントにおける推論前プロンプト仲介によるプライバシー伝播抑制

本論文は、大規模言語モデル（LLM）および視覚言語モデル（VLM）を活用したエージェントシステムにおいて、ユーザーのプロンプトに含まれる機密情報が、単一のモデル呼び出しを超えて「検索（Retrieval）」「記憶（Memory）」「ツール呼び出し（Tool Calls）」などの段階に伝播・漏洩するリスクを解決する新たなフレームワーク**「BodhiPromptShield」**を提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 背景と問題定義

従来のプライバシー保護技術（差分プライバシーやドキュメント境界での匿名化）は、主にトレーニングデータの保護や、保存されたテキストの脱識別化に焦点を当てていました。しかし、現代のエージェントシステムでは、ユーザーの入力プロンプトがそのままログ、検索クエリ、メモリ書き込み、ツール引数、サードパーティコンポーネントへと流れるため、「推論時（Inference-time）」のプライバシーリスクが新たな課題となっています。

既存手法の限界: 従来の企業向けマスキング（赤塗り）は、ドキュメントの境界で一度テキストを加工するだけであり、エージェントが内部状態（メモリや検索）でプロンプトを再構成・転送する際に、機密情報が意図せず複製・伝播してしまう「伝播（Propagation）」の問題を解決できていません。
核心的な課題: 機密情報をエージェントの内部状態（検索、メモリ、ツール実行）が実行される前に抑制しつつ、下流の推論タスク（回答生成やツール実行）に必要な意味構造を維持できるかという点です。

2. 提案手法：BodhiPromptShield

BodhiPromptShield は、ユーザー入力と下流のエージェントの間で動作する**「ポリシー意識型（Policy-aware）の仲介フレームワーク」**です。推論前にプロンプトを仲介し、機密情報の伝播を制御します。

主要なアーキテクチャとプロセス

機密スパンの抽出:
- 入力プロンプト $x$ から、個人情報、金融情報、医療情報、画像から抽出されたテキストなどの機密スパン $S(x)$ を検出します。
- 検出には、ルールベースの認識器、NER（固有表現認識）、文脈的なプライバシー判断、および OCR（画像テキスト抽出）を組み合わせます。
意味を保持するプロンプトの浄化（Sanitization）:
- 検出されたスパンを、下流タスクの意図を損なわないように変換します。3 つのモードをポリシーに基づいて選択します。
  - タイプ付きプレースホルダー: 名前を <PERSON_1>、電話番号を <PHONE_1> に置換。役割情報を保持。
  - 意味的抽象化: 住所を「オークランドの住宅地」のように一般化。文脈を保持。
  - 安全な記号マッピング: 不透明なトークンに置換し、アクセス制御下のローカルマッピングテーブルに実値を紐付ける。
伝播意識型の制御と復元:
- 機密情報は、検索、メモリ、ツール呼び出しなどの**「許可された実行境界（Authorized Boundaries）」**に到達するまで、元の値として復元されません。
- 復元タイミングをセキュリティ変数として扱い、早期の復元による漏洩を防ぎます。

最適化目標

フレームワークは以下の 3 つの要素をバランスさせることを目的としています。

直接的な露出の最小化: 解放されたプロンプトにおける機密情報の残存率（PER: Privacy Exposure Rate）。
伝播リスクの抑制: エージェント内部の境界（検索→メモリ→ツール）を跨ぐ機密情報の伝播（SPE: Stage-wise Propagation Exposure）。
下流タスクの有用性維持: 回答の一貫性（AC）やタスク成功率（TSR）の維持。

3. 主要な貢献

問題の再定義: LLM/VLM エージェントにおけるプライバシーを「単一ドキュメントのマスク」問題ではなく、「伝播制御（Propagation-Control）」問題として再定義し、保護段階のギャップを明確化しました。
ポリシー意識型仲介メカニズム: 機密スパンの検出、モード選択、制御された復元を組み合わせたメカニズムを提案し、復元タイミングを明示的なセキュリティ変数として扱います。
伝播意識型の評価プロトコル（CPPB）: 直接露出、段階ごとの伝播、有用性の維持、復元境界の挙動を測定する「制御されたプロンプトプライバシーベンチマーク（CPPB）」を定義しました。
証拠範囲の明確化: 記録に基づくコア結果と、制御された支援スライスを分離し、形式保証と実用的なデプロイメントの境界を明確にしました。

4. 実験結果

Controlled Prompt-Privacy Benchmark (CPPB) 上での評価結果は以下の通りです。

伝播の抑制:
- 保護なしの場合、検索、メモリ、ツール段階での機密情報伝播率は 100% でした。
- BodhiPromptShield（境界復元あり）を適用すると、検索段階で 10.7%、ツール呼び出し段階で 7.1% まで大幅に抑制されました（既存の正規表現ベースのマスクは 60% 前後で留まりました）。
プライバシー露出率（PER）と有用性:
- PER: 9.3%（汎用脱識別化は 12.4%、エンタープライズ段階的赤塗りは 8.1%）。
- 有用性（AC/TSR）: 回答一貫性 0.94、タスク成功率 0.92。
- 汎用脱識別化（PER 12.4%）と比較して、より低い露出と高い有用性を両立しています。エンタープライズ赤塗り（PER 8.1%）と比較すると、わずかに PER は高いものの、文脈依存スパンの処理や復元制御により、タスク成功率が大幅に向上しています。
多様性評価:
- 多モーダル（OCR）: 画像からのテキスト抽出を含むプロンプトでも、OCR スパン F1 0.90、マルチモーダル PER 11.3% を達成し、既存手法を上回りました。
- 敵対的ロバストネス: 同形異義語（Unicode 置換）や言い換えに対する耐性を評価し、正規化処理により露出を 94.1% から 43.9% へ削減しましたが、完全な防御には至っていないことも示されました。
- レイテンシ: バランス型ポリシーでの平均レイテンシ増加は約 41ms であり、実用的な範囲内です。

5. 意義と結論

実用的なデプロイメント防御: 暗号学的な完全な保証ではなく、実用的なエージェントシステムにおいて、機密情報が内部状態に伝播する前に抑制する「インターフェース層の防御」としての価値を示しました。
伝播制御の重要性: 単にテキストを隠すだけでなく、エージェントのワークフロー（検索、メモリ、ツール）全体を通じてプライバシーが維持されることを保証する評価手法と設計思想を提供しました。
トレードオフの可視化: プライバシー保護とタスク有用性の間のトレードオフを、ポリシー設定（厳格、バランス、寛容）によって制御可能であることを実証しました。

本論文は、LLM/VLM エージェントが普及する中で、推論時のプライバシーリスクを管理するための重要な指針となり、特に医療、法務、企業内コパイロットなど、機密情報を扱うエージェントシステムの安全な展開に寄与することが期待されます。