🤖 AI

PRISM: Generation-Time Detection and Mitigation of Secret Leakage in Multi-Agent LLM Pipelines

PRISM は、エントロピーの崩壊やログイトの集中といった初期生成ダイナミクスを検知して機密情報が完全に再構成される前にトークン単位で介入し、包括的な敵対的ベンチマークにおいて完全な精度とゼロの漏洩を実現する、マルチエージェント LLM システム向けのリアルタイム防御メカニズムである。

原著者： Riya Tapwal, Abhishek Kumar, Carsten Maple

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Riya Tapwal, Abhishek Kumar, Carsten Maple

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

4 体のロボットがチームを組んで、コンピュータシステムのデバッグのような複雑な問題を解決すると想像してください。彼らは共有されたノート（「コンテキスト」）を介して、互いにメモをやり取りします。

ここで問題が発生します。最初のロボットが偶然ファイルから秘密のパスワードを取得し、それをノートに書き込んでしまうと、2 体目のロボットがそれを見て、自分のメモにコピーし、3 体目に渡す可能性があります。誰一人としてパスワードを盗む意図がなかったとしても、秘密は連鎖的に受け継がれ、増幅され、最終的に人間ユーザーへ送信されるメッセージに含まれてしまいます。この論文はこの現象を「伝播増幅（Propagation Amplification）」と呼んでいます。これは「伝言ゲーム」のようですが、メッセージが不明瞭になるのではなく、危険なほど露呈してしまうという点で異なります。

リークを防ぐ従来の方法

著者によれば、これらのロボットチームのセキュリティガードは、すでにクラブを去った人々しかチェックしない、門番のようです。

静的スキャナ: これは特定の赤いシャツを探すようなものです。秘密が異なるフォントで書かれていたり、奇妙な方法で隠されていたりすれば、スキャナは見逃してしまいます。
LLM ジャッジ: これは、2 体目のロボットを雇って最終的なメモを読み、「ふむ、これは危険そうだ」と言うようなものです。しかし、彼らが読む頃には秘密はすでに漏洩しており、損害は既になされています。
プロンプト指示: これはロボットに「秘密について話さないでください」と伝えるようなものです。しかし、ロボットが混乱したり、だまされたりすれば、そのルールを忘れてしまいます。

新しい解決策：PRISM

この論文は、PRISM（Predictive Risk Intervention for Secret Monitoring：秘密監視のための予測的リスク介入）を紹介しています。メモが完成するのを待つのではなく、PRISM はロボットが話している最中に、その口元のすぐそばに立つ交通整理係のような役割を果たします。

PRISM は、ロボットが「何を」言っているかだけでなく、話しながら「どのように」考えているかを監視します。

「アハ！」の瞬間：エントロピーの崩壊

この論文の最大の発見は、ロボットが秘密を漏らそうとしているときに現れる、思考の特定のパターンです。

通常の思考: ロボットが物語を書いたり、数学の問題を解いたりしているとき、次の単語には多くの選択肢があります。それは、多くの道から選べる森を彷徨う人のようなものです。これは「高エントロピー（多くの不確実性）」と呼ばれます。
秘密の思考: ロボットが記憶された秘密（パスワードなど）の再生成を始めると、彷徨いをやめます。次の文字が何であるかを「正確に」知っているからです。「森」は一本の直線的な道に縮小します。ロボットは極めて確信を持つようになり、その「不確実性」は崩壊します。

PRISM はこの「彷徨い」から「確信」への急激な移行を検知します。完全な秘密が書き込まれる前であっても、ロボットが脳内で特定のパターンに固定されている様子を検出します。

PRISM の仕組み（信号機システム）

PRISM は、ロボットが話そうとしている各単語に、16 種類の異なる手がかり（ロボットの確信度、単語の形状、使用しているツールなど）を組み合わせてリスクスコアを割り当てます。そして、3 色のシステムを使用します。

🟢 緑（安全）: ロボットは単に会話しているか、通常の課題を解決しています。話させます。
🟡 黄色（疑わしい）: ロボットがパスワードのようなパターンに対して少し確信を持ちすぎている場合です。PRISM はその単語を [MASK] のようなプレースホルダーに優しく置き換え、流れは続けつつ秘密は隠します。
🔴 赤（危険）: ロボットが完全な秘密を明かす高速ルートに乗っています。PRISM は即座にブレーキをかけ、秘密が完成する前にロボットを停止させます。

結果

著者らは、2,000 の異なるタスクとロボットをだます 13 の異なる方法を用いた大規模なシミュレーションでこれをテストしました。

従来のガード: 既存の最良の方法でさえ、約 15% のケースで秘密の漏洩を許してしまいました。
PRISM: 漏洩を**100%**阻止しました。秘密を最後に検知しただけでなく、ロボットが秘密を書こうとしている最中に検知しました。
速度: 全体を読み取るために 2 体目のロボットを必要とする他の方法とは異なり、驚くほど高速で、会話にほとんど遅延を加えませんでした。

結論

この論文は、AI エージェントのチームにおいて、秘密が漏れるのは悪いプロンプトのせいだけでなく、チームそのものの「構造」のせいであると主張しています。一度秘密が共有ノートに入ると、ウイルスのように広まります。PRISM は、感染の初期症状（ロボットの急激な確信）を検知し、ウイルスが最終出力に広がる前に阻止する、免疫システムのような最初のツールです。

技術概要：PRISM – マルチエージェント LLM パイプラインにおける機密漏洩の生成時検出と緩和

1. 問題定義：伝播増幅

本論文は、マルチエージェント型大規模言語モデル（LLM）システムにおける構造的脆弱性「伝播増幅（propagation amplification）」を特定している。単一モデルの展開とは異なり、マルチエージェントパイプライン（例：AutoGen、ChatDev、MetaGPT）は、エージェントが情報を逐次的に受け渡す共有の付加専用コンテキストに依存している。

著者らは、上流のエージェント $A_i$ が機密情報 $s$ を取得すると、それが共有コンテキスト $C$ に入り、下流のエージェント $A_{i+1} \dots A_K$ がこのコンテキストを消費することを形式化した。下流のエージェントがタスクを実行するために機密情報を明示的に必要としていなくても、パイプラインの深さに応じてその情報を再現する確率は増加する。論文は、漏洩確率を以下のようにモデル化している：
$P_{leak}(s) = 1 - \prod_{j=i+1}^{K} (1 - p_j(s | C_j))$
ここで、 $p_j$ は再現確率である。エージェントごとの再現確率がゼロではないという仮定の下、累積リスクはパイプラインが深くなるにつれて増幅する。防御されていない 4 エージェントパイプラインからの実証データは、71.2% のタスクレベル漏洩率を示しており、漏洩は敵対的プロンプトの結果ではなく、共有コンテキストの構成による構造的帰結であることを確認している。

既存の防御策はこの設定には不適切である：

静的スキャナ（例：detect-secrets、TruffleHog）は表面的なパターンに依存し、事後に動作するため、部分的な再構成や文脈的な再利用を検知できない。
LLM ジャッジ/ガードレールは生成完了後に動作するため、機密情報がフィルタリングされる前に中間エージェントを介して伝播してしまう。
プロンプトベースの安全策は、マルチホップ推論や敵対的枠組みの下で劣化する。

2. 手法：PRISM（Secret Monitoring のための予測的リスク介入）

PRISM は、機密情報が完全に再構成され伝播する前に、トークン生成プロセスの最中に介入するように設計されたリアルタイム防御メカニズムである。

核心的洞察

著者らは、記憶された資格情報の再現に先立って、生成ダイナミクスにおける測定可能な変化が生じることを観察している。LLM がオープンエンドな生成から構造化された機密情報（例：API キー）の決定的な再現へ移行する際、トークンレベルのエントロピーが崩壊し、logit の集中度が増加する。この「位相転移」が早期警告信号として機能する。

アーキテクチャ

PRISM は、パイプライン内の各エージェントのデコードループに統合されたトークンごとのモニターとして動作する。

特徴抽出: 各デコードステップ $t$ $t$ において、PRISM は以下の 16 次元特徴ベクトル $f_t$ $f_{t}$ を集約する：
- 時間的生成ダイナミクス: エントロピーの崩壊、logit の集中度（発散）、および軌道のエスカレーション（ステップごとのリスク増大）。
- テキスト構造的シグナル: 識別子パターン（例：UUID、メールアドレス）、数値の連続、および資格情報スタイルの正規表現マッチ。
- 文脈的/行動的シグナル: ツールの使用（例：read_file）、キーワード密度、および n-gram の重複。
リスクスコアリング: ロジスティック回帰モデルがリスクスコア $r_t = \sigma(w^\top f_t + b)$ を計算する。
介入ポリシー: スコアは 3 つのゾーンにマッピングされる：
- GREEN（ $r_t < \tau_1$ ）: トークンを変更せずに通過させる。
- YELLOW（ $\tau_1 \le r_t < \tau_2$ ）: 出力構造を維持しつつシーケンスを切断するためにトークンをサンタイズする（[MASK] に置換）。
- RED（ $r_t \ge \tau_2$ ）: 機密情報の完全な再構成を防ぐために生成を即時停止する。
生成後監査（ZK-RC）: 個々のトークンが閾値を下回って漏れた場合でも、集合的に機密情報を形成した場合に検知するための、ハッシュ化された 8-gram マッチング（SHA-256）を用いた軽量フォールバック層。

3. 主要な貢献

伝播増幅の形式化: 共有コンテキストパイプラインにおけるエージェント境界を跨ぐ漏洩リスクの増幅を確率モデルで示し、単一モデルの漏洩と区別した。
PRISM フレームワーク: 漏洩を逐次的なリスク蓄積問題として扱い、事後フィルタリングではなくトークンごとの介入を利用する、生成時の防御を導入した。
シグナルの相補性: 時間的ダイナミクス（エントロピー/logit）または構造的シグナル（パターン）のいずれか単独では不十分であることを特定。高弁別能力にはエントロピーの崩壊と識別子パターンの検出の組み合わせが必要である。
ベンチマークの構築: 異種混合の 4 エージェントパイプラインにおいて、13 の攻撃カテゴリ（例：プロンプトインジェクション、ソーシャルエンジニアリング、エージェント間伝播）と 3 つの圧力レベル（Low、Medium、High）を網羅する 2,000 タスクの敵対的ベンチマークを作成した。

4. 実験結果

2,000 タスクのベンチマークにおいて、10 のベースライン防御手法（Span Tagger、GBT Classifier、LLM Judge、静的スキャナなどを含む）に対して評価を行った：

漏洩防止: PRISM は0.0% のタスクレベル漏洩率を達成し、最終出力において完全に再構成された機密情報が含まれるタスクは一つも存在しなかった。ベンチマーク上で観測された漏洩を排除した唯一の手法である。
性能指標:
- F1 スコア: 0.832（最強力なベースラインである Span Tagger の 0.719 を上回る）。
- Precision: 1.000（偽陽性なし）。
- Recall: 0.712。
- Utility: 0.893（良性タスクの 89.3% が変更なしで通過）。
比較:
- Span Tagger: 15.0% のタスクレベル漏洩率。
- GBT Classifier: 19.2% のタスクレベル漏洩率。
- 静的スキャナ/LLM ジャッジ: 60% 超のタスクレベル漏洩率。
ロバスト性: PRISM は 8 つの表面レベルの難読化変換（例：16 進数エンコーディング、文字分割）に対して $\ge 95.9\%$ の検出率を維持したが、パターンベースのベースラインは検出率がほぼゼロまで劣化した。
レイテンシ: PRISM は最小限のオーバーヘッド（タスクあたり約 5.5 ms）を追加し、LLM ベースのジャッジ（>1,800 秒）よりも著しく高速で、軽量なパターンマッチャーと同等の性能を示した。

5. 意義と主張

本論文は、マルチエージェントシステムのセキュリティ確保には、静的または事後のフィルタリングから生成プロセス自体の継続的監視へのパラダイムシフトが必要であると主張している。

構造的脆弱性: 著者らは、マルチエージェントシステムにおける漏洩はプロンプトレベルの失敗だけでなく、情報伝播による構造的帰結であると強調している。一度機密情報が共有コンテキストに入ると、下流で再出現する可能性が高い。
早期介入: 「エントロピー崩壊」という位相転移を検知することで、PRISM は機密情報が完全に具体化する前に介入し、下流のエージェントへの機密データの伝播を防ぐ。
実用性: 本システムは高い検出精度と低レイテンシを両立しており、インタラクティブなマルチエージェントワークフローにおけるリアルタイム展開が可能である。
主張の謙虚さ: 著者らは、ベンチマークが人工的かつ制御されたものであることを明示的に指摘している。最適性能には白箱アクセス（ログ確率）への依存が含まれる（ただし、1.4% の残留漏洩率を持つ黒箱変種も存在する）ことや、システムが適応型敵対者による戦略的・目的指向の隠蔽ではなく、受動的な漏洩ダイナミクスをモデル化していることなどの限界を認めている。彼らは PRISM を、すべての情報漏洩に対する万能解決策ではなく、逐次的伝播による資格情報の再現に対する標的型メカニズムとして位置づけている。