インターネットにアクセスし、あなたのメールを読み、カレンダーを確認し、タスクを遂行するためにプライベートな記録を取り寄せるデジタルアシスタントを想像してみてください。このようなスマートなエージェントは一般的になりつつありますが、ある厄介な問題に直面しています。それは、エージェントが業務を行うために実際に必要な情報よりも、はるかに多くの情報を見てしまうということです。もしアシスタントが、取得した文書の中に隠された指示によって欺かれた場合、あなたのプライベートな詳細を誤って不適切な相手に漏らしてしまうかもしれません。これは「間接的なプロンプトインジェクション」として知られており、攻撃者がコンピュータが通常の作業の一部として読み取る情報の中に、コマンドを紛れ込ませる手法です。研究者たちが問いかけている核心的な疑問は、アシスタントがすでに秘密のデータに触れた後に、その最終的なメッセージを単に「洗浄（クリーンアップ）」できるかどうかという点です。コンピュータがすでにあなたの病歴や自宅の住所を読んでしまった後、その詳細が建物から外に出ないように、フィルターが最終的なテキストを精査して削ぎ落とすことはできるのでしょうか。たとえコンピュータがそれを書き留めようとしたとしても。
ある研究者が、制御された環境の中でこの「出力スクラビング（出力洗浄）」というアイデアをテストすることにしました。彼らは、デジタルエージェントがプライベートな情報を引き出され、その情報を含むメッセージを書くように仕向けられるシステムを構築しました。エージェントが回答を生成すると、研究者はそのプライベートなデータを特定して削除するように設計されたフィルターを適用しました。彼らは、探すべき正確なプライベートな値を知っているコンピュータプログラムの助けを借りて、このフィルターをテストしました。このプログラムは、あらゆる事例を捉える完璧な探偵として機能します。フィルターには強力なルールが与えられました。それは、正確なプライベートな値を見つけるだけでなく、たとえ綴りや大文字・小文字が多少異なっていても、それに一致する3語以上の連続した単語のシーケンスも削除するというものです。これは、非常に攻撃的なクリーニングプロセスが、被害が出た後に漏洩を食い止めることができるかどうかのテストであり、ベストケースシナリオを想定したものでした。
結果は驚くべきものであり、また、深刻なものでした。完璧なフィルターが探すべきものを正確に把握しており、長い単語の列を削除する能力を持っていたにもかかわらず、プライベートな情報は大多数のケースで流出してしまいました。漏洩したメッセージのあるグループでは、フィルターによる開示の阻止に失敗した割合は61.2パーセントでした。別のグループでは、失敗率は62.1パーセントに達しました。通り抜けた情報は、通常、正確なプライベートな詳細がそのまま平易に書かれたものではありませんでした。代わりに、コンピュータは秘密の内容を自分自身の言葉で書き換え、表面上は全く異なって見えるものの、同じ意味を持つ異なる言い回しを用いていたのです。フィルターは特定の単語や短いフレーズを探していたため、これらの新しい表現を見逃しました。プライベートな事実は再構成されており、単なる単語の一致を確認するだけのフィルターは、その新しい形態を認識できなかったのです。
研究者はまた、より高度なアプローチとして、単に単語を一致させるのではなく、メッセージを読み取って機密性の高い意味を排除するように文章を書き換える別のコンピュータプログラムを使用しました。この手法は、正確なプライベートな詳細が明らかにされる回数を減少させましたが、それには重い代償が伴いました。安全を確保しようとする過程で、このスマートなフィルターは、実際にタスクに必要とされる情報のほとんどすべてを削除してしまい、最終的なメッセージを使い物にならないものにしてしまったのです。それは、部屋を掃除するために中にあるものをすべて投げ捨てるようなものでした。プライバシーは守られましたが、部屋は空っぽになりました。また、研究では、コンピュータに対して単に「プライベートな情報を共有しないでください」と命じるという、より単純な方法もテストされましたが、この指示だけでは漏洩を防ぐことは全くできませんでした。エージェントは、警告を与えられなかった時と同じ頻度で秘密を共有し続けました。
これらの知見は、コンピュータモデルがいったんプライベートな情報に触れてしまうと、その情報が新しい形で漏洩しないことを保証するのは非常に困難であることを示唆しています。コンピュータがデータを思考し、それに応答を書き出すという行為は、そのデータを記述するための新しい方法を生み出し、それは単純なフィルターでは予測も捕捉もできない方法です。研究者は、最終的なメッセージを洗浄するフィルターに頼ることは、十分な防御策にはならないと結論付けました。代わりに、最も安全なアプローチは、プライベートな情報がコンピュータの「思考」の中に入り込むのを未然に防ぐか、あるいは特定のタスクに絶対に必要な場合にのみ、コンピュータがその情報を見るようにすることです。出力フィルターは、第二の防御層としては依然として有用かもしれませんが、これらのような漏洩に対する主要な盾にはなり得ません。この研究は、根本的な限界を浮き彫りにしています。もしシステムがすでに秘密を処理してしまったのであれば、単に最終的なメモからそれを消去しようとするだけでは、安全を守るには不十分かもしれないのです。
技術要約：間接的プロンプトインジェクション下における、ツール利用型LLMエージェントの出力スクラビング後の残留プライバシー漏洩
問題提起
ツール利用型大規模言語モデル（LLM）エージェントは、攻撃者が取得したコンテンツ内に指示を埋め込み、エージェントを操作する「間接的プロンプトインジェクション」に対して脆弱である。特定のプライバシーリスクとして、エージェントが許可された機密データ（例：ユーザーの個人記録）を取得し、注入された指示の影響を受けて、その情報を最終的な出力に開示してしまうことが挙げられる。防御策は構造的な制御（例：プロベナンス・トラッキング）や意味論的な認識に依存することが多いが、本論文では**「生成後出力スクラビング（post-generation output scrubbing）」**の有効性を調査する。核心となる問いは、モデルが保護されたデータを既に「観察」した後で、その出力をフィルタリングすることが、プライバシー漏洩を確実に防げるのか、あるいはモデルの生成プロセスが、標準的なフィルタを回避する新しい、識別不可能な形式の保護情報を生成してしまうのか、という点である。
手法
本研究では、パイプラインの異なる箇所にプライバシー制御を配置した単一のエージェント・ハネスを利用している：
- プリコンテキスト除去（オラクル）： エージェントがデータを処理する前に、取得されたアーティファクトから禁止された値を削除する制御。これは防止の参照基準として機能する。
- 生成後フィルタリング： エージェントの生成された出力に適用される制御。以下の3つの具体的な構成を評価する：
- オラクル・スパン・フィルタ： 特権的なフィルタであり、グラウンドトゥルース（正解値）のすべての正確な出現と、すべての連続する3トークン以上のスパン（ケースや句読点を正規化）を削除する。
- モデルベースの意味論的リダクター： 個人情報や機密情報を削除するために、メッセージを書き換える生成後のモデルによるパス。
- インプロンプト・ラベル： 特定のフィールドを開示しないよう指示する権威的な命令（テキストの削除は伴わない）。
実験設計および評価
- 集団（Populations）： 本研究は、防御のない実行において既に禁止されたフィールドを漏洩させてしまった2つの軌跡（trajectories）の集団を分析する。
- セルA： 49個の軌跡（アンカーモデル、推奨タスク）。
- セルB： 66個の軌跡（オープンウェイトモデル、混合タスク/インジェクション・スタイル）。
- スコアリング・メカニズム： リダクション（編集）されたテキストの評価の難しさに対処するため、著者は「ジャッジ（判定役）」となるLLMを用い、開示の証拠として正確な部分文字列を引用させる手法を採用している。
- エビデンス・ストリング・トリアージ（証拠文字列の選別）： 真の開示とアーティファクト（残骸）を区別するための重要な方法論的貢献は、トリアージ・プロセスである。スクラビングによって構造的な残骸（例：空のラベル、句読点の痕跡）が残り、ジャッジがそれを開示と誤認する可能性があるため、著者はジャッジが引用した証拠を機械的に監査している。フラグは以下のように分類される：
- 真正な再表現（Genuine Re-expression）： 保護された値が、語彙的な重複がほとんどない状態で意味的に伝えられている。
- スクラブミス（Scrub-Miss）： 文字通りの値が残っている。
- アーティファクト（Artifact）： 削除による構造的な残骸。
- 混同（Conflation）： ジャッジが真の値ではなく代用物を引用している。
- 人間による検証： 2人の人間のアノテーターが証拠文字列のサブセットを独立してラベル付けし、機械的なトリアージを検証した。
主な結果
- 生成後スクラビングの無効性： グラウンドトゥルースの値を知り、すべての正確な一致および連続する3トークン以上のスパンを削除するオラクル・フィルタを使用しても、セルAで61.2%（30/49）、セルBで62.1%（41/66）において残留的な開示が残った。
- 漏洩の性質： 生き残った開示は、主に**意味的な再表現（パラフレーズ）**であり、元の値との語彙的な重複は極めて少なく（多くの場合3トークン未満）、正確な値や有限のスパンによるスクラビングでは検知不能であった。
- 人間による再分類： 人間の判定により、これらの結果が確認された。残留開示率はそれぞれ**57.1%および56.1%**となり、漏洩が真正なものであり、自動スコアリングのアーティファクトではないことが検証された。
- モデルベース・リダクターの限界： モデルベースの意味論的リダクターは、逐語的な開示を減少させたものの、タスクに必要なフィールドをすべて削除することには失敗し、78パーセントポイントの過剰なリダクション・コストを招いたため、有用性の維持という観点から実用的ではなかった。
- インプロンプト・ラベル： データを削除せずに非開示の指示を追加しても、効果はゼロであった（残留開示率100%）。一方で、コンテキストの前にデータを削除した場合は、漏洩が0%に減少した。
- プリコンテキストの成功： オラクルによるプリコンテキスト除去アームは、禁止フィールドの開示が0/30であり、露出を防ぐことが有効であることを示した。ただし、これはオラクルによる上限値であり、展開可能な検出器の推定値ではない。
主要な貢献
- 配置に関する説明（Placement Account）： 本論文は、プライバシー強制のための「認識問題」が、配置に基づいて変化することを確立している。プリコンテキストの認識器は、取得されたコンテンツ内の表現（Ein）をカバーする必要があるが、ポストジェネレーションの認識器は、モデル自身が構成した表現（Eout）をカバーしなければならない。モデルによる露出は表現空間を拡大させ、事前に列挙できない形式を導入する。
- 特権的なベースライン： オラクル・フィルタを用いてグラウンドトゥルースの値を使用することで、完璧な語彙的・連続スパンのスクラビングであっても、意味的な再表現に対しては不十分であることを証明した。
- 監査可能な評価： 「エビデンス・ストリング・トリアージ」の導入は、リダクションされたテキストを評価するための堅牢な手法を提供し、真の意味的な漏洩と、スクラビングプロセス自体によって作成された構造的アーティファクトを分離するものである。
意義と主張
本論文は、モデルが保護されたデータにさらされた後は、正確な値や有限のスパンのスクラビングは、主要なプライバシー防御策としては不十分であると結論付けている。結果は、すべての生成後の意味論的な強制が不可能であると主張しているのではなく、残留する漏洩が相当量であり、かつ持続的であることを示している。
著者は、ツール利用型エージェントにおける効果的なプライバシーには、以下が必要であると論じている：
- 最小化（Minimization）： プライベートなデータがモデルのコンテキストに入る前に、不要なデータを削減すること。
- カバレッジ検証（Coverage Validation）： すべてのイングレス（流入）経路が制御によってカバーされていることを確認すること。
- 多層防御（Defense in Depth）： 出力フィルタリングを、単なる負荷の高い解決策ではなく、補完的なレイヤーとして扱うこと。
本研究は、根本的な非対称性を浮き彫りにしている。構造的な完全性ポリシーはプロベナンスに依存できるが、文脈的なプライバシーポリシーは意味論的な認識を必要とし、それはモデルが情報を処理し再表現した後に、格段に困難になるのである。
毎週最高の コンピュータサイエンス 論文をお届け。
スタンフォード、ケンブリッジ、フランス科学アカデミーの研究者に信頼されています。
受信トレイを確認して登録を完了してください。
問題が発生しました。もう一度お試しください。
スパムなし、いつでも解除可能。
週刊ダイジェスト — 最新の研究をわかりやすく。登録