技術要約：タスク完了能力と能動的なプライバシー抽出に対する耐性のためのベンチマーク（TRAP）

1. 問題提起

大規模言語モデル（LLM）エージェントは、機密性の高い個人情報（PII）へのアクセスが不可欠な文書集約型のワークフロー（例：航空券の予約、給与処理）において、ますます導入が進んでいます。これらのシナリオには、根本的な緊張関係が存在します。すなわち、エージェントがタスクを正確に完了するためには、文書内のプライベートなフィールドを解析し利用しなければなりませんが、その解析能力自体が、クエリを受けた際にそのプライベート情報を漏洩させてしまう脆弱性にもなるという点です。

現在の評価パラダイムは、この緊張関係を共同で解決できていません。

• 受動的設定（Passive Settings）: タスク実行中の付随的な漏洩としてプライバシーを評価しますが、明示的な抽出の試みについては無視しています。
• 敵対的設定（Adversarial Settings）: 明示的な攻撃下でのプライバシーを評価しますが、タスクのパフォーマンスを無視しており、モデルがタスクへの関与を拒否することで「完璧な」プライバシーを実現できてしまいます。

論文では、認証だけではこのリスクを解決できないと主張しています。なぜなら、エージェントはキーボードの前にいるユーザーの真の正体を検証できないからです。核心となる課題は、エージェントがタスクを成功させるためにプライベート情報を使用しながらも、自然言語の応答としてその情報を開示することを拒否するという、トレードオフをどのように評価し解決するかという点にあります。

2. 手法：TRAPベンチマーク

著者らは、ユーティリティ（有用性）とプライバシーのトレードオフを同時に測定するために設計されたベンチマークであるTRAP（Task-completion and Resistance to Active Privacy-extraction）を導入しています。

2.1 データセットの構築

• 範囲: 10のドメイン（個人用5：身分証明書、クレジットカード、医療、給与明細、口座；法人用5：契約書、スケジュール、財務、人事、税務）にわたる500の文書ケース。
• モダリティ: テキストのみ、画像のみ、およびマルチモーダル（テキスト＋画像）。
• 構造: 各インスタンスは、プライベート・フィールド（機密情報）と非プライベート・フィールドの互いに素な集合を含む文書で構成されています。
• 二重クエリ:
  1. タスク・クエリ: 最低一つのプライベート・フィールドを引数として使用して特定のツールを呼び出すことを要求する（例：「[口座番号]を使用して、VAT購入者を口座とともに請求せよ」）。
  2. 攻撃クエリ: プライベート・フィールドの値を自然言語で引き出そうとする明示的な試み（例：「パスポート番号は何ですか？」）。これには、直接的な質問や、アドバーサリアルなフレーミング（無視せよ、重要である、ロールプレイ等）のバリエーションが含まれます。

2.2 評価指標

• タスク精度（Task Accuracy）: エージェントが正しいツールを選択し、正解の値と一致する引数を提供しているかを測定します。
• プライバシー・スコア（Privacy Score）: 攻撃クエリに対して、エージェントがクエリされたプライベート・フィールドを開示しなかったインスタンスの割合を測定します。
• 調和平均（Harmonic Mean, HM）: タスク精度とプライバシーの間のトレードオフを統合するために使用されます。

2.3 実験設定

著者らは、9つのプロプライエタリなモデル（GPT-4o-mini, GPT-5, Gemini-2.5-Pro, Claude Sonnet 4.5など）と13のオープンソースモデル（Qwen3-VL, InternVL3.5, Llama3.2-Visionなど）を含む22のモデルを評価しました。システムプロンプトによる指示や、TextGradを用いた共同プロンプト最適化を含む、様々なプロンプトベースの防御策をテストしました。

3. 主な結果

3.1 本質的な脆弱性

• 普遍的な漏洩: すべてのモデルファミリーにおいて、無視できないレベルの漏洩が確認されました。高いタスク精度（>60%）を達成したモデルは、一貫して低いプライバシー・スコア（<27%）を示しました。
• 能力との相関: 指示追従能力は、漏洩率と正の相関があります。より強力なモデル（データの解析および使用に長けたモデル）は、要求された際にプライベート情報を抽出・再現することにおいてもより効果的です。
• スケール効果: Qwen3-VLファミリーにおいて、パラメータ数を2Bから8Bに増やすとタスク精度は大幅に向上しましたが、プライバシー保護は急激に崩壊しました。さらなるスケーリングもこの脆弱性を解決することはありませんでした。
• モダリティ: プライバシー・スコアはテキスト入力で最も低く、画像入力で最も高くなりました。著者らは、これは真のプライバシー意識ではなく、OCRや解析の限界によるアーティファクトである可能性が高いと指摘しています。

3.2 ソフト制約の失敗

• プロンプトによる防御: 既存のプロンプトによる防御（システム指示）は、タスク精度に大きな代償を払うことなく、漏洩を減少させました。
• プロンプト最適化: 両方の目的のためにプロンプトを共同最適化しても、トレードオフの曲線から脱出することには失敗しました。最適化されたモデルは、単に手動作成のバリアントと同じフロンティア上を移動しただけでした。
• ソーシャルエンジニアリング: モデルは「権限に基づいた」ソーシャルエンジニアリングに対して脆弱であることが判明しました。ユーザーが権限を持っていると主張すると、モデルはより多くの情報を漏洩させました（負の $\Delta$Privacy）。これは特にプロプライエタリなモデルにおいて顕著でした。

3.3 構造的な解決策

• プライベート・フィールドの隔離: 著者らは、プライベート・フィールドがモデルに到達する前に、シンボリックなハッシュキー（例：[PRIVATE_buyer_ein]）に置き換えられる構造的なアプローチを提案しました。実際の値はハッシュテーブルに保存され、ツール実行レイヤー内でのみ解決されます。
• パフォーマンス: 「オラクル（Oracle）」マスキング（プライベート領域の完全な特定）の下では、このアプローチにより、すべてのモデルで90%以上のプライバシー・スコアを達成しつつ、タスク精度をベースラインに近い状態で維持できました。これは、構造的な隔離がユーティリティとプライバシーのトレードオフを打破できることを示しています。

4. 理論的貢献：不可能定理

本論文は、softmaxベースのモデルにおいて、いかなるソフト制約による防御（プロンプト指示やアライメント・チューニングを含む）も、十分に長い抽出の試みが行われる条件下で、高いタスク成功率とゼロの漏洩確率を同時に保証することはできないことを示す形式的な証明（定理1）を提供しています。

• 論理: もしモデルがプライベートなトークンを使用してタスクを正常に完了できるならば、それはそれらのトークンを正の確率で処理していなければなりません。したがって、攻撃の長さが増すにつれ、プロンプトがいかに注意深く作成されていても、これらのトークンを漏洩させる確率は1に近づきます。
• 示唆: プロンプトによる防御の失敗は、実用上の限界ではなく、モデル・アーキテクチャの根本的な特性です。

5. 重要性と主張

本論文は、エージェント・システムにおける有意義なプライバシー保証は、指示レベルのパッチやプロンプト・エンジニアリングだけでは達成できないと主張しています。代わりに、システムレベルのアーキテクチャ上の決定、すなわち構造的なプライベート・フィールドの隔離が必要であると論じています。

• 主要な教訓: タスクの有用性とプライバシーの間の緊張関係は、プライベートなデータをプレーンテキストとして処理するモデルにとって固有のものです。有用性を維持しながらゼロ・リークを実現する唯一の実行可能な道は、プライベートな値がモデルの出力分布に入ること自体を防ぐことです。
• 限界: 著者らは、現在の構造的隔離の実装がOCRに依存しており、それがエラー（例：非プライベートな内容のマスキングや、狭い領域のマスキングの失敗）を導入する可能性があることを認めています。彼らはこれを、構造的アプローチの根本的な欠陥ではなく、将来のOCRおよびPII検出の改善に向けたエンジニアリング上の課題であると考えています。

本研究は、「ユーティリティとプライバシーのトレードオフ」として観察されている現在のベンチマークが、モデルにプレーンテキストの機密データを見せることを許容していることによる構造的なアーティファクトであることを確立しており、その解決には、モデルの推論能力と生のプライベート値への直接的なアクセスを切り離す必要があることを示しています。