💬 NLP

DP-Fusion: Token-Level Differentially Private Inference for Large Language Models

本論文は、大規模言語モデルにおけるトークンレベルの差分プライバシー推論メカニズムであるDP-Fusionを提案しており、これは、既存の手法と比較してプライバシーと有用性のトレードオフを大幅に改善しつつ、出力に対する機密性の高いコンテキスト・トークンの影響を理論的に制限することで、高品質なドキュメントのプライバシー保護を可能にするものである。

原著者： Rushil Thareja, Preslav Nakov, Praneeth Vepakomma, Nils Lukas

公開日 2026-02-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Rushil Thareja, Preslav Nakov, Praneeth Vepakomma, Nils Lukas

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたは、文書の要約を助けてくれる、とても賢くておしゃべりなロボット（大規模言語モデル、またはLLM）を所有しています。時として、それらの文書には、患者の名前、特定の日付、銀行口座番号といった秘密の情報が含まれています。あなたは、その物語を要約しながらも、誤って秘密を漏らさないようにしたいと考えています。

問題は、現在のロボットはこれに弱いということです。単に「名前を言わないで」と伝えても、ロボットは混乱して支離滅裂な文章を書いてしまうかもしれません。あるいは、「綺麗に書き直して」と頼んだとしても、ロボットはうっかりミスをして秘密を漏らしてしまう可能性があります。

登場したのは、DP-FUSION：「秘密を守る」ブレンダー

著者たちは、DP-FUSIONと呼ばれる新しい手法を開発しました。これは、物語の読みやすさを保ちながら、秘密が確実に隠されることを保証する、テキストのための特別な「ブレンダー（ミキサー）」のようなものです。これがどのように機能するか、簡単な比喩を使って説明しましょう。

シナリオ： 2つのバージョンの物語

例えば、「スミス夫人」が「345.25ドル」の請求を受けたという、ある医療報告書があるとします。

元の物語： 「スミス夫人」という名前と、「345.25ドル」という正確な請求額が含まれています。
編集済みの物語： 「スミス夫人」を「[名前]」、「345.25ドル」を「[金額]」のように、マーカーで塗りつぶして空白にしたバージョンです。

DP-FUSIONの仕組み（ブレンダーのプロセス）

DP-FUSIONは、どちらか一方のバージョンを選ぶのではなく、巧妙なダンスを行います。

ロボットを2回走らせる：
- まず、ロボットに編集済みの物語（安全なバージョン）を使って、次の単語を予測させます。これにより、「安全な」推測が得られます。
- 次に、ロボットに元の物語（秘密を含むバージョン）を使って、次の単語を予測させます。これは、秘密を漏らす可能性がある「リスクのある」推測を与えます。
「プライバシー・ダイヤル」（ブレンダーのつまみ）：
- システムには、** $\epsilon$ （エプシロン）**と呼ばれるダイヤルがあります。
- ダイヤルを最小に回した場合（低い $\epsilon$ ）： ブレンダーは2つの推測を非常に強力に混ぜ合わせ、「リスクのある」秘密が「安全な」推測によってほとんど完全に飲み込まれるようにします。ロボットは「スミス夫人」の代わりに「ある患者」と言うかもしれません。これは非常にプライバシー保護が高いですが、物語が少し一般的すぎるものになる可能性があります。
- ダイヤルを上げた場合（高い $\epsilon$ ）： ブレンダーは「リスクのある」推測をより多く通します。文脈に合っていれば、ロボットは「スミス夫人」と言うかもしれません。物語はより自然になりますが、秘密が漏れ出す可能性がわずかに高まります。
保証：
- DP-FUSIONの魔法は、ハッカーがどれほど懸命に秘密を推測しようとしても、その成功率は設定されたダイヤルによって厳密に制限されることを数学的に証明している点にあります。たとえハッカーがこのブレンダーの仕組みを完全に理解していたとしても、秘密を逆算して導き出すことはできません。

なぜ既存の手法よりも優れているのか？

この論文では、DP-FUSIONを他の手法と比較しています。

「スクラバー（除去器）」（NER）： これは、秘密の部分を黒いマーカーで塗りつぶすようなものです。安全ですが、テキストに無様な穴を残してしまい、読みづらくなります（低い有用性）。
「パラフレーザー（言い換え器）」（プロンプト・エンジニアリング）： これは、ロボットに「綺麗に書き直して」と頼むようなものです。文章は自然になりますが、ロボットは注意深く振る舞うよう強制されていないため、結局のところ、誤って秘密を漏らしてしまうことがよくあります。
DP-FUSION： これがスイートスポット（最適解）です。テキストの流れをスムーズに保ちつつ（高い品質）、秘密が隠されることを数学的に保証します。

結果

研究者たちは、実際の法的文書や医療文書を用いてテストを行いました。その結果、以下のことが分かりました。

品質： DP-FUSIONによって生成されたテキストは、他のプライバシー保護手法よりもはるかに自然で読みやすくなりました。実際、文章の分かりにくさを測る指標である「パープレキシティ（perplexity）」において、次に優れたプライバシー手法よりも6倍も優れていました。
セキュリティ： ハッカーが隠された名前や日付を推測しようとしても、ランダムに推測する場合とほとんど変わらないほど、失敗に終わりました。
ボーナス・セーフティ： この手法は、「ジェイルブレイク（脱獄）」攻撃、つまりハッカーがロボットを騙してルールを無視させようとする攻撃を防ぐのにも役立ちます。疑わしい入力を「センシティブなトークン」として扱うことで、その影響を希釈し、ロボットの安全性を保つことができます。

まとめ

DP-FUSIONは、機密性の高い文書を要約するための新しいAI活用法です。これは、テキストの「安全なバージョン」と「元のバージョン」を、プライバシー・ダイヤルによって制御しながら混ぜ合わせる、スマートなブレンダーのように機能します。これにより、名前や日付などの秘密が数学的に確実に隠される一方で、生成される物語の品質と読みやすさが維持されます。

技術要約: DP-FUSION

問題提起

大規模言語モデル（LLM）は、推論時における固有のプライバシー保証を欠いています。LLMが機密情報（個人識別情報（PII）など）を含むツールや外部データベースと連携する場合、モデルの出力が意図せずそのコンテキストを露呈してしまう可能性があります。既存のプライバシー保護推論手法には、以下のような重大な限界があります：

証明可能な保証の欠如: プロンプトエンジニアリングや単純なスクラビング（伏せ字）といった手法は、形式的なプライバシー保証を提供せず、再構成攻撃やメンバーシップ推論攻撃に対して脆弱です。
ユーティリティとプライバシーのトレードオフの悪化: DP-Decoding（一様ノイズとの補間）やDP-Prompt（ロジットのクリッピング）のような差分プライバシー（DP）推論手法は、プライバシーを確保しようとすると、テキストの品質（パープレキシティ）が著しく低下するという課題があります。

本研究が取り組む具体的な課題は、文書のプライバシー保護です。すなわち、機密性の高いトークンを含む文書を、攻撃者が元の機密トークンを高い信頼度で推測できないようにパラフレーズ（言い換え）しつつ、高いテキスト品質を維持することです。

手法: DP-FUSION

著者らは、生成される出力に対する機密コンテキスト・トークンの影響を、理論的に制限するトークンレベルの差分プライバシー推論（DPI）メカニしてもであるDP-FUSIONを提案しています。この手法は、適応的なグレーボックス・アタッカーが、推論手法、モデルアーキテクチャ、および重みを知っており、かつプライバシー保護された出力と編集された入力を観察できるという脅威モデルの下で動作します。

コアメカニズム

DP-FUSIONは、アンサンブルベースのプライベート予測（PMixEDに類似）の概念を推論の設定に適応させたものです。プロセスは主に4つのステップで構成されます：

トークン・ラベリング: 入力文書内の機密トークンのサブセットを特定し、タガー（例：NER）を用いてプライバシー・グループ（ $G_1, \dots, G_m$ ）にグループ化します。
ベースライン推論（パブリック）: 文書内のすべての機密トークンを削除（同等の長さのプレースホルダーに置換）した状態でLLMを実行し、「パブリック」な次トークン分布（ $p_{pub}$ ）を取得します。
プライベート推論: 特定のプライバシー・グループごとにLLMを $m$ 回実行します。ここでは、特定のグループ $G_i$ のトークンのみが、編集されたコンテキストと共に開示されます。これにより、 $m$ 個の「プライベート」な次トークン分布（ $p_{priv, i}$ ）が得られます。
分布のブレンディング（モリフィケーション）: 各グループ $i$ $i$ について、二分探索を用いて係数 $\lambda_i \in [0, 1]$ $λ_{i} \in [0, 1]$ を算出します。 $\lambda_i$ $λ_{i}$ は、混合分布（ $\lambda_i p_{priv, i} + (1-\lambda_i) p_{pub}$ $λ_{i} p_{p r i v, i} + (1 - λ_{i}) p_{p u b}$ ）とベースライン $p_{pub}$ $p_{p u b}$ との間のレニー・ダイバージェンスが、定義されたプライバシー予算 $\beta_i$ $β_{i}$ を満たす最大の値です。
- 最終的な次トークン分布は、これらブレンドされた分布の平均となります。
- この混合分布からトークンがサンプリングされます。

プライバシー保証

本手法は、**グループごとの $(\alpha, \beta_i)$ -レニー差分プライバシー（RDP）**を提供します。

近傍の定義: 2つの文書は、単一のプライバシー・グループ内のすべてのトークンの有無のみが異なる場合、隣接しているとみなされます。
理論的境界: アルゴリズムは、隣接する文書間の出力分布の対称レニー・ダイバージェンスが制限されることを保証します。これは、生成されたトランスクリプト全体に対する $(\epsilon, \delta)$ -DP保証へと変換され、 $\epsilon$ は生成トークン数、レニー次数 $\alpha$ 、およびグループ予算 $\beta_i$ によって制御されます。
堅牢性: このメカニズムは、クエリが敵対的に選択された場合（例：ジェイルブレイク試行）であっても、攻撃者の優位性を制限します。

主な貢献

トークンレベルのDP推論: LLMの推論時、特にパラフレーズ・タスクにおいて、証明可能なDP保証を提供する手法の導入。
ユーティリティとプライバシーのトレードオフの改善: DP-FUSIONは、出力分布にノイズを加えたりロジットをクリップしたりするのではなく、「機密性のある」コンテキストと「機密性のない」コンテキストの差異に基づいて分布をブレンドします。これにより、特定のトークンの漏洩を厳格に制限しながら、より多くの意味情報を保持することが可能になります。
プロンプト・インジェクションの緩和: 著者らは、このメカニズムがセキュリティにも適用可能であることを示しています。ここでは「機密トークン」を、信頼できないソース（例：RAGパイプライン）から取得されたチャンクとして定義します。これらのチャンクの影響を制限することで、DP-FUSIONはプロンプト・インジェクション攻撃を緩和します。
オープンソースの実装: 著者らは、任意のLLMやデータセットにDP-FUSIONを適用できるように、PyPIパッケージとGitHubリポジトリを公開しています。

実験結果

実験は、Qwen 2.5 7B-Instructモデルを用い、TAB-ECHRデータセット（手動でPIIが付与された欧州人権裁判所の事例）に対して行われました。

ユーティリティ（パープレキシティ）: DP-FUSIONは、緩和されたプライバシー設定（ $\alpha\beta = 0.10$ $α β = 0.10$ ）で1.426、厳格な設定（ $\alpha\beta = 0.01$ $α β = 0.01$ ）で1.459のパープレキシティ（PPL）を達成しました。
- これは、DP-Decoding（PPL > 3.9）やDP-Prompt（幅50でPPL > 4.26、幅5でPPL > 100）よりも大幅に優れた数値です。
- DP-FUSIONは、同等のプライバシーレベルにおいて、最も優れたベースラインであるDP-Promptよりも6倍低いパープレキシティを実現しました。
ユーティリティ（LLM-as-a-Judge）: 他の手法とのペア比較において、DP-FUSIONによるパラフレーズは、DP-DecodingおよびDP-Promptに対して95%以上の勝率を記録しました。また、厳格なプライバシー設定において、「No DPI - NER」（純粋な伏せ字）ベースラインに対しても45%の割合で上回りました。
プライバシー（攻撃成功率）: 著者らは、トークン復元攻撃（Min-K%およびLOSS攻撃）を評価しました。
- DP-FUSIONは、高いユーティリティを維持しながら、攻撃成功率（ASR）をランダムな推測に近いレベル（ $|C|=5$ の場合、約26-29%）に保ちました。
- 対照的に、DP-Prompt（幅50）はASRが約50%を示しており、パープレキシティが低いにもかかわらず、実質的なプライバシーを提供できていないことが示されました。
- DP-FUSIONは、分布混合によって導入されたランダム性により、厳格な設定においてNo-DPI NERベースラインよりもわずかに優れたプライバシーを提供しました。

意義と主張

本論文は、DP-FUSIONが、既存のDP推論手法に見られる深刻なユーティリティの低下を伴わずに、証明可能なプライバシー保証を提供することで、機密データを用いたLLMの展開における重要な進歩であることを主張しています。

パラダイムシフト: 著者らは、プライバシーをポストプロセッシング（後処理）やグローバルなノイズ注入として扱うのではなく、特定のトークン・グループの影響を明示的にモデル化し、分布のブレンディングを通じてその影響を制限することで管理できると主張しています。
実用性: この手法は計算量的に実行可能（並列化可能）であり、再学習を必要とせずに既存のLLMと併用できます。
二重の有用性: プライバシーを超えて、このメカニズムはRAGシステムにおけるプロンプト・インジェクションのようなセキュリティ脅威に対しても効果的であると主張されており、信頼できないコンテキストを扱うための統一されたアプローチを提供します。

著者らは、初期のトークン・タガー（NER）の品質に対する依存関係については、NERにおける偽陰性（見落とし）は理論的保証の範囲外であることを認めつつも、謙虚な姿勢を保っています。ただし、実験結果は、市販のタガーが示されたユースケースにおいて十分であることを示唆しています。