💻 computer science

Protecting User Prompts Via Character-Level Differential Privacy

この論文は、文字レベルの差分プライバシーを用いてユーザープロンプトの各文字をランダムに改変し、LLM 側で文脈に基づいて復元する手法を提案することで、機密情報の特定を不要にしながらプライバシーと実用性のバランスを向上させることを示しています。

原著者： Shashie Dilhara Batan Arachchige, Hassan Jameel Asghar, Benjamin Zi Hao Zhao, Dinusha Vatsalan, Dali Kaafar

公開日 2026-03-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Shashie Dilhara Batan Arachchige, Hassan Jameel Asghar, Benjamin Zi Hao Zhao, Dinusha Vatsalan, Dali Kaafar

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「AI（大規模言語モデル）に秘密の話をさせる時、どうすればその秘密が漏れずに、かつ AI がちゃんと仕事ができるようにするか」**という問題を解決する新しい方法を紹介しています。

まるで**「変な言葉で書いた手紙を、AI が勝手に直して読み取る」**ような仕組みです。

以下に、難しい専門用語を使わず、身近な例え話で解説します。

🕵️‍♂️ 問題：AI に秘密を話すとどうなる？

私たちが AI に「私の病状を教えてください」と入力する時、名前や住所、電話番号などの**「個人識別情報（PII）」**も一緒に送ってしまいがちです。
しかし、その AI は第三者（例えば大手企業）が運営している場合、その情報は AI の記憶に残ったり、後で漏洩したりするリスクがあります。

これまでの対策には、いくつかの欠点がありました。

名前の消去（NER）： 「名前っぽいもの」を消すのですが、見逃したり、間違って消したりしてしまいます。
暗号化： 安全ですが、計算が重すぎて現実的ではありません。

💡 解決策：文字レベルの「ノイズ」を混ぜる

この論文の提案する方法は、**「文字一つ一つをランダムに書き換える」**というシンプルで巧妙なものです。

🎭 例え話：「壊れたパズル」と「天才的な修復屋」

この仕組みは、以下の 2 段階で動きます。

1 段階目：ユーザー側で「壊す」（ノイズ注入）
あなたが AI に送る前に、文章の**「文字」一つ一つ**を、サイコロを振ったようにランダムに別の文字に書き換えます。

元の文：「Harlan Valdez」
書き換え後：「Wr1an Vu1ez」

この時、**「よくある単語（日常語）」と「珍しい単語（秘密の情報）」**で、書き換え後の運命が全く変わります。

2 段階目：AI が「直す」（修復）
書き換えられた文章を AI に送ります。AI は「この文章、ちょっとおかしいな？元の意味を推測して直そう」と考えます。

日常語（例：「correspondence」＝通信）：
文脈や長さ、周りの言葉から、「あ、これは『correspondence』だ！」と簡単に正しく推測して直します。
- 結果：「correspondence」→ 元の意味が復元され、AI は仕事ができます。
秘密の単語（例：「Harlan Valdez」＝人名）：
人名や電話番号は、世の中にあまり存在しない**「レアな言葉」**です。AI は「『W_rlan』って何だ？『Cherry』かな？『Sherry』かな？」と迷います。
文脈から推測しても、正解がどれか特定できないため、元の「Harlan」には戻せません。
- 結果：秘密は守られ、AI は「名前がわからないまま」仕事を続けます。

🎯 なぜこれがすごいのか？

この方法の素晴らしい点は、「何が秘密か」を事前に調べる必要がないことです。

従来の方法： 「名前を探して消す」→ 見逃したらアウト。
この方法： 「全部の文字をランダムに書き換える」→ 日常語は AI が勝手に直してくれるが、「秘密のレアな言葉」は AI すら元に戻せない。

まるで、「よく知られた物語（日常語）」は、少し文字が抜けても「あ、これ『桃太郎』だ！」とわかるが、「誰にも知られていない秘密の暗号（個人情報）」は、文字が少し変わっただけで、もはや誰にも解読できない、という状態を作っているのです。

📊 実験結果：どうだった？

研究者たちは、医療記録やメールのデータで実験しました。

秘密（名前や住所）： AI が元の形に戻せる確率は、「完全にランダムな文字列を当てる」のとほぼ同じレベル（つまり、ほぼ 0% に近い）でした。
日常語： ほとんどが正しく復元され、AI は元の文章の意図を理解して仕事をこなせました。

🏁 まとめ

この論文が提案するのは、**「AI に秘密を教える時、あえて文章を『壊した』状態で送る」**というアイデアです。

日常の言葉は、AI の高い知能のおかげで**「修復」**されて、仕事はスムーズに進みます。
秘密の言葉は、AI にとって**「解読不能な暗号」のまま残り、「漏洩」**を防ぎます。

これは、**「AI が賢いからこそ、逆に秘密を守れる」**という、少し逆転した発想のセキュリティ技術です。これなら、名前や住所を一つ一つ探す手間も不要で、自動的にプライバシーを守りながら AI を使えるようになります。

以下は、提示された論文「PROTECTING USER PROMPTS VIA CHARACTER-LEVEL DIFFERENTIAL PRIVACY（キャラクターレベルの差分プライバシーによるユーザープロンプトの保護）」の技術的サマリーです。

1. 問題定義 (Problem)

大規模言語モデル（LLM）は、ユーザーからのプロンプトに基づいて応答を生成しますが、そのプロンプトには個人識別情報（PII）や機密データが含まれることが多くあります。これらの LLM は主にサードパーティによってホストされているため、プロンプトをそのまま送信することは、データの漏洩や第三者への暴露リスクを伴います。

既存の対策には以下の課題があります：

NER（固有表現認識）やルールベースのフィルタリング: 誤検出（False Positive）や見落とし（False Negative）が発生しやすく、完全な秘匿が保証されません。
暗号化技術（準同型暗号など）: 計算コストが高く、サードパーティがホストする LLM への適用が現実的ではありません。
単語レベルの差分プライバシー: 単語全体を置換するため、文脈や意味の崩壊（ユーティリティの低下）を招きやすく、プライバシーと有用性のバランスが取りにくいという限界があります。

2. 提案手法 (Methodology)

本研究では、キャラクターレベルの局所差分プライバシー（Local Differential Privacy, LDP） を適用し、ユーザー側でプロンプトをノイズ化してから LLM に送信する新しい手法を提案しています。

ノイズ注入（k-ary Randomized Response）:
- プロンプト内の各単語の各文字に対して、独立して k-ary ランダム化応答（k-RR）メカニズムを適用します。
- 各文字は、プライバシーパラメータ $\epsilon$ に基づき、一定の確率で他の印刷可能な ASCII 文字に置換されます。これにより、単語の長さは保持されますが、内容が部分的に破壊されます。
プロンプト復元とタスク実行:
- ノイズが加えられたプロンプトを遠隔の LLM に送信します。
- LLM には「ノイズによる誤字を修正し、元のテキストを可能な限り復元した上で、下流タスク（要約など）を実行する」と指示します。
動作原理:
- 一般的な単語（非機密）: 文脈や単語内の文字相関、頻出度が高いため、LLM はノイズがあっても文脈から正確に復元できます。
- 機密単語（PII など）: 固有の名前や住所などは稀な単語（高エントロピー）であり、文脈からの手がかりが限定的です。そのため、LLM はこれらを正確に復元できず、ランダムな推測に近い結果になります。

3. 主な貢献 (Key Contributions)

キャラクターレベルの LDP 実装: ユーザー側で k-RR を適用し、機密情報の特定や NER モデルに依存せず、プロンプト全体に均一にプライバシー保護を適用する自動化された手法を提案しました。
LLM の復元能力の活用: 一般的な単語は復元し、稀な（機密の）単語は復元しないという LLM の特性を利用し、プライバシーと可読性（ユーティリティ）のバランスを最適化しました。
理論的ベースラインの確立: 完全にランダムな文字列を k-RR でノイズ化した後の復元確率を理論的に導出しました。実験結果、機密単語の復元率はこのランダム推測のベースラインに近い値にとどまり、機密性が保たれていることを示しました。
包括的な評価: 単語レベルの差分プライバシーや Presidio（ルールベースの PII 削除）との比較を行い、統一されたプライバシー・ユーティリティ評価フレームワークで優位性を証明しました。

4. 実験結果 (Results)

データセット: 医療記録（i2b2/UTHealth）とメール（Enron）の 2 つのデータセットを使用。
モデル: GPT-4o mini および Llama-3.1 8B Instruct を遠隔 LLM として使用。
プライバシー保護:
- 機密単語（名前、住所、電話番号など）の復元率は、理論的なランダム推測のベースラインに近い低い値にとどまりました（ $\epsilon$ が 4〜6 の範囲で特に顕著）。
- 一方、非機密の一般的な単語は高い確率で復元されました。
ユーティリティ（有用性）:
- 元のテキストと復元されたテキストの要約間の意味的類似度（Cosine Similarity）は高く維持されました。
- 例： $\epsilon = 5.5$ の場合、GPT-4o mini は約 80% の意味的類似度を維持しつつ、機密単語の復元を 20-25% 程度に抑えることができました。
比較評価:
- 単語レベル DP との比較: 同程度のプライバシー保護レベルにおいて、キャラクターレベル手法の方が要約の品質（ユーティリティ）を高く維持できました。単語レベルの置換は意味の転換が大きく、復元が困難だったためです。
- Presidio との比較: Presidio は特定設定で高いユーティリティを出しますが、検出漏れ（見落とし）のリスクがあり、プライバシーとユーティリティのトレードオフを調整する柔軟性（ $\epsilon$ の調整）がありませんでした。

5. 意義と結論 (Significance)

本研究は、LLM へのプロンプト送信におけるプライバシー保護の新たなパラダイムを示しています。

検出不要な保護: 機密情報を事前に特定する必要がないため、未知の形式や見落としのリスクを排除し、包括的な保護を提供します。
実用性: 計算コストが低く、サードパーティの LLM への依存度を下げずに、プライバシーとタスクの有用性を両立させることが可能です。
理論的裏付け: 機密情報の復元が「ランダム推測」の域を超えないことを理論的・実験的に証明し、差分プライバシーの枠組みをテキスト生成タスクに効果的に適用できることを示しました。

結論として、この手法は、機密データを含むプロンプトを安全に外部 LLM に送信し、かつその有用性を損なわずにタスクを遂行するための実用的かつ堅牢なソリューションとなります。