技術要約：プライバシー配慮型デコーディング (Privacy-Aware Decoding: PAD)

問題定義

検索拡張生成（RAG）は、外部知識ソースに基づいて出力を条件付けることで、大規模言語モデル（LLM）を強化します。しかし、検索コーパスにプライベートまたは機密データが含まれている場合、RAGシステムは抽出攻撃に対して脆弱になります。攻撃者は、モデルに検索されたドキュメントから逐語的なテキストや個人識別情報（PII）を直接放出させるようなプロンプトを作成することができます。

既存の緩和策には、主に2つの制限があります：

1. デコーディングの脆弱性： プライベートな検索メカニズムを使用している場合でも、デコーディング段階（生成）が漏洩チャネルとして機能する可能性があります。低温度（low-temperature）や貪欲法（greedy decoding）によるデコーディング戦略は、アップストリームの保護をバイパスして、LLMに機密内容を逐語的に出力させてしまうことがよくあります。
2. スケーラビリティと実用性： 差分プライバシー（DP）を用いた強力な手法である、差分プライバシー付き確率的勾配降下法（DP-SGD）などは、大幅な再学習を必要とするため、大規模な事前学習済みLLMには非現実的です。他のアプローチは、検索インフラストラクチャの変更やコーパスのフィルタリングを必要とすることがよくあります。

再学習や検索パイプラインの変更を行うことなく、プライバシー漏洩を軽減する、モデルに依存しない推論時の防御策が求められています。

手法：プライバシー配慮型デコーディング (PAD)

著者らは、生成中にキャリブレーションされたガウスノイズを適応的に注入する、軽量な推論時メカニズムである**プライバシー配慮型デコーディング（PAD）**を提案しています。PADはデコーディング段階で完全に動作し、モデルに依存しません。

このフレームワークは、以下の4つのコアコンポーネントで構成されています。

1. ロジット・クリッピングと感度境界

差分プライバシーに必要な決定論的な感度境界を確立するために、PADはまず $L_2$ ロジット・クリッピングを適用します。固定半径 $C$ に対して、ロジット $\mathbf{s}_t$ は $\bar{\mathbf{s}}_t$ にクリップされます：
$$\bar{\mathbf{s}}_t = \mathbf{s}_t \cdot \min\left(1, \frac{C}{\|\mathbf{s}_t\|_2}\right)$$
これにより、任意の2つの隣接する検索コンテキストに対して、クリップされたロジットの差が $\Delta = 2C$ 以下に抑えられ、ガウスメカニズムのための固定された感度が提供されます。

2. 信頼度ベースのスクリーニング

PADはノイズを一様に適用するわけではありません。代わりに、高リスクトークンを特定するためのスクリーニングメカニズムを採用しています。以下の条件を満たす場合、そのトークンは高リスクとみなされます：

• モデルの信頼度（最大ソフトマックス確率）が閾値 $\tau_{conf}$ を下回る。
• ロジットマージン（上位2つのロジットの差）が閾値 $\tau_{margin}$ を下回る。

これらの基準を満たすトークンは、強化された保護の対象としてフラグが立てられます。確信度の高い予測には、有用性を維持するために最小限のノイズのみが付与されます。

3. 適応型ノイズ・キャリブレーション

高リスクトークンに対して、PADは $\mathcal{N}(0, \sigma_t^2 \mathbf{I})$ のガウスノイズを注入します。ここで、スケール $\sigma_t$ は以下の3つの要因に基づいて動的にキャリブレーションされます：

• リスク適応スケール ($r_t$): ロジットマージンによって調整されます。マージンが小さいほど（不確実性が高いほど）、ノイズスケールは大きくなります。
• コンテキスト認識型キャリブレーション: ノイズスケールはさらに以下によって調整されます：
  • トークン・エントロピー: エントロピーが高い（不確実性が高い）ほど、ノイズが増加します。
  • 位置係数: シーケンスの初期のトークンには、エラーの伝播を防ぐために高いノイズが付与されます。
  • 信頼度係数: 信頼度が低いほど、ノイズが増加します。
• 増幅係数 ($\lambda_{amp}$): プライバシーと有用性のトレードオフを調整するためのグローバルパラメータです。

最終的なノイズスケールは次のように計算されます：
$$\sigma_t = \sigma_{base} \cdot \text{calibrate}(\mathbf{p}_t, t) \cdot r_t \cdot \lambda_{amp}$$

4. レニー差分プライバシー (RDP) アカウンティング

PADは、累積的なプライバシー損失を追跡するために、レニー差分プライバシー（RDP）アカウンタを使用します。ノイズスケール $\sigma_t$ はデータ依存的（適応的）であるため、報告される $(\varepsilon, \delta)$ 保証は、実現されたノイズスケジュールに特有のものです。本フレームワークは、**$\gamma$-緩和（$\gamma$-relaxation）**を採用しており、高リスクとして特定されたトークンの割合 $\gamma$ についてのみ形式的なDP保証を提供し、低リスクのトークンは生成品質を維持するために保護対象外としています。

主な貢献

1. PADフレームワーク: 再学習や検索インフラストラクチャの変更を必要とせず、RAGのために特別に設計された、初のデコーディング時のプライバシー保護メカニズム。
2. 適応型ノイズメカニズム: 信頼度ベースのスクリーニングとコンテキスト認識型キャリブレーションを用いて高リスクトークンを標的とし、プライバシー保護と生成の有用性のバランスをとる新しいアプローチ。
3. 明示的なプライバシー・アカウンティング: データ依存型のノイズスケジュール下で、保護されたトークンに対するレスポンスレベルの $(\varepsilon, \delta)$ プライバシー保証を報告するRDPベースのアカウンタ。
4. 実証的検証: 多様なデータセットとモデルにおいて、プライバシー漏洩を低減しつつレスポンスの有用性を維持することを実証する包括的な評価。

実験結果

著者らは、3つの実世界のデータセット（HealthCareMagic、ChatDoctor-iCliniq（医療対話）、Enron Mail）を用いてPADを評価しました。実験は、Pythia-6.9BおよびLlama2-7Bモデルを用い、ブラックボックス抽出攻撃に対して行われました。

主な知見:

• プライバシー緩和: PADはプライベート情報の漏洩を大幅に減少させました。Pythia-6.9Bを用いたHealthCareMagicデータセットにおいて、PADは「リピートプロンプト（取得されたテキストの逐語的な再現）」による漏洩を264から127へと減少させ（51.9%の削減）、ROUGEベースの漏洩を49.6%減少させました。
• 有用性の維持: 生成品質を低下させるベースラインとは異なり、PADはパープレキシティ（PPL）を維持または向上させました。例えば、HealthCareMagicにおいて、PADは漏洩ベースラインの10.94に対し、9.88のPPLを達成しました。
• ベースラインとの比較: PADは、既存の検索ベースの防御策（要約、セット距離閾値）や後処理手法（静的ノイズ注入）よりも、プライバシーと有用性のトレードオフにおいて優れた性能を示しました。
• アブレーション研究: リスク適応型またはコンテキスト認識型のキャリブレーション・コンポーネントを除去すると、プライバシー漏洩が目に見えて増加し、適応型コンポーネントの必要性が確認されました。
• パラメータ感度: 研究では、プライバシーと有用性のバランスをとるための最適な増幅係数の範囲（3.0–5.0）が特定されました。非常に低い $\varepsilon$ 値（例：0.01）は、漏洩を排除しましたが、高いパープレキシティにより出力が使用不能になりました。

重要性と主張

本論文は、デコーディング戦略を通じてRAGのプライバシーリスクを軽減するための重要なステップとしてPADを位置づけています。著者らは、PADが以下の理由により、機密性の高い領域（ヘルスケアなど）に向けた普遍的かつスケーラブルなソリューションを提供すると主張しています：

• 再学習なしで、完全に推論時に動作する。
• モデルに依存せず、既存の検索パイプラインと互換性がある。
• 明示的なレスポンス単位のプライバシー・アカウンティングを提供する。

本研究は限界も認めており、現在の $\gamma$-緩和された保証は一部のトークンのみを保護すること、および報告されるプライバシー・アカウンティングは、入力に依存しない最悪のケースではなく、実現されたノイズスケジュールに基づいていることを指摘しています。著者らは、今後の課題として、検索と学習の防御の共同最適化を探求することや、フレームワークをマルチモーダルRAGの設定に拡張することを提案しています。