技術要約：Private Seeds, Public LLMs (RPSG)

問題提起

プライベートなテキストの合成レプリカを生成することは、臨床分析からソーシャルメディア研究に至るまで、NLPアプリケーションにおける重要なニーズである。これは、プライバシー制約（例：個人識別情報（PII）を含む自己開示）のために元のデータを共有できない場合に特に重要となる。既存の手法は、以下の二極化に直面している：

1. DP Fine-Tuning（差分プライバシーを用いた微調整）: DP-SGDのような手法は、モデルのトレーニング中に差分プライバシーを適用する。しかし、これらは現代のAPI専用LLM（例：GPT-4、Claude）には実用的ではなく、オープンソースモデルに適用した場合、高い計算コストとモデルの記憶（memorization）のリスクを伴う。
2. Prompt-Based Methods（プロンプトベースの手法）: AUG-PEのような技術は、ファインチューニングを行うことなく、プロンプトエンジニアリングを使用してLLMを誘導する。これらはモデルへのアクセス権に依存しないが、元のプライベートデータの豊かさ、有用性、および特定の意味構造を保持することに失敗することが多い。
3. One-to-One Rewriting（一対一の書き換え）: RUPTAのような手法は、個々のテキストを書き換えるが、メンバーシップ推論攻撃（MIA）に耐えるために必要な統計的パターンを十分に破壊できない可能性がある。

核心となる課題は、プライベートデータへの直接的なファインチューニングに頼ることなく、忠実度（ダウンストリームタスクに有用なデータを作成すること）とプライバシー（機密情報の漏洩を防ぎ、推論攻撃への耐性を確保すること）のバランスをどのように取るかである。

手法：RPSG

著者らは、プライベートデータを「シード（種）」として使用して合成テキストを生成しつつ、形式的および経験的なプライバシー保護策を統合する3フェーズのパイプラインであるRealistic and Privacy-Preserving Synthetic Data Generation (RPSG) を提案する。

フェーズ1：抽象化と形式的DP候補の選択

• PII Redaction（PII除去）: プライベートなシードは、まず正規表現ベースのフィルタによって構造化されたPIIをマスクする。
• Abstraction（抽象化）: 学習済み抽象化モデル（例：BART-large-cnn）が、各プライベートシードに対して $m$ 個の抽象化された候補を生成する。これらの候補は、元のテキストの表現的な意図や感情的な極性を維持しつつ、直接的な意味的対応関係を断ち切るために、**感情アライメント（sentiment alignment）**によってガイドされる。
• Formal DP Selection（形式的DP選択）: 抽象化された集合から最終的な候補を選択するために、RPSGは**ガウスメカニズム（Gaussian Mechanism）**を採用する。ユーティリティ関数（正規化されたコサイン類似度）が、シードと各候補との間の整合性を測定する。ガウスノイズは、プライバシー予算（$\epsilon$）と失敗確率（$\delta$）に基づいて、これらのユーティリティスコアに追加される。最も高いノイズ付きスコアを持つ候補が選択される。このステップにより、選択プロセスが $(\epsilon, \delta)$-差分プライバシーを満たすことが保証される。

フェーズ2：合成データ生成

• DPによって選択された抽象化候補は、プロンプトを通じて大規模言語モデル（LLM）に供給され、**合成バリアント（synthetic variants）**を生成する。
• 第2の生成ステップでは、これらのバリアントを使用して、元の入力の構造、意味、および多様性を反映するように設計されたプロンプトを用いて、最終的な合成データ（$S_{syn}$）を生成する。

フェーズ3：データ精製

記憶のリスクを軽減し、プライバシーをさらに強化するために、パイプラインは厳格なフィルタリングプロセスを適用する：

1. Surrogate Model Training（代理モデルの学習）: 分布特性を捉えるために、学習済みのモデル（例：BERT-small）を合成バリアントを用いてファインチューニングする。
2. Cosine Similarity Filtering（コサイン類似度フィルタリング）: 元のプライベートシードとの埋め込み類似度が高い合成サンプルは、直接的な漏洩を防ぐために除去される。
3. NLL-Based Filtering（NLLベースのフィルタリング）: 代理モデルは、残りのサンプルに対して負の対数尤度（NLL）を計算する。NLLが低いサンプル（高い確信度と潜在的な記憶を示唆する）は、$\alpha$パーセンタイル閾値に基づいてフィルタリングされる。記憶される可能性が低い（NLLが高い）サンプルのみが保持される。
4. Final PII Check（最終PIIチェック）: 精製されたデータセットに対して、最終的なPIIフィルタが適用される。

主な貢献

1. 新規手法 (RPSG): プライベートデータをシードとして使用して一対一のマッピングされた合成テキストを生成し、候補選択のための形式的DPメカニズムと、記憶を低減するための経験的な保護策（NLLフィルタリング）を統合するフレームワーク。
2. 包括的な評価: 本手法は、勾配ベースの手法（DP-SGD）、プロンプトベースの手法（AUG-PE）、および書き換え手法（RUPTA）の3つの異なるベースラインに対して、様々なプライバシー予算（$\epsilon$）の下で評価されている。
3. 経験的なプライバシー証明: 著者らは、RPSGがメンバーシップ推論攻撃（MIA）に対して強力な耐性を提供することを実証した。複数の攻撃タイプ（PPL, REFER, LIRA）において、AUCスコアがランダムチャンスに近い50%に達しており、プライバシー保護においてベースラインを大幅に上回る一方で、競争力のある有用性を維持している。

実験結果

著者らは、PubMed抄録のサブセットと、経済的困窮と貧困に焦点を当てたカスタムのRedditデータセットの2つを用いてRPSGを評価した。

• 有用性（ダウンストリーム性能）: RPSGは、言語モデリングタスク（次単語予測精度）において、一貫してDP-SGDを上回り、しばしばAUG-PEをも上回った。例えば、GPT-4o-miniを用いたRedditデータセットにおいて、RPSGは32.8%の精度を達成したが、AUG-PEは19.9%であった。DP-SGDの性能が低下する一方で、RPSGはプライバシー予算が厳しくなっても安定した精度を維持した。
• 多様性と類似性: RPSGは、ベースラインと比較して高い語彙多様性（より低いSelf-BLEU、より高いN-gramスコア）と、優れたグローバルな分布アライメント（より低いFID、KLD、および高いMauveスコア）を示した。
• プライバシー耐性:
  • MIAs: RPSGは、MIAに対して強い耐性を示す、50%に近いAUC（例：Phi-4を用いたRedditでのLIRAにおける50.0%）を達成した。対照的に、RUPTAおよびAUG-PEは50%から大きく逸脱しており、高い脆弱性を示した。
  • PII漏洩: RPSGによって生成されたデータにおけるPII抽出の成功率は、極めて低かった（0.5%–1.2%）。
• 効率性: RPSGは計算効率の向上を示し、1,000個のサンプルを生成するために、AUG-PEよりも1.22倍から1.38倍少ないGPU時間で済んだ。

意義と主張

本論文は、RPSGがプライベートデータの有用性とプライバシー保護の必要性の間のギャップをうまく埋めるものであると主張している。形式的な差分プライバシーを候補選択フェーズに統合し、経験的な精製（NLLフィルタリング）を採用することで、RPSGは以下の特性を持つ合成データを生成する：

1. 高忠実度: 既存のプライベート生成手法よりも、感情分析や言語モデリングなどのダウンストリームタスクをより良くサポートできる。
2. 堅牢性: プロンプトベースまたは書き換えベースの代替案よりも、メンバーシップ推論攻撃に対して著しく高い耐性を持つ。
3. 実用的: プライベートデータの計算コストの高いファインチューニングを必要とせず、APIベースおよびオープンソースの両方のモデルに適用可能である。

著者らは、彼らの評価が、MIA研究における一般的な方法論的落とし穴（例：時間的分布シフト、人工的な語彙フィルタリング）を厳格に回避しており、報告されたプライバシー保証が有効であることを強調している。結論として、RPSGは、プライバシーを合成データ生成に厳密に統合するための実行可能な道筋を提供し、研究やAI開発のための機密性の高いテキストデータの安全な利用を可能にすると述べている。

認められた限界: 著者らは、RPSGの最適な閾値は特定のLLMの生成パターンに敏感であること、および現在の評価は、多くの合成サンプルを集計することによる潜在的な再プロファイリングのリスクではなく、サンプルごとの漏洩に焦点を当てていることを指摘している。