Privacy Auditing Synthetic Data Release through Local Likelihood Attacks

技術的概要：局所尤度攻撃による合成データ公開のプライバシー監査

問題定義
合成データのプライバシー漏洩を監査することは、未解決の課題のままです。既存のプライバシー監査フレームワークは、多くの場合、ヒューリスティック（距離や密度指標など）に依存するか、モデルへのアクセスに関する非現実的な仮定（ホワイトボックスまたはシャドウボックス設定など）に基づいています。これらのアプローチは、生成モデルが過学習のような特定の失敗モードを示す場合、プライバシー曝露を検出または記述する能力が限られています。さらに、既存の攻撃の多くは、何が測定されているのか、あるいはどのような条件下で成功すべきなのかを説明する理論的基盤を欠いており、原理的な設計とベンチマーク固有の偶然との区別を困難にしています。

手法：生成尤度比攻撃（Gen-LRA）
著者は、ノーボックス脅威モデル向けに設計された新しいメンバーシップ推論攻撃（MIA）であるGen-LRAを提案します。この設定において、攻撃者は生成モデルのアーキテクチャ、パラメータ、または内部メカニズムにアクセスできません。攻撃者が保有するのは以下の 2 つのみです：

1. 公開された合成データセット（$S$）。
2. 同じ基礎となる母集団分布（$P$）から独立して収集された参照データセット（$R$）。

中核メカニズム
Gen-LRA は、テスト観測値（$x^*$）が合成データセットの推定尤度に与える影響を測定することとして、メンバーシップ推論を定式化します。この攻撃は、生成モデルが過学習している場合、参照セットにトレーニング点 $x^*$ を含めることで、合成データ $S$ の推定尤度が増加するという仮説に基づいて動作します。

攻撃は以下の手順で進行します：

1. サロゲートモデリング：参照セット $R$ にサロゲート密度推定量（具体的にはガウスカーネル密度推定、KDE）を適合させ、$\hat{p}_R$ を取得します。
2. 拡張：拡張セット $R \cup \{x^*\}$ に 2 番目のサロゲートを適合させ、$\hat{p}_{R \cup \{x^*\}}$ を取得します。
3. 局所尤度比：攻撃スコアは、$x^*$ の $k$ 近傍合成点（$S_k(x^*)$ と表記）に対する対数尤度比の総和として計算されます：
   $$\hat{I}(x^*; R, S) = \sum_{s \in S_k(x^*)} \left[ \log \hat{p}_{R \cup \{x^*\}}(s) - \log \hat{p}_R(s) \right]$$
4. 判定：高いスコアは、$x^*$ を参照セットに追加することが近傍の合成点の尤度を著しく増加させたことを示し、$x^*$ がトレーニングセットの一部であった可能性を示唆します。

理論的枠組み
本論文は、Gen-LRA を支える 3 つの主要な理論的結果を確立しています：

1. 不変性：対数尤度比スコアは、データの可逆な再パラメータ化に対して不変であり、スケーリングやエンコーディングなどの前処理選択に対する堅牢性を保証します。
2. 閉形式特性：著者は、Gen-LRA スコアが局所密度比統計量として閉形式で特性付けられることを証明します。単一点密度比攻撃（DOMIAS など）とは異なり、Gen-LRA は局所領域にわたって証拠を集約し、拡散的な記憶信号を捉えます。
3. 平均スコアギャップ：一般的な局所過学習モデルの下で、著者はメンバーと非メンバーの期待スコア間に証明可能なギャップが存在することを証明します。このギャップの大きさは、過学習の強さ（$\epsilon$）に線形に依存し、サロゲートのバンド幅と生成器の記憶スケール（$\rho$）の重なりによって支配されます。

主要な貢献

1. 新規攻撃：Gen-LRA は、表形式合成データ向けの最初の MIA であり、明示的に影響関数フレームワークをノーボックス設定に適応させ、テスト点がサロゲートモデルの尤度比に与える影響としてメンバーシップ推論を定式化しています。
2. 理論的正当性：この研究は、攻撃が何を測定するか（局所密度比）と、いつ成功するかを予測するか（局所過学習下）について、厳密な理論的説明を提供します。
3. シミュレーション検証：制御されたシミュレーションは過学習モデルを具体化し、Gen-LRA が過学習領域全体で一意に調整可能であり、既存の手法、特に生成器がトレーニングデータをほぼ記憶する場合に優れていることを検証します。
4. 実証ベンチマーク：著者は、35 のデータセット、9 つの生成アーキテクチャ（GAN、VAE、拡散モデル、トランスフォーマーを含む）、および 9 つの競合攻撃からなる包括的なベンチマークに対して Gen-LRA を評価しました。これにより、1,525 の一意の合成データセット構成と 10,000 回以上の攻撃実行が生まれました。

結果

• 集計パフォーマンス：Gen-LRA は、競合する MIA を一貫して凌駕します。すべての 1,525 回の実行において、すべての指標（AUC と固定偽陽性率における真陽性率）で最高 Top-1 ランキング率を達成しました。具体的には、AUC で 38% 以上、TPR@FPR=0 で 42% の実行で 1 位となり、これは次の最良のベースラインの 2 倍以上の率です。
• 低い偽陽性率：Gen-LRA は、実用的なプライバシー監査にとって重要な指標である低い偽陽性率において特に顕著な改善を示します。
• 脆弱性領域：この攻撃は、「近似記憶」領域で最も効果的です。この領域では、合成点はトレーニングデータとの関係を保持しますが、正確なコピーではありません。この領域では、単一点攻撃（DOMIAS など）や距離ベース攻撃（DCR など）は機能しなくなりますが、Gen-LRA は複数の近傍にわたって証拠を集約することで成功します。
• サロゲートの選択：高次元密度推定の傾向（深層学習モデルがしばしば KDE よりも優れる）とは対照的に、著者は Gen-LRA においてはガウス KDE がブロックニューラル自己回帰フロー（BNAF）よりも優れていることを発見しました。これは、KDE が記憶スケールに一致する局所平滑化（バンド幅）を明示的に制御できるのに対し、BNAF は大域的精度を最適化し、単一点の影響信号を曖昧にする確率的ノイズを導入するためです。

意義と主張
本論文は、現在のノーボックスプライバシー監査ツールが、現代の表形式生成器で一般的な近似記憶領域においてヒューリスティックが機能しないか、または誤った仮説を検証しているため、プライバシーリスクを大幅に過小評価していると主張しています。

Gen-LRA は、モデルアクセスを必要とせずに第三者が合成データ公開を監査するための、原理的かつ計算的に効率的なツールを提供します。著者は、「ノーボックス」設定がプライバシー監査にとって最も現実的であると論じています。なぜなら、ベストプラクティスに従う防御者はモデル詳細を保持するため、シャドウボックス攻撃は無効になるからです。モデルアクセスがない場合でも生成モデルの過学習が重大なプライバシーリスクをもたらすことを実証することで、この論文は、医療や金融などの敏感な分野における合成データの責任ある公開を確保するための、より強力な監査ツールの必要性を浮き彫りにしています。著者は、すべての条件に対して一様に最適な単一の攻撃は存在しないものの、Gen-LRA は実世界の合成データ公開におけるプライバシー漏洩を検出するために、最も堅牢で一貫したパフォーマンスを提供すると結論付けています。