Metric-Normalized Posterior Leakage (mPL): Attacker-Aligned Privacy for Joint Consumption

技術的概要：結合消費のためのメトリクス正規化事後漏洩（mPL）

問題定義
局所差分プライバシー（LDP）およびそのメトリクス対応型であるメトリクス差分プライバシー（mDP）は、従来、任意の入力ペアに対する出力分布の識別不可能性を境界付けることで、レコード単位の保証を提供してきました。しかし、これらのフレームワークは、しばしば独立したリリースを仮定するか、レコード単位のプライバシーを分析します。現代の機械学習システムでは、データは頻繁に結合観測の下で消費されます。ここで、敵対者は文内の一連のノイズ添加トークンや軌跡内の複数のノイズ添加位置など、複数の相関するリリースを集約します。

本論文は、これらの設定において標準的な mDP の保証が不十分であると主張します。個々のレコードに対して mDP を満たすメカニズムであっても、学習された推論モデル（RNN、LSTM、Transformer など）を備えた攻撃者は、相関するアイテム間で証拠を集約し、元の秘密に関する事後信念を著しく鋭化させることができます。この「結合消費」による漏洩は、リリースごとの比率の境界では捉えられず、理論的なプライバシー保証と実際の推論リスクの間にギャップが生じます。

手法
これに対処するため、著者らは**メトリクス正規化事後漏洩（mPL）**を中心とした新たなプライバシーフレームワークと、**適応型 mPL（AmPL）**と呼ばれる適応的監査メカニズムを導入しました。

1. メトリクス正規化事後漏洩（mPL）:

   • 定義: mPL は、結合リリース $y$ を観測した後の、2 つの候補秘密（$x_i$ と $x_j$）に対する攻撃者の事後オッズのシフトを、それらの間の意味的距離 $d(x_i, x_j)$ で正規化したものを定量化します。
   • 理論的同等性: 著者らは、単一のリリースまたは独立な合成において、mPL を一様に境界付けることが、mDP を満たすことと数学的に同等であることを証明しました。これにより、mPL は標準的な領域において mDP を回復する一般化として確立されます。
   • 結合消費における失敗: 依存する結合消費の下では、mDP を満たしても低 mPL が保証されないことを本論文は示しています。相関する秘密は、学習された集約器が証拠を複合化することを可能にし、レコードごとの mDP 境界が満たされていても、高い事後漏洩（大きな mPL）をもたらします。

2. 確率的境界付き mPL（PBmPL）:

   • 高次元で相関するデータに対して厳密な最悪ケース制御が非現実的であることを認識し、著者らは PBmPL を定義しました。これは、すべての可能なインスタンスに対して成立することを要求するのではなく、mPL が目標予算 $\epsilon$ を超える確率を境界付けるように制約を緩和したものです。

3. 適応型 mPL（AmPL）フレームワーク:

   • 信頼と検証のループ: AmPL は、「学習された攻撃者」を含むフィードバックループを通じて PBmPL を実用化します。
   • ステップ 1（ノイズ添加）: データはレベル別のメカニズム（例、個人識別情報（PII）と潜在的に識別可能な情報（PoII）の区別）を用いてノイズ添加されます。
   • ステップ 2（監査）: 秘密をノイズ添加データから再構築するように訓練された高容量のニューラルネットワーク（RNN、LSTM、または Transformer）が、攻撃者の事後分布を近似します。
   • ステップ 3（フィードバックと調整）: システムは mPL の経験的違反率を推定します。違反が閾値を超えた場合、プライバシーと有用性のバランスを取りながら漏洩を削減するために、ノイズ添加パラメータが適応的に更新されます。
   • ステップ 4（ベイズ的再マッピング）: ノイズ添加中に失われた有用性を回復するため、フレームワークはノイズ添加された出力に対してベイズ的再マッピング（ポストプロセッシング）を適用します。著者らは、このステップが結合 mPL 制約を保持することを証明しました。

主要な貢献

• mPL の形式化: 本論文は、孤立した出力比率から、結合観測下での信念の鋭化の程度へと評価対象をシフトさせる、攻撃者整合型かつ幾何学的な指標として mPL を導入しました。
• mDP と mPL のギャップの示現: 明示的な結合秘密モデルとモデルフリーの学習された集約器（RNN、LSTM、Transformer）を通じて、標準的な mDP メカニズム（指数メカニズムなど）は、レコードが相関している場合に著しい事後漏洩を防ぐことに失敗しうることを示しました。
• 運用フレームワーク（AmPL）: 学習された敵対者を用いてプライバシーパラメータを監査・調整する実用的で反復的なフレームワークの提案。静的な最悪ケース境界を超え、確率的でデータ駆動型の制御へと移行します。
• 理論的保証: mPL のポストプロセッシング不変性、独立な設定における mPL と mDP の同等性、およびサンプリングベースの監査手順の集中保証に関する証明を提供しました。

実験結果
このフレームワークは、事前学習された GloVe 埋め込みを用いて、テキスト埋め込みデータセット（AG-News、IMDB、Amazon Reviews）で評価されました。

• 違反の削減: 標準的な mDP メカニズム（指数メカニズム）は、無視できない mPL 違反率を示しました（例：$\epsilon=2.40$ の場合、Transformer 攻撃者を用いた AG-News で約 19.29%）。これに対し、AmPL はこれらの違反を大幅に削減しました（例：同じ設定で約 15.07%、他の構成ではより大きな削減、RNN を用いた AG-News では 57.1% の相対削減など）。
• 有用性の保持: 著者らは、AmPL が漏洩を削減する一方で、有用性の損失（意味的歪みで測定）は、特にベイズ的再マッピングが適用された場合、標準的な手法と同等であることを発見しました。再マッピングは、プライバシー保証を損なうことなく、特定の構成で損失を約 0.22 から約 0.13 へ大幅に改善しました。
• 堅牢性: 結果は、異なる攻撃者アーキテクチャ（RNN、LSTM、Transformer）およびデータセット全体で維持され、このフレームワークが学習された推論攻撃に対する強力な漏洩制御を効果的に行うことを示しました。

意義と主張
本論文は、mPL と AmPL フレームワークが、従来のレコード単位の保証が不十分な結合消費設定に対して実用的で証明可能な保護を提供すると主張しています。プライバシー指標を、相関する証拠を集約する現代の攻撃者の実際の推論能力に整合させることで、著者らは PBmPL がリスクのより現実的な評価を提供すると論じています。意義は、理論的な差分プライバシー境界と、埋め込みベースのシステムにおける推論攻撃の経験的現実との間のギャップを埋める点にあり、学習された敵対者の存在下でプライバシーと有用性を動的にバランスさせる方法を提供します。著者らは、監査が選択された攻撃者クラスに依存するものの、リリースごとの分析が見逃す漏洩リスクを評価・軽減するためのモジュール式の方法を提供していると指摘しています。