技術的サマリー：逐次メンバーシップ推論攻撃

問題定義

現代の機械学習モデルは静的ではなく、そのライフサイクルを通じて継続的な更新、ファインチューニング、バージョン管理が行われます。プライバシー監査は通常、単一の静的モデルスナップショットに焦点を当てますが、このアプローチはモデルリリースの時間的構造を活用できていません。既存の手法は、モデル更新を孤立した事象として扱ったり、ヒューリスティックにスコアを集約したりすることが多く、トレーニングデータが蓄積するにつれてプライバシー漏洩のシグナルが希釈される可能性があります。本論文は、リリースされたモデルの系列を利用し、より厳密なプライバシー監査を行うための**逐次メンバーシップ推論（SeMI）**攻撃の設計という課題に取り組みます。具体的には、敵対者が $T$ 個のモデルスナップショットの系列にアクセスし、ターゲットとなる「カナリア」（特定のデータ点）の挿入時刻 $\tau$ を制御できる場合、最終的なモデルスナップショットに限定された攻撃よりも高い識別能力を達成できるかどうかを調査します。

手法

理論的枠組み：SeMI ゲーム

著者らは、問題（ターゲットを挿入する「クラフター」とモデル系列を観察する「敵対者」）を仮説検定ゲームとして形式化しました。

• 仮説: 敵対者は、$H_0$（ターゲット $z^*$ がトレーニングデータに含まれていない）と $H_\tau^1$（ターゲットがステップ $\tau$ のバッチに意図的に挿入された）を検証します。
• プライバシー監査: SeMI 攻撃の誤り（第 1 種誤りと第 2 種誤り）は、差分プライバシーの一般化された合成定理を用いて、差分プライバシーパラメータ $\epsilon$ の下限にマッピングされます。これらの誤りを最小化することで、より厳密な境界が達成されます。

最適攻撃の導出：経験的平均

本論文はまず、ガウス分布データに対する経験的平均メカニズムにおける最適攻撃を導出します。

• SeMI*（最適攻撃）: ネイマン・ピアソンの補題を用いて、既知の挿入時刻 $\tau$ に対する尤度比（LR）検定を導出します。
• 分離性（Isolation Property）: 重要な理論的発見として、分離性があります。系列 $(o_1, \dots, o_T)$ 全体の尤度比は因数分解され、検定統計量は挿入ステップの直前と直後のバッチ統計量（$\hat{\mu}_{\tau-1}$ および $\hat{\mu}_\tau$）のみに依存します。他のすべてのステップからの寄与は相殺されます。
• 示唆: $nT$個のサンプルにターゲットをプールする「最終観測」攻撃（シグナルを$T$倍で希釈する）とは異なり、SeMI\* 攻撃はサイズ$n$の復元されたバッチ上で動作します。したがって、その識別能力はトレーニングステップの総数$T$ に関係なく一定に保たれます。
• 未知の $\tau$: 著者らは、未知の挿入時刻に対するバリエーションも導出します。SeMI$_{max}$（一般化尤度比検定）と SeMI$_{Unif}$（$\tau$ に対する一様事前分布を仮定）です。

(DP-)SGD への拡張

これらの知見を実用的な深層学習に適用するため、著者らは (差分プライバシー付き) 確率的勾配降下法 (DP-SGD) でトレーニングされたモデルに枠組みを拡張します。

• 仮定: バッチ勾配はガウス分布に従うと仮定します（中心極限定理により正当化されます）。
• SeMI$_{SGD}$（ホワイトボックス）: この仮定の下、パラメータ更新に対して分離性が成立します。最適検定統計量は、スケーリングされたパラメータ更新（$\theta_\tau - \theta_{\tau-1}$）と、ターゲットの勾配の母平均からの偏差との間のマハラノビス重み付き内積となります。
• ブラックボックス攻撃: 損失値のみがアクセス可能な場合、著者らはLoss DiffおよびLoss Ratio統計量を提案します。これらは、挿入ステップ前後のモデルにおけるターゲットの損失（$\ell(\theta_{\tau-1}; z^*)$ 対 $\ell(\theta_\tau; z^*)$）を対比し、シグナルが集中する特定の遷移に、Back-Front や Delta などの既存のヒューリスティックを実質的に制限します。

主な貢献

1. 最適 SeMI 攻撃（SeMI*）: 挿入時刻をパラメータとする、逐次観測に対する理論的に最適なメンバーシップ推論攻撃の導出。本論文は、この攻撃が分離性を達成し、静的攻撃とは異なりトレーニングステップの総数 $T$ に依存しない能力を持つことを証明します。
2. (DP-)SGD 用のホワイトボックスおよびブラックボックス SeMI 攻撃: 勾配ベースのトレーニングに対する最適 LR 枠組みの拡張。これには、勾配を使用するSeMI$_{SGD}$と、特定の挿入遷移に焦点を当てることで既存のヒューリスティックを回復・洗練する実用的な損失ベースの代理モデル（Loss Diff、Loss Ratio）が含まれます。
3. 逐次プライバシー監査プロトコル: 逐次ゲームとしてのプライバシー監査の形式化。著者らは、SeMI 攻撃の誤り率を $\epsilon$ の厳密な下限に変換する方法を実証します。
4. 実証的検証: 合成データおよび DP-SGD でトレーニングされた実世界データセット（Fashion-MNIST、CIFAR-10、Purchase-100）を用いた広範な実験。

結果

• 静的ベースラインとの優位性: すべてのデータセットおよびモデルにおいて、SeMI 攻撃は LiRA、Back-Front、Delta 攻撃などのスナップショット非依存ベースラインと比較して、一貫して高い識別能力（固定 FPR における TPR）を達成し、より厳密なプライバシー下限（$\hat{\epsilon}$）をもたらします。
• 系列長さ（$T$）の影響: 経験的平均の設定において、SeMI* の能力は $T$ が増加しても一定ですが、「最終観測」攻撃の能力は著しく低下します。DP-SGD の実験では、最終モデルのみを観測するよりも、スナップショットの完全な系列を観測する方が、より厳密な $\epsilon$ 境界が得られます。
• LR ベース手法の最適性: 尤度比に基づくSeMI$_{SGD}$は、ヒューリスティックな損失ベース手法（Delta、Back-Front）を上回り、特に厳密な監査に不可欠な低プライバシー領域（低 $\epsilon$）および低偽陽性率領域において顕著です。
• 挿入時刻（$\tau$）の役割:
  • 挿入時刻 $\tau$ を知っていることは、$\tau$ を未知として扱う場合（SeMI$_{SGD}$ と SeMI$_{SGD}^{max}$ の比較）よりも著しく厳密な監査をもたらします。
  • 監査の厳密さは $\tau$ に強く依存します。DP-SGD のファインチューニングシナリオでは、後期の挿入時刻がより厳密な境界をもたらすことが多く、モデルが初期化から離れるとシグナルが強くなることを示唆しています。

意義と主張

本論文は、リリースされたモデルの系列を検証することは、単一の最終スナップショットを分析するよりも厳密なプライバシー監査をもたらすと主張しています。分離性を活用することで、SeMI 攻撃はトレーニングデータが蓄積するにつれてプライバシーシグナルが希釈されるのを防ぎます。

著者らは、このアプローチがヒューリスティックなスコア集約を超えた、原理的かつ理論駆動型のメンバーシップ推論攻撃の設計を提供することを強調しています。彼らは、挿入時刻 $\tau$ を制御する能力が、監査官にとって新たな実行可能なレバーとなり、監査の厳密さを最大化するために最適な挿入の瞬間を選択できることを論じています。この研究は、理論的な差分プライバシー保証と実証的なプライバシー推定との間のギャップを埋め、逐次アクセスが現代の進化し続ける ML システムのプライバシー監査の精度を大幅に向上させることを示しています。

本論文は、その仮定に関して控えめであり、理論的な最適性はガウス勾配近似と既知の分布に依存していると指摘していますが、DP-SGD における実証結果は、複雑な深層学習設定においても分離性が頑健に成立することを示唆しています。今後の課題として、単一実行の監査技術を逐次設定に適応させること、およびモデルリリース間での分布シフトの影響をさらに研究することが提案されています。