技術要約：グラフニューラルネットワークにおけるベイズ的メンバーシップ・プライバシー

問題提起

グラフニューラルネットワーク（GNN）に関する既存のプライバシー解析は、その多くが独立同一分布（i.i.d.）データ設定に由来する仮定に依存している。これらのアプローチは、グラフ構造データにおける2つの重要な側面、すなわち構造的相関（エッジや重複する近傍を通じてノードが相互依存していること）と、確率的な学習グラフ・サンプリングを見落としている。

標準的なメンバーシップ推論攻撃（MIA）の目的は、特定のデータポイントが訓練セットに含まれていたかどうかを判定することである。しかし、GNNにおいては、単一のノードの包含が他の多くのノードの学習された表現に影響を与える。さらに、訓練ノードはグラフ構造と相互作用するサンプリングプロセスを通じて選択されることが多く、そのため、一部のノードは本質的に含まれる可能性が高いといった状況が生じる。

差分プライバシー（DP）や標準的なメンバーシップ・プライバシー（MP）といった現在の定義は、しばに以下の事項を仮定している：

1. 一様事前分布： すべてのノードが訓練セットに含まれる事前確率が等しい。
2. 対称的誤差： 第I種の誤りと第II種の誤りが、プライバシーリスクを特徴付けるのに十分である。
3. 交換可能性： 訓練ノードと非訓練ノードは、アルゴリズムが実行される前には統計的に区別できない。

著者らは、これらの仮定がグラフの設定では成立しないと主張している。構造的依存関係は交換可能性を打破し、ノード依存の事前分布（サンプリングメカニズムによって駆動される）は、グローバルな攻撃精度や固定された誤差境界では、ノード固有のプライバシー漏洩を捉えるのに不十分であることを意味する。

手法：ベイズ的メンバーシップ・プライバシー（BMP）

これらのギャップに対処するため、本論文はメンバーシップ推論をベイズ仮説検定として扱うフレームワークである**ベイズ的メンバーシップ・プライバシー（BMP）**を導入する。

1. 確率モデル

著者らは、以下の要素からなるランダム化学習アルゴリズム $\mathcal{A} = (\mathcal{S}, \Phi)$ を定義する：

• サンプリング ($\mathcal{S}$): 訓練用サブグラフを形成するために、ノードの部分集合 $S \subseteq V$ を選択する確率的メカニズム。
• 学習 ($\Phi$): サンプリングされたサブグラフからモデル出力 $W$ を生成する手順。

主要な変数は以下の通りである：

• メンバーシップ変数 ($M_i$): ノード $i$ がサンプリングセット $S$ に含まれているかを示すインジケータ。
• 事前分布 ($\gamma_i$): ノードの包含確率 $\Pr(M_i=1)$。これはサンプリングメカニズムに基づくノードの包含確率を表す。
• 事後分布 ($\pi_i$): モデル出力 $W=w$ を観察した後の、アドバーサリ（攻撃者）の確信度 $\Pr(M_i=1 | W=w)$。

2. BMPの定義

BMPは、事後オッズと事前オッズの比を制限することによって定義される。アルゴリズムが $(\varepsilon_L, \varepsilon_R)$-BMPであるとは、任意の出力 $w$ およびノード $i$ に対して以下を満たすことである：
$$e^{-\varepsilon_L} \leq \frac{\pi_i(1|w)}{\pi_i(0|w)} \cdot \frac{\gamma_i(0)}{\gamma_i(1)} \leq e^{\varepsilon_R}$$
この定式化は、ノード依存の事前分布 ($\gamma_i$) を明示的に組み込んでおり、また非対称性 ($\varepsilon_L \neq \varepsilon_R$) を許容している。この非対称性は、メンバーシップを明らかにすること（訓練セットに含まれていること）のプライバシーリスクが、非メンバーシップを明らかにすることのリスクとは異なる可能性があることを認めている。

また、本論文では関連する概念も定義している：

• BMP-R / BMP-L: メンバーシップまたは非メンバーシップの露呈リスクのみに焦点を当てた、片側型のバージョン。
• BMDP (ベイズ的MDP): 他のすべてのノードのメンバーシップに関して条件付けられた差分的なバージョン。ただし、著者らは、構造的結合のため、これはグラフにおいてはしばしば非現実的であると述べている。

3. 理論的特性

本論文は、BMPに関するいくつかの理論的特性を確立している：

• 事前分布の下限： プライバシーパラメータ $\varepsilon_L$ と $\varepsilon_R$ は、事前分布の比によって下限付けられる。たとえ「完全にプライベートな」学習アルゴリズムであっても、サンプリングプロセス自体に内在する漏洩を隠すことはできない。
• 後処理： BMPは、モデル出力の可測な変換の下で保持される。
• 合成： 本論文は、MPとの合成（一つのサンプルに対する複数のプライベートな操作）およびBMPとBMPの合成（複数の独立したサンプリングおよび学習ラウンド）に関する合成定理を提供している。
• 統計的保証： BMPパラメータと、あらゆるMIAの第I種誤差 ($\alpha$) および第II種誤差 ($\beta$) の領域との間の一対一の関係が確立されている。具体的には、$(\alpha, \beta)$ の許容領域は、ノードの事前確率 $\eta_i$ に依存する。

4. 実践的な監査メカニズム

BMPパラメータを実用的に推定するために、著者らは監査メカニズムを提案している：

• MIAの設計： サンプリングされたサブグラフ上で訓練されたシャドウモデルを用いて、ノードレベルのMIAを構築する。
• ベイズ推定： BMPと誤差確率との理論的な関連を用いて、観測された第I種および第II種誤差が領域 $R_{\eta}(\varepsilon_L, \varepsilon_R)$ から抽出されたものとしてモデル化する。
• 推論： MCMC（マルコフ連鎖モンテカルロ法）を用いて、MIAから得られた観測された誤差カウントに基づき、$(\varepsilon_L, \varepsilon_R)$ の事後分布を推定する。

主な貢献

1. BMPフレームワーク： ノード依存の事前分布を組み込み、グラフサンプリング確率をアドバーサリの知識の一部として扱う、サンプリングを考慮したベイズ的メンバーシップ・プライバシーの定式化の導入。
2. 理論的分析： 合成規則、後処理不変性、およびメンバーシップ推論攻撃の誤差確率との厳密な関連を含む、特性の導出。
3. 監査ツール： MIAの結果を用いてBMPパラメータを推定するための、サンプリングを考慮した実践的なメカニズム。これにより、きめ細かなプライバシー評価が可能になる。
4. 実証的検証： ベンチマークとなるグラフデータセットを用いた実験により、BMPがグローバルな攻撃精度のみに依存する場合では見えない、詳細なプライバシーの洞察（ノード間のリスクの差異）を明らかにすることを実証。

結果と主張

著者らは、彼らのフレームワークが、既存の手法と比較して、GNNにおけるプライバシーに関するより正確で微細な理解を提供すると主張している。

• 詳細な洞察： 実験によれば、プライバシーの漏洩は一様ではなく、ノード固有のサンプリング確率や構造的位置に基づいて大きく変動する。グローバルな指標（平均攻撃精度など）は、この不均一性を捉えることができない。
• サンプリングへの適応性： 本フレームワークは、異なるグラフサンプリング戦略、訓練セットのサイズ、およびエッジの設定が、ノードレベルのプライバシー漏洩にどのように影響するかを定量化することに成功している。
• 理論的一貫性： 本論文は、i.i.d.データにおける交換可能性の仮定が成立しないグラフの設定において、BMPが必然的な一般化であることを示している。

重要性

本論文は、関係学習（relational learning）におけるプライバシー定義の必然的な進化としてBMPを位置づけている。構造的依存関係やサンプリングによる事前分布を考慮しなければ、GNNにおけるプライバシー保証は、現実を反映していないという意味で過度に制限的であるか、あるいは、敏感な構造情報の保護に不十分なものになる。事後的な信念更新を事前分布に基づいて条件付けることに焦み、一様な誤差境界からシフトすることで、BMPはグラフベースの機械学習システムにおけるプライバシーリスクを監査し、定量化するための原理的な方法を提供している。