Privacy Preserving Machine Learning Workflow: from Anonymization to Personalized Differential Privacy Budgets in Federated Learning

技術概要：プライバシー保護機械学習ワークフロー

問題定義
人工知能、特に医療のような機微な分野における急速な発展は、一般データ保護規則（GDPR）などの厳格なプライバシー規制を遵守しつつ、大規模なデータセットを用いてモデルを訓練することを必要としています。連合学習（FL）は、中央集権的なデータ訓練に対する分散型の代替手段を提供しますが、特定の脆弱性を導入します。データが中央集約されなくても、FL 構造はプライバシー侵害（例：再構築、モデル推論、メンバーシップ推論攻撃）や完全性への脅威（例：ポイズニング攻撃、クライアントドリフト）に対して依然として脆弱です。さらに、既存のアプローチは、異なるローカルデータセットに内在する再識別リスクの差異を考慮せず、すべてのクライアントに均一なプライバシー対策（例えば、固定されたグローバル差分プライバシー予算）を適用する傾向があります。

手法
本論文は、機微な表形式データに対するプライバシー保護機械学習のための包括的なワークフローを提案し、以下の 4 つの主要段階を統合します：

1. データ匿名化：連合訓練に先立ち、クライアントは各自の表形式データに匿名化技術（例：k-匿名性、l-多様性）をローカルに適用します。モデル訓練との互換性を確保するため、サーバーはクライアント間で適用された変換階層を交換する調整プロセスを調整します。サーバーは、すべてのクライアントのプライバシー制約を満たすために必要な最大階層レベルを決定し、すべてのデータセットが潜在空間内で同じレベルに一般化されるようにします。
2. クライアントドリフト検出：意図的および非意図的なポイズニング攻撃を軽減するため、著者は「クライアントドリフト」を、システムに対するクライアントのデータ分布の著しい変化として形式的に定義します。サーバーは生データにアクセスするのではなく、フробニウスノルムに基づく対称メトリック（式 2）を用いてモデル重みの発散を分析することでドリフトを検出します。著しい発散を示すクライアントは、集約プロセスから除外され得ます。
3. パーソナライズされた予算による差分プライバシー（DP）：核心的な貢献は、パーソナライズされたプライバシー予算を割り当てる手法です。
   • リスク指標：著者は、各クライアントの匿名化されたデータに基づき、等価クラスの平均再識別リスク（ARIREC）を定義します。
   • 予算配分：グローバルノイズ乗数（$n_\epsilon$）が確立されます。各クライアント $i$ に対して、パーソナライズされたノイズ乗数（$n_{\epsilon,i}$）は、クライアントの正規化された ARIREC 指標（$\tilde{A}_i$）に応じてグローバル乗数をスケーリングすることで計算されます。
   • 実装：ガウスノイズは、集約に先立って各クライアントのローカルモデル重みに追加されます。ノイズの大きさは、クライアント固有の再識別リスクに比例します。これは、集約された重みにのみノイズが追加されるグローバル DP（GDP）とは対照的です。
4. 連合集約：このワークフローは、信頼されたサーバーを使用してノイズを含む重みを集約（FedAvg 使用）し、グローバルモデルを更新します。

主な貢献

• クライアントドリフトの形式的定義：本論文は、FL におけるクライアントドリフトの形式的定義を提供し、生データへのアクセスを不要とする重み発散に基づくプライバシー保護検出メカニズムを提案します。
• パーソナライズされたプライバシー予算：計算された再識別リスク指標（ARIREC）に基づいてパーソナライズされた差分プライバシー予算を割り当てる手法を導入し、各クライアントのデータセットの固有の脆弱性を反映する適応的なノイズ注入を可能にします。
• 統合ワークフロー：本論文は、匿名化、ドリフト検出、およびパーソナライズされた DP を FL 構造内で組み合わせた、完全で再現可能なパイプラインを詳述します。

実験結果
この手法は、10 人のクライアント（異なる国を表す）でシミュレートされた、がん重症度予測用の 5 万件の医療記録からなる合成データセットを用いて評価されました。研究は、以下の 3 つのシナリオを比較しました：

1. バニラ FL（プライバシーなし）。
2. グローバル DP を用いた FL（集約された重みに追加された固定予算）。
3. パーソナライズされた DP を用いた FL（ローカル重みに追加されたカスタマイズされた予算）。

結果は、パーソナライズされた DP アプローチがグローバル DP アプローチよりも優れたモデル性能を達成したことを示しました。具体的には、パーソナライズされた DP シナリオは、プライバシー保護を維持しながら、平均絶対誤差（MAE：0.836 対 0.847）および平均相対誤差（MRE：0.177 対 0.182）において、グローバル DP よりも低い値を示しました。著者は、両方の DP 手法がバニラ FL と比較して性能を低下させるものの、パーソナライズされたアプローチはリスクレベルに合わせてノイズを調整することで、この低下を最小化すると指摘しています。

意義と主張
著者は、この作業をすべての実世界シナリオに対する決定的な解決策というよりも、方法論的フレームワークとして位置づけています。彼らは、主な意義は、連合設定において再識別リスク指標から導き出されたパーソナライズされたプライバシー予算が、固定されたグローバル予算と比較してモデルの有用性を向上させることができることを実証する点にあると主張しています。

本論文は明示的に、この研究が合成で再現可能な使用事例を用いた「予備的」な概念実証であると述べています。また、限界を認め、現在の実装は信頼されたサーバーを前提としており、ラウンド全体にわたるプライバシー損失の合成に対する厳密な $\epsilon$ および $\delta$ の会計を提供していないことを指摘しています。著者は、将来の研究は、このワークフローを信頼できないサーバーシナリオ（ホモモルフィック暗号化の使用を想定）および非 IID クライアント分布に拡張することに焦点を当てることを提案しています。