Topology-Aware Differential Privacy in Federated Learning

技術要約：連合学習におけるトポロジーを考慮した差分プライバシー

問題提起
連合学習（Federated Learning, FL）は、モデルの更新のみを送信することでクライアントのデータを保護し、差分プライベートSGD（DP-SGD）は勾配のクリッピングとノイズ付加を通じてコンテンツレベルの漏洩を制限する。しかし、既存の防御策は更新の「内容」のみに作用し、通信「トポロジー（接続形態）」自体から明らかになる情報については無視している。クロスサイロ型のデプロイメント（例：病院コンソーシアム、産業グループ）において、ネットワーク構造と組織的な所属関係は、DP-SGDでは対処できない情報チャネルを生み出す。トポロジーと組織構造を知り得る受動的な攻撃者は、パラメータの更新がノイズによって飽和されていても、クライプト内の機密クラスの集中度といった機密性の高いデータの特性を推論することができる。標準的なDP-SGDはすべてのクライアントに対して一律のノイズ乗数を適用するが、これは連合のトポロジーが非対称である場合には最適ではなく、異なるクライアントが持つ多様な構造的レバレッジ（影響力）を考慮できていない。

手法
本論文は、形式的な脅威モデルと経験的な分解ツール（TADI）および、原理に基づいた防御メカニック（FULCRUM）という二段構えのアプローチを提案している。

1. 脅威モデルとTADI（トポロジー依存の分布推論）：
   著者らは、攻撃者がパラメータの更新、通信グラフ $G$、および組織ラベル $\omega$ を観測するという脅威を定式化している。漏洩を経験的に定量化するために、アブレーション（除去実験）を通じて攻撃者の情報源を4つのチャネルに分解するシャドウ訓練回帰器、TADIを導入している：

   • パラメータ・チャネル： 勾配更新のみから得られる情報。
   • 構造的チャネル： クライアントのグラフ内における位置（次数、深さ、中心性）から得られる情報。
   • 組織的チャネル： 組織の所属ラベルから得られる情報。
   • 結合チャネル： 攻撃者の完全な視界。
     TADIは、シャドウ連合（模擬的な連合環境）上で訓練され、各クライアントの機密クラスの集中度 $p_i$ を推定することで、各チャネルの限界的な情報寄与を測定することを可能にする。

2. 理論的境界とFULCRUM防御：
   著者らは、クライアントごとの相互情報量（MI）の上界（定理 V.2）を導出し、漏洩が以下の2つに加法的に分離されることを示している：

   • 制御可能なメカニズム項： （DP-SGDのノイズによって制限される）。
   • 制御不能な事前分布結合フロア： クライアントの構造的レバレッジ $\ell^\circ_i$（連合の他の部分から見た、そのクライアントのデータの最悪のケースにおける統計的予測可能性）によって決定される。

これに基づき、著者らはFULCRUM、すなわち閉形式の、バランスの取れた最小最大最適ノイズ割り当て（定理 V.3）を導出した。一律のDP-SGDとは異異なり、FULCRUMは構造的レバレッジ・スコアに基づいて非対称にノイズスケール $\sigma_i$ を割り当てる。これは、固定されたユーティリティ予算の下で、すべてのクライアントにおける最悪のケースのMI上界を厳密に最小化する。

主な貢献

1. 形式的な脅威モデル： トポロジー条件付きの分布推論の定義を行い、構造的位置と組織的所属が、DPで保護されたFLにおいても対処されていない情報チャネルとして機能することを確立した。
2. 加法的なMI上界： 漏洩を、制御可能なノイズ依存項と、制御不能な構造的事前分布結合項へと分離する理論的証明。
3. FULCRUMによる割り当て： 構造的レバレッジが非対称な場合に一律のDP-SGDを厳密に凌駕し、レバレッジが対称な場合には正確に一律のDP-SGDへと退化する、無条件の安全性を保証する閉形式のノイズ割り当て戦略。
4. TADIによる分解： シャドウ訓練を通じて、パラメータ、構造、および組織の寄与を分離する、トポロジー条件付きの漏洩に関する初の経験的な特性評価。
5. 経験的検証： 6つのトポロジー・ファミリーに対し、Fed-ISIC2019、Fed-Heart-Disease、および合成CIFAR-10を用いた包括的な評価。

結果

• プライバシーの向上： 非対称な設定（例：不均一なデータサイズを持つ階層的トポロジー）において、FULCRUMは一律のDP-SGDと比較して、最大で 1.967 nats のプライバシー利得（プライバシー境界の減少）を達成したが、モデルのユーティリティへの測定可能なコストは発生しなかった。
• ユーティリティの一貫性： 統計的等価性テスト（TOST）により、プライバシーの改善が実用的な意味でのモデル精度の低下を伴わずに達成されていることが確認された（平均絶対差 < 0.5 パーセントポイント）。
• チャネル分解の知見：
  • パラメータ・チャネルは、すべての設定においてDP-SGDによって効果的に制限されている。パラメータのみを用いる攻撃者は、定数平均ベースラインよりも優れた性能を示さない。
  • 事前分布結合チャネル（構造的/組織的）は、攻撃者のシャドウ事前分布がデプロイメントの事前分布と一致する場合（例：トポロジーとデータの結合度が高い合成設定）、経験的に到達可能である。
  • 攻撃者がネイティブな分割ラベルを持たない現実的なクロスサイロの脅威モデル（ミスマッチした事前分布）の下では、境界は保守的であり、事前分布結合項は完全には実現されない。
• トポロジーへの感度： FULCRUMと一律のDP-SGDの差は、レバレッジの非対称性の程度に応じて拡大する。対称的なトポロジー（例：リング型）では差はゼロとなるが、非対称なトポロジー（例：スター型、階層型ツリー）では顕著な利得が見られる。

意義と主張
本論文は、通信トポロジーを、機密データの特性を推論するために悪用可能な既知の情報チャネルとして扱い、その結果生じる構造的非対称性を考慮した防御を導出した最初の研究であると主張している。著者らは、FULCRUMが「無条件に採用可能な安全な」ソリューションであることを主張している。すなわち、非対称なデプロイメント（クロスサイロ型FLにおける一般的なケース）において厳格なプライバシー改善を提供し、対称的なケースでは標準的な一律のベースラインへと優雅に退化する。本研究は、現在の画一的なノイズ割り当ては、構造的レバレッジが変動する現実世界のFLデプロイメントにおいては最適ではないことを浮き彫りにし、特定の構造的リスクに応じてプライバシー予算を調整するための原理的なメカニズムを提供している。