Partial Model Sharing Improves Byzantine Resilience in Federated Conformal Prediction

技術的概要：部分モデル共有が連邦コンフォルマル予測におけるビザンチン耐性を向上させる

問題定義
連邦学習（FL）は、生データを共有することなく分散デバイス間で協調モデル学習を可能にするが、ビザンチン敵対者に対しては依然として脆弱である。これらの悪意のあるクライアントは、破損した勾配や誤った情報を提出することで学習プロセスを操作し、グローバルモデルを劣化させることができる。連邦コンフォルマル予測（FCP）は、統計的カバレッジ保証を伴う分布フリーの不確実性定量化を提供するが、標準的な FCP は FL の脆弱性を引き継いでいる。既存の堅牢なアプローチ（Rob-FCP など）は、主に非適合スコアに基づいて悪意のあるクライアントを検出することにより、較正段階を強化することに焦点を当てている。しかし、これらは敵対者が既に学習済みモデルを破損し、その結果として誤差をコンフォルマル区間に伝播させることになり得る、連邦学習段階における汚染に対処できていない。さらに、堅牢な較正手法はしばしば追加の通信オーバーヘッドを伴う。

手法
著者は、部分共有オンライン連邦学習（PSO-Fed）を堅牢なコンフォルマル較正と統合した、ビザンチン耐性を持つ FCP フレームワークを提案する。この手法は、2 つの明確な段階で動作する。

1. 学習段階（部分モデル共有）：
   完全なモデルパラメータベクトルを交換する代わりに、クライアントとサーバーは各反復においてモデルの座標の一部のみを交換する。対角選択行列 $S_{k,n}$ によって定義されるこのメカニズムは、本質的に攻撃対象領域を制限する。集約されたモデルにおいて敵対者が影響を与え得るパラメータの割合を制限することで、部分共有は汚染された更新の影響を減衰させると同時に、通信コストを削減する。先行研究からの理論的解析は、PSO-Fed がビザンチンクライアントがノイズを注入する場合でも収束を維持することを示している。

2. 較正段階（ヒストグラムベースの検出）：
   非適合スコアのビザンチン操作に対する防御として、健全なクライアントはローカルスコアをヒストグラムベースの特徴ベクトルに圧縮する。これらのベクトルは、$H$ 個のビン全体にわたるスコアの経験的確率分布を表す。サーバーは次に、これらのベクトル間のペアワイズ $\ell_2$ 距離を計算し、各クライアントに悪意スコア（$m_k$）を割り当てる。これは、$K_b - 1$ 個の最寄りの近隣までの平均距離として定義される。悪意スコアが最も低いクライアントが健全と識別され、コンフォルマル量子の推定のために保持されるのに対し、外れ値（ビザンチンクライアント）は除外される。

主な貢献

• 二段階の耐性： 較正のみを対象とする先行研究とは異なり、このアプローチは連邦学習段階とコンフォルマル較正段階の両方を保護する。学習時の汚染を緩和するために部分共有を活用し、較正時の攻撃をフィルタリングするためにヒストグラムベースのベクトル分析を活用する。
• 通信効率性： この手法は、学習中にモデルパラメータの一部のみ、較正中に圧縮されたヒストグラムベクトルのみを送信することで通信オーバーヘッドを削減し、生スコアや完全な統計量の送信を回避する。
• 堅牢な量子推定： 距離ベースの悪意スコアに基づいてビザンチン貢献者をフィルタリングすることで、サーバーは健全なデータのみを使用してコンフォルマル量子を推定し、有効な予測区間を確保する。

実験結果
著者は、提案手法を、3 つのビザンチン攻撃シナリオ（効率攻撃：異常に小さなスコアを報告、カバレッジ攻撃：人工的に大きなスコアを報告、ランダム攻撃）の下で、標準 FCP および Rob-FCP と比較評価した。

• 検出の有効性： 悪意スコアは、すべての攻撃タイプにおいてビザンチンクライアントと健全なクライアントを明確に区別し、信頼性の高い除外を可能にした。
• カバレッジと区間幅： さまざまな攻撃シナリオにおいて、提案手法は、標準 FCP（膨張したカバレッジと広い区間に苦しんでいた）および Rob-FCP と比較して、名目上の 90% 目標に近いカバレッジを達成した。
• 性能向上： 提案アプローチは、Rob-FCP よりも1.8 倍、標準 FCP よりも2.2 倍狭い予測区間を生成した。この改善は、学習中のモデル汚染の減衰（部分共有による）と、較正中の堅牢な量子推定に起因する。

意義と主張
本論文は、連邦不確実性定量化に対する堅牢かつ通信効率の高いアプローチを確立すると主張する。通信効率の高い部分パラメータ交換と堅牢なコンフォルマル較正を組み合わせることで、この手法は FCP パイプライン全体にわたるビザンチン攻撃に対する耐性を達成する。著者は、彼らのアプローチが、クライアントの相当部分（例えば 20%）がビザンチンである場合でも、既存の手法よりも実質的に狭い境界を持つ有効で信頼性の高い予測区間をもたらすと主張する。彼らは、PSO-Fed を堅牢な較正フレームワークに統合することが、信頼性の高い FL への有望な方向性を提供すると結論付けているが、部分共有が堅牢性とカバレッジに及ぼす具体的な効果を定量化する理論的保証の確立は、今後の研究課題であると指摘している。