技術的概要：学習可能な集約重みを用いたビザンチン耐性フェデレーテッドラーニング

問題定義

フェデレーテッドラーニング（FL）は、複数のクライアントがプライベートデータを共有することなく、協調してグローバルモデルを学習することを可能にする。しかし、このシステムは、グローバルモデルを侵害するために任意のまたは破損したモデル更新を送信する悪意のある主体であるビザンチンクライアントに対して脆弱である。この課題は、クライアント間でデータ分布が著しく異なる異質環境においてさらに悪化する。そのようなシナリオでは、データ異質性に影響された良性の更新と悪意のある更新を区別することが困難である。

既存のビザンチン耐性 FL 手法は、通常、まず悪意のあるクライアントを特定して除去し、次に残った良性クライアントに一様な集約重みを割り当てるという 2 段階のプロセスに従う。著者らは、この一様な重み付けアプローチが異質環境において最適ではないと主張する。悪意のあるクライアントを除去した後でも、残った良性クライアントは依然として不均衡なデータ分布（特定のラベルの欠如など）を示す可能性がある。一様な重みを割り当てることは、この不均衡に適応できず、過小表現されたクラスを十分に優先しないことでモデルの精度を低下させる可能性がある。

手法

本論文は、集約重みを固定値や単純なフィルタリング後の割り当てではなく、学習可能なパラメータとして扱う新しいフレームワークであるFedLAW（学習可能な集約重みを備えたフェデレーテッドラーニング）を提案する。

1. 問題定式化

著者らは、FL の目的関数を、グローバルモデルパラメータ $\theta$ と集約重み $w$ の両方に関する結合最適化問題として定式化する：
$$\min_{\theta \in \mathbb{R}^d, w \in \Delta^+_{t,\ell_0}} \sum_{i=1}^n w_i f_i(\theta)$$
ここで、$f_i(\theta)$ はクライアント $i$ の損失関数である。重みベクトル $w$ は、スパース単位キャップ付き単体 $\Delta^+_{t,\ell_0}$ に制約される。これは以下によって定義される：

• $\sum w_i = 1$ および $w_i \geq 0$（標準的な単体制約）。
• $w_i \leq t$（個々のクライアントの影響をキャップ）。
• $\|w\|_0 \leq s$（スパース制約、非ゼロ重みの数を制限）。

$t = 1/(n - b_f)$ および $s = n - b_f$（ここで $b_f$ はビザンチンクライアントの数）を設定することで、実行可能領域は最大 $b_f$ 人のクライアントの除外（その重みをゼロに設定）を強制し、選択された $n - b_f$ 人のクライアント間で残りの重みを均等に分配する。これにより、「検出と除去」という二値的な問題が連続的な最適化問題へと変換される。

2. 提案アルゴリズム

この非凸な結合最適化を解くために、著者らはネストされた最適化構造に基づく交互最小化アルゴリズム（アルゴリズム 2）を開発する：

1. 内側ステップ（モデル更新）： 固定された重み $w$ に対して、サーバーはクライアントの損失関数を二次の代理関数で近似し、モデル更新 $\theta_{k+1}(w) = \theta_k - \alpha G_k w$ を計算する。ここで $G_k$ にはクライアントの勾配が含まれる。
2. 外側ステップ（重み更新）： 更新されたモデルに対して、アルゴリズムはグローバル目的関数を最小化するように重み $w$ を最適化する。このステップでは、目的関数の二次近似を $w$ に関して最小化した後、スパース単位キャップ付き単体への射影を行う。

重み更新は、データポイニングを検出するための損失情報と、モデルポイニング/逆勾配攻撃を検出するための勾配整合性の両方を活用する。良性クライアントの整合したクラスターから逸脱する勾配を持つ悪意のあるクライアントは、スパース制約によって自然に重みが低下するか、除外される。

3. 通信プロトコル

このアルゴリズムは、1 つのトレーニングエポックあたり 2 回の通信ラウンドを必要とする：

1. サーバーが $\theta_k$ をブロードキャストし、クライアントは勾配と損失を返す。
2. サーバーは仮の更新 $\tilde{\theta}_{k+1}$ を計算し、それをブロードキャストし、クライアントは最終的な重み更新と次のモデル状態を計算するために更新された勾配と損失を返す。
   著者らは、これによりラウンドが 1 つ追加されるものの、グローバルモデルの収束が加速されることでこのコストが相殺され、目標精度に達するための総通信ラウンド数が同等かそれ以下になることが多いと指摘している。

主要な貢献

1. 新しい最適化定式化： 本論文は、集約重みを学習可能なパラメータとする結合最適化フレームワークを導入し、ビザンチン防御を別個のフィルタリングステップとして扱うのではなく、学習目的関数に直接埋め込む。
2. アルゴリズムの開発： スパース単位キャップ付き単体に対する特定の射影演算子を備えた交互最小化アルゴリズムを提案し、頑健な重みの効率的な計算を可能にする。
3. 理論的保証：
   • ビザンチン耐性： 定理 2 は、提案されたアグリゲータが高確率で $(\zeta, b_f)$-ビザンチン耐性を持つことを示し、損失の異質性、勾配の異質性、サンプリングノイズなどの要因に分解される明示的な誤差 bound を提供する。
   • 収束性： 定理 3 は、非凸および強凸の両方の設定において、アルゴリズムが最適値の近傍に収束することを証明し、誤差半径が悪意のある主体の影響に比例してスケーリングすることを示す。
4. 実証的検証： 5 種類の攻撃（ラベル反転、逆勾配、バックドア、ダブルアタック、LIE）および異なるレベルのデータ異質性下での MNIST および CIFAR-10 における広範な実験により、本手法の優位性が実証された。

実験結果

著者らは、FedLAW を多様なシナリオにおける最先端のベースライン（Krum、Trimmed Mean、Bulyan、CwMed、RFA、CClip、Huber Aggregator）と比較評価した：

• 性能： FedLAW は、特に高異質性（$q=0.9$）および高悪意者割合（最大 40%）の設定において、既存の手法を常に上回った。例えば、MNIST 上で 40% の悪意のあるクライアントによる逆勾配攻撃の下では、FedLAW は次の最良の防御手法よりも 3.6% 高いテスト精度を達成した。
• 安定性： 重度の攻撃（ダブルアタックや高 LIE 割合など）下で発散したり急激な精度低下を招いたりする他の手法とは異なり、FedLAW は優雅な劣化を伴いながら頑健な性能を維持した。
• 重みのダイナミクス： 可視化により、良性クライアントは早期に安定した非自明な重みに収束し、悪意のあるクライアントは最初の 20 エポック以内にほぼゼロの重みまで一貫して抑制されることが示された。
• 検出： この手法は、データポイニングとモデルポイニングの両方の攻撃を効果的に無力化し、悪意のあるクライアントの特定において高い精度と再現率を示した。

意義と主張

本論文は、FedLAW が異質環境における一様な重み付けの限界に対処することで、安全なフェデレーテッドラーニングにおいて重要な進歩であることを主張する。適応的重み付けを学習プロセスに統合することで、この手法は以下の点を実現する：

• 強化された頑健性： 攻撃者の数の事前知識や複雑な事前フィルタリング機構を必要とせずに、悪意のあるクライアントを効果的に無力化する。
• 公平性と適応性： 良性クライアントからの貢献を適応的にバランスさせ、データ異質性が特定のデータ分布の軽視につながることを防ぐ。
• 理論的妥当性： この研究は、アグリゲータの静的な耐性と学習アルゴリズムの動的な安定性を結びつける、厳密な収束および耐性保証を提供する。

著者らは、その知見が適応的集約を学習プロセスに統合することの利点を浮き彫りにし、現実世界の異質かつ敵対的な環境におけるより安全で公平な FL 展開への道を開くと結論づけている。