技術要約: FedEAGD

問題提起

パーソナライズされた連合学習（PFL）は、データの不均一性（non-IID）やクライアントの限定的な参加が行われる環境において、共有されたグローバルな知識とクライアント固有の適応のバランスを取ることを目的としています。既存の手法は、モデルのパーソナライズや履歴知識の転送を通じて不均一性に対処していますが、通信ラウンドを通じた個々のサンプル表現の時系列的な進化を見落としていることがよくあります。

標準的な連合設定では、non-IIDデータと変動するクライアントの参加率が、共有表現のドリフトを引き起こします。既存の履歴監督手法は通常、モデルレベルまたはクライアントレベルで制約を適用し、クライアント内のすべてのサンプルを一様に扱います。これは、個々のサンプルが異なる表現の軌跡を示す可能性があるという事実を考慮しておらず、結果として知識転送を最適化できず、共有モデルの特定のクライアントへの適応を妨げることになります。

手法: FedEAGD

著者らは、サンプルレベルの表現進化を捉え、履歴監督を適応的に制御するように設計されたフレームワークであるFedEAGD（Trajectory-Guided Drift-Aware Distillation：軌跡ガイド型ドリフト認識蒸留）を提案しています。このフレームワークは、以下のコアメカニズムを通じて動作します。

1. 軌跡ガイド型ドリフト認識蒸馏 (Trajectory-Guided Drift-Aware Distillation)

単一の履歴スナップショットに依存する代わりに、各クライアントは、ローカルに保持された共有モデルの軌跡を要約するために、クライアント固有の指数移動平均（EMA）ティーチャー（$\bar{G}_k$）を維持します。

• ドリフトの定量化: 各サンプル $x_i$ について、システムは現在の共有表現（$g_i$）と、EMAティーチャーからの履歴表現（$\bar{g}_i$）を計算します。
• 時間的ドリフト信号: これら二つの表現間の不一致はコサイン類似度（$s_i$）によって測定され、ドリフト指標 $d_i = 1 - s_i$ を定義します。
• 適応型蒸留: サンプルレベルの蒸留係数 $\mu_i$ は $d_i$ から導出されます。表現の変化が大きいサンプル（高いドリフト）にはより強い履歴監督を与え、安定したサンプルには弱い制約を与えます。これは $\mu_i = \min\{\mu_0(1 + d_i), \mu_{max}\}$ として定式化されます。

2. プログレッシブ・ゲーテッド・レジデュアル・フュージョン (Progressive Gated Residual Fusion: PGRF)

時間的な安定化とクライアント固有の適応のバランスを取るために、FedEAGDはパーソナライズされた情報を段階的に組み込むメカニズムを導入しています。

• メカニズム: 融合された表現 $h_i$ は、共有表現にゲーテッド・パーソナライズド・レジデュアルを加えることで作成されます：$h_i = g_i + q_t \eta_{max} a_i \odot [p_i - sg(g_i)]$。
• プログレッシブ・スケジュール: 時間依存の係数 $q_t$ は、初期フェーズ（$t < t_s$）においてパーソナライズド・レジデュアルの寄与をゼロにし、ランプアップ期間中に線形に増加させ、その後は1で安定させることを保証します。
• ゲーティング: ゲーティングモジュール $A_k$ は、各サンプルのパーソナライズド・レジデュアルの寄与を制御するベクトル $a_i$ を生成します。

3. 補助的な正則化とコーディネーション

• 表現アンカリング (Representation Anchoring): 補助損失（$L_{anchor}$）は、パーソナライズが進むにつれてその重みを徐々に減少させながら、初期段階において共有のセマンティック情報を保持します。
• レジデュアルのデカップリング (Residual Decoupling): 損失項（$L_{dec}$）は、パーソナライズド・レジデュアルが共有表現に対して直交する情報を捉えるよう促します。
• フュージョンの安全性 (Fusion Safety): 安全項（$L_{safe}$）は、融合パスが共有パスよりも性能が悪化した場合の劣化を防ぎます。
• サーバー側のコーディネーション: サーバーは、共有特徴抽出器のサンプル加重集約を行います。グローバルな更新を安定させるために、後期段階のモメンタム平滑化が適用されます。
• 通信効率: 共有特徴抽出器のみが転送されます。パーソナライズされたコンポーネント（抽出器、ゲーティングモジュール、分類器、および履歴ティーチャー）はローカルに留まります。

主な貢献

1. サンプルレベルの時間的監督: 本論文は、通信ラウンドを通じた個々のサンプル表現の変化を測定する方法を導入しています。これにより、一律の重みを適用するのではなく、サンプル固有のドリフトに応じて蒸留の強度を適応させることが可能になります。
2. プログレッシブ・ゲーテッド・レジデュアル・フュージョン (PGRF): ステージごとの係数を持つゲーテッド・レジデュアル接続を介して、クライアント固有の情報を統合する新しいメカニアルを導入し、パーソナライズされたデータが初期の共有表現学習を妨げないようにしています。
3. 包括的な評価: 本フレームワークは、様々な不均一性（$\alpha$）、参加率（$\rho$）、およびフェデレーションの規模（$K$）の下で、MNIST、CIFAR-10、CIFAR-100、およびDomainNetを用いて評価されています。

実験結果

著者らは、FedEAGDが多様な設定において強力なベースライン（FedAvg、FedRep、FedCAC、FedKDを含む）を一貫して上回ることを報告しています。

• 性能: ディリクレ集中パラメータ $\alpha = 0.1$（高い不均一性）におけるCIFAR-100において、FedEAGDは63.05%の精度を達成し、最強のベースラインを5.96パーセントポイント上回りました。
• 堅牢性: 本手法は、クライアント参加率が低い場合（$\rho=0.2$まで）や、異なるフェデレーション規模（最大100クライアント）においても優れた性能を維持します。
• 効率性: 本フレームワークの計算コストは軽量なパーソナライズ手法と同等であり、パーソナライズされたパラメータの転送を回避することで、通信オーバーヘッドを共有特徴抽出器のみに限定しています。
• アブレーション研究: 履歴ティーチャーを除去すると最大の性能低下（CIFAR-100で1.26%）が見られ、軌跡ガイド型監督の重要性が確認されました。また、適応的な蒸留重み付けとプログレッシブな融合も、大幅な増分的な利点を提供しました。

意義と主張

本論文は、FedEAGDがPFLにおける特定のギャップ、すなわちサンプルレベルの時間的表現ドリフトへの注目の欠如に対処していると主張しています。EMAティーチャーを利用して共有モデルの軌跡を追跡し、サンプル固有のドリフトに基づいて蒸留の重みを適応させることで、本手法はクライアント固有の適応を阻害することなく、ローカルの最適化を安定させます。

著者らは、本研究を、不均一な環境におけるより堅牢なパーソナライズされた連合学習への一歩として位置付けています。彼らは、データ交換を共有特徴抽出器に制限することで通信効率を維持しながら、共有知識を活用することと、ローカルのデータ分布に適応することの間のトレードオフを効果的にバランスさせていることを強調しています。本研究は、これらのメカニズムを非同期参加や、エッジコンピューティングやIoTのようなより複雑なネットワーク環境へと拡張できる可能性を示唆しています。