技術的サマリー：Fed-BAC

問題定義

階層型連合学習（HFL）は、エッジサーバーによる部分集約を活用することで、マルチアクセスエッジコンピューティング（MEC）環境における通信ボトルネックを軽減する。しかし、既存の HFL 手法は、現実世界のデータ異質性に対処する際に、以下の 3 つの決定的な限界に直面している：

1. 静的な仮定：ほとんどの手法は、エッジサーバー間でのデータ分布が均一であると仮定しており、ラベル分布が異なるクライアントからの更新を集約する際に「クライアントドリフト」を引き起こし、精度が最大 20% 低下する。
2. 孤立したクラスタリング：クラスタリングされた FL 手法（IFCA など）は類似したクライアントをグループ化するが、通常は完全に孤立したモデルを訓練するため、クラスタ間での知識転移が妨げられる。
3. 非効率的な選択：クライアント選択は往々にしてランダムまたは静的である。既存のバンディットベースのアプローチはフラットなアーキテクチャで動作し、クラウド - エッジ - クライアントという 3 層トポロジー全体においてクラスタ割り当てとクライアント選択を同時に最適化できない。

さらに、クライアントごとの残差を維持するパーソナライゼーション手法（Ditto、APFL など）は、$O(N)$ のパラメータオーバーヘッドを伴うため、大規模化には非現実的であり、3 層システムにおける通信コストを悪化させる。

手法：Fed-BAC フレームワーク

本論文は、加法的クラスタパーソナライゼーションと 2 段階バンディット意思決定アーキテクチャを統合した Fed-BAC（Federated Bandit-Guided Additive Clustering）を提案する。

1. 加法的クラスタパーソナライゼーション

Fed-BAC は、孤立したクラスタモデルを訓練するのではなく、logit 空間における加法的分解を採用する。クラスタ $k$ に属するクライアントの予測 logit $\hat{y}$ は以下のように定義される：
$$\hat{y} = h(x; \Theta_{global}) + f(x; \Theta_k)$$

• $\Theta_{global}$：すべてのサーバーにわたる共通知識を捉える共有グローバルネットワーク。
• $\Theta_k$：分布のばらつきを捉えるクラスタ固有のネットワーク。
  このアーキテクチャにより、すべての $M$ 個のエッジサーバーが各ラウンドでグローバルモデルに貢献でき、クラスタ固有の残差を通じて専門性を維持しつつ、クラスタ間での知識転移が可能となる。

2. 2 段階バンディットフレームワーク

Fed-BAC は、3 層トポロジーに対処するために意思決定を 2 段階に分離する：

• クラウドレベル（クラスタ割り当て）：Contextual LinUCB を用いて、エッジサーバーをクラスタに動的に割り当てる。

  • 文脈的特徴：バンディットは、損失率（現在のクラスタ対最良の代替クラスタ）、クラスタのバランス、割り当ての安定性、訓練の進捗という 4 つの FL 固有の特徴を利用する。
  • メカニズム：$\tau_{re}$ ラウンドごとに、クラウドは各サーバーの現在のクラスタに対する適合度を代替案と比較して評価する。サーバーの損失率が他の場所でのより良い適合を示す場合、割り当てが更新される。これにより「群衆行動」を防ぎ、システムは最適なアクティブクラスタ数（$K \le M$）を探索できる。

• エッジレベル（クライアント選択）：各エッジサーバーで Thompson Sampling (TS) を用いて、参加するクライアントのサブセット（$N_m$ 人中 $B$ 人）を選択する。

  • メカニズム：各サーバーはすべてのクライアントに対してベータ分布の事前分布を維持する。サーバーのクラスタモデルの単一ラウンド精度変化（$r_{TS}$）に基づいて、事後分布が更新される。
  • 目的：高貢献クライアントを動的に特定し、モデル性能を維持しながら通信オーバーヘッドを削減する。

3. 訓練プロトコル

システムは同期ラウンドで動作し、以下の手順を含む：

1. 配布：クラウドは $\Theta_{global}$ と特定の $\Theta_k$ を各エッジサーバーに送信する。
2. 選択と訓練：エッジサーバーは TS を用いてクライアントを選択し、クライアントは両方のネットワーク上で局所 SGD を実行する。
3. 集約：
   • エッジ集約：クライアント更新の加重平均。
   • クラウド集約：2 段階更新。第一に、すべてのサーバーから $\Theta_{global}$ のグローバル集約（選択されたサブセットだけでなく、サーバー全体のデータサイズを使用）。第二に、各アクティブクラスタに対する $\Theta_k$ のクラスタ固有集約。

主要な貢献

1. 2 段階バンディットアーキテクチャ：クラスタ割り当て（クラウドでの LinUCB）とクライアント選択（エッジでの Thompson Sampling）を分離する新規の階層的意思決定システム。これにより、各意思決定のタイムスケールに適した異なる更新頻度を可能にする。
2. 統合された加法的パーソナライゼーション：3 層 HFL アーキテクチャ内での加法的クラスタパーソナライゼーションの初の実装。IFCA がクラスタを孤立させるのに対し、Fed-BAC はグローバルバックボーンを共有し、グループ間の知識転移を促進する。
3. 同時最適化：クラスタ割り当てとクライアント選択を同時に最適化するフレームワーク。既存の手法がこれらのタスクを個別に処理するか、静的な構成を仮定しているというギャップを埋める。

実験結果

実験は、中程度（$\alpha=0.5$）および重度（$\alpha=0.1$）のディリクレ非 IID 分割条件下で、3 つのベンチマーク（CIFAR-10、SVHN、Fashion-MNIST）に対して実施された。

• 精度向上：Fed-BAC は、HierFAVG に対して最大 +35.5 パーセントポイント、IFCA に対して +8.4 パーセントポイント の分散精度向上を達成した。
• 異質性への感受性：Fed-BAC の性能優位性は、データ異質性の深刻度が高まるにつれて増大した。重度の異質性（$\alpha=0.1$）下では、HierFAVG は著しく劣化するのに対し、Fed-BAC は高い精度を維持した。
• 効率性：わずか 80% のクライアント参加（$p=0.8$）を要するにもかかわらず、Fed-BAC はデータセットと目標精度に応じて、ベースラインよりも 1.5〜4.8 倍 高速に収束した。この高速化により、代表的な精度目標に到達するための総通信バイト数は 3.0 倍から 5.9 倍 削減された。
• スケーラビリティ：500 クライアント（5 倍スケール）での CIFAR-10 に関するスケーリング研究により、Fed-BAC が HierFAVG（+12.6pp）および IFCA（+3.3pp）に対する優位性を維持することが確認され、大規模展開スケールにおける堅牢性が検証された。
• 公平性：Fed-BAC は、特に重度の異質性下で、IFCA や HierFAVG と比較してサーバーごとの精度の分散が低く、サーバー間での公平性が向上していることを示した。

意義と主張

本論文は、Fed-BAC が階層型連合学習における統計的異質性と通信効率の決定的な課題に対処することを主張する。加法的分解（知識共有を可能にする）とバンディットガイド型の適応的決定（クラスタ構造とクライアント参加の両方を最適化する）を組み合わせることで、このフレームワークは既存の最先端手法を上回る性能を発揮する。

著者らは、加法的パーソナライゼーションアプローチがデータ分布が乖離するにつれて価値が高まり、完全に孤立したクラスタリングよりも、グローバルバックボーンを共有しつつクラスタ固有の残差を維持する方が優れていることを確認していると強調している。結果は、Fed-BAC がデータ異質性が深刻で通信リソースが制約されている MEC 展開に対してスケーラブルな解決策を提供することを示唆している。

論文は控えめに結論付け、現在の評価は単一の参加率を使用していることに言及し、今後の研究では参加率の体系的な掃引、現実世界のエッジハードウェアテストベッド、および結合された非定常バンディットシステムに対する形式的な収束保証の検討を行うべきであると述べている。