技術概要：部分的な可視性下におけるフェデレーテッドクライアント選択

問題定式化

フェデレーテッドラーニング（FL）は、通常、データ異質性（非 IID データ）に起因する性能低下を緩和するため、効果的なクライアント選択に依存しています。しかし、既存のクライアント選択手法の多くは、すべての通信ラウンドにおいてサーバーが全クライアント集団に関する情報にアクセスできる「完全な可視性」を前提としています。

本論文は、「部分的な可視性」という課題に対処します。これは、大規模またはエッジベースの展開において、以下の制約によりサーバーがクライアントの一部にしかアクセスできない状況で生じます。

• 移動性: ネットワーク領域を移動するモバイルサーバーは、現在のカバレッジ内にあるクライアント（例：EdgeFlow シナリオ）とのみ相互作用可能です。
• 可用性: クライアントは、スケジュール、接続の問題、またはプライバシーの好みに起因して利用できない場合があります。

この設定において、サーバーはラウンド $t$ においてクライアントのサブセット ($C_t$) のみを観測するため、グローバルな学習状態は部分的に観測可能となります。通常、クライアント選択を完全な状態可視性を仮定するマルコフ決定過程（MDP）としてモデル化する既存の強化学習（RL）アプローチは、この問題には不十分です。

手法

1. POMDP 定式化

著者らは、部分的な可視性下でのクライアント選択問題を「部分的に観測可能なマルコフ決定過程（POMDP）」として定式化します。

• 状態 ($s_t$): 概念的には、すべての $N$ 個のクライアントの潜在的な更新パラメータとして定義されます。重要なのは、サーバーは不可視なクライアントの勾配や更新にアクセスできない点です。
• 行動 ($a_t$): 現在可視なクラスタ $C_t$ から $K$ 個のクライアントのサブセットを選択することです。
• 観測 ($o_t$): 状態のマスクされたサブセットであり、可視なクライアント ($j \in C_t$) の更新パラメータと ID のみを含みます。
• 報酬 ($r_t$): 集約後のグローバルモデルの F1 スコアに基づいて定義され、分散を制御するために時間的に平滑化されます。

2. 深層 Q 学習（DQL）による解決

POMDP を解決するため、本論文は DQL ベースのエージェントを提案します。完全な相互作用履歴を維持することは計算上非現実的なため、この手法は直近の $H$ ラウンドの切り捨てられた時間的コンテキストを用いて、最適 Q 関数を近似します。

• クライアントごとの Q 値分解: 可変なクラスタサイズと組み合わせ的な行動空間に対処するため、グローバル Q 関数は個々のクライアントへの寄与に分解されます。エージェントは各可視クライアントを独立して評価し、推定された Q 値が最も高い上位 $K$ 個を選択します。
• 多ステップ最適化: エージェントは割引因子 $\gamma$ を用いた多ステップ時間的差分学習を利用し、$H$ ステップのホライズンにわたるリターンを予測するように Q ネットワークを最適化します。

3. 時空間アテンションアーキテクチャ

中核的な革新は、可変長の入力を処理し、複雑な依存関係を捉えるように設計された、新しい時空間アテンションベースの Q ネットワークです。

• 次元削減: 高次元のモデルパラメータは、**ランダム射影（RP）**を用いて低次元の特徴空間にマッピングされます。PCA と異なり、RP は事前に収集されたサンプルを必要としないため、動的な可視性に適しています。
• 時間的コンテキスト: ネットワークは、学習の軌跡を捉えるために、過去のグローバルパラメータのシーケンス ($W_{glob}^{t-H} \dots W_{glob}^t$) を入力します。
• 空間的アテンション: モジュールは、現在可視なクライアントのトークンを処理し、特定のクラスタ内でのそれらの相対的な寄与について推論します。
• 時間的アテンション: モジュールは、位置エンコーディングと因果的マスクを用いて過去のグローバルパラメータトークンを処理し、時間的依存関係を学習します。
• クロスアテンション: 空間的トークンと時間的トークンはクロスアテンションを介して統合され、クライアント表現が過去のグローバルコンテキストに注意を向けることを可能にします。
• アイデンティティ認識埋め込み: 断続的なクライアント参加によって引き起こされる時間的スパース性に対処するため、モデルには各クライアントの学習可能なアイデンティティベクトル（埋め込み）が含まれます。これらは「メモリ」として機能し、クライアントが可視でない場合でも、ラウンドを超えて永続的なクライアント固有の特性を捉えます。
• デュエリングアーキテクチャ: Q ネットワークは、学習の安定性を向上させるために、グローバル状態値の推定と特定のクライアントを選択することの相対的優位性を分離します。

主な貢献

1. POMDP フレームワーク: 完全な可視性の仮定と現実世界の制約の間のギャップを明示的に取り扱う、部分的な可視性下でのフェデレーテッドクライアント選択の POMDP としての最初の定式化。
2. 時空間アテンションネットワーク: 過去のグローバルモデルと現在のクライアント観測を統合する新しいアーキテクチャにより、エージェントは不完全な観測にもかかわらずグローバル状態について推論可能になります。
3. アイデンティティ認識メモリ: 断続的な参加にわたってクライアント固有の特性を追跡するメカニズムであり、観測のスパース性の影響を軽減します。
4. 堅牢な DQL 戦略: 離散的で不可逆的な FL クライアント選択の性質に特化した、クライアントごとの分解と多ステップ最適化のアプローチ。

実験結果

提案手法は、2 つの部分的な可視性設定（モバイルサーバーとランダム可用性）および 2 つの異質性レベル（ディリクレ分布とラベルスキュー）の下で、3 つのデータセット（CIFAR-10、Fashion-MNIST、UCI-HAR）で評価されました。

• 性能: 提案手法は、ほぼすべてのシナリオにおいてベースライン（FedProx、HA-EdgeFlow、FedAWAC）と比較して優れた精度を達成しました。既存の手法に対して、平均精度が**3.6% から 7.9%**向上しました。
• 安定性: 収束後の性能変動（標準偏差の低下）が減少し、学習の安定性が向上していることが示されました。
• アブレーション研究:
  • コンテキスト長 ($H$): $H$ が 1（MDP）から 5 に増加するにつれて性能が向上し、歴史的コンテキストの必要性が検証されました。さらに増加させる（$H=8, 10$）と限界効用が減少し、直近の履歴で十分であることを示唆しています。
  • アイデンティティ埋め込み: アイデンティティ認識モジュールを除去すると、重度のラベルスキュー下で精度が大幅に低下し、ディリクレ分布下で変動が増加しました。これは、クライアントのメモリと安定性におけるその役割を確認するものです。

意義と主張

本論文は、部分的な可視性下でのクライアント選択という未充分に研究された問題に対する原理的な解決策を提供すると主張しています。問題を POMDP としてモデル化し、時空間アテンションを活用することで、不完全な観測に起因する情報ギャップを効果的に埋めています。著者らは、このフレームワークが異質的で部分的に可視な環境において特に効果的であり、サーバーが全クライアント集団を観測できない場合に失敗する既存の MDP ベースまたはヒューリスティックな選択戦略に対する堅牢な代替案を提供すると述べています。この研究は、動的な現実世界のエッジ環境においてモデル性能を維持するために、歴史的コンテキストとクライアントアイデンティティのメモリを組み込むことが不可欠であることを実証しています。