技術要約：生成の「場所」が重要である：ラベル歪みの存在する連合学習のための予算を考慮した合成拡張

問題提起

ラベル歪み（クライアントが保持するローカルなクラス分布が不均衡である状態）は、連合学習（FL）における根本的な課題であり、クライアントのドリフトを引き起こし、グローバルモデルの精度を低下させます。既存の合成データ拡張手法は、欠落しているサンプルを生成することでこれを修正しようと試みていますが、支配的なポリシーである**「完全クラス・バランシング（Full Class Balancing）」**は、すべてのクラスがクライアントの最大クラスと同じサイズに達するまで、すべてのクライアントにサンプルを生成させることを要求します。

このアプローチは計算コストが非常に高いものです。本論文で示されている通り、標準的なCIFAR-10のパーティション（クライアント数20、高歪み $\alpha=0.1$）において完全なバランシングを実現するには、226,000個以上の合成サンプルを生成する必要があります。さらに、既存の予算制約付き手法は、生成リソースを均一に、あるいはクライアントのデータサイズに基づいて割り当てることが多く、特定のラベル分布の歪みを無視しています。著者らは、重要な問いは「どれだけの量を生成するか」ではなく、固定された予算内で精度を最大化するために、サンプルを**「どこへ（WHERE）」**送るべきかであると主張しています。

手法：FedEAS

本論文では、FedEAS（Federated Entropy-Adaptive Synthesis）を提案します。これは、各クライアントのローカルなラベル分布に基づいて、クラスごとの生成予算を動的に割り当てるポリシーです。総生成予算を事前に固定する従来のメソッドとは異なり、FedEASは個々のクライアント予算の合計から総生成予算を導出します。

コアメカニズム

FedEASは、クライアントのドリフトと不均衡の減少に関する分析から得られた3つの主要な観察に基づいています：

1. 不均衡は集中している： 極端に歪んだ少数のクライ社のサブセットが、グローバルな不均衡に不釣り合いなほど寄与している。
2. ターゲットを絞った生成は効率的である： 不均衡は、希少なクラスや欠落しているクラスにサンプルが追加されたときにのみ減少する。すでに豊富なクラスにサンプルを追加しても、収益は逓減またはマイナスとなる。
3. 収穫逓減： 分布がよりバランスに近づくにつれて、不均衡を取り除くためのコストは増加する。完全なバランシングは、大幅な精度向上には必ずしも必要ではない。

エントロピー適応型予算ルール

各クライアント $k$ について、FedEASは以下の式を用いてクラスごとの生成予算 $b_k$ を計算します：

$$b_k = \lfloor \sqrt{\bar{n}_k} \cdot (1 - \tilde{H}_k) \cdot \beta \rfloor$$

ここで：

• $\bar{n}_k = N_k / C$ は、クライアント $k$ のクラスあたりの平均カウント。
• $\tilde{H}_k$ は、クライアントのローカルなラベル分布の正規化されたシャノン・エントロピー（高度に歪んだ場合は0、完全にバランスが取れている場合は1）。
• $\beta$ は、すべてのクライアントで共有されるスカラー予算パラメータ。
• 項 $(1 - \tilde{H}_k)$ は、高度に歪んだクライアントにより大きな予算を割り当てる一方で、ほぼバランスが取れた、あるいはIIDなクライアントにはほとんど予算を与えないことを保証します（極限では標準的なFedAvgに帰着します）。
• $\sqrt{\bar{n}_k}$ 項は、大規模なクライアントへの過剰な割り当てを防ぐため、クライアントサイズに対して劣線形に予算をスケールさせます。

生成と学習

$b_k$ が計算されると、クライアントはローカルカウント $n_k^c < b_k$ であるクラス $c$ に対してのみ、合成サンプルを生成します。クラス $c$ に対して生成されるサンプル数は $n_{k, \text{gen}}^c = \max\{0, b_k - n_k^c\}$ です。この「閾値までの充填（fill-to-threshold）」戦略により、サンプルは欠落または希少なクラスに対してのみ排他的に向けられます。生成は、事前学習済みのクラス条件付き拡散確率モデル（DDPM）を使用してクライアントごとに一度行われ、生成されたサンプルは以降のすべての学習ラウンドで使用するためにキャッシュされます。

主な貢献

1. エントロピー適応型予算割り当て： FedEASは、ローカルのラベル歪みに基づいて、合成データの量とその分布（「どこへ」）の両方を決定するポリシーを導入しました。これにより、歪みの大きいクライアントに大きな予算を割り当て、希少なクラスのみをターゲットにします。
2. 生成効率の高い精度向上： 本手法は、完全クラス・バランシングに伴う精度の利得の大部分を回収しながら、総生成予算を94.1%削減します（例：CIFAR-10において13,437サンプル vs 226,783サンプル）。これは、単一GPUでのエンドツーエンドの実行時間を3.7倍短縮することに相当します。
3. 割り当ての優位性： マッチド予算プロトコル（すべての手法が同じ総数の生成サンプルを使用する場合）の下で、FedEASはUniformな割り当てに対し、CIFAR-10およびCIFAR-100で最大18.82%上回る性能を示しました。また、「欠落クラスのみ（Missing-only）」の生成ポリシーよりも最大2倍速く収束します。

実験結果

著者らは、ディリクレ・ラベル歪み（$\alpha \in \{0.05, 0.1, 0.3\}$）の下、異なるクライアント数（$K=20, 100$）を用いて、CIFAR-10およびCIFAR-100でFedEASを評価しました。

• 精度 vs 予算： CIFAR-10 ($\alpha=0.1, K=20$) において、FedEASは**71.65%**の精度を達成し、完全バランシング（79.91%）による利得の3分の2を、合成サンプルのわずか5.9%の使用で回収しました。
• ベースラインとの比較： FedEASは、標準的なFLベースライン（FedAvg, FedProx, SCAFFOLD, MOON）および拡張ベースライン（Uniform, Missing-only）を一貫して上回りました。
• 予算感度： 精度は予算パラメータ $\beta$ とともに単調に上昇することが示されました。著者らは、初期の不均衡スコアの少なくとも50%を除去しつつ、合成サンプルを総学習データの25%未満に抑えるという2つの条件を満たす $\beta=12$ をデフォルトとして選択しました。
• アブレーション研究： エントロピー項を削除するか、あるいは線形ルールで劣線形サイズスケーリングを置き換えると、精度が低下し生成コストが増大したため、予算式における両方のコンポーネントの必要性が確認されました。

意義と主張

本論文は、ラベル歪みのあるFLにおける合成拡張の主要な設計問題は**「割り当て（allocation）」**であると主張しています。著者らは、総生成予算は事前に決定された固定の制約ではなく、ローカル分布から導き出される各クライアントのニーズの結果であるべきだと主張しています。

「完全なバランシング」から「エントロピー適応型予算策定」へと焦点を移すことで、FedEASは最小限の合成データ生成で大幅な精度向上を実現できることを実証しました。この手法はジェネレータに依存せず（任意のクラス条件付きジェネレータと互換性がある）、標準的なFLの通信プロトコルや集約重みの変更を必要としないため、不均質な環境におけるクライアントドリフトを緩和するための実用的かつ効率的なソリューションとなります。