FedCC: Towards Addressing Label Distribution Skews in Distillation-Based Federated Learning

技術要約: FedCC – 蒸留ベースの連合学習におけるラベル分布の歪みへの対処

問題提起
蒸留ベースの連合学習（Federated Learning: FL）は、モデルの重みではなく公開データセット上の予測ベクトル（ロジット）を交換することで、通信効率の高い代替手段を提供します。しかし、この手法は決定的な課題に直面しています。それは**ラベル分布の歪み（label distribution skew）**です。現実世界のシナリオでは、クライアントのデータはしばしば不均一であり、その結果、ローカルモデルは多数派クラスに過学習し、少数派クラスや完全に欠落しているクラスを過小評価または無視してしまう傾向があります。

蒸留ベースのFLでは、クライアントはラベルのない公開データセットから得られた予測ベクトルをアップロードします。サーバーは、この公開データに対する正解ラベル（グラウンドトゥルース）を持っていないため、ローカルのバイアスを補正するために予測を較正することができません。その結果、既存の手法（例：FedDF）は、これらの偏ったローカル予測を単に平均化してしまい、エラーの伝播を引き起こします。これにより、グローバルモデルが個々のクライアントの多数派クラスへのバイアスを継承してしまいます。これは、クライアントが単一のクラスのデータしか保持していないような極端な歪みのシナリオにおいて、グローバルな性能低下を招きます。

手法: FedCC
著者らは、ラベルの歪みをオープンセット認識問題として扱うことで、クライアントの誤分類を軽減するように設計された、シンプルかつ効果的なアルゴリズムであるFedCCを提案しています。核心となる革新は、ラベル空間に補助的な**「未知（unknown）」クラス**（$u$）を導入することであり、これによりクライアントが誤った分類を強制されるのではなく、不確実性を認めることを可能にします。

本手法は、以下のメカニズムを通じて動作します。

1. 拡張されたラベル空間と疑似ラベル付け:

   • ラベル空間を $C$ から $C \cup \{u\}$ へ拡張します。
   • クライアントは、ラベル付きローカルデータ（$D_l$）と、ラベルなしのグローバル公開データセット（$D_u$）に対して、**半教師あり学習（Semi-Supervised Learning: SSL）**の目的関数を利用します。
   • $D_u$ のすべてのサンプルに対してハードなクラスラベルを割り当てる代わりに、システムは較正された疑似ラベルを生成します。サンプルがクライアントの「多数派」クラスに属する可能性が高い場合は、標準的なクラスラベルが付与されます。もしそれが少数派または欠落しているクラスに属する場合は、「未知」クラスが割り当てられます。
   • 疑似ラベルは確率ベクトルとして定式化されます：$\hat{y}(x_u) = \alpha(x_u) \cdot e_{m(x_u)} + (1 - \alpha(x_u)) \cdot e_u$。ここで、$e$ はワンホットベクトルを表します。

2. エントロピーに基づく重み付け ($\alpha$):

   • 重み付け係数 $\alpha(x_u)$ は、特定のクラスへの割り当てと「未知」クラスとのバランスを決定します。
   • 決定的なことに、$\alpha$ はプライバシー漏洩を避けるためにクラス確率ではなくエントロピーから導出されます。これは以下の要素を組み合わせたものです：
     • $w_l$: クライアントの既知の多数派クラスへのバイアス（特徴量のない入力を通じて測定）のエントロピー。
     • $w_u$: 未知クラスに割り当てられる最大不確実性。
     • $w_{x_u}$: サンプル固有の確信度（予測のエントロピー）。
   • 最終的な重み $\alpha(x_u) = \frac{w_l - w_{x_u}}{w_l + w_u}$ は、不確実なサンプルを「未知」クラスへと退け、モデルが多数派クラスへの過学習を行ったり、少数派サンプルに対して自信を持った誤分類を行ったりすることを防ぎます。

3. 連合学習パイプライン:

   • ローカルステップ: クライアントは、ラベル付きデータに対するクロスエントロピー損失と、生成された疑似ラベルを用いたラベルなし公開データに対する重み付き損失を用いて、ローカルモデルを最適化します。
   • 集約ステップ: クライアントは、予測ベクトル（「未知」クラスの確率を含む）をサーバーにアップロードします。
   • サーバーステップ: サーバーは、クライアントの既知クラスに対する確信度（具体的には $1 - \hat{y}_u$）に基づいた重みを用いて、これらのベクトルを集約します。「未知」成分はゼロアウトされ、残りの $C$ クラスは次ラウンドのグローバル・ソフトターゲットを形成するために再正規化されます。
   • 推論: 最終的なグローバルな予測は、クライアントモデルのアンサンブルであり、元の $C$ クラスの中から最も確率の高いラベルを選択します。

主な貢献

• オープンセット定式化: 本論文は、ラベル分布の歪みをオープンセット認識問題として再定義し、少数派および欠落したクラスを吸収するための「未知」クラスを導入することで、強制的な誤分類を防ぎます。
• 較正された疑似ラベル付け: ラベルのない公開データに対して、不確実性を明示的に考慮した疑似ラベルを生成する新しい手法を提案しています。これは暗黙的な正則化として機能し、ラベル付きの公開データを必要とせずに、多数派クラスへの過学習を軽減します。
• 極端な歪みへの堅牢性: このアプローチは、クライアントが単一のクラスのデータしか保持していない場合でも効果的に機能するように設計されており、従来の蒸留手法が失敗するシナリオに対応しています。

実験結果
著者らは、ディリクレ分布（$\eta = 0.05$）や病理的な分割（各クライアントが1つまたは2つのクラスのみを保持）を含む様々な歪みシナリオの下で、CIFAR-10、CIFAR-100、および TinyImageNet に対して FedCC を評価しました。

• 性能差: FedCC は、パラメータベース（例：FedAvg, FedProx）および蒸留ベース（例：FedDF, FedMD）の最先端のベースラインを一貫して上回りました。ラベルの歪みがより深刻になるにつれ、性能差は拡大しました。
• 極端なシナリオ: 最も困難な設定（各クライアントが1つのクラスのみを保持する CIFAR-10）において、ベースライン手法はランダムな推測に近いレベルまで崩壊しました（精度 $\le 12.7\%$）。対照的に、FedCC は 67.3% の精度を達成しました。
• ローカル vs グローバル: FedCC は、グローバルな汎化性能と、少数派クラスにおけるローカルモデルの性能の両方を向上させました。
• 視覚的分析: T-SNE 可視化と決定マージン・ヒストグラムは、ベースラインが崩壊した特徴空間と負のマージンを示すのに対し、FedCC が学習されたクラスを「未知」領域から効果的に分離し、正の決定マージンを維持していることを示しました。

意義と主張
本論文は、FedCC が、蒸留ベースの FL における根本的な限界、すなわち「公開データセットに対する正解ラベルなしでバイアスを修正できない」という問題に対する、シンプルかつ効果的な解決策を提供すると主張しています。クライアントが「未知」クラスを通じて不確実性を表明できるようにすることで、FedCC は集約時における誤解を招く更新の伝播を防ぎます。著者らは、ロジットの交換のみに依存するこの軽量なアプローチは、不均一なデバイスを持つ通信ネットワークへの展開に適しており、既存の手法が深刻なデータ不均一性の下で失敗する場面でも堅牢な性能を発揮すると主張しています。