技術要約: FED-FBD

問題提起

連合学習（Federated Learning: FL）は、生の患者記録を共有することなく、分散された医療データ上で協調的なモデル訓練を可能にします。しかし、FedAvg、FedProx、FedNovaといった主流の手法は、クライアントをブラックボックスとして扱うため、現実的な医療現場の展開において3つの重大な脆弱性を引き起こします。

1. 隔離の欠如: 単一の敵対的クライアントやラベル誤りが、すべてのクライアントの勾配がすべてのパラメータに寄与しているため、グローバルモデル全体を汚染する可能性があります。
2. 脆弱なプライバシー保証: 標準的なFLには固有のプライバシー保護機能がなく、保護は差分プライバシーやセキュア集計のような「後付け」のメカニブルに依存しています。
3. 非効率的なアンラーニング（学習消去）: 参加者の「忘れられる権利」を尊重する場合、通常はモデルを一から再学習させるか、高価な近似手法を用いる必要があります。

著者らは、これらの問題の共通の根源は、**「すべての重みが共有リソースである」**という点にあると主張しています。もしパラメータが小さな既知のクライアント集合によって所有されていれば、汚染は構造的に封じ込められ、記憶（メモライゼーション）は構造的に制限され、クライアントの削除は集合演算へと簡略化できるはずです。

手法: FED-FBD

本論文では、ResNetのバックボーンを6つの機能ブロック（ステム、4つの残差グループ、および分類ヘッド）に分解するモジュール型アーキテクチャ、FED-FBD (Federated Functional Block Diversification) を提案しています。

コア・アーキテクチャ

• ウェアハウス（倉庫）: サーバーは、$N$個の「カラー・バリアント（完全なモデル）」のウェアハウスを保持します。各カラーは、各機能的ポジションにおける1つのブロックから組み立てられます。
• コントリビューター・スタンプ（貢献者刻印）: 各ブロックの重みテンソルには、一意のハッシュ値と、その更新に寄与した特定のクライアントIDを記録したトレーニング・トレースが割り当てられます。
• 出荷計画（Shipping Plan）: 事定義された計画により、各クライアントは既知のカラーのサブセットにのみ制限されます。例えば、6クライアント・6カラーの設定において、クライアント0はカラー $M_0, M_1, M_2$ のブロックへの書き込みのみが許可されます。その結果、カラー $M_3, M_4, M_5$ は、クライデックス0からアーキテクチャ的に隔離されます。
• 訓練目的関数: クライアントは、クロスエントロピー精度と、KLダイバージェンス項を組み合わせた損失関数を最小化します。KL項は、クライアントの予測を、ランダムに選択された異なるパラメータを持つ「兄弟」カラーへと引き寄せ、機能的多様性を促進し、崩壊を防ぎます。
• サーバー・プロトコル: サーバーは、重みの加重平均ではなく、ブロック重みの**直接置換（direct replacement）**を行います。クライアントが更新されたブロックを返すと、その特定のブロックとカラーの交点にある既存のテンソルが上書きされます。

主要メカニズム

1. ブロックレベルの隔離: ブロックが直接上書きされるため、クライアントの出荷計画から除外されたブロックには、そのクライアントのデータに由来する情報が数学的に決して含まれないことが保証されます。
2. 外科的アンラーニング（Surgical Unlearning）: クライアントを削除する場合、サーバーはクライアントが貢献者となっているすべてのブロックを特定し、それらを該当する位置における残りの「クリーンな」カラーの平均値で置き換えます。これには再学習を必要としません。
3. 推論ルーティング: 推論時には、サンプルごとに最も信頼できるカラーに予測をルーティングするか、アンサンブルを平均化することができます。これにより、事後的に汚染されたカラーを除外することが可能です。

主な貢献

1. アーキテクチャによる隔離: FED-FBDは、完全なブロックレベルの隔離を提供します。実験によれば、深刻な敵対的攻撃（ラベル反転、ノイズ注入）の下でも、「クリーンな」カラー（攻撃者が触れることのできないカラー）は、AUCにおいて $\pm 0.01$ 以内の偏差しか示しませんが、汚染されたカラーは著しく低下します。
2. 設計によるプライバシー（Privacy-by-Design）: 本フレームワークは、構造的にメモライゼーションを抑制します。明示的なプライバシーメカニズムを適用する前であっても、メンバーシップ推論攻撃（MIA）のアドバンテージは偶然と同等（$0.50 \pm 0.01$）であり、これは単一のブロックが個々のサンプルを記憶するのに十分なデータを見ることができないためです。
3. サブ秒単位のアンラーニング: 本論文は、集約ブロック置換による「外科的」な機械学習消去を実証しています。これは、再学習の必要なく、実時間で1秒未満でクライアントの寄与を正確に削除し、ユーティリティ損失を $0.25\%$ AUC未満に抑えます。
4. 相転移の特性評価: 著者らは、「クライアントあたりのデータ量 $\times$ ヘテロジェニティ（不均質性）」の相転移を特定しました。FED-FBDは、クライアントが十分なデータ（例：$\ge 15,000$ サンプル）を持ち、高いヘテロジェニティ（$\alpha=0.25$）がある場合でも、FedAvgに対して競争力のある性能（$\sim 4\%$ 以内）を発揮しますが、非常に小さなデータセットと高い歪みの下では性能が崩壊します。

実験結果

実験は、6つのMedMNIST-2Dデータセット、解像度 $224\times224$ のPathMNIST、およびCIFAR-10を用いて、6クライアント・100通信ラウンドで行われました。

• 精度のトレードオフ: 十分なサイズのデータセットにおいて、FED-FBDはその安全性の保証と引き換えに、FedAvgに対して $0.3\%$～$3.1\%$ というわずかな精度の差を受け入れます。PathMNIST ($224\times224$) では、この差は $1.2\%$ まで縮まります。
• Non-IID性能: 軽微なヘテロジェニティ（$\alpha=1.0$）の下で、FED-FBDは4つのデータセットのうち3つにおいて、FedAvgの $0.8\%$～$4.0\%$ 以内の範囲に留まっています。極端な歪みがある小さなデータセットでは性能が低下しますが、サンプル数が増えるにつれてその差は縮まります。
• 敵対的堅牢性: 6つの攻撃構成において、クリーンなカラーは隔離されたままでした。検証損失に対する単純なサーバー側のzスコア計算により、$39\%$～$76\%$ の攻撃を低い偽陽性率で検出できました。
• アンラーニングの効率: アンラーニング操作は1秒未満で完了し、無視できる程度のAUC損失（最悪の場合 $-0.0022$）しか生じませんでした。

意義と主張

本論文は、FED-FBDが、連合学習のパラダイムを「確率的な」安全性（堅牢な集約やノイズに依存するもの）から、「構造的な」安全性へとシフトさせると主張しています。パラメータの所有権を粒度細かく明示的にすることで：

• 汚染は単に「起こりにくい」のではなく、「不可能」になります。
• アンラーニングは、最適化問題ではなく、ルックアップと集約の操作となります。
• プライバシーは、アドオンではなく、アーキテクチャに内在します。

著者らは、FED-FBDを、特に病院ネットワークの厳格なデータガバナンスのニーズに応えるためのソリューションとして位置付けています。これは、高価な再学習を回避しながら、汚染されたクライアントや削除要求に対処するための実行可能な方法を提供します。彼らは、固定された出荷計画や、排他的に所有されたブロックに対してのみ正確なアンラーニングが可能であるといった限界も認めていますが、隔離性と監査可能性が極めて重要なハイステークスな医療用途においては、精度のトレードオフは正当化されると主張しています。