Hospital Trust Aggregation for Multi-Hospital Medical Imaging under Non-IID Data and Malicious Clients: A Benchmark and Empirical Assessment

技術要約：複数病院の医療画像における病院信頼度集約（Hospital Trust Aggregation）

問題提起
連合学習（Federated Learning: FL）は、患者記録を交換することなく共有診断モデルを訓練することを可能にし、データのプライバシーと規制上の制約に対処する。しかし、現実世界の臨床コンソーシアムは、標準的な集約プロトコルであるFedAvgを無効化する、二つの複合的な課題に直面している：

1. 深刻なNon-IID（非独立同一分布）の不均一性： 病院のコホートは、紹介パターン、症例構成、およびコホートサイズにおいて大きく異なる。これは、正直な病院が、悪意があるからではなく、そのデータ分布が独特であるために、統計的な外れ値となる更新値を生み出すシナリオを生み出す。
2. 悪意のあるクライアント： 侵害された病院は、データポイズニング、バックドア攻撃、または更新の操作（例：モデル置換）を通じて、グローバルモデルを誘導することができる。

特定された核心的な対立は、攻撃を防ぐために「特異な」更新を破棄する一般的な堅牢な集約ルールが、正当な外れ値（希少な症例を持つ正直な専門センター）と、敵対的な外れ値（侵害されたノード）を区別することに苦慮するという点である。深刻な不均一性の下では、強力な防御メカニズムは、フェデレーションが診断を目指している希少な疾患を保持しているサイトそのものを排除してしまうリスクがある。

手法：病院信頼度集約（Hospital Trust Aggregation: HTA）
著者らは、個別のラウンドではなく、複数のラウンドにわたって病院を評価するように設計されたマルチシグナル信頼ルールであるHospital Trust Aggregation (HTA) を提案している。HTAは、乗算的に融合された3つの有界なシグナル（範囲 [0, 1]）に基づいて各病院のレピュテーションスコアを算出する：

1. 方向的一致性 ($s_h$): 各病院の更新と、全更新の座標ごとの中央値（堅牢な合意方向）との間の、切断されたコサイン類似度。合意方向から外れた更新は、クレジットをゼロとされる。
2. 大きさの妥当性 ($m_h$): 病院の更新ノルムと中央値の更新ノルムの対数比に基づく対称的なペナルティ。これは、膨張した更新（モデル置換）と縮小した更新（フリーライダー）の両方にペナルティを課す。
3. リファレンス・コホート検証 ($v_h$): サーバーは、小規模で精選された、互いに素なリファレンスコホート ($D_{root}$) 上で各病院のローカルモデルを評価する。シグナルは、当該ラウンドの中央値に対して正規化された、このコホートにおけるバランス精度である。これは、更新の方向や大きさを維持しつつも臨床的有用性を低下させるデータレベルの攻撃（例：ラベル反転）を検知する。

レピュテーションおよび除外ロジック:

• 融合: シグナルは $\tau_h = s_h^a m_h^b v_h^c$ として結合される。この乗算的な性質は、一つの次元における不備を他の次元での優秀さで補うことを防ぐため、いずれか一つの次元でスコアがゼロに近い場合、その病院の影響力を抑制することを保証する。
• レピュテーションの平滑化: スコアは指数移動平均（EMA）によって平滑化され、その分散に対してペナルティが課される。これにより、平均スコアを隠蔽するために、あるラウンドでは良識的に振る舞い、別のラウンドでは悪意を持って振る舞うといった「交互」戦略を阻止する。
• 除外基準: 病院は、以下の2つの条件を同時に満たす場合にのみ除外される：
  1. 統計的な外れ値であること（スコア $< \mu - \lambda \cdot \text{MAD}$）。
  2. 合意から実質的に乖離していること（スコア $< \kappa \cdot \mu$）。
     この二重の条件は、不均一な分布の低い裾に位置しているだけの、正直だが特異な病院を排除することを防ぐよう設計されている。

実験設定およびベンチマーク
本論文は、HTAを7つのベースライン（FedAvg, FedProx, Coordinate-wise Median, Trimmed Mean, Krum, Multi-Krum, FLTrust）と比較評価するための再現可能なベンチマークを導入している。

• データセット: DermaMNIST（深刻なクラス不均衡を伴う7クラスの皮膚病理診断）およびPneumoniaMNIST（二値の胸部X線写真）。
• 不均一性: IIDから深刻なラベルスキュー（$\alpha=0.1$）および数量スキューに至る5つのレジーム。
• 攻撃: ラベル反転、バックドア、符号反転、スケーリング、ALIE、IPMを含む6種類の攻撃。敵対者の割合は5%から30%。
• 指標: 臨床的指標（バランス精度、ワーストクラス・リコール、病院ごとの精度）、セキュリティ（攻撃成功率）、および公平性。

主な結果

1. 不均一性 vs 敵対者: 不均一性が支配的な課題である。IIDから深刻なラベルスキュー（$\alpha=0.1$）への移行は、バランス精度を16.4ポイント低下させたのに対し、敵対者は7.2ポイントの低下をもたらした。
2. HTAの性能:
   • データレベルの攻撃: HTAは、ラベル反転やバックドア攻撃において、多くの場合で最高のベースラインと同等か、それ以上の性能を示し、競争力を持つ。
   • 更新レベルの攻撃: 符号反転およびスケーリング攻撃において、HTAはMulti-Krumに大幅に劣る（それぞれ4.9および6.7ポイントの差）。Multi-Krumの幾何学的な一貫したサブセットの選択は、更新の幾何学が操作された場合、HTAの再重み付け戦略よりも効果的であることが証明された。
   • スケール: 20病院の規模において、HTAはMulti-Krumに対して5.7ポイント敗退する。
   • 第二のコホート: PneumoniaMNISTにおいて、HTAはすべての条件下でFLTrustに12〜19ポイント下回る。これは、タスクの二値性が検証シグナルの識別力を低下させていることに起因する。
3. クリーンな精度: 堅牢性がクリーンな精度を犠牲にするという一般的な信念に反して、ほとんどの堅牢なルール（HTAを含む）は、FedAvgよりも高いクリーン精度を達成した（例：HTAは+4.6ポイント、Multi-Krumは+5.9ポイント）。これは分散の減少に起因する。堅牢なルールは、不均一な設定における極端な正直な外れ値からのノイズを減衰させる。
4. アブレーション研究の知見:
   • 大きさのシグナル: 更新の大きさのシグナル（$m_h$）は、どちらの攻撃タイプにおいても測定可能な利益を全くもたらさなかった。これを除去しても性能は低下しなかった。著者らは、ディリクレ・スキューの下では、特異なノルムが攻撃の指標であるのと同様に、希少な正直な症例構成の指標でもあるため、このシグナルは情報価値がなく、潜在的に有害であると結論づけている。
   • レピュテーションと方向: レピュテーションのメモリと方向的一致性が、性能の主要な推進力であった。
5. 検知の失敗: 深刻な不均一性とラベル反転の下では、正直な病院と悪意のある病院のレピュテーションスコアは完全に収束し、重複した。ルールは、両方の集団を分離することには成功しなかった。その成功は、敵対者を検知したことによるものではなく、分散を減衰させたことによるものであった。

意義および主張
本論文は、自身を新しい最先端の解決策としてではなく、ベンチマークおよびネガティブな結果として位置づけている。

• ベンチマーク: 臨床的指標（バランス精度、公平性）とセキュリティ指標を統合した厳格で再現可能な評価フレームワークを提供し、最小クラスのリコールを犠牲にする防御がいかに臨床的に無用であるかを明らかにしている。
• ネガティブな結果: 著者らは、更新の大きさに基づく信頼シグナルは、医学的に現実的な不均一性の中では生き残れないと結論づけている。さらに、これらのシグナルに基づいたレピュテーションシステムは、データレベルの攻撃が発生する不均一な設定において、正直な病院と悪意のある病院を区別することに失敗する。
• メカニズムの明確化: HTAおよびその他の堅牢なルールによって観察された利益は、敵対者の検知ではなく、分散の減衰（正直な外れ値のノイズを抑制すること）に由来する。
• 今後の方向性: 著者らは、有効なコンポーネントはノルム・クリッピングを伴う方向的一致性に駆動されたレピュテーションシステムであり、大きさのシグナルは削除すべきであると示唆している。また、信頼シグナルを知っている適応的な敵対者への対策や、一回ごとの更新の検査と、セキュアな集約のようなプライバシー保護技術との間の緊張関係に対処する必要性を強調している。