Hospital Trust Aggregation for Multi-Hospital Medical Imaging under Non-IID Data and Malicious Clients: A Benchmark and Empirical Assessment

Technisches Resümee: Hospital Trust Aggregation für die Multi-Hospital-Bildgebung

Problemstellung
Federated Learning (FL) ermöglicht es Krankenhäusern, gemeinsam diagnostische Modelle zu trainieren, ohne Patientendaten auszutauschen, was Datenschutzbestimmungen und regulatorische Einschränkungen adressiert. Reale klinische Konsortien stehen jedoch vor zwei kumulierenden Herausforderungen, die Standard-Aggregationsprotokolle wie FedAvg untergraben:

1. Starke Non-IID-Heterogenität: Die Kohorten der Krankenhäuser unterscheiden sich signifikant in Bezug auf Überweisungsmuster, Fallmischungen und Kohortengrößen. Dies schafft ein Szenario, in dem ein ehrliches Krankenhaus mit einer seltenen oder ungewöhnlichen Fallmischung Modell-Updates produziert, die statistische Ausreißer sind – nicht weil sie bösartig sind, sondern weil ihre Datenverteilung einzigartig ist.
2. Bösartige Clients: Ein kompromittiertes Krankenhaus kann das globale Modell durch Data Poisoning, Backdoor-Angriffe oder Update-Manipulation (z. B. Model Replacement) steuern.

Die identifizierte Kernspannung besteht darin, dass robuste Aggregationsregeln, die typischerweise „ungewöhnliche“ Updates verwerfen, um sich gegen Angriffe zu verteidigen, Schwierigkeiten haben, zwischen einem legitimen Ausreißer (einem ehrlichen Spezialisierungszentrum mit seltenen Fällen) und einem hostilen Ausreißer (einem kompromittierten Knoten) zu unterscheiden. Unter schwerer Heterogenität riskieren aggressive Abwehrmechanismen, genau jene Standorte auszuschließen, die die seltenen Erkrankungen, die das Föderationsziel darstellen, behandeln sollen.

Methodik: Hospital Trust Aggregation (HTA)
Die Autoren schlagen die Hospital Trust Aggregation (HTA) vor, eine Multi-Signal-Vertrauensregel, die Krankenhäuser über mehrere Runden hinweg bewertet, anstatt sie isoliert zu betrachten. HTA berechnet einen Reputationswert für jedes Krankenhaus basierend auf drei begrenzten Signalen (Bereich [0, 1]), die multiplikativ fusioniert werden:

1. Richtungsübereinstimmung ($s_h$): Die rechtwinklige Kosinus-Ähnlichkeit zwischen dem Update eines Krankenhauses und dem koordinierten Median aller Updates (eine robuste Konsensrichtung). Updates, die von der Konsensrichtung wegzeigen, erhalten keinen Credit.
2. Magnituden-Plausibilität ($m_h$): Eine symmetrische Strafe basierend auf dem logarithmischen Verhältnis der Norm des Updates eines Krankenhauses zum Median der Update-Normen. Dies bestraft sowohl aufgeblähte Updates (Model Replacement) als auch geschrumpfte Updates (Free-Riding).
3. Referenz-Kohorten-Validierung ($v_h$): Der Server evaluiert das lokale Modell des Krankenhauses auf einer kleinen, kuratierten, disjunkten Referenzkohorte ($D_{root}$). Das Signal ist die Balanced Accuracy auf dieser Kohorte, normalisiert gegen den Median der aktuellen Runde. Dies detektiert datenbasierte Angriffe (z. B. Label Flipping), die die Richtung und Magnitude der Updates beibehalten, aber den klinischen Nutzen verschlechtern.

Reputation und Ausschlusslogik:

• Fusion: Die Signale werden kombiniert als $\tau_h = s_h^a m_h^b v_h^c$. Die multiplikative Natur stellt sicher, dass ein Wert nahe Null in einer einzelnen Dimension den Einfluss eines Krankenhauses unterdrückt, wodurch verhindert wird, dass ein Akteur ein Versagen in einer Dimension durch Exzellenz in einer anderen kompensiert.
• Reputations-Glättung: Der Score wird mittels eines exponentiellen gleitenden Durchschnitts (EMA) geglättet und durch seine eigene Varianz bestraft. Dies soll „alternierende“ Strategien abschrecken, bei denen ein Angreifer in einigen Runden harmlos und in anderen bösartig agiert, um seinen mittleren Score zu maskieren.
• Ausschlusskriterien: Ein Krankenhaus wird nur ausgeschlossen, wenn es zwei Bedingungen gleichzeitig erfüllt:
  1. Es ist ein statistischer Ausreißer (Score $< \mu - \lambda \cdot \text{MAD}$).
  2. Es liegt materiell unter dem Konsens (Score $< \kappa \cdot \mu$).
     Diese duale Bedingung ist darauf ausgelegt, ehrliche, aber atypische Krankenhäuser auszuschließen, die lediglich im unteren Ende einer heterogenen Verteilung liegen.

Experimentelles Setup und Benchmark
Das Paper führt einen reproduzierbaren Benchmark ein, um HTA gegen sieben Baselines (FedAvg, FedProx, Coordinate-wise Median, Trimmed Mean, Krum, Multi-Krum, FLTrust) zu evaluieren.

• Datensätze: DermaMNIST (7-Klassen-Dermatologie mit schwerer Klassenimbalance) und PneumoniaMNIST (binäre Thorax-Radiographie).
• Heterogenität: Fünf Regime, die von IID bis hin zu schwerer Label-Skew ($\alpha=0.1$) und Quantitäts-Skew reichen.
• Angriffe: Sechs Angriffe, einschließlich datenbasierter Angriffe (Label Flipping, Backdoor) und updatebasierter Angriffe (Sign Flipping, Scaling, ALIE, IPM), mit Angreiferanteilen von 5 % bis 30 %.
• Metriken: Klinisch (Balanced Accuracy, Worst-Class Recall, Per-Hospital Accuracy), Sicherheit (Attack Success Rate) und Fairness.

Wichtige Ergebnisse

1. Heterogenität vs. Angreifer: Heterogenität ist die dominierende Herausforderung. Der Übergang von IID zu schwerer Label-Skew ($\alpha=0.1$) verursachte einen Einbruch der Balanced Accuracy um 16,4 Punkte, während Angreifer einen Einbruch um 7,2 Punkte verursachten.
2. Performance von HTA:
   • Datenbasierte Angriffe: HTA performt kompetitiv und liegt oft gleichauf oder führt gegenüber den besten Baselines bei Label Flipping und Backdoor-Angriffen.
   • Update-basierte Angriffe: HTA wird von Multi-Krum bei Sign Flipping und Scaling-Angriffen signifikant übertroffen (Differenzen von 4,9 und 6,7 Punkten, jeweils). Die geometrische Selektion eines kohärenten Subsets durch Multi-Krum erweist sich als effektiver als die Reweighting-Strategie von HTA, wenn die Geometrie der Updates manipuliert wird.
   • Skalierung: Bei 20 Krankenhäusern verliert HTA um 5,7 Punkte gegenüber Multi-Krum.
   • Zweite Kohorte: Bei PneumoniaMNIST schneidet HTA gegenüber FLTrust in allen Bedingungen um 12–19 Punkte schlechter ab, was auf die binäre Natur der Aufgabe zurückgeführt wird, welche die diskriminative Kraft des Validierungssignals reduziert.
3. Clean Accuracy: Entgegen der verbreiteten Annahme, dass Robustheit zu Lasten der Clean Accuracy geht, erreichten die meisten robusten Regeln (einschließlich HTA) eine höhere Clean Accuracy als FedAvg (z. B. HTA +4,6 Punkte, Multi-Krum +5,9 Punkte). Dies wird der Varianzreduktion zugeschrieben: Robuste Regeln dämpfen das Rauschen durch extreme, ehrliche Ausreißer in heterogenen Settings.
4. Ablationsstudien:
   • Magnituden-Signal: Das Update-Magnituden-Signal ($m_h$) lieferte keinen messbaren Nutzen unter keinem Angriffstyp. Die Entfernung dieses Signals degradierte die Performance nicht. Die Autoren kommen zu dem Schluss, dass unter Dirichlet-Skew eine ungewöhnliche Norm ebenso zuverlässig ein Indikator für einen Angriff wie für eine seltene ehrliche Fallmischung ist, was dieses Signal uninformativ und potenziell schädlich macht.
   • Reputation & Richtung: Die Reputations-Speicherung und die Richtungsübereinstimmung waren die primären Treiber der Performance.
   • Detektionsversagen: Unter schwerer Heterogenität und Label Flipping konvergierten und überlappten die Reputationsscores für ehrliche und bösartige Krankenhäuser vollständig. Die Regel konnte die beiden Populationen nicht erfolgreich trennen; ihr Erfolg beruhte auf der Dämpfung der Varianz statt auf der Detektion von Angreifern.

Signifikanz und Ansprüche
Das Paper positioniert sich nicht als neue State-of-the-Art-Lösung, sondern als Benchmark und negatives Resultat.

• Der Benchmark: Es bietet ein rigoroses, reproduzierbares Evaluierungs-Framework, das klinische Metriken (Balanced Accuracy, Fairness) mit Sicherheitsmetriken integriert und zeigt, dass Defenses, die den Recall der Minderheitenklassen opfern, klinisch nutzlos sind.
• Das negative Resultat: Die Autoren kommen zu dem Schluss, dass ein Vertrauenssignal basierend auf der Update-Magnitude unter medizinisch realistischer Heterogenität nicht Bestand hat. Zudem scheitert ein Reputationssystem, das auf diesen Signalen basiert, bei datenbasierten Angriffen in heterogenen Settings an der Unterscheidung zwischen ehrlichen und bösartigen Krankenhäusern.
• Klärung des Mechanismus: Der beobachtete Nutzen von HTA und anderen robusten Regeln resultiert aus der Varianzdämpfung (Unterdrückung des Rauschens ehrlicher Ausreißer) statt aus der Angreiferdetektion.
• Zukünftige Ausrichtung: Die Autoren schlagen vor, dass die effektive Komponente ihres Verfahrens ein Reputationssystem ist, das durch Richtungsübereinstimmung mit Norm-Clipping getrieben wird, während das Magnituden-Signal entfernt werden sollte. Sie betonen die Notwendigkeit zukünftiger Arbeit gegen adaptive Angreifer, die die Vertrauenssignale kennen, sowie die Adressierung des Spannungsverhältnisses zwischen per-Update-Inspektion und datenschutzwahrenden Techniken wie Secure Aggregation.