Hospital Trust Aggregation for Multi-Hospital Medical Imaging under Non-IID Data and Malicious Clients: A Benchmark and Empirical Assessment

Technische Samenvatting: Hospital Trust Aggregation voor Multi-Ziekenhuis Medische Beeldvorming

Probleemstelling
Federated learning (FL) maakt het mogelijk voor ziekenhuizen om gedeelde diagnostische modellen te trainen zonder patiëntgegevens uit te wisselen, wat de privacy en regelgevende beperkingen adresseën. Echter, echte klinische consortia worden geconfronteerd met twee cumulerende uitdagingen die standaard aggregatieprotocollen zoals FedAvg ondermijnen:

1. Ernstige Non-IID Heterogeniteit: Ziekenhuiscohorten verschillen aanzienlijk in verwijzingspatronen, casemix en cohortgroottes. Dit creëert een scenario waarin een eerlijk ziekenhuis met een zeldzame of ongebruikelijke casemix updates produceert die statistische uitschieters zijn, niet omdat ze kwaadwillend zijn, maar omdat hun datadistributie uniek is.
2. Kwaadwillende Clients: Een gecompromitteerd ziekenhuis kan het globale model sturen via datavergiftiging (data poisoning), backdoor-aanvallen of update-manipulatie (bijv. modelvervanging).

De kernspanning die is geïdentificeerd, is dat robuuste aggregatieregels, die doorgaans "ongebruikelijke" updates verwerpen om aanvallen te verdedigen, moeite hebben om een legitieme uitschieter (een eerlijk specialistencentrum met zeldzame gevallen) te onderscheiden van een kwaadwillende uitschieter (een gecompromitteerde node). Onder extreme heterogeniteit riskeren agressieve defensiemechanismen juist de locaties uit te sluiten die de zeldzame condities bevatten die de federatie beoogt te diagnosticeren.

Methodologie: Hospital Trust Aggregation (HTA)
De auteurs stellen Hospital Trust Aggregation (HTA) voor, een multi-signaal vertrouwensregel die ziekenhuizen over meerdere rondes evalueert in plaats van in isolatie. HTA berekent een reputatiescore voor elk ziekenhuis op basis van drie begrensde signalen (bereik [0, 1]), die multiplicatief worden samengevoegd:

1. Directional Agreement ($s_h$): De gerectificeerde cosinus-gelijkenis tussen de update van een ziekenhuis en de coördinaat-gewijze mediaan van alle updates (een robuuste consensusrichting). Updates die afwijken van de consensusrichting ontvangen nul krediet.
2. Magnitude Plausibility ($m_h$): Een symmetrische straf gebaseerd op de logaritmische ratio van de update-norm van een ziekenhuis ten opzichte van de mediaan van de update-norm. Dit straft zowel opgeblazen updates (modelvervanging) als gekrompen updates (free-riding) af.
3. Reference-Cohort Validation ($v_h$): De server evalueert het lokale model van het ziekenhuis op een kleine, gecureerde, disjuncte referentiecohort ($D_{root}$). Het signaal is de balanced accuracy op deze cohort, genormaliseerd tegen de mediaan van de ronde. Dit detecteert data-niveau aanvallen (bijv. label flipping) die de update-richting en -grootte behouden maar de klinische bruikbaarheid verslechteren.

Reputatie en Exclusie Logica:

• Fusie: De signalen worden gecombineerd als $\tau_h = s_h^a m_h^b v_h^c$. De multiplicatieve aard zorgt ervoor dat een score nabij nul in één enkele dimensie de invloed van een ziekenhuis onderdrukt, waardoor voorkomt dat een tegenstander een tekortkoming in één signaal compenseert door uit te blinken in een ander.
• Reputatie Smoothing: De score wordt gesmooth via een Exponential Moving Average (EMA) en wordt gestraft voor zijn eigen variantie. Dit ontmoedigt "alternerende" strategieën waarbij een aanvaller zich in sommige rondes welwillend en in andere rondes kwaadwillend gedraagt om zijn gemiddelde score te maskeren.
• Exclusie Criteria: Een ziekenhuis wordt alleen uitgesloten als het aan twee voorwaarden tegelijkertijd voldoet:
  1. Het is een statistische uitschieter (score $< \mu - \lambda \cdot \text{MAD}$).
  2. Het is materieel onder de consensus (score $< \kappa \cdot \mu$).
     Deze dubbele voorwaarde is ontworpen om te voorkomen dat eerlijke maar atypische ziekenhuizen, die slechts in de onderste staart van een heterogene distributie zitten, worden uitgesloten.

Experimentele Opzet en Benchmark
Het artikel introduceert een reproduceerbare benchmark om HTA te evalueren tegen zeven baselines (FedAvg, FedProx, Coördinaat-gewijze Mediaan, Trimmed Mean, Krum, Multi-Krum, FLTrust).

• Datasets: DermaMNIST (7-klasse dermatoscopische diagnose met ernstige klasse-imbalans) en PneumoniaMNIST (binaire thoraxradiografie).
• Heterogeniteit: Vijf regimes variërend van IID tot extreme label skew ($\alpha=0.1$) en kwantiteit skew.
• Aanvallen: Zes aanvallen inclusief data-niveau aanvallen (label flipping, backdoor) en update-niveau aanvallen (sign flipping, scaling, ALIE, IPM), met een adversary fractie van 5% tot 30%.
• Metrieken: Klinisch (balanced accuracy, worst-class recall, per-hospital accuracy), Beveiliging (attack success rate) en Fairnes.

Belangrijkste Resultaten

1. Heterogeniteit vs. Adversaries: Heterogeniteit is de dominante uitdaging. De beweging van IID naar extreme label skew ($\alpha=0.1$) veroorzaakte een daling van 16,4 punten in balanced accuracy, terwijl adversaries een daling van 7,2 punten veroorzaakten.
2. Prestaties van HTA:
   • Data-Level Aanvallen: HTA presteert competitief en voert vaak de lijst aan of doet gelijk met de beste baselines bij label flipping en backdoor aanvallen.
   • Update-Level Aanvallen: HTA wordt significant overtroffen door Multi-Krum bij sign flipping en scaling aanvallen (verschillen van respectievelijk 4,9 en 6,7 punten). De geometrische selectie van Multi-Krum van een coherente subset blijkt effectiever dan de herwegtingsstrategie van HTA wanneer de update-geometrie wordt gemanipuleerd.
   • Schaal: Bij 20 ziekenhuizen verliest HTA 5,7 punten van Multi-Krum.
   • Tweede Cohort: Op PneumoniaMNIST presteert HTA 12–19 punten slechter dan FLTrust onder alle condities, wat wordt toegeschreven aan het binaire karakter van de taak, wat de discriminerende kracht van het validatiesignaal vermindert.
3. Clean Accuracy: In tegenstelling tot de algemene opvatting dat robuustheid ten koste gaat van clean accuracy, behaalden de meeste robuuste regels (inclusief HTA) een hogere clean accuracy dan FedAvg (bijv. HTA +4,6 punten, Multi-Krum +5,9 punten). Dit wordt toegeschreven aan variantiereductie: robuuste regels dempen de ruis van extreme, eerlijke uitschieters in heterogene settings.
4. Ablatie Bevindingen:
   • Magnitude Signaal: Het update-magnitude signaal ($m_h$) leverde geen meetbaar voordeel op onder welke ook maar een type aanval. Het verwijderen ervan degradeerde de prestaties niet. De auteurs concluderen dat onder Dirichlet skew, een ongebruikelijke norm evenzeer een betrouwbare indicator is van een zeldzame eerlijke casemix als van een aanval, waardoor dit signaal niet-informatief en potentieel schadelijk is.
   • Reputatie & Richting: De reputatiegeheugen en directionele overeenstemming waren de primaire drijfveren van prestaties. De magnitude-richting en de reputatie waren de belangrijkste drijfveren van prestaties.
5. Detectie Falen: Onder extreme heterogeniteit en label flipping convergeerden en overlapten de reputatiescores van eerlijke en kwaadwillende ziekenhuizen volledig. De regel slaagde er niet in om de twee populaties te scheiden; het succes was te danken aan het dempen van variantie in plaats van het detecteren van adversaries.

Betekenis en Claims
Het artikel positioneert zichzelf niet als een nieuwe state-of-the-art oplossing, maar als een benchmark en een negatief resultaat.

• De Benchmark: Het biedt een rigoureus, reproduceerbaar evaluatiekader dat klinische metrieken (balanced accuracy, fairness) integreert met beveiligingsmetrieken, en laat zien dat defensies die de recall van minderheidsklassen opofferen, klinisch nutteloos zijn.
• Het Negatieve Resultaat: De auteurs concluderen dat een vertrouwenssignaal gebaseerd op update magnitude niet standhoudt onder medisch realistische heterogeniteit. Bovendien faalt een reputatiesysteem gebouwd op deze signalen om eerlijke van kwaadwillende ziekenhuizen te onderscheiden onder data-niveau aanvallen in heterogene settings.
• Mechanisme Verduidelijking: De geobserveerde voordelen van HTA en andere robuuste regels komen voort uit variantiedemping (het onderdrukken van de ruis van eerlijke uitschieters) in plaats van adversary detectie.
• Toekomstige Richting: De auteurs suggereren dat het effectieve onderdeel van hun methode een reputatiesysteem is dat wordt gedreven door directionele overeenstemming met norm clipping, en dat het magnitude-signaal moet worden verwijderd. Ze benadrukken de noodzaak van toekomstig werk tegen adaptieve adversaries die de vertrouwenssignalen kennen en voor het adresseren van de spanning tussen per-update inspectie en privacy-bewarende technieken zoals secure aggregation.