⚡ electrical engineering

FedProIn: Mitigating Client Drift for Learnable Prototypes in Federated Medical Imaging

's de prototype-gebaseerde federated learning-framework die clientdrift in medische beeldvorming mitigeert door gebruik te maken van feature- en prototype-divergentieverliezen samen met een genormaliseerde invloedaggregatiestrategie, behaalt 's de superieure prestaties ten opzichte van bestaande baselines op heterogene datasets.

Oorspronkelijke auteurs: Harsh Kumar, Tarun Kumar Garg, Vaanathi Sundaresan

Gepubliceerd 2026-07-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Harsh Kumar, Tarun Kumar Garg, Vaanathi Sundaresan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een groep artsen van verschillende ziekenhuizen voor die proberen één AI te leren om huidziekten of bloedcellen te herkennen. Ze kunnen hun werkelijke patiëntfoto's niet delen vanwege privacywetgeving (zoals HIPAA). In plaats daarvan gebruiken ze een methode genaamd Federated Learning.

Denk hierbij aan een groep chefs die proberen een enkel "Meesterrecept" te perfectioneren. Elke chef kookt in zijn eigen keuken met zijn eigen lokale ingrediënten. Ze sturen hun instructies over hoe het recept verbeterd kan worden naar een centrale hoofdchef, die deze combineert om een beter "Meesterrecept" te maken voor iedereen.

Het Probleem: "Client Drift"

In de echte wereld is elk ziekenhuis anders. De ene gebruikt misschien een specif kind type camera, de andere ziet vooral oudere patiënten, en een derde ziet vooral kinderen. Dit wordt statistische heterogeniteit genoemd.

Omdat deze verschillen bestaan, beginnen de lokale chefs (clients) af te wijken van het Meesterrecept. Dit noemen we Client Drift:

Feature Drift: De ene chef begint een "rode vlek" te beschrijven als "fel karmijnrood", terwijl een ander het "diep scharlakenrood" noemt. Ze kijken naar hetzelfde, maar beschrijven het op totaal verschillende manieren.
Prototype Drift: De chefs beginnen hun eigen lokale eigenaardigheden uit het hoofd te leren. Als een chef alleen zeldzame ziekten ziet, focussen ze zich misschien te veel op die, waardoor ze veelvoorkomende ziekten negeren.

Wanneer de hoofdchef deze tegenstrijdige instructies probeert te mengen, wordt het uiteindelijke recept verward, instabiel en minder nauwkeurig. Dit is wat het artikel Client Drift noemt.

De Oplossing: FedProIn

De auteurs stellen een nieuw systeem voor genaamd FedProIn (Federated Learning with Prototype aggregation with Influence). In plaats van alleen de instructies van de chefs te middelen, gebruiken ze een slimmere aanpak met drie trucs:

1. Het leren van "Archetypen" (Learnable Prototypes)

In plaats van alleen de data te middelen, creëert het systeem Learnable Prototypes.

De Analogie: Stel je voor dat er, in plaats van alleen "rode vlek" te zeggen, een set geïdealiseerde "Archetype Kaarten" wordt gemaakt voor elke ziekte. Er is niet slechts één kaart voor "Melanoom"; er zijn meerdere kaarten die verschillende typen Melanoom vertegenwoordigen.
Deze kaarten zijn niet statisch; ze zijn "learnable", wat betekent dat de AI de kaarten actief kan bijsturen om de perfecte representatie van een ziekte te worden, in plaats van alleen een wazig gemiddelde te nemen van alle foto's die het heeft gezien.

2. Het "Dubbelcheck"-systeem (Mitigating Drift)

Om te voorkomen dat de chefs uit elkaar drijven, gebruikt FedProIn twee specifieke "loss functions" (dit zijn simpelweg strafscores voor het maken van fouten):

Feature Divergence Loss (De "Vertalingscheck"): Dit dwingt de lokale chefs om dingen te beschrijven op een manier die overeenkomt met het globale "woordenboek". Als een lokale chef een vlek "karmijnrood" beschrijft, duwt het systeem hen voorzichtig in de richting van de globale definitie van "rood", zodat iedereen dezelfde taal spreekt.
Prototype Contrastive Loss (De "Geheugencheck"): Dit zorgt ervoor dat de "Archetype Kaarten" van de lokale chefs niet te vreemd of bevooroordeeld raken door hun eigen keuken. Het trekt hun kaarten dichter naar de globale Meesterkaarten en duwt ze weg van hun eigen, potentieel bevooroordeelde versies.

3. De "Slimme Stem" (Normalized Influence Aggregation)

Dit is het meest unieke deel. In standaard systemen krijgt elke chef een stem op basis van het aantal foto's dat ze hebben. Maar wat als een chef 1.000 foto's heeft van een veelvoorkomende ziekte, maar nul foto's van een zeldzame ziekte? Hun stem zou de stem van de chef die wél de zeldzame foto's heeft, kunnen overstemmen.

FedProIn introduceert Normalized Influence Aggregation (NIA).

De Analogie: In plaats van hoofden te tellen, telt het systeem wie de Archetype Kaarten daadwerkelijk heeft gebruikt.
Als een specifieke "Zeldzame Ziekte Kaart" vaak werd gebruikt door een specifieke chef om hun patiënten te classificeren, krijgt die chef een sterke stem voor die specifieke kaart.
Als een chef een kaart heeft die hij nooit heeft gebruikt (missie omdat hij bijvoorbeeld geen patiënten met die aandoening had), wordt de stem voor die kaart genegeerd. Dit voorkomt dat "ruis" belangrijke, zeldzame informatie overstemt.

De Resultaten

De auteurs testten dit systeem op twee echte medische datasets:

HAM10000: Huidlaesie-afbeeldingen.
Matek-19: Bloedcel-afbeeldingen.

Ze simuleerden een scenario waarin de data rommelig en ongelijkmatig was (Non-IID), precies zoals in de echte wereld.

De Uitkomst: FedProIn presteerde beter dan alle andere methoden. Het was beter in het accuraat houden van het "Meesterrecept", zelfs wanneer de lokale keukens erg verschillend waren.
De Cijfers: Op de huid-dataset bereikte het 81,1% nauwkeurigheid in het rommelige, echte scenario (vergeleken met lagere scores voor andere methoden). Op de bloedcel-dataset haalde het 95,8%.

Samenvatting

Kortom, FedProIn is een slimmere manier voor AI-modellen om samen te leren zonder private data te delen. Het voorkomt dat ze in de war raken door lokale verschillen door:

Flexibele "Archetype Kaarten" voor ziekten te creëren.
Iedereen te dwingen dezelfde "feature-taal" te spreken.
Een luidere stem te geven aan de chefs die daadwerkelijk de zeldzame ziekten kennen, in plaats van alleen aan de chefs met de meeste foto's.

Het artikel concludeert dat deze methode het globale AI-model veel robuuster en nauwkeuriger maakt in de rommelige, diverse realiteit van medische beeldvorming.

Technische Samenvatting: FedProIn – Het beperken van Client Drift voor Leerbare Prototypes in Federatieve Medische Beeldvorming

Probleemstelling

Federatief leren (FL) in medische beeldvorming wordt aanzienlijk gehinderd door statistische heterogeniteit die voortvloeit uit variaties in scannerprotocollen, acquisitiemethoden en diverse patiëntenpopulaties over verschillende medische centra. Deze non-IID (niet-onafhankelijk en niet-identiek verdeelde) datadistributie induceert client drift, waarbij lokale modellen tijdens optimalisatie afwijken van het globale model. Specifiek worden identieke instanties door verschillende clients naar verschillende regio's in de feature-ruimte gemapt, en raken lokale representaties vertekend richting cliëntspecifieke kenmerken.

Bestaande benaderingen kampen met beperkingen:

Constraint-gebaseerde regularisatie (bijv. FedProx, MOON) heeft moeite met het uitlijnen van semantische representaties in hoogdimensionale ruimtes.
Standaard prototype-gebaseerde methoden gaan vaak uit van een enkel globaal prototype per klasse (via gemiddelde feature-vectoren), wat ontoereikend is voor heterogene medische data.
Multi-prototype methoden introduceren vaak een hoge computationele complexiteit of vertrouwen op unimodale representaties die er niet in slagen de beslissingsgrenzen effectief te optimaliseren.

Methodologie: FedProIn

De auteurs stellen FedProIn voor (Federated Learning with Prototype aggregation with Influence), een framework dat gebruikmaakt van Leerbare Prototypes (LPs) als optimaliseerbare modelparameters in plaats van statische gemiddelde vectoren. Het globale model bestaat uit een feature encoder $f_\theta$ en een set prototypes $P \in \mathbb{R}^{C \times M \times d}$ , waarbij $M$ het aantal prototypes per klasse is.

1. Decompositie van Client Drift

FedProIn adresseert client drift expliciet door het te decomponeren in twee componenten en specifieke regularisatieverliezen toe te passen:

Feature Drift: Wordt aangepakt via Feature Divergence Loss (FDL). Clients houden een bevroren kopie van de globale feature extractor ( $\theta^{t-1}$ ) aan. De lokale encoder wordt geregulariseerd om de gemiddelde kwadratische fout tussen lokale feature-embeddings en de referentie globale features te minimaliseren, wat zorgt voor semantische uitlijning.
Prototype Drift: Wordt aangepakt via Prototype Contrastive Loss (PCL). Deze loss trekt geüpdatete lokale prototypes dichter naar de huidige globale prototypes, terwijl ze worden weggeduwd van hun vorige lokale toestanden. Dit voorkomt dat prototypes te veel vertekend raken door lokale datashifts.

Het totale lokale object combineert de primaire classificatie-loss ( $\ell_{Task}$ ) met deze regularisatietermen:
$\ell_{Total} = \ell_{Task} + \lambda_{FDL}\ell_{FDL} + \lambda_{PCL}\ell_{PCL}$

Om de klassenonbalans in long-tailed medische datasets te behandelen, gebruikt de methode class-balanced sampling en adaptieve augmentatie om ervoor te zorgen dat zeldzame ziekte subtypes adequaat worden gerepresenteerd tijdens prototype-updates.

2. Genormaliseerde Invloedsaggregatie (NIA)

Standaard aggregatie (bijv. FedAvg) is onvoldoende voor meerdere prototypes omdat het updates uitsluitend weegt op basis van de datasetgrootte, waarbij de prototype-benutting wordt genegeerd. Dit kan ruis versterken van onderbenutte prototypes of gespecialiseerde representaties voor zeldzame gevallen onderdrukken.

FedProIn introduceert Normalized Influence Aggregation (NIA):

Invloedsmatrix ( $I_i$ ): Tijdens lokale training houdt elke client een invloedsscore bij voor elk prototype, waarbij wordt geteld hoe vaak een specifiek prototype diende als de dichtstbijzijnde buur voor lokale samples.
Aggregatie: Globale prototypes worden geaggregeerd door ze te wegen in verhouding tot hun gebruiksscores ( $I_{k,c}^i$ ), in plaats van alleen de datasetgrootte van de client. Dit verlaagt het gewicht van ruisige updates van niet-gebruikte prototypes en behoudt gespecialiseerde prototypes die relevant zijn voor specifieke cliënt-subsets.

Belangrijkste Bijdragen

Leerbare Prototypes Formulering: Het adopteren van prototypes als optimaliseerbare parameters (gezamenlijk met de feature extractor) in plaats van statische gemiddelde vectoren om de marges van de klassenseparatie te maximaliseren.
Duale Regularisatiestrategie: Het expliciet mitigeren van client drift door het te decomponeren in feature drift en prototype drift, aangepakt via respectievelijk FDL en PCL.
Genormaliseerde Invloedsaggregatie (NIA): Een nieuw aggregatiemechanisme dat cliënt-prototypes adaptief weegt op basis van hun lokale nut, wat problemen aanpakt met betrekking tot heterogene benutting en ijle activatie in multi-prototype settings.
Empirische Validatie: Uitgebreide evaluatie op publieke medische beeldvormingsdatasets die robuustheid aantoont tegen statistische heterogeniteit.

Experimentele Resultaten

Het framework werd geëvalueerd op twee publieke long-tailed medische beeldvormingsdatasets: HAM10000 (dermatoscopische beelden) en Matek-19 (perifere bloedcelbeelden). Experimenten werden uitgevoerd onder zowel IID als Non-IID (Dirichlet $\alpha=0.5$ ) settings met $K=10$ clients.

Prestatiehoogtepunten:

HAM10000: FedProIn behaalde 83,5% accuratesse (IID) en 81,1% accuratesse (Non-IID), waarmee het alle baselines versloeg, inclusief FedAvg, FedProx, MOON en andere prototype-gebaseerde methoden (FedProto, FedTGP, FedPLVM).
Matek-19: FedProIn behaalde 96,2% accuratesse (IID) en 95,8% accuratesse (Non-IID).
Robuustheid: Onder Non-IID condities leden bestaande prototype-methoden onder aanzienlijke prestatiedalingen (bijv. 6–7% accuratesse-verlies op HAM10000), terwijl FedProIn de relatieve verliezen beperkte tot slechts 2,4% en 0,4% op HAM10000 en Matek-19, respectievelijk.
Ablatieonderzoek: De resultaten bevestigden dat zowel FDL als PCL noodzakelijk zijn voor optimale prestaties. Het verwijderen van FDL veroorzaakte de scherpste daling in prestaties, wat aangeeft dat feature drift de dominante faalmodus is. Het volledige model presteerde significant beter dan varianten met één component en de degeneratieve casus (gelijk aan FedAvg).

Betekenis en Claims

Het artikel claimt dat FedProIn effectief client drift in federatieve medische beeldvorming mitigeert door gebruik te maken van leerbare prototypes en invloedsbewuste aggregatie. De auteurs stellen dat hun aanpak:

Superieure generalisatie bereikt vergeleken met bestaande FL-baselines en gepersonaliseerde methoden, met name in zeer heterogene (Non-IID) omgevingen.
Succesvol de beperkingen van single-prototype aannames en ongewogen aggregatie in multi-prototype settings aanpakt.
Een robuuste oplossing biedt voor medische beeldvorming waar datadiversiteit en klassenonbalans veelvoorkomend zijn.

De auteurs merken op dat toekomstig werk zich zal richten op het aanpassen van FedProIn voor gepersonaliseerde FL (het verwijderen van de globale modelafhankelijkheid) en het uitbreiden van het framework naar heterogene FL-settings met diverse modelarchitecturen. De code is beschikbaar gesteld om reproduceerbaarheid te ondersteunen.