🤖 machine learning

A Comparative Study of Federated Learning Aggregation Strategies under Homogeneous and Heterogeneous Data Distributions

Dit artikel presenteert een uitgebreide experimentele vergelijking van diverse Federated Learning-aggregatiestrategieën onder homogene en heterogene data-distributies, waarbij hun afwegingen worden geanalyseerd in termen van modelnauwkeurigheid, verlies en systeemefficiëntiemaatstaven zoals trainings- en communicatietijd.

Oorspronkelijke auteurs: Antonios Makris, Christos Dousis, Emmanouil Kritharakis, Stavros Bouras, Konstantinos Tserpes

Gepubliceerd 2026-05-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Antonios Makris, Christos Dousis, Emmanouil Kritharakis, Stavros Bouras, Konstantinos Tserpes

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een groep vrienden voor die samen een gigantische puzzel proberen op te lossen, maar ze kunnen hun echte puzzelstukken niet delen. In plaats daarvan werken ze elk aan hun eigen sectie, schrijven ze een korte samenvatting van wat ze hebben geleerd, en sturen ze alleen die notities naar een centrale "Teamkapitein". De kapitein combineert vervolgens alle notities om een hoofdgids voor de volgende ronde te maken. Dit is Federated Learning: een manier voor computers om samen te leren zonder ooit hun private data te delen.

De grote vraag die dit artikel stelt is: Hoe moet de Teamkapitein deze notities combineren?

Als de kapitein gewoon een eenvoudig gemiddelde neemt van ieders notities, werkt dat dan het beste? Of moeten ze een complexere methode gebruiken om het feit aan te pakken dat sommige vrienden mogelijk aan heel verschillende delen van de puzzel werken (sommigen hebben vooral luchtpuzzelstukken, anderen vooral gras)?

Hier is een uiteenzetting van de bevindingen van de studie met behulp van alledaagse analogieën:

De Deelnemers: Verschillende Manieren om Notities te Combineren

De onderzoekers testten verschillende "strategieën" die de kapitein kon gebruiken om de updates van de vrienden te samenvoegen:

FedAvg (De Eenvoudige Gemiddelde): De kapitein neemt elke notitie en berekent een rechtstreeks gemiddelde. Het is snel en makkelijk, zoals een snelle stemming.
FedAvgM (De Momentum-Bewaarder): De kapitein onthoudt wat de groep de vorige keer besliste en gebruikt die "momentum" om de nieuwe notities te gladstrijken. Het is als een hardloper die zijn pas behoudt, zelfs als het terrein hobbelig wordt.
FedAdam & FedAdagrad (De Adaptieve Leerders): Deze kapiteins zijn slim. Ze passen aan hoeveel ze naar elke persoon luisteren, gebaseerd op hoe zelfverzekerd die persoon lijkt. Als een notitie verwarrend is, passen ze de leersnelheid aan. Ze zijn als een coach die het trainingsplan aanpast op basis van hoe elke atleet zich die dag voelt.
FedMedian (De Filter): In plaats van te middelen, kijkt deze kapitein naar alle notities en kiest de "middelste" waarde, waarbij extreme uitschieters worden genegeerd. Als een vriend een gekke notitie stuurt met "de lucht is groen", negeert de kapitein deze omdat het een uitschieter is. Dit is geweldig voor het filteren van ruis of slechte actoren.
FedProx (De Beperker): Deze kapitein zegt tegen de vrienden: "Ga niet te ver af van het laatste plan." Het voegt een regel toe om ervoor te zorgen dat ieders lokale leerproces dicht bij het hoofddoel van de groep blijft, zodat niemand te ver afdrijft.
DP (De Privacybewaker): Deze kapitein voegt een laagje "statische ruis" toe aan de notities voordat ze worden gecombineerd, om ervoor te zorgen dat niemand de originele puzzelstukken kan raden. Het is als het fluisteren van de notities door een ventilator, zodat de exacte woorden moeilijker te horen zijn.

De Testomstandigheden: Makkelijke versus Moeilijke Puzzels

De onderzoekers testten deze kapiteins in twee scenario's:

Homogeen (IID): Iedereen heeft een vergelijkbare mix van puzzelstukken (bijvoorbeeld: iedereen heeft een beetje lucht, gras en bomen). Dit is als een klaslokaal waar iedereen hetzelfde schoolboek bestudeert.
Heterogeen (Non-IID): Iedereen heeft heel verschillende stukken (bijvoorbeeld: één vriend heeft alleen lucht, een ander alleen bomen). Dit is als een klaslokaal waar één student alleen geschiedenis heeft bestudeerd en een ander alleen wiskunde.

Ze testten dit op drie "puzzels" (datasets):

MNIST & FMNIST: Eenvoudige puzzels (handgeschreven cijfers).
CIFAR-10: Een veel moeilijkere, complexere puzzel (kleurfoto's van dieren en voorwerpen).

Wat Ze Vonden (De Resultaten)

1. Er is geen "Eén Oplossing voor Alles" Kapitein.
Net zoals je niet hetzelfde gereedschap zou gebruiken om een horloge te repareren en een huis te bouwen, won geen enkele strategie elke keer.

Op eenvoudige puzzels (MNIST): De Adaptieve Leerders (FedAdam) waren de sterren. Ze leerden het snelst en behaalden de hoogste scores, zelfs als de data rommelig was.
Op complexe puzzels (CIFAR-10): Iedereen had meer moeite, maar de Eenvoudige Gemiddelde (FedAvg) en De Beperker (FedProx) hielden het redelijk goed vol. De Adaptieve Leerders raakten eigenlijk in de war door de complexiteit en presteerden slechter.
Wanneer de data rommelig was (Non-IID): De Filter (FedMedian) was zeer stabiel. Het werd niet van de wijs gebracht door vreemde data, hoewel het een klein beetje langer duurde om alles te sorteren.

2. De "Privacybewaker" (DP) heeft een zware prijs.
De strategie die ruis toevoegde om privacy te beschermen (DP) resulteerde in zeer slechte scores. Het is als proberen een puzzel op te lossen terwijl je dikke, mistige brillen draagt; je kunt de stukken niet duidelijk genoeg zien om ze aan elkaar te passen. Het artikel merkt op dat hoewel het privacy beschermt, het de vaardigheid van het model om effectief te leren, schaadt.

3. Snelheid versus Nauwkeurigheid Trade-offs.

Snelheid: De eenvoudige strategieën (FedAvg) waren het snelst om notities te combineren. De complexere (zoals de Filter of Privacybewaker) deden er iets langer over om te verwerken, maar het verschil was klein.
Nauwkeurigheid: De "slimme" strategieën (Adaptieve) waren geweldig voor eenvoudige taken, maar struikelden soms over complexe. De "stabiele" strategieën (FedProx) waren betrouwbaar, maar bereikten niet altijd de top-score.

De Conclusie

Het artikel concludeert dat je niet zomaar één "beste" manier kunt kiezen om leerupdates te combineren.

Als je data eenvoudig en vergelijkbaar is, gebruik dan de Adaptieve Leerders.
Als je data rommelig is of je vreemde uitschieters hebt, is de Filter (Median) of Beperker (Prox) veiliger.
Als je privacy moet beschermen, wees dan voorbereid op een aanzienlijke daling in prestaties.

De "beste" keuze hangt volledig af van hoe complex je puzzel is, hoe verschillend de data van je vrienden is, en hoeveel je waarde hecht aan snelheid versus nauwkeurigheid. Er is geen magische kogel die perfect werkt in elke situatie.

Technische Samenvatting: Een Comparatieve Studie van Federated Learning Aggregatiestrategieën onder Homogene en Heterogene Data-distributies

Probleemstelling

Federated Learning (FL) heeft zich ontwikkeld tot een paradigma voor collaboratief machine learning dat gegevensprivacy behoudt door ruwe data lokaal te houden op client-apparaten. De prestaties van FL-systemen zijn echter kritiek afhankelijk van de aggregatiestrategie die door de centrale server wordt gebruikt om lokale modelupdates te combineren. Waar traditioneel centraal leren te lijden heeft onder privacyproblemen en communicatie-overhead, en geïsoleerd leren op het apparaat gebrek aan generalisatie vertoont, staat FL voor specifieke uitdagingen met betrekking tot data-heterogeniteit (non-IID-distributies).

Het kernprobleem dat wordt aangepakt, is het gebrek aan een uitgebreid inzicht in hoe verschillende aggregatiemechanismen presteren onder variërende graden van data-heterogeniteit. Bestaande strategieën variëren van eenvoudige gemiddelden tot robuuste schatters en adaptieve optimalisatoren, maar hun afwegingen met betrekking tot leernauwkeurigheid, convergentiestabiliteit en systeem-efficiëntie (reken- en communicatietijd) zijn niet volledig gekarakteriseerd over diverse datasets en distributie-instellingen.

Methodologie

De auteurs hebben een uitgebreide experimentele evaluatie uitgevoerd waarbij ze zeven veelgebruikte en state-of-the-art FL-aggregatiestrategieën vergeleken:

FedAvg: Standaard data-gewogen gemiddelde op basis van datasetgrootte.
FedAvgM: FedAvg met momentum aan de serverzijde.
FedAdam: Adaptieve optimalisatie met behulp van Adam aan de serverzijde.
FedAdagrad: Adaptieve optimalisatie met behulp van Adagrad aan de serverzijde.
FedMedian: Robuuste aggregatie met behulp van het elementsgewijze mediaan.
FedProx: Aggregatie met een proximaal regularisatieterm om lokale drift te beperken.
Differential Privacy (DP) aan de serverzijde: Adaptieve clipping met ruisinjectie voor privacy.

Experimentele Opstelling:

Datasets: MNIST, FMNIST en CIFAR-10.
Distributies: Homogene (IID) en Heterogene (non-IID) data-partities gegenereerd met behulp van een Dirichlet-distributie met concentratieparameter $\alpha = 0.5$ .
Configuratie: Simulaties werden uitgevoerd met het Flower-framework met 10 clients over 25 communicatierondes. Een secundair grootschalig experiment werd uitgevoerd met 20 clients en 50 rondes op MNIST om consistentie te verifiëren.
Modellen: Convolutional Neural Networks (CNN's) op maat gemaakt voor de specifieke datasets.
Optimalisatoren: Client-zijdige training maakte gebruik van Adam (geselecteerd vanwege superieure convergentie ten opzichte van SGD).
Metingen:
- Leerprestaties: Gecentraliseerde Nauwkeurigheid en Verlies.
- Systeem-efficiëntie: Aggregatietijd, Trainingstijd en Communicatietijd per ronde.

Belangrijkste Bijdragen en Resultaten

1. Impact van Data-heterogeniteit

De studie bevestigt dat data-heterogeniteit (non-IID) de modelprestaties consistent verslechtert voor alle strategieën in vergelijking met IID-instellingen. Deze verslechtering is het meest uitgesproken op het complexe CIFAR-10-dataset. Hoewel alle strategieën last hebben van nauwkeurigheidsdalingen en verhoogd verlies in non-IID-omgevingen, varieert de omvang van de daling aanzienlijk per algoritme.

2. Strategie-specifieke Prestaties

Adaptieve Methoden (FedAdam, FedAdagrad):
- FedAdam behaalde de hoogste nauwkeurigheid op MNIST onder zowel IID- als non-IID-omstandigheden, wat de effectiviteit van adaptieve leersnelheden aantoont bij het stabiliseren van optimalisatie onder matige heterogeniteit. Echter, zijn prestaties verslechterden aanzienlijk op CIFAR-10, wat wijst op gevoeligheid voor hoge datasetcomplexiteit.
- FedAdagrad volgde een vergelijkbare trend, maar vertoonde over het algemeen lagere nauwkeurigheid op FMNIST en CIFAR-10 in vergelijking met andere strategieën, waarschijnlijk vanwege de leersnelheidsafname inherent aan Adagrad die aanpassing aan complexe taken beperkt.
Robuuste en Regularisatiemethoden (FedMedian, FedProx):
- FedMedian demonstreerde de hoogste nauwkeurigheid op FMNIST onder beide distributies. Zijn op mediaan gebaseerde aggregatie mitigeerde effectief de invloed van scheve client-updates, waardoor stabiele prestaties werden geboden. De afweging was een iets hogere aggregatietijd door sorteeropties.
- FedProx bood stabiele en consistente prestaties over alle datasets, fungerend als een "middelweg"-benadering. De proximale term beperkte effectief client-drift, wat vooral ten goede kwam aan de prestaties op CIFAR-10.
Standaard en Momentum-methoden (FedAvg, FedAvgM):
- FedAvg diende als een rekenefficiënte baseline, presteerde goed op MNIST en FMNIST maar had moeite op CIFAR-10.
- FedAvgM toonde hoge nauwkeurigheid onder IID-omstandigheden, maar ervoer aanzienlijke degradatie onder non-IID-instellingen (vooral op MNIST). De resultaten suggereren dat momentum aan de serverzijde bevooroordeelde gradiëntrichtingen kan versterken wanneer client-updates scheef zijn, wat leidt tot instabiele convergentie.
Privacy-bevorderend (DP):
- De DP-strategie (adaptieve clipping met ruis) vertoonde aanzienlijk lagere nauwkeurigheid over alle datasets en distributies. De ruis die werd geïntroduceerd om privacy te waarborgen, degradeerde het leersignaal aanzienlijk, waardoor effectieve convergentie werd voorkomen. Daarnaast had het de hoogste aggregatietijd als gevolg van clipping- en ruisinjectie-operaties.

3. Systeem-efficiëntie

Aggregatietijd: Bleef over het algemeen laag voor de meeste strategieën. FedAvg en FedAvgM hadden de laagste overhead. FedMedian en DP liepen hogere tijden op door respectievelijk sorteeropties en ruisinjectie, maar dit vormde geen systeemknelpunt in de geteste opstellingen.
Trainingstijd en Communicatietijd: Deze metrieken werden voornamelijk gedreven door datasetcomplexiteit en modelkenmerken in plaats van de aggregatiestrategie zelf. Verschillen tussen strategieën waren minimaal.
Schaalbaarheid: Het verhogen van het aantal clients (van 10 naar 20) en rondes (van 25 naar 50) bevestigde de trends die in de kleinere opstelling werden waargenomen. Adaptieve methoden bleven andere methoden overtreffen, en de prestatiekloof tussen IID- en non-IID-instellingen nam licht af voor adaptieve methoden, wat suggereert dat meer communicatierondes betere compensatie voor heterogeniteit mogelijk maken.

Betekenis en Beweringen

Het artikel concludeert dat geen enkele aggregatiestrategie in alle scenario's domineert. De effectiviteit van een strategie is sterk afhankelijk van:

Datasetkenmerken: Complexiteit (bijv. CIFAR-10 versus MNIST) beïnvloedt aanzienlijk welk algoritme het beste presteert.
Graad van Heterogeniteit: Strategieën zoals FedAvgM kunnen falen in sterk scheve omgevingen, terwijl robuuste methoden zoals FedMedian of regularisatie-gebaseerde FedProx stabiliteit bieden.
Systeem- en Privacy-eisen: Er is een duidelijke afweging tussen privacygaranties (DP) en modelnut.

De auteurs benadrukken dat de keuze van de aggregatiestrategie moet worden geleid door specifieke operationele beperkingen en data-eigenschappen in plaats van een "one-size-fits-all"-benadering. De studie levert empirisch bewijs dat adaptieve methoden uitblinken bij matige heterogeniteit, maar dat robuuste schatters en regularisatie noodzakelijk zijn voor stabiliteit in scheve distributies, en dat privacy-mechanismen momenteel een aanzienlijke kostenpost vormen voor modelnut.

Toekomstig werk, zoals beschreven door de auteurs, omvat het verkennen van meer geavanceerde robuuste mechanismen (bijv. Krum, Multi-Krum) en het evalueren van deze strategieën in realistischere FL-implenmentscenario's.