🤖 machine learning

Assessing the Impacts of Imperfect Datasets on Client Selections in Federated Learning

Dit artikel onderzoekt hoe imperfecte datasets (niet-IID en ruisachtig) en bevooroordeelde cliëntselectie de prestaties van federated learning beïnvloeden, en stelt een privacy-preserverende scoremethode voor om de bijdragen van cliënten effectief te beoordelen en deze problemen te mitigeren.

Oorspronkelijke auteurs: Yuan-Heng Tsai, Li-Hsing Yen, Yan-Wei Chen

Gepubliceerd 2026-08-04

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuan-Heng Tsai, Li-Hsing Yen, Yan-Wei Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin je smartphone, je smartwatch en de laptop van je buurman allemaal willen leren hoe ze een kat moeten herkennen, maar ze kunnen hun foto's niet delen. Misschien zijn de foto's te privé, of is de internetverbinding te traag om ze allemaal naar een enorme centrale computer te uploaden. Dit is het probleem dat Federated Learning probeert op te lossen. In plaats van alle data op één plek te verzamelen, stuurt de "leraar" (een centrale server) een basis lesplan naar iedereen. Elke student (een client-apparaat) oefent op zijn eigen privéfoto's, ontdekt wat hij heeft geleerd, en stuurt alleen de lesnotities terug naar de leraar. De leraar mengt al die notities om een slimmer lesplan te maken voor de volgende ronde. Het is als een enorme, wereldwijde studiegroep waar iedereen zijn huiswerk verborgen houdt, maar toch samen leert.

Echter, deze studiegroep heeft een paar rommelige problemen. Ten eerste heeft niet iedereen evenveel huiswerk (sommigen hebben 10 foto's, anderen 10.000). Ten tweede hebben sommige studenten alleen foto's van oranje katten, terwijl anderen alleen zwarte katten hebben (dit wordt "label skew" genoemd). Ten derde heeft een student misschien per ongeluk "hond" op een foto van een kat geschreven (mislabeled data). Als de leraar willekeurig studenten kiest om hun notities te delen, kan de klas vreemde dingen leren of vast komen te zitten. De grote vraag is: Hoe beslist de leraar wie hij kiest om de klas het beste te laten leren, zonder in iemands privé huiswerk te gluren?

Dit artikel, getiteld "Assessing the Impacts of Imperfect Datasets on Client Selections in Federated Learning," duikt precies in die rommel. De auteurs, onderzoekers van de National Yang Ming Chiao Tung University, voerden een reeks experimenten uit om te zien hoe verschillende soorten "slechte" data de leerprestaties en het uiteindelijke cijfer van de klas beïnvloeden. Ze ontdekten dat de oplossing niet voor iedereen hetzelfde is. Soms moet je eerlijk zijn en iedereen gelijk behandelen; andere keren moet je streng zijn en studenten met rommelige data vermijden. Om dit op te lossen, hebben ze een nieuw "rapportcijfer"-systeem uitgevonden waarmee de leraar de bruikbaarheid van elke student kan beoordelen zonder ooit hun privé foto's te zien.

Het Grote Studiegroep Experiment

De onderzoekers richtten een virtuele klas in met 100 cliënten (studenten) en een centrale server (de leraar). Ze gebruikten twee klassieke datasets voor hun experimenten: MNIST (handgeschreven cijfers) en CIFAR-10 (foto's van dieren en objecten). In hun simulatie testten ze wat er gebeurde wanneer ze de regels van het spel veranderden.

De "Slechte Data" Scenario's
Ze creëerden drie hoofdtypen problemen om te zien hoe de klas reageerde:

Quantity Skew: Sommige studenten hadden kleine schriftjes, anderen enorme bibliotheken. Ze ontdekten dat grotere schriftjes over het algemeen tot betere cijfers leidden, maar als een schriftje te klein was, kon het niet veel bijdragen.
Label Skew: Stel je een student voor die alleen maar plaatjes van "3en" heeft en een andere die alleen "7en" heeft. Als de klas alleen naar deze twee luistert, zullen ze niet leren hoe een "1" of een "2" eruitziet. De onderzoekers testten alles van "iedereen heeft een mix" tot "iedereen heeft slechts één specifiek nummer". Ze ontdekten dat wanneer de data zeer ongebalanceerd was (zoals wanneer één student alleen "3en" had), de klas moeite had met leren, vooral bij de moeilijkere CIFAR-10 foto's.
Mislabeled Data: Dit was de echte boosdoener. Ze simuleerden studenten die foto's van katten als "honden" hadden gelabeld. Ze testten drie manieren waarop dit kon gebeuren: willekeurige fouten, sequentiële fouten (waarbij "1" verandert in "2", "2" in "3", enzovoort), en cyclische fouten. De resultaten waren duidelijk: mislabeled data was veel erger dan ongebalanceerde data. Sterker nog, wanneer ze een hoog niveau van sequentiële fouten simuleerden (waarbij labels met 7 posities waren verschoven), faalde het leerproces volledig. De klas kon niets nuttigs leren van studenten die vol vertrouwen maar fout waren.

Het "Eerlijkheid" Dilemma
Vervolgens vroegen ze: "Moet de leraar studenten willekeurig kiezen (Eerlijk) of degenen met rommelige data vermijden (Oneerlijk)?"

Wanneer het probleem Label Skew was (ongebalanceerde data): Was Eerlijk de winnaar. Zelfs als een student alleen maar foto's van "3en" had, hielp het de klas om dat specifieke nummer te leren door hen te laten deelnemen. Als de leraar hen uitsloot, miste de klas deze kans. De resultaten toonden aan dat eerlijke selectie de nauwkeurigheid verbeterde, hoewel het soms een paar rondes langer duurde om klaar te zijn.
Wanneer het probleem Mislabeled Data was: Was Eerlijk een ramp. Het betrekken van studenten met verkeerde labels trok de hele klas naar beneden. In deze gevallen werkte de "Oneerlijke" strategie (het uitsluiten van de rommelige studenten) eigenlijk beter. Het artikel suggereert dat wanneer data corrupt is, je kwaliteit boven eerlijkheid moet prioriteren.

Het Nieuwe "Rapportcijfer"-Systeem

Omdat de leraar niet in de privé schriftjes van de studenten mag kijken, hoe weten ze dan wie nuttig is en wie rommelig? De auteurs stelden een drieslagig scoresysteem voor dat volledig aan de serverzijde draait:

Datasize Score: Dit is simpel. Het controleert alleen hoe groot het schriftje van de student is. Een groter schriftje krijgt een hogere score (genormaliseerd tussen 0 en 1).
Quality Score: Dit is het slimme deel. Nadat een student de lesnotities heeft teruggestuurd, test de leraar die notities op een geheime "oefentoets" waarvan de leraar de antwoorden al weet. Als de notities van de student leiden tot een hoge score op de oefentoets, krijgen ze een hoge Quality Score. Als ze de oefentoets niet halen, daalt hun score. Dit vertelt de leraar: "De data van deze student is nuttig," of "De data van deze student is ruizig," zonder ooit de eigenlijke foto's te zien.
Fairness Score: Dit is een "geduldsmeter". Elke ronde stijgt de score van elke student met een klein beetje. Als een student wordt gekozen om deel te nemen, wordt zijn score gereset naar nul. Dit zorgt ervoor dat studenten die een tijdje niet zijn gekozen uiteindelijk een kans krijgen, om te voorkomen dat de leraar alleen maar naar dezelfde paar "slimme" kinderen luistert.

De Slimme Balancer
De echte magie zit in de manier waarop ze deze scores combineren. Het systeem kijkt naar de variantie (de spreiding) van de Quality Scores.

Als de Quality Scores allemaal vergelijkbaar zijn (lage variantie), betekent dit dat de data grotendeels schoon is. Het systeem leunt dan op de Fairness Score, om ervoor te zorgen dat iedereen een beurt krijgt.
Als de Quality Scores overal verspreid zijn (hoge variantie), betekent dit dat sommige studenten verschrikkelijke, ruizige data hebben. Het systeem schakelt dan onmiddellijk over en negeert de Fairness Score, om alleen de studenten met de hoogste Quality Scores te kiezen.

Wat Ze Vonden (en Wat Ze Niet Vonden)

Het artikel concludeert dat er niet één "beste" manier is om studenten te kiezen. Het hangt er volledig vanaf waarom de data imperfect is.

Als de data slechts ongebalanceerd is (sommige studenten hebben zeldzame labels), suggereert het artikel dat eerlijkheid cruciaal is. Het uitsluiten van deze studenten schaadt het model.
Als de data corrupt is (mislabeled), suggereert het artikel dat eerlijkheid opgeofferd moet worden om het model te beschermen tegen slechte informatie.

De auteurs merken voorzichtig op dat hun "Quality Score" een goed hulpmiddel is, maar dat het een blinde vlek heeft. Het kan je vertellen dat de data van een student "slecht" is, maar het kan je niet vertellen waarom. Het weet niet of de data slecht is omdat een student alleen maar "3en" heeft (label skew) of omdat iemand "hond" op een katenfoto heeft geschreven (mislabeled). Daarom moet het systeem soms gokken. Als de variantie hoog is, gaat het systeem uit van het ergste scenario (mislabeled data) en geeft prioriteit aan kwaliteit, wat een veilige keuze is. De auteurs geven echter toe dat als de hoge variantie eigenlijk te wijten is aan label skew, deze conservatieve aanpak mogelijk enkele goede leermomenten mist.

Kortom, het artikel beweert niet dat het het probleem voor altijd heeft opgelost. In plaats daarvan biedt het een gemeten, experimentele gids die laat zien dat een slim, adaptief systeem — een systeem dat kan schakelen tussen "wees eerlijk" en "wees streng" afhankelijk van de situatie — de beste weg vooruit is voor Federated Learning. Ze suggereren dat toekomstig werk zich moet richten op het bouwen van een systeem dat het verschil tussen "ongebalanceerde" en "corrupte" data nog beter kan herkennen, zodat de leraar elke keer de perfecte keuze kan maken.

Technische Samenvatting: Het beoordelen van de impact van imperfecte datasets op cliëntselectie in Federated Learning

Probleemstelling

Federated Learning (FL) maakt gedecentraliseerde modeltraining mogelijk met behoud van de privacy van cliënten, maar staat voor aanzienlijke uitdagingen wanneer cliënten over imperfecte datasets beschikken. Deze imperfecties omvatten niet-onafhankelijke en niet-identiek verdeelde data (non-IID data) (manifestaties van kwantiteitsskeelheid, label-skeelheid en feature-skeelheid) en ruis in de data (mislabelde monsters). Dergelijke condities kunnen de nauwkeurigheid van het model verslechteren en de convergentielatentie verhogen.

Hoewel cliëntselectiestrategieën vaak worden ingezet om deze problemen te mitigeren door problematische cliënten uit te sluiten, kan een te bevooroordeeld selectieproces onbedoeld de leerprestaties schaden. Specifiek is er een onopgeloste spanning tussen eerlijkheid (het waarborgen van een gebalanceerde deelname om convergentie naar lokale optima te voorkomen) en kwaliteit (het uitsluiten van cliënten met ernstige dataproblemen). Bovendien ontbreekt het in de bestaande literatuur aan een uitgebreide, privacy-bewarende methode om de bijdrage van een cliënt aan het globale model te voorspellen zonder toegang te krijgen tot hun lokale datadistributies.

Methodologie

1. Experimentele analyse van imperfecte data

De auteurs hebben uitgebreide experimenten uitgevoerd met de MNIST- en CIFAR-10-datasets met 100 cliënten en het FedAvg-algoritme om de impact van verschillende imperfecties in de data te kwantificeren:

Datasetgrootte: Bevestigd dat grotere datasets correleren met verbeterde nauwkeurigheid en snellere convergentie.
Label-skeelheid: Getest met zes scenario's variërend van IID tot extreme single-label distributies. De resultaten gaven aan dat hoewel label-skeelheid de prestaties over het algemeen verslechtert, de ernst varieert per taak (bijv. MNIST toonde meer veerkracht vergeleken met CIFAR-10).
Mislabelde monsters: Evalueerde willekeurige, sequentiële en cyclische mislabeling. De studie vond dat mislabeling een meer uitgesproken daling in prestaties veroorzaakt dan label-skeelheid, waarbij sequentiële mislabeling (waarbij labels verschoven zijn) bij hoge graden leidt tot falen van het leerproces.
Eerlijkheid vs. Onrechtvaardige selectie:
- In omgevingen met label-skeelheid verbeterde "Eerlijke" selectie (willekeurige, uniforme deelname) de nauwkeurigheid aanzienlijk vergeleken met "Onrechtvaardige" selectie (het uitsluiten van scheve cliënten), hoewel dit meer rondes vereiste om te convergeren.
- In omgevingen met mislabelde monsters presteerde "Onrechtvaardige" selectie (het uitsluiten van cliënten met mislabelde data) beter dan eerlijke selectie, aangezien mislabelde monsters geen waardevolle leerinformatie boden.

2. Voorgestelde scoringmechanisme

Om de behoefte aan een privacy-bewarende cliëntbeoordeling aan te pakken, stelt het artikel een samengesteld scoringsysteem voor dat cliënten evalueert op basis van datasetgrootte, kwaliteit en participatiegeschiedenis zonder toegang te krijgen tot hun lokale datadistributies.

Datasize Score ( $d_i$ ): Een genormaliseerde metriek (0 tot 1) gebaseerd op de datasetgrootte van de cliënt relatief aan de minimale en maximale grootte binnen de cliëntenset.
Quality Score ( $q_i$ ): Een door de server uitgevoerde beoordeling die aan het einde van elke trainingsronde wordt berekend. De server evalueert het geüploade model van de cliënt op een globale testdataset. De score wordt genormaliseerd op basis van de testnauwkeurigheid van de cliënt relatief aan de minimale en maximale nauwkeurigheid waargenomen onder alle cliënten. Dit vangt de gezamenlijke impact van label-skeelheid en mislabeling op.
Fairness Score ( $f_i^t$ ): Een dynamische score die met een constante $\beta$ toeneemt voor elke ronde waarin een cliënt niet is geselecteerd en wordt gereset/verlaagt als de cliënt wel is geselecteerd. Dit zorgt ervoor dat cliënten met lange perioden van inactiviteit prioriteit krijgen.

3. Adaptief selectiemechanisme

Het artikel introduceert een adaptief mechanisme om de balans tussen eerlijkheid en kwaliteit te beheren op basis van de variantie van de Quality Scores onder de beschikbare cliënten:

Lage variantie: Wijst op homogene datakwaliteit (geen ernstige skeelheid of mislabeling). Het mechanisme geeft prioriteit aan eerlijkheid, waarbij cliënten met een hoge Fairness Score worden geselecteerd.
Hoge variantie: Wijst op significante heterogeniteit (waarschijnlijk ernstige mislabeling of skeelheid). Het mechanisme geeft prioriteit aan kwaliteit, waarbij de kandidaatengroep wordt uitgebreid om ervoor te zorgen dat hoogwaardige cliënten worden geselecteerd, ongeacht hun fairness score.
Het aantal geselecteerde cliënten ( $L_{fair}^t$ ) wordt dynamisch aangepast met behulp van een formule die de variantie van de Quality Scores, een gevoeligheidsparameter ( $\alpha_1$ ) en een minimum proportieparameter ( $\alpha_2$ ) bevat.

Belangrijkste Resultaten

Impact van Mislabeling: Sequentiële mislabeling werd geïdentificeerd als de meest schadelijke factor, wat in extreme gevallen leidde tot falen van het leerproces. Dit suggereert dat cliënten met ernstige mislabeling uitgesloten moeten worden.
Contextafhankelijke Eerlijkheid: De experimenten toonden aan dat de optimale selectiestrategie contextafhankelijk is. Eerlijkheid is gunstig wanneer de dataheterogeniteit voortkomt uit label-skeelheid, maar nadelig wanneer deze voortkomt uit mislabeling.
Effectiviteit van Scoring: De voorgestelde Quality Score correleerde succesvol met de datakwaliteit. In de experimenten met label-skeelheid stegen de scores naarmate de diversiteit van labels toenam (tot een punt waarop het aantal monsters per label te laag werd). In de experimenten met mislabeling daalden de scores naarmate de mislabelingsgraad toenam.
Adaptieve Prestaties: Het adaptieve mechanisme navigeerde succesvol door de afweging, waarbij prioriteit werd gegeven aan eerlijkheid wanneer de data relatief schoon was en aan kwaliteit wanneer de dataheterogeniteit hoog was.

Betekenis en Claims

Het artikel claimt een uitgebreide analyse te bieden van hoe verschillende soorten imperfecte data (kwantiteitsskeelheid, label-skeelheid en mislabeling) de FL-prestaties beïnvloeden. De primaire bijdrage is de demonstratie dat één enkele cliëntselectiestrategie onvoldoende is; de strategie moet zich aanpassen aan de dominante bron van heterogeniteit.

De auteurs stellen een privacy-bewarend scoringframework voor waarmee de server de bijdragen van cliënten kan beoordelen met behulp van enkel globale testresultaten en datasetgroottes, waardoor het inspecteren van lokale datadistributies wordt vermeden. De betekenis ligt in het adaptieve mechanisme dat de concurrerende doelen van eerlijkheid en datakwaliteit dynamisch in evenwicht brengt, waarbij erkend wordt dat eerlijkheid schadelijk kan zijn wanneer cliënten over ernstig mislabelde data beschikken.

De auteurs merken bescheiden op dat er een beperking is: de huidige Quality Score legt de gezamenlijke impact van label-skeelheid en mislabeling vast, maar kan niet tussen de twee onderscheiden. Bijgevolg behandelt het adaptieve mechanisme hoge variantie conservatief (door prioriteit te geven aan kwaliteit), wat suboptimaal kan zijn als de variantie uitsluitend wordt veroorzaakt door label-skeelheid in plaats van mislabeling. Toekomstig werk wordt gesuggereerd om aparte metrieken te ontwikkelen om deze factoren onafhankelijk te kwantificeren.