🤖 machine learning

Beyond performance-wise Contribution Evaluation in Federated Learning

Deze studie toont aan dat bestaande evaluatiemethoden voor Federated Learning te beperkt zijn omdat ze uitsluitend op prestaties focussen, en pleit voor een meeromvattende aanpak die ook betrouwbaarheid, veerkracht en eerlijkheid meet met behulp van de Shapley-waarde om een eerlijke beloning van deelnemers mogelijk te maken.

Oorspronkelijke auteurs: Balazs Pejo

Gepubliceerd 2026-02-27

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Balazs Pejo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat een groep vrienden samen een groot, geweldig kookboek wil maken. Iedereen levert zijn eigen favoriete recepten in. Dit is Federated Learning: een manier om samen te werken aan een slim computerprogramma zonder dat je je eigen geheime data (je recepten) hoeft te delen.

Tot nu toe keek de "hoofdchef" (het centrale systeem) alleen naar één ding om te bepalen wie de beste bijdrage levert: Hoe lekker smaakt het eindresultaat? (In de vaktaal: de nauwkeurigheid van het model).

Maar in dit nieuwe onderzoek zegt de auteur, Balazs Pejo, eigenlijk: "Wacht even, dat is niet genoeg!"

Het Probleem: Alleen naar de smaak kijken is gevaarlijk

Stel je voor dat je twee koks hebt:

Kok A maakt een gerecht dat ontzettend lekker is, maar het is giftig als je er een beetje stof op strooit (niet betrouwbaar) en het is eerlijk alleen voor rijke mensen (niet eerlijk).
Kok B maakt een gerecht dat iets minder lekker is, maar het is onmogelijk te bederven door stof en het smaakt voor iedereen even goed.

Als je alleen kijkt naar de "smaak" (nauwkeurigheid), beloont je Kok A en straft je Kok B. Maar in de echte wereld willen we niet alleen iets dat lekker is; we willen iets dat veilig, eerlijk en betrouwbaar is.

De Oplossing: Een nieuwe manier om te beoordelen

Deze paper stelt voor om niet alleen naar de "smaak" te kijken, maar naar drie andere belangrijke eigenschappen:

Betrouwbaarheid (Reliability): Wat gebeurt er als er een beetje ruis of onzin in de data komt? (Bijvoorbeeld: als de foto een beetje wazig is, herkent de computer de kat nog steeds?)
Weerbaarheid (Resilience): Wat gebeurt er als iemand expres probeert het systeem te bedriegen? (Bijvoorbeeld: iemand plakt een klein stickeretje op een stopbordje zodat de auto denkt dat het een snelheidsbord is).
Eerlijkheid (Fairness): Is het gerecht voor iedereen even goed, of discrimineert het bepaalde groepen? (Bijvoorbeeld: werkt het even goed voor mensen met een andere huidskleur of geslacht?)

De Grote Ontdekking: Niemand is de allerbeste in alles

Het meest verrassende resultaat van dit onderzoek is dat niemand de beste is in alles tegelijk.

De auteurs hebben gekeken naar wie welke bijdrage levert en ontdekten dat:

De kok die de lekkerste gerechten maakt, soms juist de slechtste is voor de veiligheid of eerlijkheid.
De kok die zorgt dat het gerecht niet vergiftigd kan worden, maakt soms minder lekkere gerechten.
De kok die voor eerlijkheid zorgt, maakt soms gerechten die niet bestand zijn tegen trucjes.

Het is alsof je een sportteam hebt:

De speler die de meeste doelpunten scoort (prestatie), is misschien niet de beste verdediger (veerkracht) en misschien is hij niet de meest teamspeler (eerlijkheid).
Als je alleen kijkt naar het aantal doelpunten, beloon je de verkeerde mensen voor het bouwen van een sterk en eerlijk team.

Hoe hebben ze dit gemeten?

Ze gebruikten een slimme wiskundige methode (een soort "rekenmachine" genaamd Shapley-waarde) om uit te rekenen hoeveel elke kok precies bijdroeg aan elk van deze vier eigenschappen: Smaak, Eerlijkheid, Betrouwbaarheid en Weerbaarheid.

Ze deden dit proefjes met verschillende soorten data:

Foto's herkennen (zoals dieren of auto's).
Teksten begrijpen (zoals filmrecensies).
Tabellen met cijfers (zoals inkomensgegevens).

In elk geval bleek hetzelfde: de ranglijst van "beste kok" veranderde volledig afhankelijk van welke eigenschap je bekeek.

Waarom is dit belangrijk?

Als bedrijven of overheden AI-systemen bouwen, willen ze niet alleen dat het systeem slim is. Ze willen dat het verantwoord is.

Als we alleen beloningen geven op basis van "hoe slim is het?", dan kunnen we per ongeluk mensen belonen die een systeem maken dat:

Discrimineert.
Kwetsbaar is voor hackers.
Niet werkt als de data niet perfect is.

De conclusie in één zin:
Om een echt goed en veilig AI-systeem te bouwen, moeten we stoppen met alleen kijken naar de "smaak" (nauwkeurigheid) en gaan kijken naar het hele plaatje: is het eerlijk, is het veilig en is het betrouwbaar? Anders belonen we de verkeerde mensen en bouwen we een systeem dat op papier perfect is, maar in de praktijk gevaarlijk of onrechtvaardig.

Titel: Voorbij prestatie-gedreven bijdrage-evaluatie in Federated Learning

1. Het Probleem

Federated Learning (FL) staat bekend als een privacy-vriendelijk kader voor collaboratief machine learning. Echter, het succes van een dergelijk systeem hangt af van de kwaliteit van de bijdragen van de deelnemende clients. Bestaande methoden voor het evalueren van clients richten zich bijna uitsluitend op prestatie-metrics, zoals modelnauwkeurigheid (accuracy) of verlies (loss).

De auteurs identificeren een kritiek gebrek in deze aanpak:

Eendimensionaal perspectief: Prestatie is slechts één dimensie van de algehele bruikbaarheid van een model.
Verwaarlozing van betrouwbaarheid: Er wordt weinig aandacht besteed aan de bijdrage van clients aan de betrouwbaarheid (trustworthiness) van het model, specifiek op het gebied van:
- Fairness (Billijkheid): Het vermijden van discriminatie op basis van gevoelige attributen.
- Reliability (Betrouwbaarheid): De consistentie van het model bij aanwezigheid van ruis (noise).
- Resilience (Weerbaarheid): De weerstand tegen kwaadwillende aanval (adversarial examples).
Misleidende conclusies: Een client die uitstekend presteert op het gebied van nauwkeurigheid, kan neutraal of zelfs schadelijk zijn voor de eerlijkheid, betrouwbaarheid of weerbaarheid van het model.

2. Methodologie

De auteurs stellen een multifaceted evaluatiekader voor dat de bijdrage van clients meet over vier verschillende dimensies, waarbij gebruik wordt gemaakt van de Shapley-waarde (een principe uit de coöperatieve speltheorie voor eerlijke waarde-toewijzing).

A. Evaluatiemetrics (Trustworthiness Scores):
In plaats van alleen nauwkeurigheid te meten, definiëren ze vier specifieke scoring-functies $v(\cdot)$ :

Prestatie (Performance): Gemeten via nauwkeurigheid ($Pr[M(x)=y]$).
Fairness: Gemeten via Demografische Pariteit. De score is gebaseerd op het verschil in voorspellingskansen tussen een gevoelige groep en de rest van de populatie. Een hogere score betekent een eerlijker model.
Reliability: Gemeten door het toevoegen van Gaussische ruis aan testdata. De score meet hoe vaak de voorspelling van het model verandert bij ruis. Een hogere score betekent meer stabiliteit.
Resilience: Gemeten via Adversarial Attacks (specifiek Projected Gradient Descent - PGD). De score meet het succes van de aanval op correct geclassificeerde samples. Een hogere score betekent meer weerstand tegen manipulatie.

B. Bijdrage-evaluatie Algoritmen:
Om de bijdrage van elke client te kwantificeren, worden twee benaderingsmethoden voor de Shapley-waarde gebruikt:

Leave-One-Out (LOO): Een lichtgewicht heuristiek waarbij wordt gekeken naar het verschil in score wanneer een client uit de coalitie wordt verwijderd.
Guided-Truncated-Gradient (GTG): Een state-of-the-art benadering die de Shapley-waarde schat door alleen relevante rondes en subsets van clients te evalueren, wat computatie-efficiënter is dan exacte berekening.

C. Experimenteel Opzet:

Datasets: CIFAR-10 (Computer Vision), IMDB (NLP), en ADULT (Tabulaire data).
Situaties: Zowel IID (Independent and Identically Distributed) als non-IID (gebruikmakend van een Dirichlet-verdeling) data-distributies.
Configuratie: Cross-silo FL met 4 en 20 clients, gebruikmakend van FedAVG voor aggregatie.

3. Belangrijkste Bijdragen

Uitbreiding van Evaluatie: Het is de eerste studie die client-bijdragen in FL systematisch evalueert op basis van fairness, reliability en resilience, naast traditionele prestaties.
Onafhankelijkheid van Dimensies: De auteurs tonen aan dat de scores voor deze verschillende dimensies statistisch ongecorreleerd zijn. Een hoge score op het ene vlak garandeert geen hoge score op de andere.
Validatie van Methodologie: De bevindingen worden getoetst met twee verschillende Shapley-benaderingen (LOO en GTG) en over drie verschillende ML-domeinen, wat de generaliseerbaarheid van de conclusies onderstreept.
Kritiek op Huidige Schemata: Het paper levert bewijs dat huidige evaluatieschema's, die zich alleen op prestatie richten, een vertekend beeld geven en leiden tot oneerlijke beloningssystemen.

4. Resultaten

De experimentele resultaten onthullen fundamentele inzichten:

Dramatisch Verschil in Ranking: De rangschikking van clients verschilt drastisch afhankelijk van de gebruikte metric. Clients die "goed" zijn voor de nauwkeurigheid, kunnen "slecht" zijn voor eerlijkheid of weerbaarheid.
Statistische Onafhankelijkheid: De correlatiecoëfficiënten (Spearman $\Phi$ ) tussen prestatie-scores en betrouwbaarheidsscores zijn zeer laag (vaak < 0.1 in absolute waarde). Dit bevestigt dat prestatie geen goede proxy is voor betrouwbaarheid.
Inter-correlatie van Betrouwbaarheid: Interessant genoeg vertonen reliability en resilience onderling een sterkere correlatie (vaak > 0.5), aangezien beide betrekking hebben op robuustheid, hoewel ze verschillende soorten verstoringen meten.
Dataset-afhankelijkheid: De verdeling van scores verschilt per datatype (bijv. tabulaire data toont andere patronen dan beelddata), wat suggereert dat verschillende data-modaliteiten inherent gevoeliger zijn voor specifieke dimensies van betrouwbaarheid.
Inconsistentie tussen Methoden: Hoewel LOO en GTG over het algemeen dezelfde trends laten zien, zijn er afwijkingen, wat aangeeft dat de keuze van de evaluatiemethode ook invloed heeft op de uitkomst.

5. Betekenis en Conclusie

Dit onderzoek heeft diepgaande implicaties voor het ontwerp van Federated Learning-systemen:

Herdefiniëring van Waarde: De waarde van een participant in een FL-netwerk is context-afhankelijk. Een systeem dat alleen kijkt naar nauwkeurigheid, straalt mogelijk essentiële bijdragen aan de ethische en technische robuustheid van het model uit.
Incentive Design: Beloningssystemen moeten evolueren van een enkelvoudige prestatie-metric naar een multidimensionaal beloningsschema. Dit is cruciaal voor het bouwen van AI-systemen die voldoen aan reguleringen zoals de EU AI Act en het Trustworthy AI-framework.
Toekomstperspectief: De auteurs pleiten voor het integreren van deze multidimensionale scores in een holistisch beloningssysteem. Toekomstig werk moet onderzoeken hoe deze scores kunnen worden gewogen en hoe ze reageren op verschillende definities van eerlijkheid of verschillende soorten aanvallen.

Kortom, het paper stelt dat voor het bouwen van echt betrouwbare AI in een federale setting, we moeten stoppen met het meten van alleen "hoe goed" een model is, en beginnen met het meten van "hoe eerlijk, betrouwbaar en weerbaar" de bijdragen van de deelnemers zijn.