Fairness-Aware Federated Learning with Trajectory Shapley Value

Technische Samenvatting: Fairness-Aware Federated Learning met Traject-Shapleywaarde

Probleemstelling
Federated Learning (FL) maakt collaboratieve modeltraining mogelijk over gedistribueerde clients zonder ruwe data te delen, waarmee privacy- en communicatiebeperkingen in domeinen zoals hernieuwbare energie, gezondheidszorg en autonome systemen worden aangepakt. Echter, conventionele aggregatieschema's, met name Federated Averaging (FedAvg), vertrouwen op vaste gewichten (doorgaans uniform of evenredig aan de datasetgrootte). Deze statische gewichten houden geen rekening met tijdsvariabele clientbijdragen, dataheterogeniteit en partiële participatie. Bijgevolg kan het globale model lijden onder bias, instabiliteit en kwetsbaarheid voor clients van lage kwaliteit of kwaadaardige (Byzantijnse) clients die een onevenredige invloed uitoefenen.

Bestaande methoden voor clientevaluatie maken vaak gebruik van de Shapleywaarde (SV) uit de coöperatieve speltheorie om eerlijke scores toe te kennen op basis van marginale bijdragen. Echter, de exacte berekening van SV is onuitvoerbaar voor grote netwerken. Benaderingen zoals Monte Carlo-steekproeven kunnen clients onderschatten die laat aansluiten of slechts sporadisch participeren, terwijl op gradiënten gebaseerde methoden (bijvoorbeeld Cosine-Gradient Shapley Value) grote-magnitude updates kunnen overbelichten en informatie gebaseerd op validatie missen. Er is behoefte aan een bijdragemetriek die temporeel consistent is, robuust tegen adversarisch gedrag, en in staat is clients te evalueren op basis van hun invloed op het optimalisatietraject in plaats van slechts op statische verliesreductie.

Methodologie: Traject-Shapleywaarde (TSV) en FedTSV
De auteurs stellen Traject-Shapleywaarde (TSV) voor, een nieuwe bijdragemetriek, en FedTSV, een adaptief aggregatiealgoritme.

1. Traject-Shapleywaarde (TSV):

   • Concept: In plaats van uitsluitend te focussen op statische verliesreductie, evalueert TSV hoe de coalitie-update van een client overeenkomt met het optimalisatietraject van het globale model.
   • Referentie-update: Bij elke communicatieronde $t$ berekent de server een referentie-update ($\Delta^t_{val}$) door $K$ stappen van Stochastic Gradient Descent (SGD) uit te voeren op een apart gehouden validatiedataset, startend vanaf het huidige globale model $\theta_t$.
   • Utility-functie: Voor elke coalitie $S$ van deelnemende clients berekent de server hun gemiddelde update ($\Delta^t_S$). Een gebonden utility per ronde $v_t(S)$ wordt gedefinieerd op basis van de afstand tussen de coalitie-update en de validatiereferentie:
     $$v_t(S) = \left( 1 + \frac{\text{Dist}(\Delta^t_S, \Delta^t_{val})^2}{\sigma_t} \right)^{-1}$$
     waarbij $\text{Dist}$ een metriek is (bijvoorbeeld Euclidisch) en $\sigma_t$ een normalisatiefactor is om stabiliteit te waarborgen nabij stationaire punten.
   • Scoretoekenning: De utility $v_t(S)$ neemt toe naarmate de coalitie-update geometrisch dichter bij de validatie-afdaalrichting komt. De Shapleywaarde wordt per ronde geschat met Monte Carlo-steekproeven op deze gebonden utility en over tijd opgeteld om een cumulatieve bijdragescore te vormen.

2. FedTSV-algoritme:

   • Adaptieve weging: De cumulatieve Shapleywaarden worden omgezet in niet-negatieve, tijd-afhankelijke aggregatiegewichten ($\alpha^t_i$).
   • Mechanisme: Clients met positieve cumulatieve bijdragen ontvangen hogere gewichten, terwijl diegenen met negatieve bijdragen (wat wijst op kwaadaardig gedrag of consequent slechte uitlijning) worden afgekapt tot nul.
   • Robuustheid: Dit mechanisme stelt de server in staat om in real-time dynamisch te reageren op heterogene en adversarische participatie, kwaadaardige clients af te wegen zonder voorafgaande kennis van hun status.
   • Complexiteit: De methode vereist slechts één client-trainingpass per ronde plus een server-zijde validatiepass, waardoor de rekenkundige haalbaarheid behouden blijft.

Belangrijkste Bijdragen
Het artikel schetst drie primaire bijdragen:

1. TSV-metriek: Introductie van een nieuwe bijdragemetriek die clients evalueert via hun invloed op het optimalisatietraject, en een temporeel consistent alternatief biedt voor conventionele op SV gebaseerde methoden.
2. FedTSV-algoritme: Ontwikkeling van een adaptief wegingalgoritme dat TSV benut om aggregatiegewichten dynamisch aan te passen, waardoor eerlijkheid en robuustheid in heterogene en adversarische omgevingen worden verbeterd.
3. Empirische Validatie: Demonstratie van de effectiviteit van FedTSV over beeldclassificatie-benchmarks (MNIST en CIFAR-10) en diverse FL-scenario's, met nadruk op de voordelen voor privacy-bewuste gedistribueerde learning.

Experimentele Resultaten
De auteurs evalueerden FedTSV tegenover baselines waaronder FedAvg, Cosine-Gradient Shapley Value (CGSV) en Leave-One-Out (LOO) methoden op MNIST- en CIFAR-10-datasets met 100 clients (70 IID, 10 non-IID, 20 kwaadaardig).

• Convergentie en Nauwkeurigheid: FedTSV versnelde consistent de convergentie en behaalde een hogere globale nauwkeurigheid in vergelijking met de baselines. Op CIFAR-10 verzadigde FedAvg bij lagere nauwkeurigheidsniveaus (~0,65), terwijl FedTSV stabiele en superieure prestaties handhaafde.
• Robuustheid: FedTSV toonde grotere stabiliteit tegen labelcorruptie en statistische heterogeniteit. De prestatieschommelingen van FedTSV waren aanzienlijk kleiner dan bij andere methoden, met name op het complexere CIFAR-10-landschap.
• Bijdragebeoordeling: Visualisatie van clientgewichten toonde aan dat FedTSV clienttypes effectief scheidde: kwaadaardige clients ontvingen lage scores, IID-benigne clients concentreerden zich in het positieve gebied, en non-IID-benigne clients vielen daartussenin. Daarentegen kende FedAvg uniforme gewichten toe, terwijl CGSV en LOO verspreide distributies of opgeblazen gewichten voor adversarische clients vertoonden.

Betekenis en Beweringen
Het artikel beweert dat FedTSV een principiële basis biedt voor fairness-aware federated optimization. Door trajectgebaseerde updateanalyse te integreren met Shapleywaarde-principes, biedt de methode een mechanisme dat zowel efficiënt als robuust is. De auteurs stellen dat FedTSV de robuustheid verbetert in aanwezigheid van heterogene en kwaadaardige clients, terwijl de rekenkundige efficiëntie behouden blijft.

Het artikel blijft bescheiden wat theoretische garanties betreft, met de opmerking dat de gebruikelijke convergentiebewijzen voor FedAvg niet direct van toepassing zijn op het tijdsvariabele doelwit van FedTSV, en dat een rigoureuze convergentieanalyse wordt overgelaten voor toekomstig werk. Toekomstige onderzoeksrichtingen die zijn geïdentificeerd, omvatten het onderzoeken van de theoretische fundamenten van FedTSV vanuit een speltheoretisch oogpunt, met name met focus op incentive compatibility en eerlijkheid in langetermijn collaboratieve learning.