FedOUI: OUI-Guided Client Weighting for Federated Aggregation

Technische Samenvatting: FedOUI – OUI-geleide clientgewichtering voor federale aggregatie

Probleemstelling

Federated learning (FL) staat voor aanzienlijke uitdagingen door data-heterogeniteit over clients, die zich manifesteert in variaties in steekproefgrootte, klassenverdeling, ruisniveaus en lokale optimalisatiedynamiek. Standaard aggregatieregels, zoals FedAvg, wegen client-updates doorgaans uitsluitend op basis van datasetgrootte of, bij geavanceerdere methoden, op basis van gradiëntgeometrie en robuustheid. Deze benaderingen negeren echter vaak interne signalen over hoe het model van een client zijn invoerruimte tijdens het trainen organiseert. Bijgevolg kunnen clients updates van vergelijkbare schaal produceren terwijl ze werken in fundamenteel verschillende interne regimes, wat leidt tot suboptimale globale aggregatie.

Methodologie

Het artikel stelt FedOUI voor, een aggregatieregel aan de serverkant die een op activatie gebaseerde, labelvrije metriek, de Overfitting–Underfitting Indicator (OUI), integreert om de clientgewichtering te sturen.

1. De OUI-metriek:
Berekend lokaal op elke client met een vaste probe-batch van grootte $B$, meet de OUI de balans van activatiepatronen in de voorlaatste pre-activatielaag.

• Voor elke eenheid $j$ in een laag met $d$ eenheden wordt voor elke steekproef in de probe-batch een binaire activatiemasker gegenereerd.
• Het aantal actieve steekproeven ($s_j$) en het aantal in de minderheid ($u_j = \min(s_j, B - s_j)$) worden berekend.
• De OUI-waarde van de client ($o_k$) is het gemiddelde van de genormaliseerde aantallen in de minderheid over alle eenheden, resulterend in een scalair in $[0, 1]$. Een waarde dicht bij 0,5 duidt op gebalanceerde activaties, terwijl waarden dicht bij 0 of 1 sterk scheef (atypisch) activatiepatronen aangeven.

2. Aggregatieregel aan de serverkant:
In elke communicatieronde $t$ sturen clients hun lokale modelupdate ($\Delta_k^t$), steekproefaantal ($n_k$) en OUI-waarde ($o_k^t$) naar de server.

• Schatting van verdeling: De server modelleert de verdeling van de ontvangen OUI-waarden met een Beta-verdeling, $Beta(\alpha_t, \beta_t)$, die is aangepast aan de data van die ronde. Dit biedt een notie van "structurele typiciteit" voor die specifieke ronde.
• Structurele scoring: Een structurele score ($s_k^t$) wordt toegewezen aan elke client op basis van hun afstand tot het centrum van de aangepaste Beta-verdeling:
  $$s_k^t = 2 \min \{F_t(o_k^t), 1 - F_t(o_k^t)\}$$
  waarbij $F_t$ de cumulatieve verdelingsfunctie is. Clients dicht bij het centrum van de verdeling ontvangen hogere scores, terwijl die in de staarten (structureel atypisch) lagere scores ontvangen.
• Gewichtsberekening: Het definitieve aggregatiegewicht ($w_k^t$) combineert de steekproefgrootte van de client en de structurele score:
  $$w_k^t \propto n_k (\epsilon + s_k^t)$$
  waarbij $\epsilon$ een kleine constante is voor numerieke stabiliteit. Dit zorgt ervoor dat atypische clients minder bijdragen aan de globale update, terwijl alle geselecteerde clients actief blijven.

Belangrijkste bijdragen

• Nieuw signaal voor aggregatie: Het artikel introduceert het gebruik van interne activatiestructuur (via OUI) als een complementair signaal voor FL-aggregatie, onderscheiden van gradiëntgeometrie of steekproefgrootte.
• Lichtgewicht en interpreteerbaar mechanisme: FedOUI vereist minimale rekenkundige overhead (een vaste probe-batch) en biedt een interpreteerbare herwegingsregel die de invloed van structureel atypische clients afvlakt zonder ze te verwijderen.
• Labelvrije werking: De OUI-metriek vereist geen toegang tot ground-truth labels aan de clientkant, waardoor deze geschikt is voor privacy-bewuste FL-scenario's.

Experimentele resultaten

De auteurs evalueerden FedOUI op het CIFAR-10-dataset met een kleine CNN over 20 clients (5 per ronde gesampled) gedurende 60 rondes. Vergelijkingen werden gemaakt met FedAvg, FedProx en FedAlign onder twee primaire settings:

1. Sterke Non-IID-setting (Dirichlet $\alpha=0.1$):

   • FedOUI behaalde de hoogste eindnauwkeurigheid (0,2343 versus 0,2163 voor FedAvg) en de beste pieknauwkeurigheid (0,2820).
   • Het leverde ook de hoogste Area Under the Curve (AUC) voor testnauwkeurigheid op (0,1726), wat wijst op consistente prestatieverbeteringen over het trainingsverloop.
   • FedAlign presteerde in dit regime aanzienlijk slechter.

2. Setting met ruisende clients:

   • FedOUI behaalde de hoogste beste pieknauwkeurigheid (0,3183), en presteerde beter dan FedAvg en FedProx (beide ~0,3100).
   • Hoewel de eindnauwkeurigheid iets lager was dan die van de baselines (0,2310 versus 0,2727), behield het concurrerende AUC-scores, wat robuustheid aantoont wanneer de kwaliteit van clients verslechtert.

Betekenis en claims

Het artikel beweert dat interne activatiestructuur een praktische en bruikbare informatiebron biedt voor federale aggregatie, en dat het de rol van dergelijke waarneembare grootheden uitbreidt van trainingsanalyse naar actieve aggregatiecontrole.

• Omgaan met heterogeniteit: De resultaten suggereren dat gewichtering op basis van OUI bijzonder effectief is onder sterke statistische heterogeniteit, waarbij het de aggregatiekwaliteit verbetert door clients die in structureel atypische regimes werken te identificeren en minder zwaar te wegen.
• Complementaire waarde: De methode toont aan dat aggregatie kan worden versterkt door signalen buiten clientgrootte en gradiëntgeometrie, en biedt een eenvoudige, serverzijdige mechanisme om zich aan te passen aan de interne dynamiek van clientmodellen.
• Toekomstige richtingen: De auteurs positioneren dit werk als een stap naar een breder onderzoeksagenda die interne structurele signalen omvat voor het bewaken en controleren van gedistribueerd leren. Zij stellen toekomstig werk voor op grotere datasets, OUI per laag, temporale afvlakking en integratie met gradiëntgeometrie, evenals systeemgerichte optimalisaties voor privacy en communicatie-efficiëntie.