Dynamic Free-Rider Detection in Federated Learning via Simulated Attack Patterns

Probleemstelling

Federated Learning (FL) staat meerdere clients toe om een globaal model te trainen zonder hun lokale data te delen. Een groot risico in dit ecosysteem zijn "free-riders": clients die geen lokale training uitvoeren, maar nep-modelupdates indienen om toch toegang te krijgen tot het verbeterde globale model.

Bestaande detectiemethoden, zoals de WEF-defense (Weight Evolving Frequency), zijn effectief tegen statische free-riders (die nooit trainen) en vereisen geen proxy-datasets of vooraf training. Echter, deze methoden falen tegen dynamische free-riders. Dit zijn clients die zich in de vroege rondes correct gedragen om vertrouwen te winnen, en later overschakelen naar free-riding. Vooral onder geavanceerde aanvallen die het globale model nabootsen (zoals de Delta Weight Attack en de nieuw voorgestelde Adaptive WEF-camouflage Attack), kunnen deze dynamische aanvallen onopgemerkt blijven omdat hun geaccumuleerde updates lijken op die van eerlijke clients.

Methodologie: S2-WEF

De auteurs stellen S2-WEF (Submitted and Simulated-Weight Evolving Frequency) voor, een nieuwe detectiemethode die de serverzijde gebruikt om aanvallen te simuleren en te vergelijken met de ingediende updates.

1. Simulatie van Aanvalspatronen (Server-zijde):
In plaats van alleen te vertrouwen op de ingediende data, simuleert de server op elke ronde het gedrag van een free-rider die het globale model nabootst.

• De server gebruikt de twee eerder uitgezonden globale modellen ($w_g^T$ en $w_g^{T-1}$) om een gesimuleerde WEF-matrix ($F_g$) te genereren.
• Deze simulatie imiteert hoe een free-rider die een Delta Weight Attack uitvoert, de verschillen tussen globale modellen zou gebruiken om nep-weights en een bijbehorende WEF-matrix te creëren.

2. Twee-dimensionale Scoreberekening:
Voor elke client $i$ worden twee scores berekend:

• Similariteitscore ($\gamma_i$): Meet hoe sterk de ingediende WEF-matrix van de client overeenkomt met de gesimuleerde WEF-matrix van de server. Een hoge score duidt op een mogelijke "global-model-mimicking" aanval.
  • Formule: $\gamma_i = \frac{\text{CosineSimilarity}(F_i, F_g)}{\|F_i - F_g\|_1}$. De L1-norm wordt toegevoegd om de score gevoeliger te maken voor kleine verschillen.
• Afwijkingscore ($Dev_i$): Een bestaande metric uit WEF-defense die meet hoe sterk de WEF-matrix van een client afwijkt van de gemiddelde verdeling van alle andere clients (gebaseerd op Euclidische afstand en cosine similariteit onderling).

3. Clustering en Classificatie:
Om valse positieven te minimaliseren en diverse aanvallen te detecteren, combineert S2-WEF deze scores:

• Robuuste Hierarchische Clustering: Clients worden geclusterd in een 2D-ruimte gebaseerd op de genormaliseerde $\gamma_i$ en $Dev_i$ scores. Er wordt gebruik gemaakt van de mediaan en MAD (Median Absolute Deviation) om uitbijters te negeren.
• Adaptive Drempelwaarde: Er wordt getoetst of de scores een bepaalde drempel overschrijden.
• Meerderheidsstemming (Majority Vote): Alleen als een cluster van verdachte clients een meerderheid vormt die boven de drempelwaarde van minstens één van de twee scores valt, worden ze als free-riders gelabeld. Dit voorkomt dat een enkele anomalie ten onrechte een hele groep als kwaadaardig bestempelt.

Belangrijkste Bijdragen

1. Empirisch Bewijs van Falen: De auteurs tonen aan dat de bestaande WEF-defense dynamische free-riders niet kan detecteren, vooral niet onder Delta Weight Attacks en de nieuw voorgestelde Adaptive WEF-camouflage Attack (AWCA).
2. Nieuwe Aanval (AWCA): Ze introduceren de AWCA, een geavanceerde aanval waarbij free-riders de WEF-matrix stap-voor-stap (per lokale iteratie) vervalsen in plaats van één keer na training, waardoor ze zich onopvallender gedragen dan eerdere methoden.
3. S2-WEF Methode: Een nieuwe detectiemethode die geen proxy-datasets of vooraf training vereist, maar wel dynamische free-riders effectief kan opsporen door server-zijde simulatie te combineren met mutual deviation.
4. Uitgebreide Validatie: De methode is getest op drie datasets (MNIST, ADULT, CIFAR-10) en vijf verschillende aanvalstypes.

Resultaten

De experimenten tonen aan dat S2-WEF aanzienlijk robuuster is dan bestaande methoden (zoals STD-DAGMM en WEF-defense):

• Detectie van Dynamische Aanvallen: Waar WEF-defense vaak faalt (F1-score dicht bij 0) bij dynamische free-riders die later switchen, bereikt S2-WEF F1-scores van vaak >0.99, zelfs onder de zware AWCA en DWA aanvallen.
• Robuustheid: S2-WEF presteert consistent goed over verschillende datasets en data-distributies (IID en Non-IID).
• Minimale Impact op Accuratie: Het toepassen van S2-WEF heeft nauwelijks negatieve gevolgen voor de nauwkeurigheid van het globale model voor de hoofdtaak, zelfs niet in de meest uitdagende scenario's.
• Valse Positieven: De meerderheidsstem-mechanisme verlaagt het aantal valse positieven aanzienlijk (bijna de helft) in vergelijking met methoden die alleen op clustering vertrouwen.

Significantie

Dit onderzoek is van groot belang voor de praktische toepassing van Federated Learning, vooral in Cross-Silo FL (tussen organisaties), waar free-riding een reëel economisch en veiligheidsrisico vormt.

• Praktische Implementatie: Omdat S2-WEF geen proxy-datasets of vooraf training vereist, is het direct inzetbaar in real-world scenario's waar data privacy cruciaal is en externe datasets niet beschikbaar zijn.
• Dynamische Bedreigingen: Het is een van de eerste methoden die specifiek is ontworpen om clients te detecteren die hun gedrag dynamisch aanpassen om detectie te ontlopen, wat een kritieke zwakheid in eerdere veiligheidsprotocollen was.
• Toekomstige Richting: Het werk legt de basis voor verdere ontwikkeling in heterogene FL en Federated Large Language Models (LLMs), hoewel uitbreiding naar verschillende modelarchitecturen nog een uitdaging blijft.

Kortom, S2-WEF biedt een robuust, datagestuurde oplossing om de integriteit van Federated Learning-systemen te waarborgen tegen slimme, adaptieve aanvallen.