Wavelet Scattering Transform and Fourier Representation for Offline Detection of Malicious Clients in Federated Learning

Dit paper introduceert WAFFLE, een algoritme dat gebruikmaakt van Wavelet Scattering en Fourier-transformaties om schadelijke clients in Federated Learning te detecteren voordat het trainingsproces begint, zonder toegang tot de ruwe data.

De kern

De Waffle: Een Koffiebar-Filter voor Veilig Leren in De Digitale Wereld

Stel je voor dat een hele stad samenwerkt om een super-slimme robot te bouwen. Iedere inwoner (een "client") heeft een stukje kennis of een foto van hun eigen tuin. In plaats dat ze hun geheime tuinplannen naar een centraal kantoor sturen, sturen ze alleen hun ideeën over hoe de robot eruit moet zien. Dit noemen we Federated Learning. Het is geweldig voor privacy, maar er zit een addertje onder het gras.

Het Probleem: De Valse Inwoners
Stel, er zijn een paar inwoners die niet eerlijk zijn.

1. De Verkeerde Sensor: Een inwoner heeft een kapotte camera die alles wazig maakt of met ruis overtrekt.
2. De Saboteur: Een inwoner doet expres alsof zijn tuin er heel anders uitziet om de robot te verwarren.

Als deze "boze" inwoners hun ideeën sturen, wordt de robot gek. Hij leert verkeerde dingen en faalt. De uitdaging? Je mag de tuinplannen (de ruwe data) niet zien, dus hoe weet je wie er liegt of kapotte apparatuur heeft?

De Oplossing: Waffle
De auteurs van dit paper hebben Waffle bedacht. De naam staat voor Wavelet and Fourier representations for Federated Learning. Laten we het zien als een slimme koffiebar-filter die werkt voordat de echte koffie (het trainen van de robot) begint.

Hoe werkt het?

1. De "Geur" van de Data (Spectrale Analyse)
In plaats van naar de foto's zelf te kijken (wat niet mag), laten we de inwoners een heel klein, samengevat verslag sturen. Dit is als het sturen van de geur van de koffie, niet de koffie zelf.

• Fourier (De Muziek): Stel je voor dat je een foto omzet in muziek. Een scherp, helder beeld klinkt als een duidelijke melodie. Een wazig of ruisend beeld klinkt als een kakofonie van valse noten. De Fourier-transformatie is als een muzikant die luistert of de "melodie" van de data klopt.
• Wavelet Scattering (De Textuur): Dit is nog slimmer. Het kijkt niet alleen naar de muziek, maar naar de structuur en textuur. Het is alsof je met je vingers over het oppervlak van de koffie loopt. Een echte koffie heeft een bepaalde korreligheid. Een valse koffie (met ruis of wazigheid) voelt aan als glad plastic of schuim. De "Wavelet Scattering Transform" is een specialist die deze textuur kan voelen, zelfs als de koffie een beetje verschoven is.

2. De "Proefnemer" (De Detector)
Voordat de stad begint met het bouwen van de robot, heeft de centrale server een proefnemer (de Waffle-detector) getraind.

• Deze proefnemer heeft in een veilige ruimte geoefend met duizenden voorbeelden: "Hoe ruikt een eerlijke tuin?" en "Hoe ruikt een tuin met een kapotte camera?"
• Hij heeft geleerd om de "geur" van de boze inwoners te herkennen, zonder ooit de echte tuin te zien.

3. Het Filteren (Offline Detectie)
Nu begint het echte spel:

• Elke inwoner berekent op zijn eigen telefoon de "geur" (de spectrale vingerafdruk) van zijn data.
• Hij stuurt alleen deze vingerafdruk naar de server.
• De server geeft de vingerafdruk aan de proefnemer.
• De beslissing: "Ah, deze geur komt van een kapotte sensor!" zegt de proefnemer. Die inwoner mag niet meedoen aan het bouwen van de robot. Alleen de eerlijke inwoners mogen hun ideeën sturen.

Waarom is Waffle zo slim?

• Het is een voorbode: Het werkt voordat er tijd en energie wordt verspild aan het trainen van de robot. Het is als het controleren van de ingrediënten voordat je begint met bakken.
• Het is onomkeerbaar: De "geur" die wordt gestuurd, is zo samengevat dat niemand er de originele foto's van kan terugrekenen. Je privacy blijft 100% veilig.
• Het werkt zelfs als de boosdoeners in de meerderheid zijn: Zelfs als 90% van de inwoners probeert te saboteren, kan Waffle ze nog steeds opsporen en uitsluiten.

De Resultaten
In hun experimenten hebben ze getoond dat Waffle veel beter werkt dan andere methoden.

• Bij foto's (zoals auto's of kleding) werkt het perfect.
• Het werkt zelfs bij tekst (zoals het analyseren van gevoelens in zinnen), wat laat zien dat het een universele tool is.
• De robot die uiteindelijk wordt gebouwd, is veel slimmer en betrouwbaarder omdat hij alleen heeft geleerd van de eerlijke inwoners.

Conclusie
Waffle is als een slimme poortwachter die de deuren van de digitale stad bewaakt. Hij laat alleen de mensen binnen die eerlijke, schone data hebben, gebaseerd op een unieke "geur" die ze sturen. Zo bouwen we samen een betere, veiligere AI, zonder dat we elkaar's geheimen hoeven te onthullen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Wavelet Scattering Transform and Fourier Representation for Offline Detection of Malicious Clients in Federated Learning" in het Nederlands.

Titel: Wavelet Scattering Transform en Fourier Representatie voor Offline Detectie van Malicious Clients in Federated Learning

1. Het Probleem

Federated Learning (FL) stelt het mogelijk om machine learning-modellen te trainen over gedecentraliseerde clients (zoals IoT-apparaten) zonder dat ruwe data de lokale apparaten verlaat, wat privacy waarborgt. Echter, dit systeem is kwetsbaar voor twee hoofdproblemen:

• Data-heterogeniteit: Clients hebben vaak zeer verschillende data-distributies.
• Malicious of defecte clients: Apparaten kunnen door sensorfouten, miscalibratie of opzettelijke aanval (data poisoning) beschadigde data genereren.

Deze "malicious clients" kunnen de prestaties van het globale model aanzienlijk verslechteren. Bestaande verdedigingsmechanismen hebben beperkingen:

• Robuste aggregatie (bijv. Krum, TrimmedMean) probeert de impact van slechte updates te minimaliseren zonder de clients expliciet te labelen, maar werkt vaak niet goed als de meerderheid van de clients kwaadaardig is.
• Online detectie (tijdens het trainen) introduceert hoge communicatie- en rekenkosten en detecteert problemen vaak pas nadat schade is aangericht.
• Er is een gebrek aan methoden die offline, voorafgaand aan de training, malicious clients kunnen identificeren op basis van hun lokale data-distributie, zonder dat de server de ruwe data ziet.

2. Methodologie: Waffle

De auteurs stellen Waffle (Wavelet and Fourier representations for Federated Learning) voor. Dit is een lichtgewicht, offline detector die malicious clients identificeert en uitsluit voordat de federale training begint.

Kerncomponenten:

• Offline Training: De detector wordt getraind op de server met behulp van een openbaar, gedistilleerd dataset (D_aux). De server simuleert FL-rondes met fictieve clients die zowel schone data als data met aanvalspatronen (ruis of wazigheid) bevatten.
• Spectrale Representaties: In plaats van ruwe data of modelgradiënten te analyseren, gebruiken clients en de server spectrale transformaties om een lage-dimensionale, niet-inverteerbare samenvatting van de data-distributie te maken. Er worden twee benaderingen vergeleken:
  1. Fourier Transform (FT): Lineair, efficiënt, maar inverteerbaar (privacy-gevoelig).
  2. Wavelet Scattering Transform (WST): Niet-lineair, stabiel tegen lokale vervormingen, invariante tegen translaties en niet-inverteerbaar. Dit maakt WST superieur voor privacy en robuustheid tegen kleine perturbaties.
• Proces:
  1. Elke client berekent lokaal Principal Component Analysis (PCA) op zijn data.
  2. De client past de spectrale operator (FT of WST) toe op de PCA-features om een embedding $\phi_k$ te genereren.
  3. De client stuurt alleen deze compacte embedding naar de server.
  4. De server gebruikt de vooraf getrainde Waffle-classificator om te bepalen of de client malicious is.
  5. Als een client als malicious wordt gelabeld, wordt deze uitgesloten van de federale training.

3. Belangrijkste Bijdragen

• Nieuwe Offline Detector: Introductie van Waffle, een methode die malicious clients detecteert op basis van data-kenmerken (ruis/blur) voordat training start, in plaats van tijdens het trainen.
• Toepassing van WST in FL: Het is de eerste keer dat de Wavelet Scattering Transform wordt gebruikt voor anomaly detection in Federated Learning. De auteurs tonen aan dat WST theoretische voordelen biedt (stabiliteit, niet-inverteerbaarheid) ten opzichte van de traditionele Fourier Transform.
• Theoretisch Kader: Het paper biedt wiskundige garanties dat het verwijderen van malicious clients leidt tot een onbevooroordeelde schatter van het globale model met lagere variantie, zelfs als de meerderheid van de clients kwaadaardig is.
• Model-onafhankelijkheid: De methode is agnostisch ten opzichte van het aggregatie-algoritme en kan worden gecombineerd met bestaande robustere aggregatiemethoden.

4. Resultaten

Experimenten zijn uitgevoerd op benchmark datasets (FashionMNIST, CIFAR-10, CIFAR-100) en een NLP-taak (Sentiment Analysis).

• Detectieprestaties:
  • De WST-variant van Waffle presteert over het algemeen beter in precisie en F1-score dan de FT-variant.
  • In extreme scenario's met 90% malicious clients, bereikt Waffle-WST een 100% precisie (geen goede clients worden per ongeluk verwijderd) op alle datasets.
  • De methode is robuust tegen zowel Gaussische ruis als niet-Gaussische aanvallen (zoals "random block dropout" waarbij pixels op zwart worden gezet).
• Modelprestaties:
  • Door malicious clients te verwijderen, herstelt Waffle de prestaties van het globale model bijna volledig naar het niveau van een schone federatie (zonder aanval).
  • Op CIFAR-100 bereikt Waffle-WST een testnauwkeurigheid van 16.9% (tegenover 16.4% voor standaard FedAvg en 10.1% voor Krum), wat dicht bij de ideale schone baseline ligt.
  • In de NLP-experimenten steeg de nauwkeurigheid van 38.53% (zonder detector) naar 42.71% (met Waffle-WST), dicht bij de ideale 44.81%.
• Vergelijking met Bestaande Methoden: Waffle overtreft bestaande Byzantine-resiliente methoden (zoals Krum, GeoMed) en online detectiemethoden (zoals FLDetector, VAEDetector), vooral in situaties met een hoge concentratie aanvallers of complexe data-aanvallen.

5. Significantie en Toekomstperspectief

• Privacy en Efficiëntie: Omdat Waffle werkt op lage-dimensionale, niet-inverteerbare embeddings en offline wordt getraind, minimaliseert het de communicatie- en rekenlast op de edge-apparaten. Het vereist geen toegang tot ruwe data door de server.
• Proactieve Veiligheid: Waffle fungeert als een eerste verdedigingslinie die het trainingsproces "sanitiseert" voordat het begint. Dit is cruciaal voor resource-beperkte IoT-systemen waar online detectie te duur is.
• Toepasbaarheid: De methode werkt niet alleen voor beeldherkenning, maar is ook getest op tekstdata (NLP), wat de veelzijdigheid van de spectrale benadering aantoont.
• Toekomstig Werk: De auteurs plannen uitbreidingen naar complexere aanvallen (backdoor attacks, model poisoning) en ondersteuning voor grotere datasets (zoals ImageNet).

Conclusie: Waffle biedt een effectieve, privacy-bewuste en reken-efficiënte oplossing voor het detecteren van data-integriteitsproblemen in Federated Learning, waardoor het mogelijk wordt om betrouwbare modellen te trainen in onveilige en heterogene omgevingen.