Protecting Federated Learning from Extreme Model Poisoning Attacks via Multidimensional Time Series Anomaly Detection

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat een groep mensen samen een heel groot, slim raadsel probeert op te lossen. Dit is Federated Learning. Iedereen heeft een stukje van de puzzel (hun eigen data), maar ze willen hun stukjes niet aan elkaar laten zien om hun privacy te beschermen. In plaats daarvan sturen ze hun ideeën over hoe het raadsel eruit zou moeten zien naar een centrale leider (de server). De leider pakt al die ideeën, maakt er één groot, gemiddeld idee van, en stuurt dat terug. Zo leren ze gezamenlijk.

Het probleem? Er zitten soms boeven in de groep.

Deze boeven sturen geen goede ideeën, maar valse, verwarrende informatie. Als er maar een paar boeven zijn, kan de leider de rest wel vertrouwen. Maar wat als de helft of zelfs 80% van de groep boeven is? Dan wordt het gemiddelde idee volledig gek, en faalt het hele systeem. Bestaande methodes om dit op te lossen, werken vaak niet als er zó veel boeven zijn.

Hier komt FLANDERS (de naam van de nieuwe uitvinding in dit paper) in het spel.

De Analogie: De "Voorspeller" in de Klas

Stel je voor dat je een leraar bent in een klas met 100 leerlingen. Elke week moeten ze een huiswerkopdracht maken. Normaal gesproken zien je de antwoorden van de leerlingen die je hebt geselecteerd, en maak je een samenvatting.

Hoe werken de boeven (aanvallers)?
Ze doen alsof ze hard werken, maar ze sturen elke week een antwoord dat er heel raar uitziet, of ze proberen het antwoord van de vorige week te verdraaien om de leraar op het verkeerde spoor te zetten.

Hoe werkt FLANDERS?
FLANDERS is als een slimme, voorspellende assistent van de leraar. Deze assistent kijkt niet alleen naar het antwoord dat je nu geeft, maar onthoudt hoe je vroeger hebt gedaan.

Het Patroon (De "Regelmaat"):
Een eerlijke leerling die echt aan het leren is, volgt een logisch patroon. Als ze vandaag een fout maken, maken ze morgen een iets andere fout, en overmorgen worden ze beter. Hun antwoorden veranderen op een voorspelbare manier. Het is als een dans die ze steeds beter leren.
De Boef (De "Uitstijger"):
Een boef doet dit niet. Omdat ze proberen het systeem te saboteren, gooien ze willekeurige antwoorden naar je toe of veranderen ze hun gedrag heel plotseling. Hun "dans" is chaotisch en onvoorspelbaar.
De Check:
FLANDERS gebruikt een wiskundig model (een soort "tijdsrekenmachine") om te voorspellen: "Als deze leerling eerlijk is, zou zijn antwoord morgen ongeveer zo moeten zijn."
- Als het echte antwoord dicht bij de voorspelling ligt: Goed! (Eerlijke leerling).
- Als het echte antwoord totaal anders is dan de voorspelling: Stop! (Waarschijnlijk een boef).

Waarom is dit zo speciaal?

De meeste oude methodes zeggen: "Weet je wat? Als er meer dan 50% boeven zijn, kunnen we het niet meer oplossen." Ze hopen dat de eerlijke mensen in de meerderheid zijn.

FLANDERS zegt: "Dat maakt niet uit. Of er nu 10% of 90% boeven zijn, ik kijk naar het gedrag in de tijd."

Zelfs als er 80 boeven zijn, gedragen de 20 eerlijke mensen zich nog steeds op een logische, voorspelbare manier. De boeven, hoe slim ze ook proberen te doen alsof ze eerlijk zijn, kunnen die natuurlijke "dans" van het leren niet perfect namaken. FLANDERS ziet die onnatuurlijke bewegingen en haalt de boeven eruit voordat ze het gezamenlijke antwoord kunnen verpesten.

De "Koude Start" (Het Nieuweling-probleem)

Wat als er een nieuwe leerling binnenkomt die je nog nooit hebt gezien? Dan weet FLANDERS niet hoe diegene zich normaal gedraagt.

De oplossing: FLANDERS vergelijkt het antwoord van die nieuwe leerling dan gewoon met het laatste gezamenlijke antwoord van de hele klas. Als het antwoord van de nieuweling er heel erg anders uitziet dan wat de klas al had, is het waarschijnlijk een boef. Zodra je de leerling een paar keer hebt gezien, gaat FLANDERS weer kijken naar hun persoonlijke patroon.

Wat levert dit op?

In de experimenten van de auteurs (met foto's van cijfers en kledingstukken) bleek dat FLANDERS:

Ongevoelig is voor de hoeveelheid boeven: Het werkt zelfs als de boeven de meerderheid vormen.
Schaalbaar is: Het kan werken met bestaande methodes. Je kunt FLANDERS zien als een "filter" dat je voor de deur zet. Alles wat erdoorheen komt, is gecontroleerd. Daarna kun je nog steeds de standaard methode gebruiken om het eindresultaat te maken.
Veilig is: Het hoeft geen geheime data van de leerlingen te zien, alleen hun antwoorden (net zoals elke andere leraar dat doet).

Samenvattend

FLANDERS is als een slimme bewaker die niet kijkt naar wie er binnenkomt, maar naar hoe ze zich gedragen in de tijd. Als je gedrag logisch en consistent is, mag je binnen. Als je gedrag chaotisch is en niet past bij je verleden, word je eruit gehaald. Hierdoor kan de groep zelfs overleven als de meerderheid van de groep uit boeven bestaat.

Each language version is independently generated for its own context, not a direct translation.

Titel: Bescherming van Federated Learning tegen Extreme Model Vergiftigingsaanvallen via Meerdere Dimensies Tijdreeks Anomalie Detectie

Auteurs: Edoardo Gabrielli, Dimitri Belli, Zoe Matrullo, Vittorio Miori, Gabriele Tolomei.

1. Het Probleem

Federated Learning (FL) staat bekend als een privacy-bevorderend paradigma waarbij clients lokaal trainen en alleen modelupdates naar een centrale server sturen. Een groot veiligheidsrisico is echter de modelvergiftigingsaanval (model poisoning attack). Hierbij manipuleert een aanvaller de lokale modelupdates van kwaadaardige clients om het globale model te saboteren.

Bestaande verdedigingsmechanismen (zoals Trimmed Mean, Krum, Bulyan of FLDetector) hebben ernstige beperkingen:

Ze zijn vaak effectief alleen tot een bepaalde drempel van kwaadaardige clients (meestal < 50%).
Ze maken sterke aannames, zoals het vooraf kennen van het aantal kwaadaardige clients.
Ze negeren vaak de temporele evolutie van de modelupdates; ze kijken naar één ronde of gebruiken statische clustering zonder rekening te houden met de historische patronen van clients.
Ze falen vaak in realistische, niet-i.i.d. (niet-onafhankelijk en identiek verdeeld) data-scenario's of bij extreme aanvallen waarbij kwaadaardige clients de meerderheid vormen (bijv. 60-80%).

Het doel van dit werk is een verdediging te ontwikkelen die robuust is tegen extreme, ongerichte modelvergiftigingsaanvallen, zelfs wanneer kwaadaardige clients de meerderheid van het netwerk uitmaken.

2. Methodologie: FLANDERS

De auteurs introduceren FLANDERS (Federated Learning meets ANomaly DEtection for a Robust and Secure), een pre-aggregatie-filter dat kwaadaardige updates detecteert voordat ze worden samengevoegd.

Kernconcept: Tijdreeks van Lokaal Modellen

FLANDERS behandelt de reeks lokale modelupdates die door clients worden verzonden als een matrix-gewaardeerde tijdreeks. De fundamentele hypothese is dat updates van legitieme clients (die trainen via Stochastic Gradient Descent) meer voorspelbare patronen vertonen dan updates van kwaadaardige clients, die willekeurige of geoptimaliseerde verstoringen introduceren.

Technische Implementatie

Matrix Autoregressie (MAR):
- De server bouwt een voorspellingsmodel op basis van een Matrix Autoregressive (MAR) model (specifiek MAR(1)).
- Op tijdstip $t$ worden de ontvangen lokale modellen van $m$ clients georganiseerd in een $d \times m$ matrix $\Theta_t$ (waarbij $d$ het aantal parameters is).
- Het model voorspelt de matrix $\hat{\Theta}_t$ op basis van de waarnemingen van de vorige ronde(s): $\hat{\Theta}_t = \hat{A}\Theta_{t-1}\hat{B}$ .
- De coëfficiënten $\hat{A}$ en $\hat{B}$ worden geschat via Alternating Least Squares (ALS) op historische data.
Anomalie Score:
- Voor elke client $c$ wordt een anomalie-score berekend als de afstand (bijv. kwadratische L2-norm) tussen de daadwerkelijk ontvangen update $\theta_c^{(t)}$ en de voorspelde update $\hat{\theta}_c^{(t)}$ .
- Cold Start Strategie: Voor clients die voor het eerst worden geselecteerd of geen recente geschiedenis hebben, wordt de afstand berekend tussen hun lokale update en het huidige globale model, in plaats van de MAR-voorspelling.
Filtering en Aggregatie:
- Clients met de hoogste anomalie-scores worden geïdentificeerd als kwaadaardig en uitgesloten van de aggregatie.
- Alleen de $k$ clients met de laagste scores worden gebruikt voor de volgende aggregatiestap (bijv. FedAvg, Krum, etc.).
- Update van het Model: Om te voorkomen dat het MAR-model zelf wordt vergiftigd door de opgespoorde kwaadaardige clients, worden de verdachte kolommen in de trainingsmatrix vervangen door de vorige legitieme updates of het globale model voordat het MAR-model wordt hertraind.

3. Belangrijkste Bijdragen

Empirisch Bewijs: De auteurs tonen aan dat de tijdreeks van modellen van legitieme clients significant voorspelbaarder is dan die van kwaadaardige clients (geanalyseerd via Time-Delayed Mutual Information).
Novel Filter: FLANDERS is het eerste pre-aggregatie-filter voor FL dat gebaseerd is op meervoudige dimensies tijdreeks anomalie detectie en robuust is tegen aanvallen waarbij >50% van de clients kwaadaardig is.
Onafhankelijkheid van Aannames: Het werkt zonder vooraf kennis te hebben van het aantal kwaadaardige clients of hun verhouding tot de totale populatie.
Integratie en Reproduceerbaarheid: De methode is geïntegreerd in het populaire Flower-framework en alle code is open-source beschikbaar.
Verbeterde Robuustheid: Experimenten tonen aan dat FLANDERS bestaande aggregatiemethoden (zowel standaard als robuust) aanzienlijk verbetert onder diverse datasets, data-distributies (non-iid) en aanvalsscenario's.

4. Experimentele Resultaten

De auteurs hebben FLANDERS getest op datasets zoals MNIST, Fashion-MNIST, CIFAR-10 en CIFAR-100 met verschillende aanvalstypen (Gaussian Noise, LIE, OPT, AGR-MM).

Detectiecapaciteit: Bij een aanvalsniveau van 20% kwaadaardige clients ( $r=0.2$ ) detecteert FLANDERS bijna alle kwaadaardige clients met een precisie en recall van 1.0, wat aanzienlijk beter is dan de concurrent FLDetector.
Extreme Aanvallen ( $r=0.8$ ): Bij 80% kwaadaardige clients falen bestaande methoden (zoals FedAvg, Krum, Bulyan) volledig. FLANDERS herstelt echter de nauwkeurigheid van het globale model tot hoge niveaus (bijv. ~84% op MNIST) wanneer het wordt gecombineerd met eenvoudige aggregatie zoals FedAvg.
Combinatie met Robuuste Methodes: Zelfs methoden die normaal gesproken falen bij extreme aantallen kwaadaardige clients (zoals Multi-Krum en Bulyan), worden effectief wanneer ze worden voorafgegaan door FLANDERS.
Kosten-Baten: Hoewel de MAR-schatting rekenkundig intensief is, biedt FLANDERS de beste afweging tussen nauwkeurigheid en trainingsduur bij zware aanvallen. Bij lichte aanvallen is de overhead acceptabel in ruil voor betere beveiliging.
Adaptieve Aanvallen: FLANDERS blijft robuust tegen aanvallen waarbij de aanvaller probeert het MAR-model te omzeilen, hoewel een "onniet-omniscient" (niet alleswetende) aanvaller minder succesvol is dan een "omniscient" (alleswetende) aanvaller.

5. Betekenis en Toekomstperspectief

Dit werk is significant omdat het een doorbraak biedt in de beveiliging van Federated Learning tegen extreme scenario's waar de meerderheid van het netwerk is overgenomen door aanvallers. Het verschuift de focus van statische filtering naar dynamische, tijdreeks-gebaseerde analyse.

Beperkingen en Toekomstig Werk:

Rekenkosten: De berekening van de MAR-coëfficiënten kan zwaar zijn voor cross-device FL met miljoenen clients. De auteurs suggereren random parameter sampling en efficiëntere matrix-inversie-algoritmen (zoals Coppersmith-Winograd) om dit te mitigeren.
Privacy: Hoewel FLANDERS geen extra privacyrisico's introduceert boven bestaande FL-protocollen, vereist het dat de server als een "vertrouwde entiteit" wordt beschouwd. Als de server zelf kwaadaardig is, kan het analyseren van updates gevoelige informatie onthullen.
Cross-Device Setting: De methode werkt het beste in cross-silo FL (minder clients, hogere frequentie van selectie). In cross-device settings met lage selectiefrequentie kan het minder effectief zijn vanwege het gebrek aan historische data per client.

Concluderend biedt FLANDERS een krachtig, adaptief mechanisme om de integriteit van Federated Learning-systemen te waarborgen, zelfs in de meest vijandige omstandigheden.