Poisoning with A Pill: Circumventing Detection in Federated Learning

Dit paper introduceert een generieke, aanvalsonafhankelijke methode genaamd "Poisoning with A Pill" die bestaande federated learning-vergiftigingsaanvallen verbergt door vergiftigde updates te injecteren in een klein subnet, waardoor ze effectief detectiemechanismen omzeilen en de foutenratio aanzienlijk verhogen.

De kern

Stel je voor dat een groep vrienden samen een recept voor de perfecte pizza probeert te maken, maar ze willen hun eigen geheime ingrediënten niet delen. Ze sturen alleen hun suggesties voor de volgende stap naar een centrale kok (de server), die alles samenvoegt tot één groot recept. Dit is Federated Learning: een slimme manier om kunstmatige intelligentie te trainen zonder dat iemand zijn privé-data hoeft te delen.

Maar wat er gebeurt in dit artikel, is alsof een van die vrienden een vermomde saboteur is. Hij wil het recept verpesten, maar zo subtiel dat de kok denkt dat hij gewoon een goede suggestie doet.

Hier is een simpele uitleg van de "vergiftigde pil" (Poison Pill) methode uit het artikel:

1. Het Probleem: De "Grote" Aanval

Normaal gesproken proberen kwaadaardige hackers de hele pizza (het computermodel) te verpesten door overal in het recept grote fouten te maken. Ze zeggen bijvoorbeeld: "Voeg 100 kilo zout toe!" of "Gebruik geen meel!".

• Het nadeel: Dit is heel opvallend. De centrale kok kijkt naar de suggesties en denkt: "Hé, deze suggestie is heel anders dan die van de anderen. Dit is verdacht!" en gooit het weg. De verdediging werkt.

2. De Oplossing: De "Vergiftigde Pil"

De onderzoekers uit dit artikel zeggen: "Waarom probeer je de hele pizza te verpesten? Dat is te veel werk en te makkelijk te zien."
In plaats daarvan bouwen ze een kleine, onzichtbare pil in het recept.

Stel je voor dat het recept voor de pizza duizenden stappen heeft. De meeste stappen zijn niet zo belangrijk. Maar er zijn een paar specifieke stappen die cruciaal zijn (bijvoorbeeld: "hoeveel kaas erop").

• De Pil: De hacker kiest alleen die ene cruciale stap uit het recept. Hij verandert alleen die ene stap. De rest van het recept blijft perfect en normaal.
• De Sluipmoordenaar: Omdat hij maar één klein dingje verandert, lijkt zijn suggestie op het eerste gezicht heel normaal. De kok ziet geen groot verschil en accepteert het.

3. Hoe werkt het in drie stappen?

Het artikel beschrijft drie stappen om deze pil te maken en te verstoppen:

• Stap 1: De Blauwdruk (Het zoeken naar de zwakke plek)
  De hacker kijkt naar het recept en zoekt naar de "krachtige" plekken. Welke ingrediënten hebben de meeste invloed op de smaak? Hij maakt een kaartje (een blauwdruk) van alleen die specifieke plekken. Hij negeert alles wat minder belangrijk is. Dit is als het zoeken naar de sleutel die het slot opent, in plaats van de hele deur te proberen open te breken.

• Stap 2: De Vergiftiging (Het maken van de pil)
  Nu de hacker weet waar hij moet slaan, vergiftigt hij alleen die specifieke plekken. Hij doet dit zo slim dat het lijkt alsof hij gewoon een beetje extra zout of peper toevoegt, maar in werkelijkheid verandert het de smaak van de hele pizza drastisch. Hij gebruikt bestaande trucs, maar past ze alleen toe op die ene kleine "pil".

• Stap 3: De Injectie (Het verstoppen)
  Dit is het meest slimme deel. De hacker neemt zijn vergiftigde suggestie en mengt deze met een "normale" suggestie die hij heeft berekend. Hij past de verhoudingen zo aan dat de vergiftigde pil eruitziet als een heel normaal, veilig voorstel.

  • De Analogie: Het is alsof je een druppel gif in een glas water doet, maar je voegt precies de juiste hoeveelheid water toe zodat het glas er precies hetzelfde uitziet en hetzelfde aanvoelt als de andere glazen. De kok proeft niets.

4. Waarom is dit gevaarlijk?

De onderzoekers hebben getest of deze methode werkt tegen de beste beveiligingssystemen die er nu zijn (de "koks" die proberen verdachte suggesties te filteren).

• Het resultaat: De "vergiftigde pil" slaagde erin om 8 van de 8 beveiligingssystemen te omzeilen.
• Het effect: Waar de normale aanval vaak faalde, zorgde deze methode ervoor dat de pizza (het model) in sommige gevallen 7 keer zo slecht werd. Het systeem werd volledig onbruikbaar, terwijl de hacker onopgemerkt bleef.

Conclusie: Wat leren we hieruit?

Dit artikel laat zien dat de huidige beveiliging te veel kijkt naar "grote, opvallende veranderingen". Ze controleren of iemand te veel zout toevoegt, maar ze kijken niet goed genoeg naar of iemand een kleine, specifieke verandering doet die het hele recept kan verpesten.

Het is een waarschuwing: we moeten niet alleen kijken naar de grootte van de suggesties, maar ook naar waar die suggesties in het model zitten. Net zoals een goede kok niet alleen naar de hoeveelheid ingrediënten kijkt, maar ook begrijpt welke specifieke stap het recept echt kan verpesten.

Kort samengevat: De hackers hebben geleerd dat je niet de hele muur hoeft in te slaan om een huis binnen te komen; je hoeft alleen maar het juiste raam te vinden, het een klein zetje te geven, en je bent binnen zonder dat iemand het merkt.

Technische samenvatting

Probleemstelling

Federated Learning (FL) staat bekend om het trainen van modellen op gedistribueerde data zonder dat de ruwe data het lokale apparaat verlaat, wat privacy waarborgt. Echter, de gedistribueerde aard maakt FL kwetsbaar voor vergiftigingsaanvallen (poisoning attacks). Bestaande verdedigingsmechanismen (zoals statistische filtering en aggregatieregels) zijn ontworpen om verdachte client-updates te detecteren op basis van hun statistische afwijkingen van de norm.

De kern van het probleem dat dit paper adresseert, is dat huidige aanvalsmethoden vaak alle modelparameters uniform manipuleren. Dit maakt de aanval opvallend en makkelijk te detecteren door bestaande defenses. Bovendien negeren deze methoden het concept van modelredundantie: niet alle parameters in een neurale netwerk dragen evenveel bij aan de prestaties of de aanval. Het manipuleren van irrelevante parameters is inefficiënt en verhoogt de kans op detectie.

Methodologie: De "Poison Pill" Aanpak

De auteurs stellen een aanvalsagnostische augmentatiemethode voor, genaamd "Poisoning with A Pill". In plaats van het hele model te manipuleren, concentreren ze de aanval op een compacte, sub-netwerkstructuur binnen het globale model, een zogenaamde "pill" (pil). Deze methode bestaat uit drie fasen:

1. Pill Constructie (Pill Construction):

   • Het doel is het identificeren van een klein, maar kritiek sub-netwerk (de "pill") binnen het globale model dat de meeste impact heeft op de prestaties.
   • Er wordt een dynamisch zoekalgoritme ("approximate max pill search") gebruikt. In plaats van een globale optimale zoektocht (die te detecteerbaar zou zijn), selecteert het algoritme neuronale paden laag voor laag op basis van de som van de verbindingsgewichten.
   • De "pill" bestaat uit slechts één neuron (of kanaal) per laag, behalve in de laatste twee lagen waar het overeenkomt met het aantal klassen. Dit minimaliseert het aantal gemanipuleerde parameters.
   • Er worden dynamische patronen gebruikt om te voorkomen dat de aanval traceerbaar is door de zoekstrategie tijdens het trainingsproces te variëren.

2. Pill Vergiftiging (Pill Poisoning):

   • Bestaande FL-vergiftigingsaanvallen (zoals sign-flipping, Trim, Krum, Min-Max) worden hergebruikt, maar toegepast op de geselecteerde "pill" in plaats van op het volledige model.
   • Om compatibiliteit te garanderen, wordt de aanval als een "black-box" behandeld; de interne logica van de bestaande aanval wordt niet gewijzigd, alleen de input (de basisupdate) wordt aangepast.
   • Er wordt gebruikgemaakt van een extra getraind model op de kwaadaardige clients om de update te genereren, zodat deze minder opvallend afwijkt van de server-update (bijvoorbeeld om FLTrust te omzeilen).

3. Pill Injectie (Pill Injection):

   • De vergiftigde pill wordt ingebracht in een geschatte "goedaardige" update (berekend als het gemiddelde van de updates van de kwaadaardige clients).
   • Afscherming en Disconnectie: De parameters van de pill worden vervangen in de geschatte update, terwijl de verbindingen tussen de pill en de rest van het model worden "losgekoppeld" (op 0 gezet) om te voorkomen dat de vergiftiging onbedoeld wordt geneutraliseerd door de aggregatie.
   • Tweestapsaanpassing (Two-step Adjustment): Om detectie te omzeilen, worden twee aanpassingen uitgevoerd:
     • Similarity-based: De grootte van de pill-parameters en de resterende parameters wordt gebalanceerd om de cosinussimilariteit met de goedaardige updates te maximaliseren.
     • Distance-based: De totale grootte van de vergiftigde update wordt aangepast om de Euclediaanse afstand tot de goedaardige updates binnen de norm te houden.
   • Hierdoor lijkt de kwaadaardige update statistisch identiek aan een normale update, terwijl de vergiftiging effectief blijft.

Belangrijkste Bijdragen

• Generieke Augmentatiemethode: Een framework dat bestaande aanvalsmethoden kan versterken zonder hun specifieke implementatie te vereisen (aanvalsagnostisch).
• Focus op Subnetwerken: Het introduceren van het concept van een "pill" (een klein, kritiek sub-netwerk) om de aanval te verbergen en de efficiëntie te verhogen.
• Omzeiling van State-of-the-Art Defenses: De methode is ontworpen om specifiek de zwakke plekken in huidige defenses (die vaak gebaseerd zijn op afstand en similariteit) te benutten.
• Uitgebreide Validatie: Experimenten uitgevoerd op drie datasets (MNIST, Fashion-MNIST, CIFAR-10) met vier verschillende basisaanvallen en negen verschillende verdedigingsalgoritmen (waaronder FLTrust, Multi-Krum, Bulyan, Flame).

Resultaten

De experimentele resultaten tonen aan dat de "Poison Pill" methode aanzienlijk effectiever is dan de originele aanvalsmethoden:

• Bypass van Defenses: De versterkte aanvallen slaagden erin om 8 van de 8 geteste state-of-the-art defenses te omzeilen in de meeste scenario's.
• Toename van Foutpercentage:
  • Gemiddeld een meer dan 2x toename in het foutpercentage (error rate) van het globale model vergeleken met de originele aanvallen.
  • In sommige gevallen (bijvoorbeeld bij specifieke defenses en data-distributies) werd een toename van tot wel 7x bereikt.
• Stealthiness: De kwaadaardige updates vertoonden een afstandsscore en cosinussimilariteit die bijna identiek was aan die van goedaardige clients, waardoor ze door detectiemodellen als "benign" werden geclassificeerd.
• Robuustheid: De methode bleef effectief onder verschillende omstandigheden, waaronder:
  • IID en Non-IID data-distributies.
  • Cross-silo en cross-device FL-situaties.
  • Variërende percentages kwaadaardige clients (van 10% tot 20%).
  • Zelfs tegen een aangepaste, witte-doos verdediging (DSTrust) die zowel afstand als similariteit combineerde, bleef de methode effectief.

Betekenis en Implicaties

Dit paper onthult fundamentele kwetsbaarheden in de huidige architectuur van Federated Learning-verdedigingen. Het toont aan dat defenses die zich richten op de statistische eigenschappen van de hele update, kwetsbaar zijn voor gerichte, fijngestuurde manipulaties van slechts een klein deel van de parameters.

De conclusie is dat er een dringende behoefte is aan fijngestuurde (fine-grained) beveiliging in FL. Defensieve mechanismen moeten niet alleen kijken naar de aggregate statistieken van updates, maar ook de rol en het belang van individuele parameters of sub-netwerken binnen het model analyseren. De "Poison Pill" methode dient als een waarschuwing dat bestaande FL-systemen veel kwetsbaarder zijn dan eerder werd aangenomen, en dat toekomstige beveiliging veel complexer moet worden om dergelijke geavanceerde, gerichte aanvallen te detecteren.