Aggressive or Imperceptible, or Both: Network Pruning Assisted Hybrid Byzantines in Federated Learning

Dit artikel introduceert een hybride, spaarzame Byzantijnse aanval voor federatief leren die gevoeligheidsgebaseerde parametermanipulatie combineert met traag opbouwende vergiftiging om doeltreffend de meest geavanceerde verdedigingsmechanismen te omzeilen door de neurale netwerkarchitectuur te exploiteren in plaats van te vertrouwen op statistische uitschieterdetectie.

De kern

Stel je een massief, collaboratief kunstproject voor waarbij duizenden kunstenaars (genaamd "clients") samenwerken aan één enkel, perfect meesterwerk zonder ooit hun privé-schetsen aan iemand te tonen. Ze sturen hun penseelstreken naar een centrale curator (de "server"), die ze allemaal samenvoegt om de volgende versie van het schilderij te creëren. Dit is Federated Learning.

Het probleem? Sommige van de kunstenaars zijn eigenlijk saboteurs (genaamd "Byzantijnen"). Ze willen het schilderij verpesten. Maar hier zit de adder onder het gras: de curator kan niet de identiteit van elke enkele kunstenaar controleren, en de kunstenaars werken met verschillende stijlen en materialen. Als de saboteurs gewoon helderrode verf overal neer gooien, zal de curator ze direct opmerken en eruit gooien.

Dit artikel introduceert een nieuwe, sluwe manier voor saboteurs om het schilderij te verpesten zonder betrapt te worden. Ze noemen het de Hybrid Sparse Attack (HSA).

Hier is hoe het werkt, opgesplitst in eenvoudige concepten:

1. De Oude Manier: Het "Langzame Vergif" versus de "Grote Hamer"

Vorige saboteurs hadden twee hoofdstrategieën, maar beide hadden gebreken:

• Het Langzame Vergif (zoals ALIE): Ze brachten kleine, nauwelijks waarneembare veranderingen aan in het schilderij. Het was zeer moeilijk op te merken, maar de schade was traag en zwak. Het was alsof je een druppel gif toevoegt aan een enorme soep; de soep smaakte nog steeds grotendeels goed.
• De Grote Hamer: Ze brachten enorme, duidelijke veranderingen aan. Dit verpestte het schilderij snel, maar de curator zag direct de rode vlaggen en gooide de saboteurs eruit.

Het artikel betoogt dat je met de oude methoden niet zowel snelheid als sluimheid kunt hebben.

2. De Nieuwe Truc: De "Scharpschutter en de Geest"

De auteurs realiseerden zich dat niet alle delen van het schilderij even belangrijk zijn. Sommige penseelstreken (neuronale netwerk-weights) zijn cruciaal voor de structuur van het beeld, terwijl anderen slechts achtergrondruis zijn. Ze realiseerden zich ook dat als je de juiste plekken verstoort, je niet alle van hen hoeft te verstoren.

Hun nieuwe aanval combineert twee tactieken in één:

• De Geest (Het Sluwe Deel): Ze brengen kleine, onzichtbare veranderingen aan in het grootste deel van het schilderij. Dit houdt de curator aan het denken: "Hé, dit ziet er normaal uit."
• De Scharpschutter (Het Agressieve Deel): Ze identificeren de specifieke, meest gevoelige "kritieke lagen" van het schilderij (zoals de ogen of het gezicht). Op deze specifieke plekken brengen ze een enorme hoeveelheid schade toe.

De Analogie: Stel je een beveiliger voor die een menigte controleert.

• Als iedereen in de menigte een iets andere hoed draagt, kan de beveiliger niet zeggen wie de spion is.
• Het "Geest"-deel zorgt ervoor dat de spion opgaat in de algemene sfeer van de menigte.
• Het "Scharpschutter"-deel is de spion die rustig het geweer van de beveiliger verwisselt voor een banaan alleen op het exacte moment dat de beveiliger wegkijkt. De rest van de uitrusting van de beveiliger ziet er normaal uit, dus de beveiliger verdenkt niets totdat het te laat is.

3. Het Gebruik van de "Blauwdruk" (Architectuur-bewustzijn)

De meeste eerdere aanvallen waren "blind". Ze gooiden verf willekeurig, in de hoop iets belangrijks te raken.

Deze nieuwe aanval is slim. Het kijkt naar de "blauwdruk" van het neurale netwerk (de architectuur). Het weet precies welke lagen de "gevoelige" zijn (zoals de volledig verbonden lagen aan het einde van het netwerk) en welke de "kritieke" zijn (zoals batch-normalisatie).

• Het gebruikt een pruning-techniek (meestal gebruikt om AI kleiner en sneller te maken) om de meest fragiele plekken in het netwerk te vinden.
• Het concentreert zijn "Scharpschutter"-schade op deze fragiele plekken, terwijl de rest van het netwerk er "gepruned" en normaal uitziet.

4. De Resultaten: Een Meesterwerk Veranderd in Schroot

De auteurs hebben dit getest tegen acht verschillende "beveiligers" (verdedigingsmechanismen) die momenteel als de beste ter wereld worden beschouwd.

• In een normale, georganiseerde groep (IID-data): Hun aanval verlaagde de kwaliteit van het uiteindelijke schilderij met maximaal 55%.
• In een chaotische, rommelige groep (Non-IID-data): De aanval was zo effectief dat het schilderij volledig uit elkaar viel, met een nauwkeurigheid die daalde tot bijna 10% (wat in feite raden is).

Zelfs de meest geavanceerde beveiligers, die meestal saboteurs opsporen door te zoeken naar statistische uitschieters of afstanden tussen updates te meten, werden bedrogen. De aanval was sterk genoeg om het model te breken, maar "spaarzaam" genoeg om zich te verbergen in het open zicht.

De Conclusie

Het artikel beweert dat huidige beveiligingssystemen voor collaboratieve AI kwetsbaar zijn omdat ze de interne structuur van de AI die ze beschermen niet begrijpen. Door gebruik te maken van de eigen "blauwdruk" van de AI om de zwakke plekken te vinden en deze chirurgisch aan te vallen, kunnen saboteurs zowel agressief zijn (enorme schade veroorzaken) als onwaarneembaar (zich verbergen in het open zicht).

De auteurs concluderen dat dit de eerste keer is dat een aanval succesvol de eigen architectuur van het netwerk gebruikt om zijn sabotage te sturen, waardoor een "universele" bedreiging ontstaat die werkt tegen bijna elke bekende verdediging.

Technische samenvatting

Technische Samenvatting: Aggressief, Onwaarneembaar, of Beide: Architectuurbewuste Hybride Byzantijnse Aanvallen in Federatief Leren

Probleemstelling

Federatief Leren (FL) maakt collaboratief modeltrainen mogelijk over gedistribueerde clients zonder ruwe data te delen. De onmogelijkheid echter om elke client op schaal te profileren en te verifiëren, introduceert een kritieke beveiligingskwetsbaarheid: Byzantijnse aanvallen. Kwaadaardige clients kunnen vergiftigde modelupdates indienen om de nauwkeurigheid van het globale model te verslechteren of divergentie te veroorzaken.

Bestaande verdedigingsmechanismen vertrouwen voornamelijk op uitbijterdetectie, waarbij kwaadaardige updates worden behandeld als statistische anomalieën op basis van geometrische afstanden of indexgewijze statistieken. Deze verdedigingen gaan er vaak van uit dat de interne structuur van het neurale netwerk (NN) irrelevant is voor de aanvalsstrategie. Omgekeerd negeren bestaande aanvalsstrategieën (zoals ALIE, IPM) doorgaans de specifieke architectuur van het doel-NN en richten ze zich in plaats daarvan op statistische manipulatie van gradiënten. Dit artikel stelt dat huidige verdedigingen kwetsbaar zijn omdat ze geen rekening houden met de gevoeligheid van specifieke netwerkgewichten en de topologische structuur van het model, waardoor aanvallers verstoringen kunnen creëren die zowel zeer effectief als moeilijk te detecteren zijn.

Methodologie: Hybride Sparse Byzantijnse Aanval (HSA)

De auteurs stellen een nieuw aanvalsframework voor, genaamd de Hybride Sparse Byzantijnse Aanval (HSA). In tegenstelling tot eerdere methoden die "architectuuronafhankelijk" zijn, maakt HSA expliciet gebruik van zijinformatie met betrekking tot de NN-architectuur om het ontwerp van verstoringen te sturen. De aanval combineert twee gecoördineerde componenten om onwaarneembaarheid (ontwijken van detectie) en kracht (maximaliseren van schade) in evenwicht te brengen:

1. Sparse Aggressieve Component:

   • Deze component richt zich op een kleine, zorgvuldig geselecteerde subset van netwerkparameters (gewichten) die zijn geïdentificeerd als zeer gevoelig voor verstoringen.
   • Het maakt gebruik van een netwerkpruningframework (specifiek het FORCE-algoritme) om deze kritieke gewichten te identificeren. De auteurs betogen dat, analoog aan hoe pruning niet-essentiële gewichten identificeert, de overgebleven "gevoelige" gewichten de meest impactvolle doelen zijn voor een aanval.
   • Door een groot verstoringsbudget ($z_2$) te concentreren op deze sparse locaties, bereikt de aanval hoge verstoring met minimale globale afwijking.

2. Dense Stealthy Component:

   • Deze component nabootst het gedrag van de ALIE-aanval, waarbij kleine, consistente verstoringen ($z_1$) worden toegepast over het grootste deel van de parameters.
   • Het is ontworpen om indexgewijze uitbijterdetectie te ontwijken en fouten in de loop van de tijd op te hopen zonder verdedigingen op basis van geometrische afstand te activeren.

De Hybride Strategie:
De uiteindelijke adversariële update is de som van deze twee componenten: $\Delta_t = \Delta_{1,t} + \Delta_{2,t}$.

• Statisch vs. Dynamisch: De auteurs introduceren zowel een statische versie (vaste schalingscoëfficiënten) als een Dynamic HSA (DHSA), waarbij de schalingscoëfficiënt voor de stealthy component bij elke iteratie wordt geoptimaliseerd om de verstoring te maximaliseren terwijl men binnen de detectiedrempel van de aggregator blijft.
• Laaggewijze Beperkingen: Om te voorkomen dat de aanval zichtbaar wordt door een ongelijke verdeling van verstoringen (bijvoorbeeld te veel concentratie op Fully Connected-lagen), leggen de auteurs laaggewijze sparse beperkingen op tijdens het masker-generatieproces. Dit zorgt voor een meer uniforme verdeling van niet-nul verstoringen over de netwerktopologie.

Belangrijkste Bijdragen

1. Architectuurbewust Aanvalontwerp: Dit werk is het eerste dat expliciet gebruikmaakt van de architecturale kenmerken van het doel-NN (specifiek, het identificeren van gevoelige gewichten via pruning) om het ontwerp van Byzantijnse aanvallen te sturen.
2. Hybride Sparse Aanval (HSA): De introductie van een aanvalsstrategie met twee componenten die gelijktijdig kwetsbaarheden in indexgewijze statistische verdedigingen (via de dense component) en verdedigingen op basis van geometrische afstand (via de sparse, hoog-magnitude component) aanvalt.
3. Laaggewijze Sparse Beperkingen: Het aantonen dat het afdwingen van beperkingen op de verdeling van sparse maskers over specifieke netwerklagen (bijvoorbeeld het beperken van sparse in Fully Connected-lagen) de aanvalrobustheid tegen gelaagde verdedigingsmechanismen zoals GAS aanzienlijk verbetert.
4. Uitgebreide Evaluatie: Uitgebreide simulaties over verschillende NN-architecturen (ResNet-20, CNN, MLP), datasets (CIFAR-10, F-MNIST, MNIST) en data-distributies (IID en non-IID) tegen acht state-of-the-art verdedigingsmechanismen.

Experimentele Resultaten

De voorgestelde HSA- en DHSA-frameworks werden geëvalueerd tegen robuuste aggregators, waaronder Bulyan, Centered Clipping (CC), Coordinate-wise Median (CM), Multi-Krum, Robust Federated Averaging (RFA), Trimmed Mean (TM) en GAS.

• Prestaties in IID-omgevingen:

  • HSA verlaagde de testnauwkeurigheid tot zo laag als 15,5% tegen M-Krum en 39,6% tegen CC, wat significant beter presteerde dan baseline-aanvallen zoals ALIE (die ongeveer 55% bereikte tegen M-Krum).
  • De dynamische versie (DHSA) behaalde de beste algehele prestaties, waarbij de gemiddelde testnauwkeurigheid over alle acht aggregators werd verlaagd tot onder 38% en de best presterende aggregator onder 55% werd gehouden.

• Prestaties in Non-IID-omgevingen:

  • De aanval was zelfs effectiever in scenario's met heterogene data. HSA met laaggewijze beperkingen veroorzaakte in veel gevallen volledige divergentie van het globale model, waarbij de testnauwkeurigheid gemiddeld daalde tot 9,2%.
  • Tegen specifieke aggregators zoals TM en RFA verlaagde de aanval de nauwkeurigheid tot 10% (niveau van raden).

• Vergelijking met Andere Aanvallen:

  • HSA presteerde consequent beter dan of gelijk aan de best presterende bestaande aanvallen (ALIE, ROP, Min-Sum, Min-Max) over alle geteste verdedigingsmechanismen.
  • De studie benadrukt dat terwijl statische aanvallen moeite hebben met bepaalde verdedigingen, de dynamische aanpassing van schalingscoëfficiënten in DHSA het mogelijk maakt deze effectief te omzeilen.

Betekenis en Claims

Het artikel claimt aan te tonen dat strikte onwaarneembaarheid niet altijd noodzakelijk is voor een vergiftigingsaanval om effectief te zijn. Door een kleine mate van onwaarneembaarheid in te ruilen voor aanzienlijk verhoogde verstoringkracht op gevoelige, architectuurspecifieke gewichten, bereikt de aanval een superieure afweging.

De auteurs benadrukken dat huidige verdedigingsmechanismen kwetsbaar zijn omdat ze modelupdates behandelen als black-box vectoren, waarbij ze de interne topologie van het neurale netwerk negeren. Door aan te tonen dat zijinformatie over netwerkarchitectuur (specifiek, gewichtsgevoeligheid afgeleid van pruning) kan worden gebruikt om "sterkere maar minder waarneembare" aanvallen te creëren, onderstreept het artikel een kritieke kloof in het huidige FL-beveiligingsonderzoek.

Het werk concludeert dat een universeel effectieve Byzantijnse aanval haalbaar is door orthogonale strategieën (sparse agressie en dense stealth) te combineren en architecturale priors te benutten. Dit daagt de aanname uit dat bestaande robuuste aggregators voldoende beveiliging bieden en roept op tot verder onderzoek naar verdedigingen die rekening houden met de structurele eigenschappen van de modellen die ze beschermen.