FedVIB–AGP: Defending Against Distributed Backdoor Attacks in Federated Learning via Variational Information Bottleneck and Activation-Gap Pruning

Stel je een enorm, collaboratief kunstproject voor waarbij duizenden kunstenaars (de "clients") samen aan één gigantische muurschildering (het "globale model") schilderen. Ze kunnen hun eigen penselen of schetsen niet delen omdat ze hun geheimen veilig willen houden, dus sturen ze de server alleen een klein briefje met: "Ik denk dat de lucht blauwer moet zijn." De server mengt al deze briefjes om de muurschildering bij te werken. Dit is Federated Learning.

Maar er is een sluipend probleem. Een groep saboteurs wil de muurschildering misleiden. Ze willen het hele beeld niet verpesten; ze willen alleen ervoor zorgen dat als iemand een heel specifiek, klein patroon schildert (zoals een rode stip), de boom plotseling verandert in een gigantisch, schreeuwend monster. Dit is een Backdoor Attack.

Het lastige deel is de Distributed Backdoor Attack (DBA). In plaats van dat één slechte kunstenaar het hele "rode stip"-patroon schildert, splitsen de saboteurs het patroon op in kleine, onzichtbare stukjes. Kunstenaar A schildert een minuscuul rood stipje op een blad. Kunstenaar B schilt een minuscuul rood stipje op een tak. Kunstenaar C schildert een stipje op de stam. Afzonderlijk gezien lijken deze stipjes op onschuldige foutjes. Maar wanneer de server alle briefjes bij elkaar voegt, vormen de "rode stipjes" samen de volledige "schreeuw"-trigger. De muurschildering ziet er normaal uit, totdat je naar dat specifieke patroon kijkt, en dan boem—hij schreeuwt.

De Oude Manieren versus Het Nieuwe Idee

Eerdere pogingen om dit te stoppen waren als een beveiligingsbeambte die de briefjes controleerde die de kunstenaars stuurden. Ze probeerden de slechte briefjes te herkennen of te raden welke kunstenaars loog. Maar omdat de slechte briefjes zo subtiel en verspreid waren, miste de bewaker ze vaak.

De auteurs van dit paper, Hanlei Zhou en zijn team, zeggen: "Laten we stoppen met raden wie er liegt en beginnen met het repareren van de muurschildering zelf." Ze stellen een tweestaps-reparatieset voor genaamd FedVIB–AGP.

Stap 1: Het "Geheugen Dieet" (Variational Information Bottleneck)

Eerst veranderen ze hoe de kunstenaars hun lokale schetsen maken. Ze introduceren een regel genaamd Variational Information Bottleneck (VIB).

Zie VIB als een strenge redacteur die de kunstenaars vertelt: "Je mag alleen de essentiële details bewaren die nodig zijn om een normale boom te schilderen. Als je probeert om vreemde, extra details te onthouden (zoals de geheime rode stip), word je gestraft." Het dwingt de kunstenaars om hun geheugen te comprimeren, waarbij ze "overbodige" informatie weggooien. Het doel is om ervoor te zorgen dat zelfs als een slechte kunstenaar een rode stip probeert te smokkelen, de kunstenaar het vergeet omdat het niet "essentieel" is voor het schilderen van een normale boom.

Echter, het paper waarschuwt dat dit geen magisch schild is. Het is slechts een dieet. Het maakt het moeilijker om het gif te onthouden, maar het garandeert niet dat het gif verdwenen is.

Stap 2: De "Trigger Detective" (Activation-Gap Pruning)

Nadat de server alle briefjes heeft gemengd, kan de muurschildering nog steeds enkele verborgen "schreeuw"-paden bevatten. Dit is waar het tweede deel, Activation-Gap Pruning (AGP), in beeld komt.

Cruciaal is dat deze stap twee specifieke hulpmiddelen vereist: De server moet beschikken over een clean reference batch (een set normale, ongegifte foto's van bomen) EN een trigger tool die de samengestelde trigger (het volledige patroon gemaakt van alle gesplitste stukjes) perfect kan reproduceren om de muurschildering te testen.

Met deze hulpmiddelen doet de server een klein experiment:

1. Het laat de muurschildering een normale boom zien uit de clean reference batch.
2. Het laat de muurschildering dezelfde boom uit de batch zien, maar dan met het volledige samengestelde rode stipjespatroon toegevoegd.
3. Het observeert de interne "neuronen" (de kleine werkers binnenin de schilderijmachine) van de muurschildering.

Als een werker normaal gesproken een normale boom negeert, maar plotseling wild wordt en schreeuwt wanneer het volledige patroon wordt toegevoegd, dan is die werker verdacht. De server meet deze "gap" tussen de normale reactie en de getriggerde reactie. Als de kloof groot is, zegt de server: "Die werker is te gevoelig voor het gif!" en pruned (maskeert) de server die werker. Het plaatst in feite een "Niet Gebruiken"-bordje op die specifieke route.

Na het wegknippen van de slechte werkers, geeft de server de muurschildering een korte "fine-tuning" sessie op de clean reference batch om er zeker van te zijn dat hij nog steeds een prachtig landschap kan schilderen zonder die werkers.

De Resultaten: Werkte het?

De auteurs testten dit op vier verschillende soorten "schilderopdrachten" (datasets): CIFAR-10 (kleurrijke objecten), Fashion-MNIST (kleding), MNIST (handgeschreven cijfers) en SVJT (huisnummers).

Dit is wat er gebeurde in hun simulaties:

• De Aanval: Zonder verdediging konden de slechte kunstenaars de modellen op commando laten schreeuwen in 95,67% van de gevallen op CIF\CIFAR-10, 90,82% op Fashion-MNIST, 98,46% op MNIST en 86,43% op SVHN. De muurschildering was volledig gekaapteerd.
• De Verdediging: Met FedVIB–AGP daalde het succespercentage van de aanval dramatisch:
  • CIFAR-10: Gedaald naar 2,16%.
  • Fashion-MNIST: Gedaald naar 2,56%.
  • MNIST: Gedaald naar 0,81%.
  • SVHN: Gedaald naar 0,60%.

Cruciaal was dat de muurschildering niet zijn vermogen verloor om normale bomen te schilderen. De "clean accuracy" (hoe goed het normale plaatjes schildert) bleef hoog: 73,27% voor CIFAR-10, 75,93% voor Fashion-MNIST, 92,45% voor MNIST en 90,38% voor SVHN.

Bij vergelijking met andere topverdedigingen (zoals CRFL, de beste van de oude methoden), was FedVIB–AGP zelfs beter. Het verminderde het succespercentage van de aanval met wel 10,29% meer dan CRFL en verbeterde de "clean accuracy" met wel 11,16%.

Wat dit Paper Uitsluit (en wat niet)

Het is belangrijk om te weten wat dit paper niet beweert.

• Het is geen wondermiddel voor onbekende triggers. Het paper stelt expliciet dat deze methode vereist dat de server zowel een clean reference batch als het samengestelde triggerpatroon bezit om de detective-test uit te voeren. De server moet precies weten hoe de "rode stip" eruitziet om de reactie van de muurschildering te kunnen vergelijken. Als de saboteurs het patroon veranderen naar iets wat de server niet kent, kan deze specifieke reparatieset de "Trigger Detective"-stap niet uitvoeren en werkt het mogelijk niet.
• Het is geen garantie tegen alle toekomstige aanvallen. De resultaten zijn gebaseerd op specifieke simulaties met specifieke datasets en aanvalsscenario's. De auteurs waarschuwen dat echte aanvallen slimmer of anders kunnen zijn.
• Het is niet alleen "VIB" of alleen "Pruning". Het paper laat zien dat het doen van alleen de "Memory Diet" (VIB) of alleen de "Pruning" (AGP) op zichzelf niet genoeg is. Je hebt beide nodig die samenwerken om de beste resultaten te behalen. Bijvoorbeeld, op CIFAR-10 zorgde alleen pruning voor een reductie van de aanval tot 16,10%, maar door de memory diet toe te voegen, daalde het tot 2,16%.

De Kernboodschap

Het paper suggereert dat door een "memory diet" tijdens de training te combineren met een "trigger detective" nadat het model is gebouwd, we een vergiftigde muurschildering effectief kunnen opschonen zonder de schildering te verpesten.

In deze specifieke simulaties werkte de methode ongelooflijk goed: het veranderde een bijna 100% succesvolle aanval in een bijna nul-succespercentage, terwijl het model slim genoeg bleef om zijn werk te doen. Maar de auteurs zijn eerlijk: dit werkt het best wanneer we weten hoe het gif eruitziet. Als het gif van vorm verandert, hebben we misschien een nieuw soort detective nodig.